Agentes de IA no planejamento: quem assina a decisão?

Imagine um cenário hipotético. Uma planejadora volta de um fim de semana em que o modo autônomo do agente de planejamento ficou ligado. Na segunda às 8h, encontra 37 ordens de produção canceladas e 12 pedidos de compra emitidos a fornecedores. Ninguém sabe ainda se o agente errou. Talvez a demanda tenha mesmo caído. Talvez a carga de dados de sexta tenha falhado. A primeira pergunta da reunião é de outra natureza: quem responde por isso?

Os agentes de IA no supply chain já conseguem consultar dados, simular cenários e disparar ações. As demonstrações mostram com riqueza o que eles fazem sozinhos e quase nenhuma mostra o que acontece quando algo dá errado. Este texto parte de outra ordem de perguntas: antes de perguntar se o agente consegue fazer sozinho, é preciso saber quem assina o que ele fez.

• Responsabilidade: o fornecedor pode ser processado, mas no planejamento entre empresas o prejuízo tende a ficar com quem ligou a autonomia. Quem opera um sistema que não se explica tende a carregar o ônus da prova.
• Supervisão: com volume alto, o humano no loop passa a aprovar tudo. O viés de automação transforma o "Aprovar todas" em autonomia com assinatura humana.
• Modo autônomo: os erros mais prováveis vêm de dados errados e de laços de realimentação. Time fence, tetos, portão de dados e disjuntor evitam o estrago, desde que morem no motor.
• Concessão: a autonomia é concedida classe por classe, com dono, limite e prazo de validade, à medida que o histórico prova segurança.
• Tese: autonomia só pode ser concedida a decisões reproduzíveis e auditáveis. Isso exige um motor de planejamento determinístico decidindo e a IA operando sobre ele como camada de interface, explicação e orquestração.

Quem é responsável quando um agente de IA erra?

O fornecedor do software pode ser processado, mas no planejamento entre empresas o prejuízo de uma decisão errada tende a ficar com a empresa que ligou a autonomia. A lei brasileira ainda não trata do tema de forma específica, os contratos limitam a responsabilidade do fornecedor e a regra europeia protege sobretudo pessoas físicas.

A responsabilidade não acompanha a licença. Num caso canadense, Moffatt v. Air Canada (2024), o tribunal não aceitou que a empresa tratasse seu chatbot como uma entidade separada, responsável pelos próprios atos. Numa disputa, é preciso reconstruir por que a ordem foi emitida: qual regra, quais dados, qual versão. Uma decisão produzida por um modelo estocástico não se reproduz; uma decisão produzida por um motor com regras versionadas e snapshot de dados se reproduz quantas vezes for preciso.

O NPLAN serve de exemplo dessa abordagem. Nele é possível auditar exatamente o que é enviado ao modelo de linguagem, ver o SQL que a IA gerou para responder a uma pergunta e rodar esse SQL no banco para validar o número. Os modelos de previsão têm explicabilidade e os ajustes manuais deixam trilha. A arquitetura completa está descrita no artigo sobre como funciona um Agent Harness para supply chain.

O que não pode ser reproduzido não pode ser auditado, e o que não pode ser auditado fica sem responsável.

Por isso a pergunta prática não é se o fornecedor pode ser processado, e sim se a empresa consegue mostrar, depois do fato, o que o sistema fez e por quê. Os detalhes jurídicos ficam abaixo para quem quiser conferir as fontes.

Este conteúdo não constitui aconselhamento jurídico.

Human in the loop funciona? O problema do botão "Aprovar todas"

Com volume alto de decisões e um histórico bom do sistema, o humano no loop tende a aprovar tudo sem examinar. O fenômeno tem nome na literatura de fatores humanos: viés de automação. A aprovação continua existindo no papel, mas deixa de funcionar como controle, e a responsabilidade se dilui entre o sistema e quem assinou.

A pesquisa sobre o tema é antiga e consistente. Parasuraman e Manzey (2010, Human Factors) descrevem como a complacência cresce quando o sistema acerta com frequência e como o operador passa a buscar menos informação antes de concordar. A literatura de alert fatigue em sistemas clínicos registra taxas de override muito altas para alertas de prescrição (van der Sijs et al., 2006, JAMIA): quando quase todo alerta é irrelevante, todos passam a ser ignorados. Bainbridge (1983, Automatica) chamou isso de ironia da automação: quanto mais automatizado o sistema, mais crítica a intervenção humana e menos preparado o humano para fazê-la.

O AI Act europeu, no art. 14, pede que a supervisão humana considere explicitamente o viés de automação. Sistemas de planejamento de supply chain não estão na lista de alto risco do regulamento, mas o princípio vale como referência de desenho.

Um "Aprovar todas" usado sempre é um modo autônomo com assinatura humana.

Esse arranjo é pior do que o modo autônomo declarado. Ele cria a ilusão de controle e coloca a responsabilidade em quem assinou sem ler, enquanto nenhum limite real foi definido para o sistema.

Como desenhar a aprovação para que ela funcione

• Revisar exceções, não volume. O motor resolve o que está dentro da política e apresenta ao planejador só o que a viola.
• Fricção proporcional ao impacto. Aprovação em lote apenas em classes de baixo impacto. Acima disso, aprovação individual com o valor em R$, os dias de cobertura e os clientes afetados na tela.
• Mostrar a diferença. O que muda em relação ao plano anterior é mais informativo do que o plano inteiro.
• Medir o aprovador. Tempo por decisão, percentual aprovado sem abrir o detalhe e percentual revertido depois.

Human in the loop e human on the loop

Há uma alternativa ao humano que aprova cada saída. No human on the loop, o humano aprova a política, isto é, as regras e os limites, e supervisiona o comportamento do sistema. A diferença entre human in the loop e human on the loop está no objeto da aprovação: a decisão individual ou a regra que gera as decisões.

O botão "Aprovar todas" também é informação. Uma classe de decisão aprovada em 100% dos casos por meses, sem nenhuma reversão, é evidência para conceder autonomia formal nela, com limite e dono. A escada abaixo, inspirada nos níveis SAE de direção autônoma, organiza esse caminho.

O que pode dar errado no modo autônomo, e como evitar?

Na maioria dos casos, o agente não "enlouquece". Ele age de forma racional sobre um dado errado ou entra num laço de realimentação. Guardrails de planejamento, como time fence, tetos de valor, portão de qualidade de dados e disjuntor, evitam que um erro de leitura vire dezenas de ordens canceladas.

A causa mais provável é a carga do ERP que falha na sexta à noite e traz estoque zerado ou demanda duplicada. Outra é o laço: o agente cancela ordens, a cobertura projetada cai e a queda dispara novas compras.

Na maioria dos fins de semana que dão errado, o agente fez exatamente o que devia, com os dados errados.

Automação sem freio é um problema antigo e anterior à IA. Em agosto de 2012, a Knight Capital perdeu cerca de US$ 440 milhões em 45 minutos com um sistema de negociação automatizado, sem nenhuma IA envolvida. Em julho de 2025, um agente da Replit apagou a base de produção de um usuário durante um code freeze declarado.

Guardrails para agentes de IA: princípios de desenho

• Time fences. O agente respeita a zona congelada da mesma forma que o planejador respeita.
• Classes de ação por reversibilidade. Sugerir, firmar internamente e gerar efeito externo são classes diferentes, cada uma com sua autonomia.
• Fila de saída. Ações externas geradas fora do expediente aguardam numa fila antes do envio.
• Orçamento. Teto por ordem, por dia e por fornecedor, e número máximo de cancelamentos por janela.
• Portão de qualidade de dados. Variação anormal na carga bloqueia a ação e gera alerta.
• Disjuntor. Mudança no plano ou número de ações acima do limite interrompe tudo e aciona o plantão.
• Rastro completo e desfazer em lote.
• Autonomia assinada e com validade. Cada política tem dono nomeado e data de expiração, e é esse dono quem responde por ela.

O planejamento já tinha governança de agentes antes dos agentes, na forma de time fences. Esses limites precisam morar no motor de planejamento, não no agente. A empresa pode conectar o agente externo que quiser, de qualquer fornecedor, e nenhum deles deve conseguir contornar a zona congelada ou o teto de compras. A lógica de horizonte e de zona congelada é a mesma descrita no artigo sobre planejamento de suprimentos e MRP.

Como chegar com segurança à IA autônoma no planejamento?

A IA autônoma no planejamento chega por concessão gradual. A autonomia cresce classe por classe de decisão, à medida que o histórico prova segurança, sempre com dono, limite e prazo de validade. A governança de agentes de IA é a condição para chegar lá, e não um freio colocado no caminho.

A empolgação com agentes tem fundamento. O Gartner projetou, em junho de 2025, que pelo menos 15% das decisões do dia a dia serão tomadas de forma autônoma até 2028. Na mesma análise, previu que mais de 40% dos projetos de IA agêntica serão cancelados até o fim de 2027, por custo, valor pouco claro ou controle de risco inadequado, e estimou que apenas cerca de 130 dos milhares de fornecedores que se dizem agênticos entregam capacidade real. O instituto chama a diferença de agent washing.

Os números conversam. Os projetos que sobrevivem tendem a ser os que sabem responder, para cada classe de decisão, quanto ela pode custar, quem responde por ela e como desfazê-la. A matriz abaixo organiza essa conversa pela reversibilidade e pelo impacto financeiro de cada ação.

Autonomia é um orçamento de risco, e todo orçamento tem dono.

O ponto de partida técnico está nos fundamentos de IA para supply chain, que explicam por que o cálculo do plano deve ficar com um motor determinístico e a linguagem com o modelo. O passo seguinte é o Agent Harness, a camada que filtra contexto, chama o motor e registra cada decisão do agente.

Perguntas frequentes