IA com critério

Uma empresa pode esquecer por que toma suas decisões?

Andrea Montes5 min de leitura

Uma empresa poderia chegar a um ponto em que já não sabe por que toma determinadas decisões? À primeira vista parece difícil: nunca tivemos tanta capacidade de registrar o que acontece dentro de uma organização. Mas existe uma possibilidade menos evidente: que aconteça exatamente o contrário.

À medida que entregamos a diferentes agentes a capacidade de observar, decidir e agir, uma decisão pode deixar de acontecer em um único lugar. O que um agente decide modifica o contexto do seguinte. A organização continua tomando decisões, possivelmente melhores e mais rápidas, mas a razão que as produziu começa a ficar espalhada entre sistemas.

Poderíamos construir empresas capazes de registrar cada ação e, ao mesmo tempo, incapazes de explicar com clareza algumas de suas próprias decisões.

A genealogia de uma decisão

Às 9h17 de uma terça-feira qualquer, um agente decide subir o preço de um produto. A mudança está dentro das margens autorizadas; ninguém recebe um alerta. Catorze minutos e cinco decisões depois, nenhuma reunião tinha sido convocada, e dois dias depois os resultados eram bons.

Catorze minutos, cinco decisões, nenhuma reunião:

  • 9:17 Pricing sobe o preço
  • 9:18 Promoção é reduzida
  • 9:21 Previsão de demanda muda
  • 9:24 Estoque ajusta a reposição
  • 9:31 Compras modifica um pedido

Durante a reunião comercial, alguém olha o dashboard e pergunta: «Por que subimos o preço?». A equipe volta pela cadeia até se deparar, de forma absurda, de novo com o pricing. Não há erros. Cada agente agiu dentro das suas permissões. Eles sabem exatamente o que aconteceu. O que não conseguem explicar com a mesma facilidade é por que a empresa decidiu fazer isso. E a decisão foi boa.

1. Quem tomou a decisão?

Durante anos, automatizar significou fazer uma máquina executar uma decisão definida previamente por alguém. A decisão tinha uma origem reconhecível. A IA agêntica modifica essa relação: quando vários agentes participam de um mesmo processo, as decisões de uns passam a fazer parte do contexto sobre o qual os outros decidem.

O pricing executou a mudança de preço, mas reagiu a uma informação que outro sistema tinha modificado. Cada agente tomou uma decisão local razoável, e nenhuma delas, isoladamente, contém a explicação completa do resultado. Ninguém tomou aquela decisão tal como ela finalmente aconteceu. A empresa, sim.

Decisão órfã: uma decisão organizacional que emerge de várias decisões agênticas legítimas, mas cuja racionalidade completa não pertence a nenhum dos atores que participaram dela.

2. O sistema passou na auditoria

O que o sistema fez? Temos a resposta. Quem executou cada ação? Também. Estava autorizado? Sim. Funcionou? Sim. Por que a organização acabou tomando essa decisão? Aí a resposta começa a complicar. Rastreabilidade e compreensão costumam aparecer muito próximas quando falamos de controle, mas não são equivalentes: os registros guardam acontecimentos, enquanto compreender uma decisão exige reconstruir as relações entre eles.

3. O problema pode estar entre os agentes

No exemplo, não encontraríamos o problema inspecionando melhor o agente de pricing, nem o de estoque, nem o de compras. O fenômeno está entre eles: a demanda muda um forecast, o estoque o interpreta, o pricing muda um preço, o marketing modifica uma promoção, e essa promoção volta a afetar a demanda. Cada passo pode fazer sentido localmente e, mesmo assim, a razão do resultado pode ficar distribuída por todo o sistema.

O pricing busca proteger margem, o estoque reduzir rupturas de stock, o marketing maximizar conversão, compras otimizar custos. Não há nada de estranho nesses objetivos: o problema aparece quando eles interagem e competem.

  • Pricing: proteger margem
  • Estoque: reduzir rupturas
  • Marketing: maximizar conversão
  • Compras: otimizar custos

4. Do log à genealogia

A genealogia de uma decisão reconstrói quais evidências, objetivos e decisões anteriores tornaram possível uma decisão posterior. Um log permite perguntar o que aconteceu antes; a genealogia deveria permitir reconstruir por que aquilo que aconteceu antes acabou produzindo esta decisão e não outra. Não se trata de pedir a cada agente que escreva um ensaio justificando suas ações: o que interessa preservar é a estrutura relevante: evidência, objetivos, dependências, mudanças e consequências.

5. O humano precisa de algo mais do que a palavra final

Uma resposta frequente diante do risco de automatizar decisões é manter uma pessoa no circuito. Mas imagine a pessoa que recebe o alerta depois que vinte agentes tomaram centenas de decisões relacionadas nas últimas seis horas: tecnicamente, ela continua tendo a palavra final, mas na prática acabou de receber um problema cuja história ela não viveu.

Em 1983, Lisanne Bainbridge descreveu uma das ironias da automação: quanto mais se automatiza uma operação normal, mais se pode depender do humano justamente nas situações anormais para as quais ele está menos preparado. Por isso, devolver uma decisão a uma pessoa não garante, por si só, controle humano. É preciso devolver também o contexto.

6. O que vamos auditar amanhã?

À medida que os agentes passarem de executar tarefas a participar de decisões conectadas, teremos que ampliar o que entendemos por controle. A unidade de controle deixa de ser apenas o agente: passa a ser também a decisão que circula entre eles. Talvez as organizações acabem auditando a genealogia das suas decisões com a mesma naturalidade com que hoje auditam processos, transações ou modelos.

Não apenas poder demonstrar que seus agentes agiram corretamente, mas continuar sabendo por que a organização decidiu o que decidiu.

Fontes

  • Bainbridge, L. (1983). «Ironies of Automation». Automatica, 19(6), 775–779.
  • Berberian, B. (2018). «Out-of-the-loop Performance Problem». Neuroergonomics, cap. 75.
  • Zhu, J. et al. (2026). «Interpreting Agentic Systems». arXiv:2601.17168.
  • NASA. «Crew Interfaces», Human Integration Design Handbook.

Publicado originalmente en LATAMIA N.º 2, la revista de Comunidad IA LATAM.

Acontece com você? Com Organizar seus dados revisamos de onde sai cada número e o que não bate.