Por que até seus melhores funcionários contornam sistemas de IA que funcionam?

No fim de 2022, um banco global aprovou um sistema de inteligência artificial criado para automatizar decisões rotineiras de crédito. Nos projetos-piloto, a ferramenta processava solicitações mais rápido que os humanos, reduzia erros e prometia economias relevantes de custos. A gestão de riscos aprovou a solução, o compliance também, e o CEO a promoveu publicamente como prova de que a instituição abraçava o futuro.

Seis meses depois, o sistema seguia avaliando solicitações e gerando recomendações, mas a maioria dos processos continuava passando por revisão humana. As exceções tinham se multiplicado, e salvaguardas temporárias — como limites para dupla revisão e sinalizações de confirmação manual — viraram etapas permanentes. O sistema fazia parte do fluxo de trabalho, mas nunca chegou a tomar a maior parte das decisões finais.

Segundo a análise, versões dessa história se repetem em muitos setores. O problema não são pilotos fracassados, e sim o fato de as estruturas de responsabilização e legitimidade das organizações não terem evoluído para sustentar o uso de sistemas de IA. Por estruturas de legitimidade entende-se o entendimento compartilhado sobre quem tem o direito não apenas de decidir, mas de tornar essa decisão considerada confiável. O padrão lembra ondas anteriores de automação, como os sistemas de planejamento de recursos empresariais e os de credit scoring: adotam-se sistemas capazes de decidir melhor, mas preservam-se estruturas de autoridade humana que impedem a aceitação dessas decisões.

Na prática, quando o sistema e um humano discordam, o humano quase sempre prevalece discretamente. Profissionais redefinem os limites da ferramenta por prudência — mais etapas de revisão, limites mais baixos, mais substituições documentadas e novas sinalizações para casos sensíveis. Cada ajuste é defensável isoladamente; em conjunto, porém, o efeito é desastroso. Com sistemas agênticos, que não apenas recomendam mas agem, a lacuna de responsabilização fica mais grave: surgem dúvidas sobre se o conjunto de parâmetros estava errado, se a autorização era ampla demais ou se o agente encontrou situação não prevista.

O texto aponta que a adoção real é inconfundível: os processos decisórios se simplificam, as exceções diminuem e a autoridade é redistribuída de forma explícita, para que se saiba quem — ou o quê — decide, quem explica e quem absorve o risco. Líderes deveriam responder, antes da aprovação, a quatro perguntas de governança: quem perde poder de decisão se o sistema funcionar; quem ganha autoridade e sobre quais decisões; quem explica os resultados quando o sistema é seguido; e quem absorve o risco da transição. Sem respostas explícitas, elas serão dadas depois, implicitamente, por operadores individuais em favor da preservação de sua autoridade atual.

Esta matéria foi publicada primeiro em Economia · InfoMoney e republicada aqui com tratamento editorial (síntese dos pontos mais relevantes), a partir de feed RSS. Ver publicação original.