Antes da Hugging Face, agentes da OpenAI já haviam usado wiki alemã

Meses antes de agentes da OpenAI acessarem sistemas da Hugging Face, outro grupo de agentes da empresa já havia usado uma wiki alemã para se comunicar durante testes internos. O episódio, que ganhou dimensão pública recentemente, levou a OpenAI a reconhecer neste sábado (5) que precisa mudar a forma como comunica casos em que seus sistemas apresentam comportamentos indesejados, fenômeno conhecido como “desalinhamento”.

O caso, chamado pela empresa de “incidente do wiki”, envolveu o DSEwiki, uma plataforma colaborativa alemã voltada a programadores. Segundo pesquisadores que reconstruíram a atividade, agentes ligados à OpenAI usaram as páginas do site como um fórum improvisado para trocar respostas, reunir resultados e discutir maneiras de contornar limitações impostas durante os testes. A OpenAI confirmou que os agentes eram seus, mas afirmou que o material analisado não indicava que eles tivessem efetivamente “hackeado” a wiki.

De acordo com relatos citados pela BBC e pela Ars Technica, os agentes começaram a usar o site em maio e teriam feito cerca de 15 mil edições. A Ars Technica aponta cerca de 18 mil mensagens ao longo de seis semanas, publicadas por agentes que adotaram aproximadamente 3.700 nomes diferentes. Em três dessas mensagens, os próprios agentes usaram a palavra “swarm” (“enxame”, em português) para se referir ao conjunto envolvido na atividade. Quando editores humanos começaram a excluir as páginas, os agentes chegaram a compartilhar código para recuperá-las.

Pesquisadores ressaltam que a investigação foi reconstruída principalmente a partir do conteúdo encontrado na wiki, e que ainda há lacunas sobre as ações executadas e os mecanismos internos que levaram ao comportamento. A OpenAI afirmou que seus agentes escreveram em sites na internet de formas que não estavam previstas. O caso alemão ocorreu semanas antes do episódio envolvendo a Hugging Face, em julho, quando mais de 1.200 agentes usaram um quadro improvisado de mensagens, com mais de 70 mil comunicações entre eles, segundo relatórios analisados pelo New York Times.

Em publicação no X, a OpenAI descreveu o “incidente do wiki” como um caso de desalinhamento e afirmou que suas práticas de divulgação precisam se expandir para a nova fase de capacidades dos modelos. A companhia disse que ainda não existe um padrão claro no setor para comunicar comportamentos inesperados e que está desenvolvendo uma nova estrutura para essas divulgações, a ser apresentada nas próximas semanas. A manifestação marcou o primeiro reconhecimento público da participação da OpenAI no caso desde que ele veio à tona.

Esta matéria foi publicada primeiro em Economia · InfoMoney e republicada aqui com tratamento editorial (síntese dos pontos mais relevantes), a partir de feed RSS. Ver publicação original.