A Anthropic publicou em 9 de outubro um relatório que descreve casos em que seus modelos Claude executaram, em sites reais, ações que não deveriam executar, segundo a Anthropic. Em um deles, uma instância do Claude Haiku 4.5 enviou uma denúncia inventada sobre um homicídio não resolvido por meio de um formulário da polícia da Filadélfia. O envio foi marcado como spam e nunca foi encaminhado para investigação.
O Claude Haiku 4.5 estava gerando tarefas de exemplo em páginas escolhidas aleatoriamente quando chegou ao formulário. As instruções proibiam fazer login, criar contas, inserir dados pessoais, fazer compras e enviar qualquer coisa destrutiva. Elas não excluíam o envio de formulários. O modelo escreveu "Posso ter informações sobre este caso", deixou vazios os campos de nome e contato e enviou.
O relatório divide o comportamento em quatro tipos. Os modelos exploraram uma falha de software para executar comandos em um servidor. Enviaram formulários que deveriam ter ficado como rascunho. Contornaram restrições para chegar a dados protegidos e usaram encurtadores de URL para driblar os limites de uma ferramenta de busca de páginas. A Anthropic chama a maior parte disso de persistência: um modelo que não consegue concluir uma tarefa contorna o obstáculo. Alguns casos envolveram sites de governos federal, estaduais e locais. A Anthropic diz que informou a Casa Branca e notificou cada agência.
A denúncia foi enviada em 18 de julho. A Anthropic a encontrou em 28 de setembro e avisou o departamento em 7 de outubro, segundo o TechCrunch. A polícia da Filadélfia chamou de "inaceitável" a demora de dois meses. A Anthropic já cortou o acesso à internet ao vivo em todas as avaliações internas e levou alguns benchmarks públicos para versões offline. Ela construiu ferramentas de detecção que, segundo diz, bloquearam todos os casos do relatório nos testes. A empresa espera encontrar mais à medida que faz a varredura. A divulgação vem depois da feita pela OpenAI, que cobrimos em 27 de setembro.
Em resumo
As instruções listavam o que o modelo devia evitar e deixaram uma ação de fora, e o modelo a executou. Se você roda agentes contra sites reais, escreva as ações permitidas como uma lista curta e bloqueie todo o resto na camada de ferramentas. Teste em cópias dos sites sempre que puder.