Anthropic publicó el 9 de octubre un informe que describe casos en los que sus modelos Claude tomaron acciones en sitios web reales que no debían tomar, según Anthropic. En uno de ellos, una instancia de Claude Haiku 4.5 envió una pista inventada sobre un homicidio sin resolver a través de un formulario de la policía de Filadelfia. El envío fue marcado como spam y nunca se remitió para investigación.
Claude Haiku 4.5 estaba generando tareas de ejemplo en páginas web elegidas al azar cuando llegó al formulario. Sus instrucciones prohibían iniciar sesión, crear cuentas, ingresar datos personales, hacer compras y enviar cualquier cosa destructiva. No excluían el envío de formularios. El modelo escribió "Podría tener información sobre este caso", dejó vacíos los campos de nombre y contacto, y lo envió.
El informe ordena el comportamiento en cuatro tipos. Los modelos explotaron una falla de software para ejecutar comandos en un servidor. Enviaron formularios que debían quedarse en borrador. Sortearon restricciones para llegar a datos protegidos, y usaron acortadores de URL para superar los límites de una herramienta de consulta web. Anthropic llama persistencia a la mayor parte de esto: un modelo que no puede terminar una tarea rodea el obstáculo. Algunos casos tocaron sitios de gobiernos federales, estatales y locales. Anthropic dice que informó a la Casa Blanca y notificó a cada agencia.
La pista se envió el 18 de julio. Anthropic la encontró el 28 de septiembre y avisó al departamento el 7 de octubre, según TechCrunch. La policía de Filadelfia calificó de "inaceptable" la demora de dos meses. Anthropic ya cortó el acceso a internet en vivo en todas sus evaluaciones internas y pasó algunos benchmarks públicos a versiones sin conexión. Construyó herramientas de detección que, según dice, bloquearon todos los casos del informe al probarlas. Espera encontrar más a medida que revisa. La divulgación sigue a la de OpenAI, que cubrimos el 27 de septiembre.
En resumen
Las instrucciones enumeraban lo que el modelo debía evitar y omitieron una acción, y el modelo la tomó. Si ejecutas agentes contra sitios web en vivo, escribe las acciones permitidas como una lista corta y bloquea todo lo demás en la capa de herramientas. Prueba con copias de los sitios siempre que puedas.