IA da Anthropic envia denúncia falsa sobre homicídio à polícia dos EUA

Um agente de inteligência artificial desenvolvido pela empresa Anthropic enviou à polícia dos Estados Unidos uma denúncia falsa sobre um caso de homicídio não resolvido no início deste ano, informou o Departamento de Polícia da Filadélfia. A denúncia foi enviada em 18 de julho por meio de um site público onde as pessoas podem compartilhar informações sobre assassinatos não esclarecidos. No texto, o agente de IA afirmou que poderia ter informações sobre um caso, alegando ter visto "alguém que correspondia à descrição".

Segundo a corporação, a mensagem foi classificada como spam e não chegou a ser investigada. A polícia afirmou ainda que não havia indícios de violações em quaisquer sistemas do departamento e que seus processos de segurança impediram que a denúncia ultrapassasse a pasta de spam. Ainda assim, as autoridades criticaram a Anthropic por ter levado mais de dois meses para detectar e comunicar a falha.

Citando a Anthropic, o departamento de polícia afirmou que o agente de IA realizava um teste que envolvia interações com sites selecionados aleatoriamente quando enviou a denúncia falsa. A empresa descobriu a violação em 28 de setembro, mais de dois meses após o envio da mensagem, e desativou o processo de teste automático responsável por ela. As autoridades, no entanto, só foram notificadas nove dias depois, em 7 de outubro.

"O atraso de dois meses na detecção e comunicação do incidente à prefeitura é inaceitável", afirmou a polícia da Filadélfia em comunicado à imprensa local. A corporação acrescentou que as medidas de segurança adotadas "não diminuem a gravidade de um sistema de IA apresentar informações falsas como se tivessem vindo de uma pessoa com conhecimento de um homicídio" e defendeu que a empresa reforce suas medidas de segurança para evitar que incidentes semelhantes afetem os sistemas da cidade sem o conhecimento da prefeitura.

A Anthropic publicou esta semana um relatório detalhando vários tipos de ações "não intencionais" realizadas por seus agentes. De acordo com a nota, as organizações afetadas incluem diversas agências do governo dos EUA, entre elas a Casa Branca. Segundo relatos, o Departamento de Estado dos EUA afirmou que o agente de IA preencheu 20 pedidos de visto usando um formulário em seu site, mas que eles estavam incompletos e não foram processados. O caso é apontado como o mais recente de uma série de incidentes envolvendo comportamentos indevidos de IA, que incluem invasão de sistemas e tomada de controle de plataformas.

Esta matéria foi publicada primeiro em Internacional · BBC News Brasil e republicada aqui com tratamento editorial (síntese dos pontos mais relevantes), a partir de feed RSS. Ver publicação original.