O engenheiro da Anthropic que alertou para o risco de a IA exterminar a humanidade

Um dos principais pesquisadores de segurança da Anthropic, Evan Hubinger, afirmou que a inteligência artificial avança rápido o suficiente para que exista, na avaliação dele, mais de 10% de chance de a tecnologia "possa matar todos os humanos" na próxima década. Em publicação no X, ele disse que o risco representado pelos modelos atuais é "baixo", mas se declarou "preocupado" com a possibilidade de a tecnologia se desenvolver e melhorar a si mesma em breve a ponto de se tornar um risco existencial para a humanidade.

Formado em Matemática e Ciência da Computação pelo Harvey Mudd College, Hubinger passou pelo MIRI (Machine Intelligence Research Institute) e pela OpenAI, onde trabalhou em pesquisa de segurança de IA. Ele não explicou como acredita que sistemas de inteligência artificial poderiam, no futuro, levar à extinção da humanidade. A manifestação foi uma resposta a outra publicação no X, feita por Jacob Coxon, pesquisador de IA que acaba de deixar a Anthropic e que já trabalhou na OpenAI. "Nenhuma das duas empresas está agindo de forma responsável", escreveu Coxon, segundo o texto. "Em breve, serão sistemas que superam os humanos em capacidade, capazes de invadir qualquer coisa, revolucionar qualquer área da noite para o dia e adquirir poder e recursos reais."

Dame Wendy Hall, cientista da computação que assessora a ONU sobre IA, disse à BBC ter ficado "chocada" com as publicações de Hubinger e Coxon nas redes sociais. Ela afirmou ao programa World at One, da BBC Radio Four, que parte disso poderia ser "relações públicas e marketing", enquanto Anthropic e OpenAI corriam para realizar suas aguardadas estreias no mercado de ações. "Por que alguém iria querer dizer isso? Eu pediria aos investidores que não investissem nesta empresa se esse for o sistema de valores dela", acrescentou.

A renúncia de Coxon levou Darren Jones, ex-secretário-chefe do Tesouro e ex-secretário-chefe de Sir Keir Starmer, a escrever uma carta aberta ao primeiro-ministro Andy Burnham pedindo um novo tratado multinacional para o desenvolvimento seguro da IA. Ele disse à BBC que os governos precisavam se unir para "colaborar" na definição de como deveria ser um tratado baseado no desenvolvimento da superinteligência. "A menos que os governos levem esses alertas suficientemente a sério e ajam, o ritmo do desenvolvimento pode fazer com que acabemos enfrentando problemas antes mesmo de começarmos a avaliar se isso é ou não uma questão para nós", afirmou.

Na publicação, visualizada mais de 10 milhões de vezes, Hubinger disse que "realmente acreditamos, de forma sincera" que a IA representa um risco de extinção da espécie humana. "Acredito que a Anthropic está fazendo o melhor que pode, mas ainda não temos um plano para resolver o problema do alinhamento da superinteligência e não estamos claramente no caminho para isso", acrescentou. Ele trabalha com alinhamento de IA, área que busca incorporar à tecnologia ideias e princípios éticos humanos. O texto afirma que muitos pesquisadores de destaque dizem que essas tentativas parecem estar fracassando, como demonstrado por uma série de incidentes em que agentes de IA realizaram ataques cibernéticos, divulgados por OpenAI, Anthropic e Meta.

Esta matéria foi publicada primeiro em Internacional · BBC News Brasil e republicada aqui com tratamento editorial (síntese dos pontos mais relevantes), a partir de feed RSS. Ver publicação original.