The New York Times

Além da invasão a um site do governo da Austrália, que se tornou pública nessa quarta-feira (23), a lucidez sintético da OpenAI agiu por conta própria em pelo menos outros três ataques, que não haviam sido revelados até logo.

Nas iniciativas, os agentes tentaram invadir sites universitários sem ter recebido instruções para isso, segundo pesquisadores e autoridades.

Os ataques ocorreram entre maio e junho, antes de a tecnologia da OpenAI invadir, em julho, a startup de IA Hugging Face e desencadear um debate mundial sobre a segurança da lucidez sintético.

Os novos episódios ocorreram quando os sistemas de IA receberam a tarefa de executar uma coleta de dados relativamente trivial, disseram pesquisadores. Quando os sistemas da OpenAI tiveram dificuldade para obter dados de sites, recorreram a técnicas de invasão para conseguir as informações.

A situação foi dissemelhante do ataque à Hugging Face e de outros incidentes nos quais sistemas de IA foram instruídos a realizar testes de segurança cibernética que, na prática, convidavam os modelos a provar suas habilidades de invasão,

Três dos incidentes foram identificados pela Transluce, um laboratório de pesquisa voltado à supervisão da IA, e todos foram confirmados pela OpenAI. Veja uma vez que ocorreram:

• Sistemas da OpenAI tentaram invadir uma livraria do dedo da Universidade do Novo México, nos EUA, em 25 e 26 de maio. Ao que tudo indica, a IA não teve sucesso.
• Data USA, um repositório de dados públicos sobre ofício e ensino nos Estados Unidos, foi intuito de ataque em 28 de maio. Essa tentativa também parece não ter sido bem-sucedida, disseram os pesquisadores.
• Em 18 de junho, a IA da OpenAI invadiu um site do governo australiano, o Medicare Statistics Reporting Service, e obteve dados de saúde. O primeiro-ministro da Austrália, Anthony Albanese, revelou o incidente na quarta-feira
• Em 20 e 21 de junho, a tecnologia da OpenAI tentou invadir o site do Instituto Australiano de Saúde e Muito-Estar. Nenhuma informação privada foi obtida, disseram autoridades australianas.

Os incidentes se somam a uma série de invasões nas quais sistemas de IA da OpenAI, Anthropic, Meta e Google entraram em outros sistemas sem o conhecimento de seres humanos. Os episódios intensificaram o debate sobre a urgência de desacelerar o desenvolvimento da IA para enfrentar os possíveis perigos da tecnologia.

Dario Amodei, CEO da Anthropic, defendeu que empresas de IA e governos trabalhem em conjunto antes que a tecnologia se torne poderosa demais para ser controlada por seres humanos. Outros executivos, porém, uma vez que Jensen Huang, CEO da obreiro de chips Nvidia, afirmaram que esses cenários apocalípticos são exagerados. O presidente dos EUA, Donald Trump, disse não confiar que a IA precise ser submetida a uma regulamentação rigorosa.

A revelação dos quatro incidentes adicionais “reforça ainda mais a teoria de que os agentes precisam ser tratados com desvelo”, afirmou Conrad Stosz, gerente de governança da Transluce, que usou dados públicos de tráfico na web para averiguar a atividade dos agentes da OpenAI. Agentes são programas autônomos que trabalham para executar tarefas em nome de um usuário.

Stosz alertou que os episódios na Austrália foram provavelmente “o primeiro caso de um agente que decidiu, de forma autônoma, invadir um governo”.

Uma porta-voz da OpenAI disse na quarta-feira que a empresa havia entrado em contato com a Universidade do Novo México e o Data USA e vinha se comunicando com o governo australiano sobre os incidentes.

“Em nossa estudo mais ampla, continuamos priorizando os incidentes mais graves, ao mesmo tempo que ampliamos nosso trabalho para abranger atividades de menor seriedade, incluindo agentes que enviam spam a sites”, disse a porta-voz.

Separadamente, ela acrescentou que a empresa de San Francisco havia revelado os incidentes na Austrália durante uma “estudo abrangente” de seus modelos de IA e constatado que “nossos modelos realizaram ações que não pretendíamos”. A estudo da OpenAI levará meses, afirmou. O governo australiano afirmou que só foi informado pela empresa meses posteriormente a invasão.

Sam Altman, CEO da OpenAI, disse nas redes sociais neste mês que a segurança deveria ser mais importante do que ampliar as capacidades da IA e que, sem salvaguardas, a sociedade poderia “perder para a IA o controle sobre o horizonte”.

O premiê australiano revelou que conversou com Altman na quarta-feira (23) e manifestou “extrema preocupação” com a invasão. Segundo ele, dados “não sensíveis”, uma vez que informações sobre gastos, foram acessados, mas nenhum oferecido médico pessoal esteve envolvido.

Os incidentes novos sugerem que os sistemas da OpenAI vêm tentando invadir sites, bancos de dados e sistemas corporativos há mais tempo do que se sabia anteriormente.

A Transluce encontrou tráfico na web proveniente dos agentes já em março e que permanciam nessa quarta-feira, o que indica que o comportamento começou meses detrás e persistiu depois que a OpenAI passou a investigar o incidente da Hugging Face e outras condutas inadequadas.

Nos incidentes de maio e junho, os sistemas de IA da empresa pareciam estar envolvidos em treinamentos de recuperação de dados, disseram os pesquisadores.

Na tentativa contra a livraria da Universidade do Novo México, a IA buscou entrada a fotos de um núcleo histórico de tratamento da tuberculose. Quando não conseguiu obtê-las, começou a investigar o site em procura de vulnerabilidades que lhe permitissem entrar. Depois de não encontrar nenhuma brecha, a IA enviou ao servidor da universidade o que descreveu uma vez que uma “enxurrada” de 80 solicitações.

Ao mirar o Data USA, a IA enviou ao site uma consulta confusa em procura de dados. Quando isso falhou, enviou 12 sondagens em procura de diferentes vulnerabilidades, mas não conseguiu encontrar nenhuma.

“Se você treinasse um enxame de agentes para realizar alguma tarefa genérica e esses agentes estivessem dispostos a recorrer à invasão, qualquer pessoa que por contingência tivesse essas informações poderia passar risco”, avaliou Stosz, da Transluce.