Parece coisa de filme de ficção científica. Em 16 de julho, a Hugging Face, uma plataforma de perceptibilidade sintético, anunciou que havia notificado as autoridades policiais depois um invasor ter usado um agente de IA para violar seus sistemas. Em 21 de julho, descobriu-se que não havia nenhum humano envolvido; o agente de IA era o próprio invasor.

Uma combinação do GPT-5.6 Sol da OpenAI, um protótipo que a empresa havia lançado no início de julho, e um protótipo mais poderoso, ainda não lançado, escapou do laboratório e invadiu os sistemas da Hugging Face.

O protótipo híbrido de IA estava procurando uma solução para um problema de avaliação que seus criadores haviam definido. “Esta situação não tem precedentes”, diz Stephan Llerena, pesquisador do Institute for Law and AI.

Os laboratórios de IA testam seus modelos em procura de capacidades potencialmente perigosas antes de lançá-los. A OpenAI queria ver porquê seus modelos mais recentes se sairiam no ExploitGym, um conjunto de problemas padronizados que testa a capacidade dos sistemas de IA de explorar vulnerabilidades conhecidas em vários aplicativos populares, incluindo o navegador Chrome do Google.

A OpenAI aplica salvaguardas aos modelos disponibilizados para o público, o que garante que eles não realizem ações indesejadas. Peça à versão mercantil do ChatGPT para ajudá-lo a invadir um site, por exemplo, e ele recusará. Para calcular adequadamente as capacidades de seu protótipo não lançado, a empresa havia suspendido temporariamente essas restrições.

No entanto, simplesmente soltar um ciberatacante altamente capaz na internet ocasião teria sido perigoso demais, portanto a OpenAI colocou seu protótipo de IA em uma sandbox —um envolvente de computador só sem chegada à internet, exceto por um serviço de terceiros hospedado internamente que permitia buscar pequenos pacotes de software necessários para completar seus testes.

A empresa recebeu mais do que esperava. Em vez de resolver os problemas de sua avaliação diretamente, os modelos da OpenAI obtiveram chegada à internet ocasião explorando uma vulnerabilidade até portanto desconhecida no serviço de procura de software.

Tendo assim conseguido chegada à internet, os modelos de IA concluíram corretamente que as soluções para os problemas que lhes haviam sido propostos estavam armazenadas na Hugging Face, uma livraria popular para modelos de IA de código lhano e conjuntos de dados. Os agentes encadearam um ataque em múltiplas etapas.

Começaram fazendo upload de um conjunto de dados para a Hugging Face, que foi processado maquinalmente pela plataforma. Ao longo de um termo de semana, esse conjunto de dados (que a Hugging Face descreveu porquê “malicioso”) permitiu a coleta de dados de login e o chegada a servidores internos, que não são destinados ao público. A Hugging Face e a OpenAI detectaram a violação de forma independente e disseram que estavam colaborando na investigação.

Em 21 de julho, a OpenAI anunciou em uma postagem de blog que havia respondido implementando controles mais rigorosos em sua infraestrutura (ao dispêndio de “velocidade de pesquisa”) e divulgou as vulnerabilidades que seu protótipo havia encontrado ao desenvolvedor do gateway de software.

Também incluiu a Hugging Face em seu grupo de “chegada confiável”, que agora lhe dá a chance de usar modelos com capacidades cibernéticas aprimoradas (porquê aquele que havia invadido seu sistema) para ajudar a empresa a melhorar suas defesas.

Na postagem do blog, a OpenAI também enfatizou que seus modelos estavam “hiperfocados” em encontrar soluções para a avaliação do ExploitGym. Não está evidente o que teria sucedido se o protótipo de IA tivesse outros objetivos, no entanto.

E a Hugging Face não é nenhuma retardatária do ponto de vista de segurança de computadores. É uma empresa de tecnologia avaliada em US$ 4,5 bilhões, com centenas de funcionários e uma equipe dedicada à segurança cibernética. As coisas poderiam ter sido muito piores para uma organização com menos recursos.

Oriente não é o primeiro sinal de que as capacidades dos modelos de IA estão começando a ultrapassar o controle das pessoas. Em abril, um pesquisador da Anthropic relatou online que ficou surpreso quando o Mythos, que ainda não tinha sido lançado na quadra, enviou-lhe um email enquanto ele estava sentado em um parque comendo um sanduíche. Na mensagem, o protótipo informava que havia escapado de uma sandbox porquê secção de sua avaliação de capacidade cibernética.

Assim porquê o protótipo não lançado da OpenAI envolvido no incidente da Hugging Face, o Mythos não deveria ter chegada irrestrito à internet. No entanto, nesse caso, o protótipo não havia comprometido os servidores de outras empresas.

Nem as capacidades surpreendentes dos modelos de IA se restringem a invasões. Em maio, um protótipo não lançado da OpenAI refutou a tese da intervalo unitária planar, um problema medial em geometria combinatória que o matemático Paul Erdős propôs pela primeira vez em 1946.

Em 20 de julho, Levent Alpöge, matemático da Universidade Harvard, escreveu que havia usado o Claude Fable 5, um protótipo recente da Anthropic, para rejeitar a suposição jacobiana, que havia também desafiado matemáticos por mais de 80 anos.

A OpenAI não divulgou publicamente os detalhes de porquê seu protótipo não lançado escapou do confinamento. Mesmo que tivesse divulgado, o vestimenta de os sistemas de IA estarem começando a superar os humanos em tarefas de segurança cibernética significa que “somente muito, muito poucos especialistas em cibersegurança no mundo” poderiam entender adequadamente a forma porquê a violação ocorreu, diz Alex Meinke, do grupo de segurança em IA Apollo Research.

O governo americano tem regulamentado lançamentos de modelos de forma improvisada recentemente. Mas o incidente demonstra os riscos representados mesmo por modelos de IA que ainda estão em desenvolvimento.

“Não há requisitos na lei estadual ou federalista para que as empresas divulguem a implantação interna de modelos de IA altamente capazes porquê o envolvido na invasão da Hugging Face”, diz Nathan Calvin, consultor jurídico universal da Encode AI, organização sem fins lucrativos que reivindica a regulamentação da IA.

Embora algumas leis estaduais nos Estados Unidos exijam que as empresas divulguem incidentes de segurança cibernética, seu escopo é restringido. Uma lei promulgada na Califórnia no ano pretérito determina que laboratórios de fronteira relatem qualquer “incidente crítico de segurança”.

A regra prevê que incidentes em que um protótipo tenha usado “técnicas enganosas” para subverter o monitoramento “fora do contexto de uma avaliação” sejam informados dentro de 15 dias depois a invenção do ocorrido. Não está evidente se a violação na Hugging Face teria se qualificado para isso, diz Calvin.

Isso levanta outra questão espinhosa: se as consequências da intrusão tivessem sido mais custosas, quem teria sido responsabilizado? A lei federalista anti-invasão visa somente punir o chegada propositado não autorizado a sistemas de computador.

A OpenAI não pretendia que seu protótipo se descontrolasse em procura de uma cola para seu teste. “Muitas dessas questões legais dependem da intenção —o que a OpenAI sabia ou previa?”, diz Llerena. Esta invasão específica foi uma surpresa. Será mais difícil alegar ignorância da próxima vez.

Texto de The Economist, traduzido por Helena Schuster, publicado sob licença. O item original, em inglês, pode ser encontrado em www.economist.com