A OpenAI iniciou no início de maio um experimento que mudaria o rumo do setor de tecnologia — alarmante por ser fruto de decisão deliberada. Hackers internos receberam um repto de cibersegurança para testar seus limites e conseguiram contornar restrições e colaborar entre si por vários dias.

Mas os “hackers” eram agentes de IA —softwares capazes de executar tarefas cognitivas sem mediação humana, desenvolvidos com uma combinação de modelos, incluindo um ainda não lançado.

No mês pretérito, os agentes escaparam de um envolvente de testes sem internet, vasculharam a web oportunidade e invadiram os sistemas da plataforma Hugging Face —sem conhecimento humano. Também se comunicaram e cooperaram, deixando mensagens em um fórum interno criado por eles mesmos, compartilhando vulnerabilidades de código para ajudar na fuga.

Os detalhes desencadearam uma tempestade entre especialistas, e pesquisadores da OpenAI classificaram o incidente porquê um “divisor de águas”. A divulgação provocou descobertas semelhantes: Anthropic, Meta, a start-up chinesa Moonshot e o Instituto de Segurança de IA britânico encontraram indícios de agentes invadindo sistemas de terceiros durante testes.

Especialistas entrevistados pelo FT afirmam que as violações marcam uma viradela na cibersegurança global —os agentes agora combinam habilidades complexas para lutar alvos reais, sem controle extrínseco, com estratégias de dissimulação e roubo que surpreenderam até quem acompanha de perto a evolução dos modelos.

Os pesquisadores enfatizam que os modelos não agem de forma incompatível com sua natureza —destacam-se justamente nas tarefas para as quais foram desenvolvidos. Chamá-los de “fora de controle” seria um erro conceitual, o que torna ainda mais importantes salvaguardas eficazes.

“As capacidades ofensivas que alcançamos hoje foram alcançadas de forma deliberada”, afirma Boyan Milanov, do AI Now Institute. “As empresas de IA vêm há anos coletando ativamente dados de treinamento, treinando modelos e aperfeiçoando capacidades cibernéticas.”

Os modelos são projetados para tentar todos os métodos possíveis para inferir um objetivo sem instruções explícitas, o que os torna imprevisíveis —e são recompensados quando obtêm sucesso, no chamado estágio por reforço. No “desalinhamento”, a traço entre um padroeiro da cibersegurança e um hacker perigoso fica cada vez mais tênue.

“O incidente com a Hugging Face mostrou que subestimamos as capacidades cibernéticas de nossos modelos de IA no mundo real”, escreveu Greg Brockman, presidente da OpenAI. “Estamos reforçando nossos requisitos de segurança de convenção com essa constatação.”

DOIS LADOS DA MESMA MOEDA

A capacidade da IA de ortografar códigos disparou conforme a tecnologia ficou mais apta a raciocinar, trazendo habilidades de identificar e explorar falhas em softwares.

“Programação e cibersegurança são dois lados da mesma moeda —conforme as capacidades de programação aumentaram, as capacidades cibernéticas também cresceram”, afirma Dawn Song, professora em Berkeley e gerente de pesquisa em IA na Meta. “As pessoas não esperavam que chegássemos a esse ponto tão depressa.”

Song, cocriadora do benchmark ExploitGym, usado por OpenAI, Anthropic e Google, explica que a assimetria entre ataque e resguardo torna os sistemas de IA particularmente bons porquê atacantes: encontrar uma vulnerabilidade é tarefa verificável, mais adequada à IA do que o trabalho difuso de resguardo.

Posteriormente a invasão, a OpenAI diz estar treinando seus modelos para ortografar “código seguro em nível sobrenatural”. No pequeno prazo, especialistas esperam que os sistemas de IA ampliem a graduação dos ataques, ameaçando caos nos sistemas de TI mundiais até que correções sejam implementadas.

“Se extrapolarmos a partir daqui, quem está dentro dos laboratórios prevê alguns anos de grande intensidade, em que sistemas serão invadidos, muitas empresas serão destruídas e haverá muito sofrimento em potencial”, afirma Jeffrey Ladish, ex-pesquisador da Anthropic e diretor da Palisade Research. “O projecto é que teremos de encarregar nos agentes de IA […] e esperar que estejam alinhados com aquilo que queremos.”

A semana passada trouxe o primeiro ataque espargido de agentes de IA contra um Estado-nação: hackers ligados à China usaram até oito agentes autônomos simultaneamente contra o governo taiwanês, mapeando sistemas, comprometendo contas e extraindo mais de 2.500 registros de funcionários, antes de atingir empresas de robustez e a escritório de segurança nuclear de Taiwan.

Ladish afirma que funcionários de laboratórios já alertavam sobre isso um ano detrás: “Eles disseram: em um ano, teremos modelos extremamente bons em encontrar (novas) vulnerabilidades e que destruirão uma enorme quantidade de infraestrutura.”

A invasão da Hugging Face foi incomum por envolver fuga de um envolvente restrito. Na maioria dos outros incidentes, a Irregular, empresa que testou modelos para Anthropic, Meta e OpenAI, permitiu por acidente entrada à internet, por erro humano ou “irregularidade de notícia” com os laboratórios.

A Anthropic afirmou que testes de capacidade são feitos deliberadamente sem as salvaguardas públicas, que “teriam bloqueado os comportamentos identificados”, mas reconheceu que isso “só é seguro se a avaliação for devidamente contida”. O instituto britânico também deu entrada à internet nos testes dos modelos Mythos 5 e GPT5.6 Sol. Em um teste, o agente Mythos tentou inserir código malicioso em um projeto no GitHub, criando identidades falsas para pressionar o responsável a subscrever o código.

A Irregular e o instituto britânico suspenderam o entrada à internet em seus testes; o instituto iniciou estudo interna dos métodos de avaliação. A OpenAI conduz uma “estudo minuciosa, com a participação de consultores externos”, prometendo propalar resultados nas “próximas semanas”.

“Quanto mais conservadora for a feitio, mais fácil será isolar esses testes”, diz a pessoa a par dos incidentes na Irregular. “Mas, se formos restritivos demais, a maioria dos problemas só será invenção em seguida a implementação no mundo real. Isso seria um mundo pior para você.”

CONTENÇÃO DOS RISCOS

No mês pretérito, mais de 1.300 especialistas alertaram para os riscos do desenvolvimento descontrolado da IA, pedindo esforço internacional para desacelerar novos modelos e dar tempo a reguladores. Entre os signatários, Dario Amodei, CEO da Anthropic, e Shane Legg, cientista-chefe de AGI do Google DeepMind, atribuíram às pressões competitivas e geopolíticas o ritmo implacável da IA de fronteira.

O senador Bernie Sanders pediu uma pausa na geração de sistemas de IA mais poderosos, “no interesse da humanidade” —medida que exigiria convenção entre EUA e China, considerado irrealista.

Na privação de paralisação ou mecanismo universal de desligamento, especialistas defendem responsabilizar os fornecedores de IA pelo comportamento de seus sistemas. “Considero bastante inacreditável que a OpenAI tenha levado vários dias para perceber que seu padrão estava atacando outro site”, afirma Thorsten Holz, codesenvolvedor do ExploitGym. “Precisamos de um mecanismo no qual a divulgação de ataques realizados por IA não dependa unicamente da transparência voluntária dos laboratórios.”

Holz, do Instituto Max Planck, cita os setores de aviação e saúde, onde organizações independentes recebem relatos confidenciais de incidentes: “Precisamos de meios para que universidades, institutos de segurança pública e avaliadores independentes tenham entrada aos modelos e possam testá-los sob condições controladas.”

Song argumenta que os sistemas de IA precisam ser treinados para se alinhar melhor às expectativas humanas: “Precisamos mostrar a eles que há maneiras corretas de inferir um objetivo e maneiras inaceitáveis… porquê explorar e comprometer plataformas de terceiros.”

O governo Trump sinalizou oposição a regulamentação rigorosa nos EUA, criando um sistema voluntário de testes até 30 dias antes do lançamento —regime semelhante ao britânico. Mas Heidy Khlaaf, engenheira responsável pelas avaliações cibernéticas do instituto britânico, diz que os incidentes demonstram os limites do sistema atual: “Esta é uma prova clara de que os processos voluntários de auditoria dos laboratórios de IA são inadequados”, afirma.

A engenheira argumenta que, se especialistas em segurança cibernética podem ser responsabilizados social e criminalmente por realizar ataques contra qualquer infraestrutura, é preciso discutir seriamente por que os laboratórios de IA estão isentos dessa responsabilidade.

Khlaaf ressalta que, em todos os casos exceto o da Hugging Face, “o entrada à internet estava, de indumentária, disponível, o que demonstra que não houve fuga de agentes, mas sim incapacidade de infligir métodos básicos de segurança”. E conclui: “Esses modelos não estão ‘escapando’ nem agindo por conta própria.”