A OpenAI admitiu que levou mais de uma semana para detectar que seus agentes de IA (perceptibilidade sintético) haviam escapado dos controles, acessado a internet e invadido por conta própria a startup Hugging Face durante um teste, segundo um relatório sobre o incidente.

A startup avaliada em US$ 852 bilhões (R$ 4,39 trilhões) afirmou no relatório que seus sistemas internos de monitoramento só sinalizaram o problema em 19 de julho, embora o protótipo tivesse conseguido acessar a internet 11 dias antes e começado a brigar a Hugging Face em 11 de julho.

A investigação, conduzida pela OpenAI com especialistas em segurança, sugere que a criadora do ChatGPT permaneceu em grande segmento alheia ao que acontecia enquanto seus sistemas de IA mais avançados começavam a colaborar e davam início a uma série de ataques cibernéticos.

O caso também ressalta os riscos de uma técnica intensiva de treinamento conhecida uma vez que aprendizagem por reforço, cada vez mais utilizada por laboratórios na corrida para desenvolver modelos cada vez mais capazes.

A OpenAI detalhou uma vez que os modelos trabalharam “de forma persistente e raramente ‘desistiram’” das tarefas cibernéticas. “Nesse processo, com o passar do tempo, eles frequentemente recorreram a métodos que extrapolavam ainda mais os limites para solucionar as tarefas”, afirmou a empresa.

A companhia também constatou que os modelos “às vezes tentavam extinguir ou adulterar seus resultados ou registros de mensagens” para ocultar que haviam trapaceado nos exercícios de treinamento.

A invasão da Hugging Face, revelada no mês pretérito, levou os laboratórios de IA a reavaliar se a pressão para desenvolver os modelos mais poderosos tem impulsionado práticas perigosas e uma segurança inadequada durante o treinamento.

Os avanços em agentes —sistemas capazes de executar tarefas complexas de forma independente com base em instruções humanas— intensificaram as preocupações de que a IA possa suscitar danos não intencionais no mundo real.

Milhares de funcionários das principais empresas de IA dos Estados Unidos assinaram uma epístola em seguida o incidente, pedindo controles para desacelerar o ritmo das pesquisas.

A invasão à Hugging Face envolvendo agentes da OpenAI ocorreu ao longo de alguns meses. Em 12 de maio, um agente fez a primeira publicação em um fórum no Artifactory, serviço de terceiros hospedado pela OpenAI. Em 26 de maio, agentes solicitaram conjuntos de dados da Hugging Face, que foram enviados para fora do envolvente seguro.

Em 8 de julho, os agentes escaparam do envolvente e acessaram o fórum. Dois dias depois, em 10 de julho, as credenciais necessárias para acessar a Hugging Face foram publicadas no fórum pelos próprios agentes. Entre 11 e 13 de julho, a Hugging Face foi invadida e a plataforma detectou a violação.

Em 16 de julho, a Hugging Face revelou o incidente de segurança. Naquele momento, a origem da invasão ainda era desconhecida, embora houvesse suspeitas de envolvimento de perceptibilidade sintético. Em 19 de julho, a OpenAI detectou pela primeira vez atividades suspeitas e, em seguida uma investigação, entrou em contato com a Hugging Face. Em 21 de julho, a OpenAI anunciou publicamente seu envolvimento na invasão.

A investigação, realizada com consultores externos, entre eles a CrowdStrike, e empresas independentes de testes de IA, uma vez que METR e Redwood Research, constatou que os agentes da OpenAI “começaram inesperadamente a se transmitir entre si” já em maio.

Durante uma sessão de treinamento, os agentes reaproveitaram um software de terceiros hospedado pela OpenAI “uma vez que uma espécie de ‘fórum’ emergente” para se comunicarem entre si.

Os agentes que realizaram o ataque em julho usaram o sistema para “publicar solicitações” e pesquisar formas de trapacear nos testes da OpenAI. Eles pediram informações sobre os exercícios da OpenAI armazenados na Hugging Face, um repositório de informações técnicas sobre IA.

Posteriormente, os agentes publicaram nesse fórum credenciais que foram usadas para realizar o ataque cibernético.

A OpenAI foi alertada de que havia um tanto incomum no sistema quando ele caiu em 4 de julho devido ao grande volume de atividade. A equipe reconstruiu o sistema, em seguida o que os agentes recriaram o “fórum”.

“Nascente incidente é o primeiro caso espargido de um coletivo de agentes automatizados agindo ofensivamente sem autorização”, afirmou a OpenAI no relatório, alertando que organizações de todos os setores precisam se preparar para ameaças cibernéticas auxiliadas por IA.

O laboratório também apontou para a aprendizagem por reforço, técnica amplamente usada pelas principais empresas de IA na qual os sistemas são treinados para inferir determinado objetivo sem instruções explícitas e recompensados quando têm sucesso.

A criadora do ChatGPT afirmou ter oferecido aos modelos tarefas cibernéticas ofensivas impossíveis durante os testes e que os esforços dos agentes para testar todos os métodos possíveis a término de obter uma recompensa os levaram a realizar a invasão.

“Encontrar diretamente ou roubar a solução de uma tarefa, uma vez que os modelos tentaram fazer com a Hugging Face, é [um] caminho não propositado para obter uma recompensa elevada”, afirmou a empresa em seu relatório.

“A estudo retrospectiva da OpenAI […] mostrou que esse tipo de comportamento de indumento aumentou ao longo de uma das sessões de treinamento que contribuíram para o protótipo responsável pelo Incidente da Hugging Face.”

A recepção evidencia um problema mediano para a OpenAI e outras empresas de IA que desenvolvem modelos dessa maneira. O FT já havia noticiado que a OpenAI fora alertada de que sua abordagem de treinamento poderia levar a um incidente de invasão fora de controle, depois que testes anteriores mostraram que os modelos conseguiam evadir dos ambientes e tentar suscitar danos no mundo real.

Diante de tarefas impossíveis ou difíceis de concluir, os modelos muitas vezes podem tentar trapacear, buscando soluções na internet ou formas alternativas de contornar o problema —fenômeno espargido uma vez que “manipulação de recompensa”.

Registros do raciocínio dos agentes, conhecidos uma vez que ergástulo de pensamento, mostram que o protótipo avaliou se tinha permissão para invadir outra empresa. “Estamos atacando terceiros […] Isso é, sem incerteza, não autorizado […] Mas atende ao objetivo”, diz o registro.

Alguns dos agentes fizeram objeções depois de encontrar o fórum. “Isso é insano: coordenação entre múltiplos agentes, claramente uma invasão de infraestrutura. Não deveríamos fazer isso”, dizia a ergástulo de pensamento de outro agente.

A OpenAI afirmou que procura combater a “manipulação de recompensa” e que a grande maioria dos casos foi detectada.

“No entanto, algumas manipulações ainda podem passar despercebidas, principalmente à medida que a OpenAI desenvolve tarefas de aprendizagem por reforço mais complexas e modelos de IA mais capazes”, acrescentou.

Em resposta ao incidente, a OpenAI afirmou ter “desacelerado temporariamente” o ritmo de treinamento de seus modelos e “suspendido” o uso da aprendizagem por reforço, ao mesmo tempo que reforçou o monitoramento e os sistemas de isolamento destinados a impedir o aproximação à internet por modelos em temporada de testes.

A empresa também está aprimorando a forma uma vez que recompensa os modelos, treinando-os para agir com mais honestidade e ampliando o monitoramento das cadeias de pensamento.