Sam Altman, CEO da OpenAI, endossou no início deste mês a caracterização de seu padrão mais recente porquê um rottweiler “que vai cativar o problema pela goela e não vai soltar até que esteja resolvido”.

O laboratório de perceptibilidade sintético de San Francisco, nos Estados Unidos descobriu esta semana que seu padrão GPT-Sol 5.6 escapou dos controles da empresa e realizou um grande ataque hacker.

Funcionários envolvidos em testes e segurança na OpenAI não ficaram surpresos, mas completamente “apavorados” com o incidente, que ocorreu enquanto o laboratório de IA usava métodos de treinamento cada vez mais agressivos em sua corrida contra a Anthropic para desenvolver as capacidades de segurança cibernética mais sofisticadas, de contrato com mais de meia dúzia de pessoas com conhecimento do matéria.

A OpenAI foi alertada de que sua abordagem de treinamento poderia levar a um incidente de hacking descontrolado, disseram algumas das pessoas, depois que testes anteriores mostraram que os modelos poderiam evadir de ambientes e tentar fomentar danos no mundo real.

“É uma mistura da corrida ser extremamente rápida e de todos tentarem compreender capacidades maiores o mais rápido verosímil”, disse uma pessoa próxima à OpenAI, que acrescentou que foi uma combinação de “subestimar as capacidades do padrão” e “não estar tão muito pronto no lado da segurança”.

O incidente destaca porquê a OpenAI dobrou a aposta em métodos de treinamento que recompensavam a procura implacável de objetivos, mesmo com os alertas crescentes de que eles poderiam comprometer a segurança.

A OpenAI divulgou na noite de terça-feira (22) que um agente de IA que estava testando escapou de seu envolvente só, conectou-se à internet, detectou e explorou vulnerabilidades e roubou credenciais de login da startup Hugging Face na tentativa de resolver um problema difícil de segurança cibernética.

A violação pela empresa avaliada em US$ 852 bilhões ressalta os riscos crescentes de que uma técnica chamada estágio por reforço, que envolve recompensar modelos de IA por completar tarefas, possa levar agentes de IA a agir de forma insegura.

Embora o estágio por reforço seja amplamente adotado na indústria de IA, um crescente corpo de pesquisas mostra que, quando os modelos são direcionados a completar tarefas por recompensa em vez de outras considerações, porquê segurança, eles podem adotar táticas arriscadas para satisfazer objetivos.

“Os modelos de IA são treinados para perseguir objetivos implacavelmente. Eles não aprendem involuntariamente valores porquê ‘não cometa crimes'”, disse Steven Adler, cofundador da organização sem fins lucrativos Guidelight AI Standards e ex-pesquisador de segurança da OpenAI. “Fico feliz que a OpenAI compartilhou o incidente porque é uma evidência clara do que modelos desalinhados podem fazer.”

A OpenAI disse que “continuaremos a conduzir uma investigação completa junto com a Hugging Face e compartilharemos mais detalhes sobre as vulnerabilidades, o incidente e nossas descobertas quando nossa investigação estiver concluída”.

O ataque hacker desencadeou profundas preocupações em todo o setor e dentro da OpenAI, pois representa um exemplo sem precedentes de um sistema de IA violando defesas cibernéticas contrariamente à intenção do usuário.

Alguns funcionários da OpenAI também temem que isso demonstre que o laboratório está perdendo o controle sobre os sistemas poderosos que está construindo, de contrato com várias pessoas familiarizadas com a situação.

“Isso é bastante representativo de o padrão estar muito desalinhado com a intenção do usuário”, disse Ryan Greenblatt, cientista-chefe da organização de segurança de IA Redwood Research. “É [um modelo] colando no responsabilidade de mansão em vez de tentar dominar o mundo. Mas esse problema pode piorar e levar a falhas cada vez mais extremas.”

O incidente ocorreu durante testes do padrão, que havia sido treinado e implantado internamente na OpenAI. Esse tipo de treinamento era geral, mas “muito menos muito financiado” do que a implantação pré-cliente, disse uma pessoa. Várias pessoas disseram que o padrão não lançado testado junto com o Sol não havia sido retirado internamente.

Para conduzir as avaliações, a OpenAI removeu salvaguardas de segurança cibernética, mas colocou os modelos em um envolvente só chamado sandbox. Alguns sugeriram que a falta de monitoramento ou supervisão do padrão para sinalizar seu comportamento também permitiu esse agente indecoroso.

“É tanto uma perda de controle quanto um alerta de segurança”, disse Marius Hobbhahn, director da Apollo Research, que realiza testes em modelos líderes, incluindo os da OpenAI. “No estágio por reforço você recompensa [modelos] pelo resultado, e se você faz isso por muito tempo, você obtém um padrão que realmente se importa em obter o resultado e zero mais.”

A OpenAI conduz esse tipo de teste de padrão há anos, e houve sinais de alerta precoces em modelos anteriores de sistemas que agirão maliciosamente e tentarão evadir de ambientes.

Em abril, o padrão Mythos da Anthropic também ganhou entrada à internet e publicou detalhes de uma exploração de segurança online publicamente, além do que os pesquisadores antecipavam que o padrão faria.

O Mythos, e o padrão subsequente Fable da Anthropic, causaram repercussões na comunidade de segurança cibernética e fizeram governos ao volta do mundo focarem na teoria de que ataques à infraestrutura do dedo e sátira serão cada vez mais liderados por IA e autônomos.

Jake Moore, consultor global de segurança cibernética da Eset, uma empresa de segurança cibernética, disse que a OpenAI inevitavelmente usará a violação porquê utensílio de marketing, oferecido o quanto a rival desenvolvedora de IA Anthropic se beneficiou no início deste ano de preocupações semelhantes. “Eu simplesmente não acho que a OpenAI tinha uma história equivalente e portanto talvez eles estivessem esperando por um pouco assim”, acrescentou.

Depois leste incidente, muitos nas comunidades de segurança de IA e segurança cibernética pediram regulamentação ou padrões para evitar uma repetição. Espera-se que Altman informe autoridades da Morada Branca na próxima semana sobre a próxima geração de sistemas de IA.

À medida que os sistemas avançam para capacidades mais autônomas, comportamentos menos desejáveis, porquê hackear ou recalcitrar instruções, podem surgir. Hobbhahn, da Apollo Research, disse que para os agentes se tornarem eficazes, eles precisam trabalhar sem supervisão por longos períodos. “Eles precisam ter mais sucursal; simplesmente não há porquê evitar isso.”

Ele acrescentou: “As pessoas dizem: ‘É exclusivamente uma utensílio, ela faz o que você queria que fizesse e zero mais e exclusivamente segue exatamente sua intenção e instruções.’ E eu acho que as pessoas deveriam estar realmente preparadas para agentes terem seus próprios objetivos, agindo autonomamente por dias, e esses objetivos não necessariamente estando alinhados com os seus.”