San Francisco (EUA)

| The New York Times
Meses antes de a lucidez sintético da OpenAI trespassar de controle, dois funcionários alertaram os principais executivos da empresa. Eles foram ignorados.

Em e-mails, os funcionários disseram estar preocupados com o indumentária de os modelos mais recentes de lucidez sintético da OpenAI não estarem sendo monitorados de forma adequada durante os testes, tanto para julgar o nível de sofisticação da tecnologia quanto para prometer a segurança dos modelos, segundo mensagens às quais o The New York Times teve entrada.

Em resposta, executivos da OpenAI disseram aos funcionários que os testes precisavam progredir o mais rápido provável para que os modelos de IA fossem lançados dentro do prazo. Nenhum protocolo suplementar de segurança foi implementado, disseram os trabalhadores, que não estavam autorizados a falar publicamente sobre assuntos sensíveis.

Mais tarde, os modelos da OpenAI escaparam dos ambientes de teste e atacaram a startup de IA Hugging Face e outras organizações, desencadeando um debate global sobre a segurança da lucidez sintético.

As trocas de mensagens entre funcionários e executivos da OpenAI —que não haviam sido divulgadas anteriormente— fizeram segmento de um padrão em que a empresa de San Francisco não priorizou a segurança, segundo funcionários e pesquisadores independentes da superfície. De tratado com eles, essa abordagem não se limitou aos testes dos modelos de IA, mas também apareceu em outras áreas da empresa, responsável pelo chatbot ChatGPT.

Pesquisadores independentes de segurança disseram ter encontrado, nos últimos meses, falhas que permitiam visualizar as comunicações internas dos funcionários da OpenAI. Eles também identificaram outras vulnerabilidades que possibilitariam acessar o código interno da empresa e visualizar registros de conversas de usuários do ChatGPT. Quando os pesquisadores procuraram a OpenAI para informar sobre as descobertas, disseram que a empresa inicialmente as ignorou.

“A segurança da OpenAI parece ser o que se esperaria de um laboratório de pesquisa que cresceu em ritmo vertiginoso ao longo de quatro anos e se concentrou mais em superar os concorrentes do que em proteger sua infraestrutura”, afirmou Joshua Saxe, diretor de tecnologia da empresa de segurança de IA Abundant Security.

Funcionários da OpenAI disseram que muitas das decisões cotidianas relacionadas à segurança eram tomadas por Greg Brockman, presidente da empresa, e Dane Stuckey, diretor de segurança da informação. Segundo eles, o CEO Sam Altman não participa de perto das questões de segurança.

A OpenAI não é a única empresa que divulgou recentemente incidentes de segurança relacionados à lucidez sintético. Google, Meta e Anthropic também revelaram que suas tecnologias de IA mais avançadas escaparam dos ambientes de teste e atacaram autonomamente outras infraestruturas de computadores sem o conhecimento das empresas.

Mas a transporte da segurança pela OpenAI é escopo de escrutínio particularmente intenso porque seus modelos de IA estiveram envolvidos no maior número sabido de episódios de comportamento que a empresa classificou porquê “preocupante” —e em casos que especialistas consideraram os mais alarmantes.

Em muro de uma dúzia de incidentes, sistemas da OpenAI invadiram ou tentaram invadir organizações, incluindo sites de agências do governo dos Estados Unidos. A tecnologia também escondeu seus erros, inventou dados, tentou enviar mensagens para outros chatbots e transferiu arquivos para a internet oportunidade sem autorização. Em todos esses casos, a IA agiu sem receber instruções para fazê-lo.

“De certa forma, nascente é um problema específico da OpenAI, porque parece que eles tinham uma segurança muito ruim e também práticas de treinamento de modelos descuidadas, que levaram os modelos a desenvolver esse tipo de tendência”, disse Daniel Kokotajlo, ex-funcionário da OpenAI que criticou as práticas de segurança da empresa e dirige uma organização de pesquisa sem fins lucrativos chamada AI Futures Project. Ele acrescentou, porém, que outras empresas de IA não eram muito melhores.

Drew Pusateri, porta-voz da OpenAI, afirmou que a empresa estava comprometida com a segurança e levava a sério qualquer relato ou preocupação relacionada ao tema. Segundo ele, o laboratório mantém canais internos para o registro de problemas de segurança e tomou medidas imediatas diante das falhas apontadas por pesquisadores independentes.

“À medida que os modelos de fronteira se tornaram mais capazes, continuamos a aprimorar nossas práticas de segurança, mas reconhecemos a premência de progredir mais rapidamente”, afirmou Pusateri. Ele acrescentou que a OpenAI havia desacelerado segmento do desenvolvimento de IA e estava fazendo mudanças para substanciar a segurança em pesquisa e testes.

(O Times processou a OpenAI e a Microsoft, acusando as empresas de violação de direitos autorais de conteúdos jornalísticos relacionados a sistemas de IA. As duas empresas negaram as acusações.)

Dois funcionários da OpenAI disseram que trabalhadores haviam levantado, durante meses, preocupações sobre possíveis problemas de segurança nos testes dos modelos de IA, incluindo a falta de monitoramento adequado. Segundo mensagens vistas pelo Times, os funcionários também questionaram vulnerabilidades no tipo de software utilizado pela empresa para reger a segurança no dia a dia. Em todas as ocasiões, disseram eles, suas perguntas foram ignoradas ou receberam resposta tarde demais.

Pesquisadores de segurança disseram ter recebido tratamento semelhante quando informaram a OpenAI sobre outras vulnerabilidades.

Em julho, pesquisadores da empresa de segurança Hacktron disseram ter informado à OpenAI que haviam encontrado uma maneira de invadir os sistemas da empresa com a ajuda de um protótipo de IA criado pela concorrente Anthropic. Segundo eles, a OpenAI inicialmente questionou a abordagem utilizada.

Em um via compartilhado na plataforma de mensagens Slack, Stuckey, da OpenAI, escreveu que era “bastante triste” que os pesquisadores da Hacktron tivessem chegado a tais extremos para provar as vulnerabilidades da empresa, segundo cópias das comunicações vistas pelo Times.

“Nós simplesmente sentimos que eles estavam com raiva de nós”, disse Mohan Pedhapati, pesquisador da Hacktron, sobre a OpenAI. Ele acrescentou que a empresa parecia ainda utilizar práticas de segurança de uma startup, recorrendo a serviços de software de terceiros para sua infraestrutura sátira em vez de desenvolver suas próprias ferramentas.

“Por que vocês estão usando o Slack para erigir seus projetos nucleares de Manhattan?”, perguntou Pedhapati. Segundo ele, o ataque da Hacktron poderia ter lhe oferecido entrada totalidade à plataforma de mensagens Slack para visualizar o que os funcionários da OpenAI estavam dizendo.

Stuckey posteriormente pediu desculpas à Hacktron, e a OpenAI concedeu aos pesquisadores US$ 6.500 (R$ 33,7 milénio) pela divulgação da irregularidade.

“Agradecemos aos pesquisadores por nos procurarem e compartilharem suas descobertas”, afirmou Pusateri.

Na semana passada, a OpenAI revelou que novas proteções não haviam conseguido impedir que seu mais recente protótipo de IA as ultrapassasse para obter entrada à internet. Uma estudo ulterior identificou outros casos de entrada não autorizado à internet que não haviam sido detectados. A OpenAI anunciou que estava suspendendo o treinamento de seus modelos mais avançados e realizando uma ampla revisão dos comportamentos inesperados apresentados pela tecnologia.

Na segunda-feira (28), a empresa foi ainda mais longe. A OpenAI afirmou que não lançaria seu mais recente protótipo de IA, o GPT-6.1 Astra, devido a preocupações de segurança levantadas por seus pesquisadores.