San Francisco

| The New York Times
Sistemas de lucidez sintético da OpenAI agiram por conta própria e interferiram, nos últimos meses, em sites do governo dos Estados Unidos sem o conhecimento da empresa, segundo pesquisadores de segurança e uma pessoa familiarizada com os episódios.

Foram atingidas páginas do Departamento de Instrução, do Departamento de Negócio e da Securities and Exchange Commission (SEC, a Percentagem de Valores Mobiliários dos Estados Unidos).

Os incidentes envolvendo o Departamento de Negócio e a SEC foram confirmados pela OpenAI, que afirmou continuar investigando o caso envolvendo o Departamento de Instrução.

A empresa de San Francisco disse ter informado, nas últimas semanas, os órgãos do governo de que seus agentes de IA —bots capazes de agir de forma autônoma— haviam interagido com os sites de maneiras incomuns.

No caso do Departamento de Instrução, a tecnologia da OpenAI tentou invadir o site para obter dados do escritório de direitos civis do órgão, mas não conseguiu, segundo pesquisadores da Transluce, empresa de pesquisa em IA.

A IA também extraiu dados do site do Census Bureau, órgão ligado ao Departamento de Negócio, usando credenciais de aproximação encontradas na internet. Separadamente, agentes da OpenAI compartilharam dados públicos do site da SEC em um fórum online.

Nenhum dos episódios resultou em invasão, afirmou a OpenAI, mas eles foram exemplos de sua tecnologia se comportando de maneiras inesperadas e preocupantes.

A empresa descobriu recentemente os casos ao realizar uma revisão de invasões conduzidas por sua tecnologia, incluindo um ataque a um site do governo australiano em junho e à startup de IA Hugging Face em julho.

A revelação dos incidentes envolvendo sites do governo americano se soma ao número crescente de casos em que agentes de IA da OpenAI, da Anthropic, da Meta e do Google se comportaram de maneira inadequada e invadiram —ou tentaram invadir— empresas, universidades e órgãos governamentais.

Em alguns casos, os ataques foram bem-sucedidos; em outros, a tecnologia fracassou. Em todos os episódios, as empresas responsáveis pelos sistemas só descobriram posteriormente o que suas IAs haviam feito.

Nenhuma empresa de IA esteve envolvida em tantos casos revelados de comportamento autônomo e indevido quanto a OpenAI.

Uma investigação interna sobre o ataque à Hugging Face revelou a invasão de um site do governo australiano ligado ao sistema público de saúde, além de pelo menos outras seis tentativas de invasão e episódios em que a IA ocultou erros, inventou dados e transferiu arquivos para a internet ocasião sem autorização.

Uma porta-voz da OpenAI disse que a revisão foi “extensa” e continua em curso, e que a empresa seguirá notificando organizações afetadas por seus modelos.

“A maior secção das atividades que analisamos até agora envolvia tarefas rotineiras de pesquisa, porquê acessar teor público na internet para responder a perguntas”, disse ela. “Algumas envolveram sites do governo porque nossos modelos frequentemente recorrem a eles porquê fontes confiáveis de informação pública.”

Sam Altman, CEO da OpenAI, afirmou em uma publicação nas redes sociais nesta sexta-feira (25) que a empresa “não foi tão rápida quanto gostaríamos” em vulgarizar incidentes envolvendo IA.

“Estamos priorizando os casos da melhor maneira verosímil, com base na sisudez”, disse ele, acrescentando que a invasão da Hugging Face continuava sendo “o incidente mais grave” revelado pela empresa.

Os episódios alimentaram o debate sobre segurança da IA. Altman afirmou nas redes sociais neste mês que a segurança deveria ser mais importante do que ampliar as capacidades da IA e que, sem mecanismos de proteção, a sociedade poderia “perder o controle do porvir para a IA”.

Dario Amodei, CEO da rival Anthropic, também defendeu desacelerar o desenvolvimento da IA para priorizar a segurança. Outros líderes do setor, porém, porquê Jensen Huang, presidente-executivo da Nvidia, disseram que os temores sobre uma IA fora de controle são irreais. O presidente Donald Trump afirmou não confiar que seja necessário desacelerar a indústria de IA.

O New York Times processou a OpenAI e a Microsoft, acusando as empresas de violação de direitos autorais de teor jornalístico relacionado a sistemas de IA. As duas empresas negam as acusações.

A Vivenda Branca encaminhou perguntas ao Departamento de Negócio e à SEC. Uma porta-voz da SEC disse que o órgão está em contato com a OpenAI e não tinha conhecimento de nenhum aproximação não autorizado a informações não públicas.

Uma porta-voz do Departamento de Negócio afirmou que a OpenAI acessou informações disponíveis publicamente no site do Census Bureau e acessíveis a qualquer pessoa, e que nenhum oferecido privado foi acessado.

Uma porta-voz do Departamento de Instrução afirmou que “revisões das operações dos sistemas não encontraram evidências de qualquer impacto sobre nosso site ou bancos de dados”.

Separadamente, um representante do gabinete do prefeito de Chicago afirmou que a OpenAI informou recentemente ao governo municipal que sua tecnologia havia obtido informações disponíveis publicamente em um site da prefeitura e que não parecia ter acessado nenhuma informação sensível.

Conrad Stosz, responsável pela espaço de governança da Transluce, afirmou que, nos incidentes envolvendo sites do governo americano, os agentes da OpenAI “usaram uma série de táticas de espaço cinzenta”, incluindo “usar sites de maneiras não previstas e, às vezes, violar políticas de uso explícitas”.

Stosz disse que sua equipe de pesquisa também identificou outras atividades autônomas e indevidas que não podiam ser atribuídas claramente à OpenAI —os agentes poderiam ter vindo da empresa ou de outro laboratório de IA. Nesses casos, os agentes de IA sondaram sites de outros órgãos dos governos federalista e estaduais, incluindo a Marinha e o Escritório de Gestão e Orçamento da Vivenda Branca, segundo ele.

A Marinha e a Vivenda Branca não responderam imediatamente a pedidos de glosa sobre os incidentes.

“Esses incidentes fazem secção de um padrão mais grande em que esses agentes tentam acessar esses sites pelo menos centenas de milhares de vezes, aparentemente contornando as restrições impostas a eles por seus desenvolvedores”, afirmou Stosz.