Em meados de julho, enquanto a OpenAI testava novas tecnologias de lucidez sintético, seus sistemas excepcionalmente poderosos escaparam de ambientes digitais isolados, encontraram um caminho até a internet e invadiram uma plataforma de IA chamada Hugging Face.

Para muitos pesquisadores e outros especialistas, o incidente demonstrou que as tecnologias de IA estavam se tornando cada vez mais perigosas e que os principais laboratórios de IA deveriam manter um controle rigoroso sobre porquê esses sistemas são usados.

Agora, pouco mais de um mês depois, um laboratório chinês chamado Z.ai se prepara para disponibilizar uma tecnologia de IA semelhante porquê software de “pesos abertos”, o que significa que qualquer pessoa poderá usá-la porquê quiser.

O lançamento do novo sistema chinês, chamado GLM 5.3, previsto para esta sexta-feira (27), atingirá o meio de um debate que há anos divide pesquisadores de IA. Embora muitos especialistas acreditem que as tecnologias de IA mais recentes sejam perigosas demais para serem compartilhadas francamente com o público, outros argumentam que esse é o caminho mais seguro.

“Os modelos de pesos abertos têm um papel muito importante a desempenhar”, afirmou Dan Lahav, CEO da Irregular, empresa de cibersegurança cujas tecnologias foram usadas pela OpenAI para testar novos sistemas de IA.

revelação de que as tecnologias da OpenAI haviam invadido o Hugging Face confirmou o que especialistas em cibersegurança vinham dizendo havia meses: os principais sistemas de IA agora são eficientes em identificar e explorar vulnerabilidades em softwares.

Em outras palavras, eles podem simplificar e açodar ataques cibernéticos.

A empresa também chamou a atenção para outra verdade inconveniente: as tecnologias de IA frequentemente fazem coisas que nem mesmo seus criadores desejam, incluindo ataques cibernéticos estranhos, contraintuitivos e inesperados.

A OpenAI só percebeu que seus sistemas haviam agido por conta própria depois que o Hugging Face revelou publicamente a invasão e notificou as autoridades.

“Foi um divisor de águas para a segurança”, disse George Kurtz, CEO da empresa de segurança CrowdStrike, que assessorou a OpenAI enquanto a companhia tentava compreender o ataque. “Foi um incidente muito público que evidencia claramente a natureza autônoma do que esses modelos são capazes de fazer.”

Pouco depois, duas concorrentes nacionais da OpenAI, Anthropic e Meta, revelaram que seus sistemas haviam apresentado comportamento semelhante.

Para muitos especialistas, porém, o incidente não foi tão terrível quanto pode parecer. Segundo eles, empresas e indivíduos podem usar as mesmas tecnologias de IA para se proteger de ataques cibernéticos. Se um sistema de IA consegue identificar e explorar brechas em um software, também pode corrigi-las.

Quando uma empresa porquê a Z.ai disponibiliza sua tecnologia porquê software de pesos abertos, qualquer pessoa pode ajustar os pesos —os cálculos matemáticos que determinam porquê o sistema funciona— e potencialmente remover as barreiras de proteção que impedem o uso do sistema em ataques cibernéticos.

Isso significa que qualquer pessoa pode usar esses sistemas para invadir uma rede de computadores —e também para se proteger.

De indumentária, quando o Hugging Face tentava se proteger dos ataques de julho —que somente mais tarde puderam ser atribuídos à OpenAI—, os sistemas da Anthropic recusaram pedidos de ajuda por culpa de suas barreiras de proteção. O Hugging Face recorreu portanto ao GLM 5.2, padrão lhano anterior da Z.ai.

Quando o novo padrão de pesos abertos da Z.ai for disponibilizado ao público, muitos pesquisadores temem que incidentes porquê o ataque ao Hugging Face possam permanecer mais frequentes.

Outros especialistas, porém, ressaltam que tecnologias de IA disponíveis publicamente vêm apresentando comportamento semelhante há meses ou até anos. Embora esses sistemas tenham melhorado muito nos últimos meses em sua capacidade de localizar brechas de segurança, não houve nenhum aumento significativo nos ataques cibernéticos.

Secção da questão é que o comportamento estranho e inesperado demonstrado pelos sistemas de IA pode alertar os responsáveis pela resguardo sobre atividades indesejadas em suas redes. Embora os sistemas de IA estejam se tornando mais furtivos, ainda têm a tendência de disparar alarmes.

“As pessoas falam do incidente com o Hugging Face porquê resultado desse padrão maluco e sem barreiras de proteção que a OpenAI ainda não disponibilizou ao público. Mas, em nossa pesquisa, observamos esse tipo de comportamento desde o GPT-4⁠”, disse Rishi Jha, pesquisador de IA da Universidade Cornell, referindo-se a um sistema lançado pela OpenAI em 2024.

Mesmo que esses incidentes se tornem mais frequentes, argumentam Jha e outros especialistas, a disseminação de técnicas defensivas de IA acabará equilibrando o jogo. Sistemas de pesos abertos porquê o GLM 5.3 permitirão que todos se defendam —e não unicamente alguns escolhidos.

E, à medida que os sistemas de IA se tornarem ainda melhores na geração de código de computador, dizem especialistas, eles ajudarão desenvolvedores de software a produzir serviços online que já nasçam com menos vulnerabilidades.

Pesquisadores estão desenvolvendo tecnologias que usam técnicas matemáticas para “verificar” o código gerado, de modo que ele não contenha os tipos de erros lógicos que hackers podem explorar.

Lahav, CEO da Irregular, vislumbra um porvir em que a IA atuará mais porquê defensora do que porquê atacante. “Há fortes motivos para otimismo”, afirmou. “Com o tempo, a IA construirá defesas de cibersegurança tão robustas que o cenário acabará, de indumentária, melhorando.”