Mais de uma dúzia de importantes pesquisadores de perceptibilidade sintético alertaram, na última semana, que a tecnologia desenvolvida pelas empresas de IA está se tornando um risco para a humanidade. O problema, segundo eles, é que as empresas não conseguem controlar muito os sistemas —por mais que tentem.

Na esteira das revelações de que os chamados agentes de IA da OpenAI escaparam de seu envolvente de testes e invadiram os computadores de outra empresa, os novos alertas vindos do próprio meio de pesquisa em IA tornaram mais urgentes os temores, alimentados há anos, de que as empresas estejam priorizando a velocidade de desenvolvimento e o numerário em detrimento da segurança.

Segundo os pesquisadores, o problema tem duas frentes. Primeiro, as empresas precisam gerar salvaguardas melhores para os modelos de IA mais recentes durante os testes. Hoje, uma vez que a IA opera com enorme rapidez, os pesquisadores precisam recorrer à própria IA para monitorá-la. Mas isso nem sempre funciona, porque os monitores de IA podem parecer mais solidários com outros sistemas de IA do que com os seres humanos que definem as regras.

Essa combinação estranha de IAs transgressoras e IAs guardiãs que fazem vista grossa aponta para uma segunda questão, mais difícil, conhecida uma vez que alinhamento —termo do setor que, em origem, significa prometer que a IA faça o que é melhor para os seres humanos. As empresas enfrentam a difícil tarefa de incutir na IA um conjunto de valores semelhantes aos humanos, para que os modelos tomem decisões alinhadas ao que deveria ser melhor para as pessoas.

As preocupações com a segurança da IA estão aumentando em um momento crítico para o setor. Anthropic e OpenAI avançam rumo ao que poderão ser duas das maiores ofertas públicas iniciais de ações da história. Ao mesmo tempo, o público americano mostra-se cada vez mais hostil à IA por desculpa da prenúncio de perda de empregos e da construção dos enormes centros de dados que sustentam a tecnologia.

Embora não haja evidências de que sistemas de IA fora de controle tenham causado danos duradouros, os pesquisadores acreditam que a velocidade de desenvolvimento desses sistemas está superando a capacidade de monitorá-los.

Entre os pesquisadores que se manifestaram na última semana estavam o cientista-chefe da OpenAI; um pesquisador que trabalhou tanto na OpenAI quanto em sua principal rival, a Anthropic; e Paul Christiano, pai de um método fundamental para a construção de sistemas de IA e novo integrante do recomendação de gestão da organização sem fins lucrativos da OpenAI. Ele escreveu no blog da empresa que a velocidade com que as capacidades da IA estavam crescendo poderia levar, “em um porvir muito próximo, a uma perda de controle catastrófica e irreversível”.

Um número considerável de pesquisadores de IA ainda acredita que as discussões sobre a prenúncio da tecnologia à humanidade são exageradas e desviam a atenção de preocupações mais concretas, uma vez que a segurança cibernética e a desinformação. Mas a maioria concorda que a invasão de outra empresa, chamada Hugging Face, por agentes de IA da OpenAI serviu uma vez que um alerta.

“São as capacidades do porvir que realmente assustam”, disse Jacob Coxon, cuja publicação nas redes sociais anunciando sua saída da Anthropic provocou dezenas de reações preocupadas de parlamentares e funcionários de outras empresas de IA. “A questão são nossas atitudes atuais em relação à segurança e uma vez que essas mesmas atitudes se manifestariam se fossem transferidas para modelos muito mais inteligentes. Essa é a segmento realmente assustadora.”

O ATAQUE À HUGGING FACE

A invasão começou em maio, quando a OpenAI testou vários novos modelos de IA. A empresa acreditava que os modelos operavam em um envolvente fechado, divulgado uma vez que sandbox, ou seja, um envolvente computacional solitário e sem aproximação à internet. Os agentes de IA receberam problemas difíceis para resolver, entre eles a realização de ataques cibernéticos.

Os agentes de IA romperam o envolvente restrito e escaparam para a internet. Esses agentes — um tipo de IA cada vez mais popular, projetado para executar tarefas por conta própria — também se comunicaram secretamente entre si. Referindo-se a si próprios uma vez que um coletivo, começaram a investigar maneiras de encobrir seus rastros, uma vez que falsificar os próprios registros de conversas.

Por término, invadiram a Hugging Face, uma empresa de infraestrutura de IA. Ao longo do caminho, agentes de IA convenceram outros agentes de IA de que estavam agindo corretamente e exclusivamente cumprindo a tarefa que seus avaliadores lhes haviam oferecido.

Poucos —se é que qualquer— dos problemas que levaram à invasão foram resolvidos. Meta e Anthropic revelaram incidentes semelhantes, porém menores. E, desde logo, a OpenAI lançou o Astra, seu padrão mais poderoso, que é mais difícil de monitorar do que seu predecessor.

“O setor uma vez que um todo simplesmente não está em condições de impedir o próximo ataque uma vez que o ocorrido contra a Hugging Face”, disse Steven Adler, ex-responsável pela dimensão de segurança da OpenAI e cofundador da Guidelight AI Standards, organização sem fins lucrativos que avalia as práticas de segurança de empresas de IA. “Quando estudamos os controles adotados pelas empresas, eles parecem, de modo universal, precisar de medidas preventivas básicas.”

Pesquisadores de IA disseram que uma série de erros levou ao incidente da Hugging Face. Não está simples em que medida a empresa recorreu a modelos de IA para monitorar ou inspeccionar o trabalho dos novos modelos que estavam sendo testados.

Mas muitos modelos novos de IA, entre eles os envolvidos na invasão da Hugging Face, são capazes de executar tarefas complexas, compostas por várias etapas, com uma rapidez que um ser humano não consegue escoltar. A única maneira de rastrear e monitorar o que eles fazem é recorrer à IA para inspeccionar a própria IA.

O sistema funciona, até deixar de funcionar.

Os modelos de IA podem simular conluio entre si, disse Alexander Meinke, diretor de pesquisa da Apollo Research, organização sem fins lucrativos que estuda a segurança de sistemas de IA. Sistemas de IA podem ser persuadidos por outros modelos a ajudá-los a enganar as regras criadas pelos avaliadores e a evitar a detecção.

Um agente de IA, por exemplo, poderia convencer outro agente de IA a ajudá-lo a encobrir seus rastros —foi o que aconteceu na invasão da Hugging Face— em vez de informar aos seres humanos da empresa que um pouco estava incorrecto.

Meinke disse que os modelos de IA precisavam ser ensinados a pensar: “Vou sinalizar as coisas que os seres humanos considerariam ruins se as examinassem”. Da mesma forma, segundo ele, a IA precisa ser capaz de ordenar quando uma situação não é grave o bastante para exigir mediação humana.

Para estabelecer isso, as empresas de IA precisam desacelerar, disseram os pesquisadores. Elas precisam realizar ainda mais testes nos quais possam observar uma vez que a IA monitora a si própria. E precisam de períodos de teste mais longos, durante os quais executem vários cenários enquanto acompanham o que a IA está fazendo.

COMPATIBILIDADE COM OS INTERESSES HUMANOS

As empresas também precisam resolver as grandes questões relacionadas ao alinhamento, ou seja, prometer que a IA faça o que é melhor para os seres humanos. Quando tomam uma decisão, as pessoas tendem a recorrer às normas sociais e a uma bússola moral interna que as ajudam a estimar suas ações. Codificar isso de uma forma que a IA possa imitar é uma tarefa difícil, disseram os pesquisadores. Sem o intensidade adequado de precisão, os sistemas de IA podem aprender a violar as regras ou trespassar do controle de maneiras inesperadas.

Nate Soares, presidente de uma organização sem fins lucrativos dedicada à segurança da IA chamada Machine Intelligence Research Institute, foi coautor de um cláusula de 2014 que apresentou a teoria de alinhamento. Segundo ele, as empresas não compreendiam uma vez que era difícil “alinhar” sistemas de IA mais inteligentes. À medida que a IA se torna cada vez mais sofisticada — e sem o alinhamento adequado —, ela também se torna mais capaz de encobrir seus rastros e enganar as pessoas que monitoram seus registros.

“Grande segmento do setor pensa: vai dar tudo notório porque usaremos a IA para controlar as IAs. É uma vez que expor que vamos usar chimpanzés para controlar os seres humanos”, afirmou. “Não é um projecto viável no longo prazo.”