Em maio, conheci um ex-engenheiro de software do Google chamado Nate Soares. Ele estava ministrando uma palestra sobre um livro que escreveu em coautoria, chamado “If Anyone Builds It, Everyone Dies” (Se alguém edificar isso, todos morrerão, em tradução livre). O “isso” é a superinteligência sintético: uma IA que supera o ser humano em todos os aspectos.

Porquê você deve ter adivinhado, Soares está preocupado com que a corrida pela IA representa uma prenúncio à sobrevivência da humanidade. E comentou comigo que está perplexo por ver poucos jornalistas abordando esse tema.

Nossa conversa ficou na minha cabeça, mas também não escrevi sobre o matéria depois. Outras questões pareciam mais urgentes: o risco de que a IA possa originar desemprego em tamanho ou as mudanças políticas em torno dos centros de dados. Na melhor das hipóteses, ortografar sobre a IA porquê uma prenúncio existencial parecia prematuro e, na pior, soava porquê alarmismo.

Mas, nas últimas semanas, houve uma série de incidentes em que modelos de IA saíram do controle de maneiras que não teriam sido possíveis há exclusivamente seis meses. Acabei pensando com mais frequência no argumento de Soares. Por isso, hoje finalmente estou escrevendo sobre porquê devemos nos preocupar com os perigos da IA.

No mês pretérito, uma empresa de IA chamada Hugging Face entrou em contato com o FBI para denunciar um ataque cibernético sofisticado, suspeitando de alguma coisa fora do geral. Aquilo não parecia obra de uma quadrilha criminosa ou de um Estado-nação hostil.

Apurou-se que não houve nenhum envolvimento humano. Em vez disso, um agente de IA, nutrido por dois modelos da OpenAI, saíra do controle durante um teste de segurança cibernética, escapando do envolvente de testes e vagando pela internet sem ser detectado durante dias, até invadir a infraestrutura da Hugging Face.

Preocupada com os ataques, a Anthropic —principal concorrente da OpenAI— revisou os próprios sistemas e reconheceu na semana passada que seus modelos de última geração tinham invadido três organizações externas.

Isso parece coisa de ficção científica, ou pelo menos parecia até recentemente.

Durante muito tempo, o argumento de que “os robôs poderiam matar todo mundo” foi descartado por muitos porquê histerismo ou até mesmo excesso calculado —uma narrativa criada para gerar algazarra em torno da tecnologia.

Agora, depois dos recentes ataques cibernéticos, mais especialistas em IA vêm alertando para riscos de segurança muito sérios e pedindo que se encontre uma maneira de desacelerar o desenvolvimento de modelos cada vez mais poderosos.

O PROBLEMA DO ALINHAMENTO

Há duas razões pelas quais o ataque à OpenAI causou tanto rebate. Uma é que os modelos de IA agiram por conta própria. Não receberam instruções de humanos para invadir outra empresa. Decidiram fazer isso, para grudar na prova que lhes foi dada.

A outra é que eles deveriam estar em um envolvente só, sem entrada à internet, mas conseguiram evadir. Fizeram isso explorando vulnerabilidades que seus supervisores humanos na OpenAI não tinham detectado.

Eu sabia com quem queria conversar sobre tudo isso: Soares.

Ele dirige uma organização sem fins lucrativos que se concentra em identificar e mitigar riscos existenciais de longo prazo decorrentes da superinteligência sintético. Comentou comigo que esse talvez seja um “grande momento” para o mundo. “Essas IAs estavam cometendo crimes cibernéticos por iniciativa própria, pelos quais um humano seria severamente punido. É, de certa forma, o primeiro transgressão grave do GPT.”

Podemos treinar a IA para executar algumas de nossas tarefas —porquê tirar nota máxima em um teste de segurança cibernética. No entanto, ela pode resolver esses problemas de maneiras indesejadas invadindo, por exemplo, a internet e, depois, uma companhia que possui as respostas. Os pesquisadores chamam isso de “problema de alinhamento”.

As empresas de IA podem tentar transmitir os objetivos e valores humanos para os agentes de IA e se empenhar em gerar maneiras de controlá-los. Mas não é provável responsabilizar que as IAs vão entender esses valores ou respeitar essas restrições.

Porquê diz o engenheiro de software: “Ainda não descobrimos porquê fazer a IA se importar com a humanidade”.

É por isso que Soares e um número cada vez maior de especialistas no Vale do Silício estão defendendo a geração de um conciliação global para desacelerar o desenvolvimento da IA.

‘PERDA DE CONTROLE’

De conciliação com ele, o problema do alinhamento, no termo das contas, é um repto de engenharia, o que significa que ele pode ser resolvido. Mas vai levar tempo, e tempo é alguma coisa escasso, principalmente porque os laboratórios de IA nos Estados Unidos estão em uma corrida para perceber a superinteligência.

Eles não vêm competindo só entre si. Também estão concorrendo com a China. Por isso, qualquer conciliação sobre segurança em IA exigirá coordenação internacional.

É um repto, mas não é alguma coisa sem precedentes. Durante a Guerra Fria, os EUA e a União Soviética eram rivais. Mas conseguiram regulamentar o que era, na estação, a prenúncio mais grave à humanidade: as armas nucleares.

No mês pretérito, uma epístola ocasião assinada por mais de 1.300 executivos, pesquisadores e engenheiros de corporações porquê a OpenAI, a Anthropic, o Google DeepMind e a Meta exigiu que o governo americano apoiasse um esforço internacional para “controlar deliberadamente” o ritmo de desenvolvimento da IA mais avançada.

Soares disse ter percebido que, em um oração recente, o líder chinês Xi Jinping alertou contra a “perda de controle” no que diz reverência à IA, o que alguns interpretaram porquê uma referência à perda do controle da tecnologia por segmento da humanidade.

Os obstáculos a qualquer esforço de coordenação internacional continuam altos. Mas o primeiro passo seria concordar que a humanidade tem um problema.