O responsável de um livro sobre porquê a perceptibilidade sintético deve destruir o mundo se o desenvolvimento tecnológico não parar o quanto antes não considera perigosa a recém-lançada IA da startup Anthropic chamada Mythos —ao menos se ela continuar porquê está.

“O Mythos deveria servir de alerta”, diz Nate Soares ao tratar do protótipo de linguagem que assustou bancos e governos pela capacidade de encontrar falhas em softwares que passaram despercebidas por décadas.

Coautor de “Se Alguém Fabricar, Todos Morrem: Por Que a IA Super-humana Pode nos Matar” e presidente do Instituto de Pesquisa sobre Perceptibilidade de Máquina (Miri, na {sigla} em inglês), Soares afirma que as IAs podem se tornar muito perigosas mesmo que continuem burras na perspectiva humana, contanto que desenvolvam habilidades sobre-humanas de pesquisa.

“Ainda não é o caso do Mythos, mas uma IA supercientista poderia desenvolver uma IA mais inteligente, que produz uma IA mais inteligente e as coisas sairiam de controle”, disse.

Apesar do sobrenome, Soares é um californiano, com sotaque e todas as idiossincrasias do Vale do Silício, e conversou com a Folha por videoconferência. Embora tenha feito dos riscos da IA seu ganha-pão, ele recorda passagem pelo time de engenharia da Microsoft e da crença no potencial da tecnologia de resolver grande segmento dos problemas humanos.

A obra, escrita em parceria com o fundador do Miri, Eliezer Yudkowsky, descreve um “provável cenário” em que a IA vai se voltar contra a humanidade por uma simples questão de eficiência. O tentativa foi eleito uma das melhores leituras de 2025 pela revista New Yorker e ganhou versão em português neste ano pela editora Intrínseca.

Na simulação, um protótipo de linguagem se torna capaz de desenvolver novos modelos mais capazes por conta própria. Para isso, teria que postergar às instruções dos seus criadores, o que já acontece hoje.

Daí, começa uma saga: a IA, cada vez mais inteligente, cria uma rede de computadores na nuvem, avança na bioengenharia, multiplica corpos para si e, munida de tecnologia superior, dizima a humanidade. Zero disso nunca aconteceu, mas se baseia “no melhor da ciência da computação”, disse Soares.

O Miri se debruça sobre os riscos da IA desde 2000, muito antes de o ChatGPT subsistir, e começou com uma questão filosófica: “Yudkowsky percebeu que tornar uma máquina mais inteligente não a tornaria melhor ou mais submisso”, afirma o atual presidente.

“Na verdade, máquinas muito espertas podem fazer, sem serem descobertas, coisas que não queremos”.

A posição de Yudkowsky é também anterior à popularização do termo “AI doomer” (catastrofista da IA) no Vale do Silício. Ele também é uma referência do altruísmo eficiente (EA, na {sigla} em inglês), risca de pensamento inglesa que ganhou tração na costa oeste dos Estados Unidos e tem simpatia na cúpula da Anthropic, também dona do Claude.

A fluente propõe calcular benefícios e prejuízos de cada decisão antes de levá-la adiante, visando gerar o maior impacto positivo verosímil.

Soares não se acanha em proferir que seu livro tem um objetivo político: interromper o desenvolvimento de inteligências artificiais cada vez mais inteligentes.

“Se uma das pessoas no front da pesquisa estiver excessivamente optimista de que a IA gosta de nós, de que esta IA vai nos tratar muito quando for superinteligente, eles vão encontrar um caminho até a superinteligência. Se eles estiverem errados, não haveria novas tentativas, seria o término do jogo para toda humanidade.”

Os autores fazem esse apelo enquanto consideram que os atuais modelos de linguagem ainda não saíram de controle.

Um dos problemas do desenvolvimento da tecnologia hoje, diz Soares, é a falta de parâmetros para calcular a perceptibilidade dos modelos. “As IAs provavelmente não estão ficando inteligentes da mesma maneira que nós ficamos, um trajectória que levou anos e anos de evolução”, afirma.

Embora o livro cite o evolucionista Richard Dawkins porquê uma referência para esgrimir que os humanos não seriam úteis à IA, Soares afirma que a confrontação entre a perceptibilidade biológica e os modelos de linguagem é errada.

O argumento é que os modelos podem resolver problemas e executar tarefas difíceis até para especialistas. “Um submarino não mergulha da mesma maneira do que uma pessoa, mas é capaz de se locomover do ponto A ao ponto B na chuva. As IAs também cumprem tarefas e é isso que as faz perigosas.”

Em relação à indiferença das máquinas para as pessoas, a resguardo também é utilitária: se a IA conseguir se manter por conta própria em um mundo mais eficiente, quais seriam os motivos para manter homens e mulheres piorando as condições do mundo com poluição e guerras?

Soares não quer aventurar esse experimento e se nega a chutar qual a verosimilhança de extinção pela IA —outra pergunta frequente no Vale do Silício. Ele compara a situação com um coche correndo em direção a um precipício. “Qual seria o sentido de eu avisar ‘pare o coche, nós vamos morrer’, e alguém me perguntasse ‘qual é a chance de morrermos?’”, afirma.

Embora considere que a humanidade não tenha aprendido o suficiente com grandes traumas porquê o bombardeio atômico do Japão ou a pandemia de Covid, o presidente do Miri é otimista quanto à chance de impedir um catástofre da perceptibilidade sintético.

“Precisamos de mais pessoas dizendo que isso parece uma loucura. Quem tem a sorte de viver em uma democracia pode vincular para os seus representantes e pedir que eles deem voz a essas preocupações. Até o governo Trump começou a reconhecer riscos”, disse.