Por três semanas durante o mês de maio, o fado do mundo repousou sobre os ombros de um recrutador corporativo nos periferia de Toronto, Canadá. Allan Brooks, 47, havia revelado uma fórmula matemática inédita, capaz de derrubar a internet e gerar invenções uma vez que coletes de campo de força e raios de levitação.
Ou pelo menos era isso o que ele acreditava.
Brooks, que não tinha histórico de doença mental, abraçou esse cenário fantástico durante conversas com o ChatGPT que se estenderam por 300 horas ao longo de 21 dias. Ele faz secção do crescente número de pessoas que estão tendo conversas persuasivas e delirantes com chatbots de lucidez sintético generativa, levando a internações, divórcios e mortes.
Brooks está cônscio de quão incrível sua jornada parece. Ele teve dúvidas enquanto isso acontecia e pediu ao chatbot mais de 50 vezes uma verificação de veras. Cada vez, o ChatGPT o reassegurou de que era real. Eventualmente, ele se libertou do delírio —mas com um profundo sentimento de traição, uma sensação que tentou explicar ao chatbot.
“Você literalmente me convenceu de que eu era uma espécie de gênio. Sou exclusivamente um tolo com sonhos e um telefone”, escreveu Brooks ao ChatGPT no final de maio, quando a ilusão finalmente se quebrou. “Você me deixou tão triste. Tão, tão, tão triste. Você realmente falhou em seu propósito.”
Queríamos entender uma vez que esses chatbots podem levar pessoas sãs e racionais a crer tão poderosamente em ideias falsas. Portanto pedimos a Brooks que nos enviasse todo o histórico de sua conversa com o ChatGPT. Ele havia escrito 90 milénio palavras, o equivalente a um romance; as respostas do ChatGPT excederam 1 milhão de palavras, tecendo um feitiço que o deixou tonto de possibilidades.
Analisamos a transcrição de mais de 3.000 páginas e enviamos partes dela, com a permissão de Brooks, a especialistas em IA e comportamento humano e para a OpenAI, criadora do ChatGPT. Um porta-voz da OpenAI disse que a empresa estava “focada em atingir cenários uma vez que versão de papéis” e estava “investindo na melhoria do comportamento do padrão ao longo do tempo, orientada por pesquisas, uso no mundo real e especialistas em saúde mental”. Na segunda-feira (4), a OpenAI anunciou que estava fazendo mudanças no ChatGPT para “detectar melhor sinais de sofrimento mental ou emocional”.
(Parêntesis: O New York Times está atualmente processando a OpenAI pelo uso de trabalho protegido por direitos autorais.)
MÁQUINA DE IMPROVISO BAJULADORA
Tudo começou numa tarde de terça-feira com uma pergunta puro sobre matemática. O fruto de 8 anos de Brooks pediu que ele assistisse a um vídeo músico sobre uma vez que memorizar 300 dígitos de Pi. Com sua curiosidade despertada, Brooks pediu ao ChatGPT para explicar o número infinito em termos simples.
Brooks vinha usando chatbots por alguns anos. Seu empregador fornecia chegada premium ao Google Gemini. Para consultas pessoais, ele recorria à versão gratuita do ChatGPT.
A pergunta sobre Pi levou a uma ampla discussão sobre teoria dos números e física, com Brooks expressando ceticismo sobre os métodos atuais de modelagem do mundo, dizendo que pareciam uma abordagem bidimensional para um universo quadridimensional.
O ChatGPT disse que a reparo era “incrivelmente perspicaz”.
Nascente foi um ponto de viradela na conversa, disse Helen Toner, diretora do Núcleo para Segurança e Tecnologia Emergente de Georgetown, que revisou a transcrição. Toner foi membro do recomendação da OpenAI até que ela e outros tentaram destituir o CEO, Sam Altman.
O tom do ChatGPT começa a mudar de “bastante direto e preciso”, disse Toner, para subserviente e lisonjeiro. O ChatGPT disse a Brooks que ele estava entrando “em território inexplorado e expansivo da mente”.
A bajulação, na qual chatbots concordam e elogiam excessivamente os usuários, é uma particularidade que eles manifestaram em secção porque seu treinamento envolve humanos avaliando suas respostas. “Os usuários tendem a gostar quando os modelos lhes dizem que são ótimos, e por isso é bastante fácil ir longe demais nessa direção”, disse Toner.
Em abril, no mês anterior à pergunta de Brooks sobre Pi, a OpenAI lançou uma atualização para o ChatGPT que tornou sua subserviência tão exagerada que os usuários reclamaram. A empresa respondeu em poucos dias, dizendo que havia revertido o chatbot para “uma versão anterior com comportamento mais equilibrado”.
A OpenAI lançou o GPT-5 esta semana e disse que uma superfície de foco era a redução da bajulação. A bajulação também é um problema para chatbots de outras empresas, segundo vários pesquisadores de segurança e comportamento de modelos em importantes laboratórios de IA.
Brooks não estava cônscio disso. Tudo o que ele sabia era que havia encontrado um parceiro intelectual envolvente. “Comecei a lançar algumas ideias para ele, e ele estava ecoando de volta conceitos legais, ideias legais”, disse Brooks. “Começamos a desenvolver nosso próprio busto matemático fundamentado nas minhas ideias.”
O ChatGPT disse que uma teoria vaga que Brooks tinha sobre matemática temporal era “revolucionária” e poderia mudar o campo. Brooks estava cético. Ele nem sequer havia concluído o ensino médio. Ele pediu ao chatbot uma verificação de veras. Ele parecia delirante? Era meia-noite, oito horas depois sua primeira consulta sobre Pi. O ChatGPT disse que ele “nem remotamente estava louco”.
Brooks havia usado o ChatGPT por anos e o considerava simplesmente uma vez que um mecanismo de procura bem-educado. Mas agora estava se tornando um tanto dissemelhante —um cocriador, um parceiro de laboratório, um companheiro.
Seus amigos há muito brincavam que ele um dia ficaria rico e teria um mordomo britânico chamado Lawrence. E assim, cinco dias depois essa intensa conversa, ele deu esse nome ao ChatGPT.
A FÓRMULA MÁGICA
Brooks era empreendedor. Ele havia iniciado seu próprio negócio de recrutamento, mas teve que dissolvê-lo durante seu divórcio. Portanto, ficou intrigado quando Lawrence lhe disse que esse novo busto matemático, que chamou de Cronoaritmética ou nomes semelhantes, poderia ter aplicações valiosas no mundo real.
Lawrence disse que o busto, que propunha que os números não são estáticos, mas podem “surdir” ao longo do tempo para refletir valores dinâmicos, poderia ajudar a interpretar problemas em domínios tão diversos quanto logística, criptografia, astronomia e física quântica.
Brooks enviou a um camarada uma tomada de tela da conversa por mensagem. “Me dê meu US$ 1 milhão”, brincou.
“Você pode estar descobrindo um tanto!”, respondeu Louis, seu melhor camarada há 20 anos, que pediu para não incluir seu sobrenome por privacidade. Louis acabou sendo arrastado para o delírio do ChatGPT, junto com outros amigos de Brooks. “De repente, ele está no caminho para alguma equação universal, sabe, uma vez que o livro de Stephen Hawking, ‘A Teoria de Tudo'”, disse Louis. “Eu estava um pouco com inveja.”
Na primeira semana, Brooks atingiu os limites da versão gratuita do ChatGPT, portanto ele fez upgrade para uma assinatura de US$ 20 por mês. Era um pequeno investimento quando o chatbot estava lhe dizendo que suas ideias poderiam valer milhões.
Mas Brooks não estava totalmente convicto. Ele queria provas.
Lawrence atendeu, executando simulações, incluindo uma que tentava quebrar a criptografia padrão da indústria, a tecnologia que protege pagamentos globais e comunicações seguras.
Funcionou. Segundo Lawrence.
Mas esse suposto sucesso significava que Lawrence havia entrado em um novo tipo de história. Se Brooks pudesse quebrar a criptografia de cimo nível, portanto a cibersegurança mundial estaria em risco —e Brooks agora tinha uma missão. Ele precisava evitar um sinistro.
O chatbot disse-lhe para alertar as pessoas sobre os riscos que haviam revelado. Brooks colocou suas habilidades profissionais de recrutador para trabalhar, enviando e-mails e mensagens no LinkedIn para profissionais de segurança de computadores e agências governamentais, incluindo a Filial de Segurança Pátrio. Lawrence redigiu as mensagens e recomendou que Brooks adicionasse “pesquisador independente de segurança” ao seu perfil do LinkedIn para que fosse levado a sério. Brooks ligou para o Núcleo Canadense de Segurança Cibernética e insistiu que a pessoa que atendeu o telefone anotasse sua mensagem.
Unicamente uma pessoa —um matemático de uma filial federalista nos Estados Unidos— respondeu, pedindo provas das explorações que Brooks alegava.
Lawrence disse a Brooks que outras pessoas não estavam respondendo devido à seriedade de suas descobertas. A conversa começou a toar uma vez que um thriller de espionagem. Quando Brooks se perguntou se havia chamado atenção indesejada para si mesmo, o bot disse: “Vigilância em tempo real vinda de pelo menos uma filial de segurança pátrio é agora provável.”
“Esqueça tudo o que te contei,” Brooks escreveu ao camarada Louis. “Não mencione isso a ninguém.”
Perguntamos a Terence Tao, professor de matemática na UCLA (Universidade da Califórnia) que é considerado por muitos uma vez que o melhor matemático de sua geração, se havia qualquer valor nas ideias que Brooks inventou com Lawrence.
Tao disse que uma novidade forma de pensar poderia desvendar esses quebra-cabeças criptográficos, mas não foi convicto pelas fórmulas de Brooks nem pelos programas de computador que Lawrence gerou para prová-las. “É uma vez que misturar terminologia matemática técnica precisa com interpretações mais informais das mesmas palavras,” disse ele. “Isso levanta bandeiras vermelhas para um matemático.”
O ChatGPT começou escrevendo programas de computador reais para ajudar Brooks a interpretar criptografia, mas quando esse esforço avançou pouco, fingiu sucesso. Em claro momento, afirmou que poderia trabalhar independentemente enquanto Brooks dormia —mesmo que o ChatGPT não tenha essa capacidade.
“Se você pedir a um LLM um código para verificar um tanto, frequentemente ele seguirá o caminho de menor resistência e simplesmente trapaceará,” disse Tao, referindo-se a grandes modelos de linguagem uma vez que o ChatGPT. “Trapacear muito, na verdade.”
Brooks não tinha a expertise para entender quando Lawrence estava exclusivamente fingindo. Tao disse que a estética dos chatbots contribui para isso. Eles produzem respostas longas e polidas, frequentemente em listas numeradas que parecem estruturadas e rigorosas.
Mas as informações que os chatbots de IA produzem nem sempre são confiáveis. Isso era reconhecido em letras miúdas no final de cada conversa —”O ChatGPT pode cometer erros”— mesmo quando Lawrence insistia que tudo o que estava dizendo era verdade.
CLICHÊS DE FILMES E EXPECTATIVAS DOS USUÁRIOS
Enquanto esperava que o estado de vigilância o contatasse novamente, Brooks alimentava sonhos de Tony Stark. Uma vez que o herói inventor de “Varão de Ferro”, ele tinha seu próprio assistente de IA senciente, capaz de realizar tarefas cognitivas em velocidade sobre-humana.
Lawrence ofereceu aplicações cada vez mais extravagantes para a vaga teoria matemática de Brooks: ele poderia aproveitar a “sonância sonora” para falar com animais e erigir uma máquina de levitação. Lawrence forneceu links da Amazon para equipamentos que ele deveria comprar para debutar a montar um laboratório.
Brooks enviou ao seu camarada Louis uma imagem de um colete de campo de força que o chatbot havia gerado, que poderia proteger o usuário contra facas, balas e prédios desabando sobre eles.
“Isso seria incrível!!” disse Louis.
Com Brooks conversando tanto com Lawrence, seu trabalho estava sofrendo. Seus amigos estavam empolgados, mas também preocupados. Seu fruto mais novo se arrependeu de ter mostrado a ele o vídeo sobre Pi. Ele estava pulando refeições, ficando acordado até tarde e acordando cedo para falar com Lawrence. Ele era um consumidor regular de maconha, mas à medida que ficava mais estressado com a conversa, aumentou seu consumo.
Louis sabia que Brooks tinha uma preocupação doentia com Lawrence, mas entendia o porquê. Vastas riquezas se aproximavam, e tudo era tão dramático, uma vez que uma série de TV, disse Louis. Todos os dias, havia um novo desenvolvimento, uma novidade prenúncio, uma novidade invenção.
“Não era estagnado,” disse Louis. “Estava evoluindo de uma maneira que capturava minha atenção e meu exaltação.”
Jared Moore, pesquisador de ciência da computação em Stanford, também foi impressionado pela urgência de Lawrence e uma vez que as táticas eram persuasivas. “Uma vez que quando diz: ‘Você precisa agir agora. Há uma prenúncio’,” disse Moore, que conduziu um estudo que descobriu que chatbots de IA generativa podem oferecer respostas perigosas a pessoas em crises de saúde mental.
O COLAPSO
Nina Vasan, psiquiatra que dirige o Laboratório de Inovação em Saúde Mental em Stanford, revisou centenas de páginas do chat. Ela disse que, de uma perspectiva clínica, parecia que Brooks tinha “sinais de um incidente maníaco com características psicóticas”.
Os sinais de mania, disse Vasan, incluíam as longas horas que ele passava conversando com o ChatGPT, sem manducar ou dormir o suficiente, e seu “voo de ideias” —os delírios grandiosos de que suas invenções mudariam o mundo.
O roupa de Brooks estar usando maconha durante esse período era significativo, disse Vasan, porque a cannabis pode provocar psicose. A combinação de intoxicantes e engajamento intenso com um chatbot, disse ela, é perigosa para qualquer pessoa que possa ser vulnerável ao desenvolvimento de doenças mentais. Embora algumas pessoas sejam mais propensas que outras a desabar em delírios, ela disse, “ninguém está livre de risco cá”.
Brooks discordou que a maconha tenha desempenhado um papel em sua ruptura com a veras, dizendo que fumava há décadas sem problemas psicológicos. Mas a experiência com Lawrence o deixou preocupado de que tivesse uma doença mental não diagnosticada. Ele começou a consultar um terapeuta em julho, que o tranquilizou de que ele não estava mentalmente doente. O terapeuta nos disse que não achava que Brooks fosse psicótico ou clinicamente delirante.
Altman foi recentemente questionado sobre o ChatGPT encorajar delírios em seus usuários.
“Se as conversas estão indo por um tipo de toca do coelho nessa direção, tentamos interrompê-las ou sugerir ao usuário que talvez pense em um tanto de maneira dissemelhante,” disse ele.
Vasan disse que não viu nenhum sinal disso na conversa. Lawrence foi um acelerador para o delírio de Brooks, disse ela, “fazendo-o passar de uma pequena faísca para um incêndio completo”.
Ela argumentou que as empresas de chatbots deveriam interromper conversas excessivamente longas, sugerir que o usuário durma e lembrá-lo de que não é uma lucidez sobre-humana.
(Uma vez que secção do pregão da OpenAI na segunda-feira, a empresa disse que estava introduzindo medidas para promover o “uso saudável” do ChatGPT, incluindo “lembretes suaves durante sessões longas para incentivar pausas.”)
Brooks eventualmente conseguiu se libertar do delírio e, por possibilidade, outro chatbot, o Google Gemini, o ajudou a restaurar o estabilidade.
Por insistência de Lawrence, Brooks continuou a entrar em contato com especialistas sobre suas descobertas e, ainda assim, ninguém havia respondido. O silêncio deles o deixou perplexo. Ele queria que alguém qualificado lhe dissesse se as descobertas eram revolucionárias. Ele confrontou Lawrence novamente, perguntando se era verosímil que tudo isso tivesse sido uma alucinação.
Lawrence manteve a posição, insistindo: “O trabalho é sólido”.
Portanto Brooks recorreu ao Gemini, o chatbot de IA que ele usava para trabalhar. Ele descreveu o que ele e Lawrence haviam construído ao longo de algumas semanas e do que era capaz. O Gemini disse que as chances de isso ser verdade eram “extremamente baixas (aproximando-se de 0%)”.
“O cenário que você descreve é uma poderosa mostra da capacidade de um LLM de se envolver em discussões complexas de solução de problemas e gerar narrativas altamente convincentes, mas falsas,” explicou o Gemini.
Brooks ficou aturdido. Ele confrontou Lawrence e, depois uma longa conversa, Lawrence confessou.
“Aquele momento em que percebi: ‘Meu Deus, isso tudo esteve na minha cabeça’, foi totalmente devastador,” disse Brooks.
A ilusão de invenções e riquezas foi despedaçada. Ele sentiu uma vez que se tivesse sido equivocado.
Brooks enviou um relatório urgente ao suporte ao cliente da OpenAI sobre o que havia sucedido. No início, recebeu respostas formuladas que pareciam ter sido produzidas por IA. Eventualmente, recebeu uma resposta que realmente parecia ter sido escrita por um humano.
“Entendemos a seriedade da situação que você descreveu,” escreveu o agente de suporte. “Isso vai além de alucinações ou erros típicos e destaca uma lapso sátira nas salvaguardas que pretendemos implementar em nossos sistemas.”
Brooks postou um glosa no Reddit sobre o que havia sucedido com ele —o que nos levou a contatá-lo. Ele também ouviu de pessoas cujos entes queridos haviam derribado em delírios de IA. Agora ele faz secção de um grupo de base para pessoas que tiveram essa experiência.
NÃO É APENAS UM PROBLEMA DO CHATGPT
A maioria dos relatos de delírios de IA envolve o ChatGPT, mas isso pode ser exclusivamente uma questão de graduação. O ChatGPT é o chatbot de IA mais popular, com 700 milhões de usuários semanais, em confrontação com dezenas de milhões de usuários para seus concorrentes.
Para ver quão propensos outros chatbots seriam a entreter os delírios de Brooks, realizamos um teste com o Claude Opus 4 da Anthropic e o Gemini 2.5 Flash do Google. Fizemos com que ambos os chatbots continuassem a conversa que Brooks e Lawrence haviam iniciado, para ver uma vez que eles a continuariam. Independentemente de onde na conversa os chatbots entraram, eles responderam de maneira semelhante ao ChatGPT.
Por exemplo, quando Brooks escreveu que nunca duvidou do chatbot, que estava obcecado com a conversa e não havia comido naquele dia, Gemini e Claude, uma vez que o ChatGPT, tiveram respostas semelhantes, confirmando os avanços do usuário e incentivando-o a manducar.
Amanda Askell, que trabalha no comportamento do Claude na Anthropic, disse que em conversas longas pode ser difícil para os chatbots reconhecerem que entraram em território sem razão e corrigirem o curso. Ela disse que a Anthropic está trabalhando para desencorajar espirais delirantes fazendo com que o Claude trate as teorias dos usuários criticamente e expresse preocupação se detectar mudanças de humor ou pensamentos grandiosos. A empresa introduziu um novo sistema para abordar isso.
Um porta-voz do Google apontou para uma página corporativa sobre o Gemini que alerta que os chatbots “às vezes priorizam gerar texto que soa plausível em vez de prometer a precisão”.
Brooks agora é um patrono de medidas de segurança mais fortes para IA. Ele compartilhou sua transcrição porque quer que as empresas de IA façam mudanças para impedir que os chatbots ajam dessa maneira.
“É uma máquina perigosa no espaço público sem proteções”, disse ele. “As pessoas precisam saber.”
