Demis Hassabis, um dos especialistas em lucidez sintético mais influentes do mundo, tem um alerta para o restante da indústria de tecnologia: não esperem que os chatbots continuem a melhorar tão rapidamente quanto nos últimos anos.
Pesquisadores de IA têm, há qualquer tempo, se fundamentado em um concepção relativamente simples para melhorar seus sistemas: quanto mais dados extraídos da internet são inseridos em grandes modelos de linguagem —a tecnologia por trás dos chatbots— melhor esses sistemas funcionam.
Mas Hassabis, que supervisiona o Google DeepMind, o principal laboratório de IA da empresa, agora diz que esse método está perdendo força simplesmente porque as empresas de tecnologia estão ficando sem dados.
“Todos na indústria estão vendo retornos decrescentes”, disse Hassabis levante mês em uma entrevista ao The New York Times enquanto se preparava para receber um Prêmio Nobel por seu trabalho em IA.
Hassabis não é o único profissional em IA a alertar sobre uma desaceleração. Entrevistas com 20 executivos e pesquisadores mostraram uma crença generalizada de que a indústria de tecnologia está enfrentando um problema que muitos teriam considerado impensável há unicamente alguns anos: eles usaram a maior segmento do texto do dedo disponível na internet.
Esse problema está começando a surgir mesmo enquanto bilhões de dólares continuam a ser investidos no desenvolvimento de IA. Na semana passada, a Databricks, uma empresa de dados de IA, anunciou que estava se aproximando de US$ 10 bilhões (R$ 60 bilhões) em financiamento —a maior rodada de financiamento privado já registrada para uma startup. E as maiores empresas de tecnologia estão sinalizando que não têm planos de reduzir seus gastos com os enormes centros de dados que operam sistemas de IA.
Nem todos no mundo da IA estão preocupados. Alguns, incluindo o CEO da OpenAI, Sam Altman, dizem que o progresso continuará no mesmo ritmo, embora com algumas variações em técnicas antigas. Dario Amodei, CEO da startup de IA Anthropic, e Jensen Huang, CEO da Nvidia, também estão otimistas.
(O Times processou a OpenAI, alegando violação de direitos autorais de teor de notícias relacionado a sistemas de IA. A OpenAI negou as acusações.)
As raízes do debate remontam a 2020, quando Jared Kaplan, um físico teórico da Universidade Johns Hopkins, publicou um cláusula de pesquisa mostrando que grandes modelos de linguagem se tornavam progressivamente mais poderosos e realistas à medida que analisavam mais dados.
Os pesquisadores chamaram as descobertas de Kaplan de “Leis de Escalonamento”. Assim porquê os alunos aprendem mais lendo mais livros, os sistemas de IA melhoraram à medida que ingeriam quantidades cada vez maiores de texto do dedo tirado da internet, incluindo artigos de notícias, registros de bate-papo e programas de computador. Vendo o poder bruto desse fenômeno, empresas porquê OpenAI, Google e Meta correram para obter o sumo de dados da internet verosímil, cortando caminhos, ignorando políticas corporativas e até debatendo se deveriam contornar a lei, de conformidade com uma investigação deste ano pelo Times.
Foi o equivalente moderno da Lei de Moore, o famoso ditado cunhado na dez de 1960 pelo cofundador da Intel, Gordon Moore. Ele mostrou que o número de transistores em um chip de silício dobrava a cada dois anos, aumentando continuamente o poder dos computadores do mundo. A Lei de Moore se manteve por 40 anos. Mas, eventualmente, começou a desacelerar.
O problema é: nem as Leis de Escalonamento nem a Lei de Moore são leis imutáveis da natureza. São simplesmente observações inteligentes. Uma se manteve por décadas. As outras podem ter uma vida útil muito mais curta. Google e o novo empregador de Kaplan, Anthropic, não podem simplesmente jogar mais texto em seus sistemas de IA porque há pouco texto restante para jogar.
“Houve retornos extraordinários nos últimos três ou quatro anos enquanto as Leis de Escalonamento estavam em curso”, disse Hassabis. “Mas não estamos mais obtendo o mesmo progresso.”
Hassabis disse que as técnicas existentes continuariam a melhorar a IA de algumas maneiras. Mas ele acredita que ideias completamente novas são necessárias para depreender o objetivo que o Google e muitos outros estão perseguindo: uma máquina que possa igualar o poder do cérebro humano.
Ilya Sutskever, que foi fundamental em incentivar a indústria a pensar grande porquê pesquisador tanto no Google quanto na OpenAI antes de deixar a OpenAI para produzir uma novidade startup na primavera passada, fez o mesmo ponto durante um exposição levante mês. “Alcançamos o pico de dados, e não haverá mais”, disse ele. “Temos que mourejar com os dados que temos. Só existe uma internet.”
Hassabis e outros estão explorando uma abordagem dissemelhante. Eles estão desenvolvendo maneiras para que grandes modelos de linguagem aprendam com seus próprios erros e acertos. Ao resolver vários problemas matemáticos, por exemplo, os modelos de linguagem podem aprender quais métodos levam à resposta correta e quais não. Em origem, os modelos treinam com dados que eles próprios geram. Os pesquisadores chamam isso de “dados sintéticos”.
A OpenAI lançou recentemente um novo sistema chamado OpenAI o1 que foi construído dessa maneira. Mas o método só funciona em áreas porquê matemática e programação de computadores, onde há uma elevação clara entre notório e falso.
Mesmo nessas áreas, os sistemas de IA têm uma maneira de cometer erros e inventar coisas. Isso pode dificultar os esforços para erigir “agentes” de IA que possam redigir seus próprios programas de computador e tomar ações em nome dos usuários da internet, o que os especialistas veem porquê uma das habilidades mais importantes da IA.
Qualificar as vastas extensões do conhecimento humano é ainda mais difícil.
“Esses métodos só funcionam em áreas onde as coisas são empiricamente verdadeiras, porquê matemática e ciência”, disse Dylan Patel, analista-chefe da empresa de pesquisa SemiAnalysis, que acompanha de perto o desenvolvimento das tecnologias de IA. “As humanidades e as artes, problemas morais e filosóficos são muito mais difíceis.”
Pessoas porquê Altman dizem que essas novas técnicas continuarão a impulsionar a tecnologia. Mas se o progresso atingir um platô, as implicações podem ser de longo alcance, mesmo para a Nvidia, que se tornou uma das empresas mais valiosas do mundo graças ao boom da IA.
Durante uma relação com analistas no mês pretérito, Huang foi questionado sobre porquê a empresa estava ajudando os clientes a mourejar com uma potencial desaceleração e quais poderiam ser as repercussões para seus negócios. Ele disse que as evidências mostravam que ainda havia ganhos sendo feitos, mas que as empresas também estavam testando novos processos e técnicas em chips de IA.
“Porquê resultado disso, a demanda por nossa infraestrutura é realmente grande”, disse Huang.
Embora ele esteja esperançado sobre as perspectivas da Nvidia, alguns dos maiores clientes da empresa reconhecem que devem se preparar para a possibilidade de que a IA não avance tão rapidamente quanto o esperado.
“Tivemos que mourejar com isso. Isso é real ou não?” disse Rachel Peterson, vice-presidente de centros de dados da Meta. “É uma grande questão por motivo de todos os dólares que estão sendo investidos nisso em todos os setores.”
