A “lei” computacional que tornou a Nvidia a empresa mais valiosa do mundo está começando a se desintegrar. Não se trata da famosa Lei de Moore, o princípio da indústria de semicondutores que prevê que o desempenho dos chips aumentará ao geminar a densidade de transistores a cada dois anos.
Para muitos no Vale do Silício, a Lei de Moore foi substituída uma vez que principal preditor de progresso tecnológico por um novo concepção: a “lei de escalabilidade” da IA (perceptibilidade sintético). Esta postula que colocar mais dados em um padrão de IA maior —o que, por sua vez, requer mais poder de computação— resulta em sistemas mais inteligentes.
Essa percepção impulsionou o progresso da IA, transformando o foco do desenvolvimento de resolver problemas científicos difíceis para o repto mais direto de engenharia de erigir clusters cada vez maiores de chips —geralmente da Nvidia.
A lei de escalabilidade teve seu momento de destaque com o lançamento do ChatGPT. O ritmo depressa de melhoria nos sistemas de IA nos dois anos desde portanto parecia sugerir que a regra poderia se manter verdadeira até atingirmos qualquer tipo de “superinteligência”, talvez nesta dezena.
No último mês, no entanto, os rumores na indústria aumentaram, indicando que os modelos mais recentes de empresas uma vez que OpenAI, Google e Anthropic não mostraram as melhorias esperadas de contrato com as projeções da lei de escalabilidade.
“Os anos 2010 foram a era da escalabilidade, agora estamos de volta à era do maravilhamento e invenção novamente”, disse recentemente Ilya Sutskever, cofundador da OpenAI, à Reuters. Leste é o varão que, há um ano, disse confiar que era “bastante provável que toda a superfície da Terreno fosse coberta com painéis solares e centros de dados” para fomentar a IA.
Até recentemente, a lei de escalabilidade era aplicada ao “pré-treinamento”: a lanço fundamental na construção de um grande padrão de IA. Agora, executivos, pesquisadores e investidores de IA estão admitindo que as capacidades dos modelos de IA estão —uma vez que Marc Andreessen colocou em seu podcast— “atingindo o limite” exclusivamente com o pré-treinamento, o que significa que mais trabalho é necessário em seguida a construção do padrão para continuar avançando.
Alguns dos primeiros adeptos da lei de escalabilidade, uma vez que o patrão da Microsoft, Satya Nadella, tentaram redefinir sua definição. Não importa se o pré-treinamento oferece retornos decrescentes, argumentam os defensores, porque os modelos agora podem “raciocinar” quando questionados com uma pergunta complexa. “Estamos vendo a emergência de uma novidade lei de escalabilidade”, disse Nadella recentemente, referindo-se ao novo padrão o1 da OpenAI. Mas esse tipo de ajuste deve deixar os investidores da Nvidia nervosos.
Simples, a “lei” de escalabilidade nunca foi uma regra infalível, assim uma vez que não havia um fator inerente que permitisse aos engenheiros da Intel continuar aumentando a densidade de transistores de contrato com a Lei de Moore. Em vez disso, esses conceitos servem uma vez que princípios organizadores para a indústria, impulsionando a competição.
No entanto, a hipótese da lei de escalabilidade alimentou o “pavor de perder” a próxima grande transição tecnológica, levando a um investimento sem precedentes das grandes empresas de tecnologia em IA. Os gastos de capital da Microsoft, Meta, Amazon e Google devem ultrapassar US$ 200 bilhões levante ano e superar US$ 300 bilhões no próximo ano, de contrato com o Morgan Stanley. Ninguém quer ser o último a erigir a superinteligência.
Mas se maior não significa mais eficiente em IA, esses planos serão reduzidos? A Nvidia pode suportar mais do que a maioria se isso ocorrer. Quando a obreiro de chips divulgou seus lucros na semana passada, a primeira pergunta dos analistas foi sobre as leis de escalabilidade. Jensen Huang, CEO da Nvidia, insistiu que a escalabilidade do pré-treinamento estava “intacta”, mas admitiu que não é “suficiente” por si só.
A boa notícia para a Nvidia, argumentou Huang, é que a solução exigirá ainda mais de seus chips: a chamada “escalabilidade em tempo de teste”, já que sistemas de IA uma vez que o o1 da OpenAI precisam “pensar” por mais tempo para gerar respostas mais inteligentes.
Isso pode ser verdade. Enquanto o treinamento absorveu a maioria dos chips da Nvidia até agora, a demanda por poder de computação para “inferência” —ou uma vez que os modelos respondem a cada consulta individual— deve crescer rapidamente à medida que mais aplicações de IA surgem.
Pessoas envolvidas na construção dessa infraestrutura de IA acreditam que a indústria estará correndo detrás da inferência por pelo menos mais um ano. “Neste momento, levante é um mercado que vai precisar de mais chips, não menos”, disse-me Brad Smith, presidente da Microsoft.
Mas a longo prazo, a corrida por chips para fomentar modelos cada vez maiores antes de serem lançados foi substituída por um pouco mais intimamente ligado ao uso da IA. A maioria das empresas ainda está em procura do aplicativo matador da IA, principalmente em áreas que exigiriam as capacidades de “raciocínio” emergentes do o1.
A Nvidia se tornou a empresa mais valiosa do mundo durante a temporada especulativa da construção da IA. O debate sobre a lei de escalabilidade destaca o quanto seu horizonte depende de as grandes empresas de tecnologia obterem retornos tangíveis sobre esses enormes investimentos.
