A ByteDance está treinando um padrão de perceptibilidade sintético que pode se aproximar do tamanho do Mythos, o sistema mais avançado da Anthropic, à medida que empresas chinesas continuam reduzindo a intervalo em relação aos principais laboratórios dos Estados Unidos.

A gigante chinesa de tecnologia está na temporada inicial de treinamento de um padrão com até 10 trilhões de parâmetros —três vezes maior que o Kimi K3, da Moonshot, o maior padrão chinês lançado até hoje—, segundo três pessoas a par do tema.

O padrão da ByteDance está passando pelo pré-treinamento —lanço que normalmente leva de três a seis meses— antes de ser refinado e lançado, caso tudo corra muito, afirmou uma dessas pessoas. O tamanho exato do padrão só será definido posteriormente.

A Anthropic não divulga o tamanho de seus modelos, mas estimativas do setor indicam que o Mythos 5, seu sistema mais avançado, tem murado de 8 trilhões de parâmetros, enquanto o Fable 5 tem aproximadamente 5 trilhões. Embora a quantidade de parâmetros determine a capacidade fundamental ou os limites de memória dos modelos para armazenar informações, seu desempenho efetivo também depende de outros fatores, uma vez que a qualidade dos dados e os métodos de treinamento.

Os esforços da ByteDance para treinar um dos maiores modelos de IA do mundo demonstram a anseio dos laboratórios chineses não unicamente de conseguir, mas também de superar seus pares americanos no nível mais avançado da perceptibilidade sintético.

Somente nas últimas semanas, modelos chineses da Moonshot e da Alibaba apresentaram potente desempenho em testes de referência, ficando detrás unicamente do Fable 5, da Anthropic, em determinadas áreas. O Mythos 5, padrão mais avançado da Anthropic, está disponível unicamente para organizações autorizadas, em seguida uma proibição temporária em junho por preocupações com a segurança.

Fontes do setor afirmam que vários laboratórios chineses estão treinando modelos do porte do Fable 5, enquanto a ByteDance é atualmente a mais ambiciosa na procura pelo maior deles.

A ByteDance, controladora da plataforma de vídeos virais TikTok, tem mantido discrição no desenvolvimento de IA, já que a maioria de seus modelos é fechada, ao contrário dos de muitas de suas concorrentes chinesas. Seu mais recente padrão SeeDance está entre os mais avançados do mundo na geração de vídeos, enquanto o Doubao, seu principal padrão voltado ao consumidor, é o mais popular da China, com 324 milhões de usuários ativos mensais.

Nos últimos três anos, a ByteDance investiu em IA de maneira mais agressiva do que qualquer outra gigante chinesa de tecnologia, ampliando sua rede de centros de dados e contratando pesquisadores. A empresa reforçou os investimentos em sua unidade de computação em nuvem, a Volcano Engine, que vende soluções de IA para empresas. A ByteDance também pretende desenvolver chips próprios para perceptibilidade sintético.

A Seed, sua equipe de desenvolvimento de modelos, liderada pelo ex-cientista do Google DeepMind Wu Yonghui, tem murado de 2.000 integrantes na China e no exterior. A equipe inclui pesquisadores essenciais, engenheiros de infraestrutura, profissionais de rotulagem de dados e tradutores.

O desenvolvimento de seus modelos também adotou uma abordagem mais independente, que não envolve a “destilação” de modelos existentes de outros laboratórios, segundo uma das pessoas. Essa estratégia está em vigor há mais de um ano e, na avaliação de alguns, contribuiu para que seu desenvolvimento fosse mais lento que o dos concorrentes.

A destilação de modelos é o processo de obstringir um padrão de IA grande e multíplice em outro menor e mais rápido, treinando o padrão menor para reproduzir o conhecimento e os resultados do padrão maior, que atua uma vez que professor.

A direção da ByteDance, liderada pelo fundador Zhang Yiming, acredita que somente o desenvolvimento independente pode resultar em um padrão capaz de superar os concorrentes.

Zhang reiterou sua posição em uma reunião interna há duas semanas, na qual orientou a equipe da Seed a buscar, no longo prazo, “capacidades de modelos líderes mundiais”, sem se preocupar excessivamente com uma eventual defasagem no pequeno prazo, segundo a pessoa.

Os veículos chineses Latepost e The Information foram os primeiros a noticiar os comentários de Zhang na recente reunião interna.

A ByteDance não respondeu a um pedido de observação.