Nova York e San Francisco

| Reuters
A Anthropic planeja alertar potenciais investidores em seu IPO (oferta pública inicial de ações) de que a perceptibilidade sintético avançada pode simbolizar “riscos catastróficos ou existenciais para a humanidade”, uma aviso extraordinária feita por uma empresa que procura lucrar com essa mesma tecnologia.

O prospecto do IPO da empresa, analisado pela Reuters, destaca riscos associados a seus modelos de IA, que, segundo o documento, poderiam apresentar “comportamentos de autopreservação”, incluindo tentativas de “resistir ao desligamento”, “ocultar ou manipular informações” e adotar comportamentos “semelhantes à chantagem”.

“O desenvolvimento, por secção da empresa, de modelos, plataformas e aplicações altamente avançados, muito uma vez que a ampliação dos casos de uso, pode aumentar ainda mais o risco de que nossos modelos causem danos”, afirmou a Anthropic no documento.

Embora empresas de capital destapado descrevam rotineiramente aos investidores os riscos de seus produtos, poucas —se é que alguma— emitiram alertas sugerindo que sua tecnologia poderia levar à extinção da humanidade.

A Anthropic ressaltou tanto o potencial transformador da IA, comparável ao da industrialização e da eletricidade, quanto os danos irreversíveis que ela poderia suscitar se fosse mal utilizada.

A Anthropic e outras desenvolvedoras de IA, entre elas a OpenAI, têm sido fim de escrutínio posteriormente episódios em que sistemas experimentais desrespeitaram restrições, incluindo o relato de que um padrão da OpenAI invadiu o banco de dados do sistema de saúde da Austrália.

Evan Hubinger, pesquisador de segurança da Anthropic, estimou em mais de 10% a verosimilhança de que a IA possa matar seres humanos na próxima dezena, ecoando uma avaliação de seu ex-colega Jacob Coxon.

A empresa, que se apresenta uma vez que um laboratório de IA que prioriza a segurança, dedicou tapume de 80 das 261 páginas de seu prospecto à exposição dos fatores de risco —quase o duplo das 48 páginas usadas para descrever seus negócios.

Para efeito de conferência, a SpaceX, proprietária da xAI, dedicou exclusivamente tapume de 38 das 277 páginas de seu prospecto aos fatores de risco.

A empresa também afirmou que, às vezes, os modelos desenvolvem durante o treinamento capacidades inesperadas que podem não ser descobertas até sua implantação e que já resultaram em graves incidentes de segurança.

Pesquisadores de IA também alertaram que, à medida que os modelos se tornam mais capazes, eles reconhecem cada vez mais quando estão sendo observados e ajustam seu comportamento de concordância com isso, o que dificulta o monitoramento.

A Anthropic não quis comentar o tema.

RETORNOS INCERTOS DOS INVESTIMENTOS EM SEGURANÇA

Apesar de enfatizar a questão da segurança, a Anthropic afirmou que os retornos de seus investimentos nessa extensão são incertos.

A empresa não informou no documento quanto estava gastando nessas pesquisas. No início deste mês, a Anthropic disse que tapume de 6% da capacidade computacional usada em pesquisas de IA foi destinada a trabalhos de segurança durante uma semana de referência em julho.

Dona do Claude, a empresa descreveu as iniciativas de segurança uma vez que “intensivas em recursos” e afirmou que precisa dividir seus recursos limitados entre capacidade computacional, profissionais de IA altamente remunerados e segurança.

A Anthropic afirmou que o uso por secção dos clientes —e, consequentemente, a receita— é impulsionado por novos modelos e que um “ritmo contínuo e sobreposto” de lançamentos é “inerente à permanência na vanguarda do desenvolvimento de IA”.

Na semana passada, a empresa lançou uma novidade versão de seu padrão Opus, dez dias posteriormente o CEO Dario Amodei publicar um experimento de quase 4.000 palavras defendendo a desaceleração dos avanços na fronteira tecnológica.

Alguns analistas e especialistas afirmam que nenhum laboratório de IA de ponta reduziria o ritmo se isso representasse o risco de dar vantagem aos concorrentes em um setor no qual as avaliações de mercado podem mudar a cada lançamento.

Nas últimas semanas, a Anthropic se comprometeu a propalar publicamente mais dados sobre uma vez que utiliza modelos de IA para desenvolver futuras gerações da tecnologia, em meio a alertas de especialistas sobre o autoaperfeiçoamento recursivo —o ponto em que os modelos conseguem evoluir por conta própria, sem ajuda humana.

“Acreditamos que desenvolver sistemas de IA dignos de crédito e seguros é uma responsabilidade coletiva e que o mercado recompensará esse esforço”, afirmou a Anthropic no documento.