A Anthropic, empresa de IA (lucidez sintético) que recentemente enfrentou o Pentágono pelo uso de sua tecnologia, desenvolveu um novo protótipo de IA que, segundo ela, é poderoso demais para ser liberado ao público.
Em vez disso, a Anthropic anunciou nesta terça-feira (7) que disponibilizará o novo protótipo —publicado porquê Claude Mythos Preview— a um consórcio de mais de 40 empresas de tecnologia, incluindo Apple, Amazon e Microsoft, que o usarão para encontrar e emendar vulnerabilidades de segurança em seus programas de software estratégicos.
A Anthropic disse que não planeja liberar a novidade tecnologia de forma mais ampla, mas está anunciando as capacidades do novo protótipo em uma extensão específica —a identificação de vulnerabilidades de segurança em software— em um esforço para alertar para o que a empresa acredita que será uma novidade e mais assustadora era de ameaças de IA.
“O objetivo é tanto aumentar a conscientização quanto dar aos bons atores uma vantagem no processo de proteger infraestrutura e códigos abertos e privados”, disse Jared Kaplan, diretor científico da Anthropic, em entrevista.
A coalizão, conhecida porquê Projeto Glasswing, incluirá alguns dos concorrentes da Anthropic em IA, porquê o Google, além de fornecedores de hardware porquê Cisco e Broadcom, e organizações que mantêm software de código franco estratégico, porquê a Linux Foundation. A Anthropic está comprometendo até US$ 100 milhões em créditos de uso do Claude para a iniciativa.
Logan Graham, superintendente de uma equipe da Anthropic que testa novos modelos em procura de capacidades perigosas, chamou o novo protótipo de “o ponto de partida para o que acreditamos ser uma viradela na indústria, ou acerto de contas, com o que precisa intercorrer agora”.
A Anthropic ocupa uma posição incomum no cenário atual de IA. Ela está correndo para erigir sistemas de IA cada vez mais poderosos, e faturando bilhões de dólares vendendo aproximação a esses sistemas, enquanto também labareda atenção para os riscos que sua tecnologia representa.
A empresa foi enquadrada porquê um risco à ergástulo de suprimentos neste ano pelo Pentágono por limitar o uso de sua tecnologia. Um juiz federalista posteriormente impediu que a designação entrasse em vigor.
A Anthropic não divulgou muitas informações novas sobre o protótipo, que tinha o codinome Capybara durante o desenvolvimento. Mas depois que alguns detalhes vazaram inadvertidamente no mês pretérito, a empresa reconheceu que o considerava uma “mudança de patamar” nas capacidades de IA, com desempenho rebuscado em áreas porquê programação e pesquisa em cibersegurança.
A decisão da empresa de reter o Claude Mythos Preview por preocupação com possíveis usos indevidos, dando aproximação unicamente a parceiros, tem qualquer precedente. Em 2019, a OpenAI anunciou que havia construído um novo protótipo, o GPT-2, mas não estava liberando a versão completa imediatamente.
A empresa alegou que suas capacidades de geração de texto poderiam ser usadas para automatizar a produção em volume de propaganda ou desinformação. (Posteriormente, a companhia liberou o protótipo, posteriormente realizar testes de segurança adicionais.) Muitos dos líderes do projeto GPT-2 depois deixaram a OpenAI para fundar a Anthropic.
Desta vez, a startup faz uma asserção dissemelhante e mais urgente. Os executivos da empresa dizem que o Claude Mythos Preview já é capaz de realizar pesquisa de segurança autônoma, incluindo varredura e exploração das chamadas vulnerabilidades zero-day em programas de software estratégicos, falhas que são desconhecidas até mesmo pelo desenvolvedor do software.
Esses esforços muitas vezes podem ser acionados por amadores com comandos simples. A empresa afirma que o novo protótipo já identificou “milhares” de bugs e vulnerabilidades em programas de software populares, incluindo todos os principais sistemas operacionais e navegadores.
Uma das vulnerabilidades que o Claude encontrou, disse a empresa, foi um bug de 27 anos no OpenBSD, um sistema operacional de código franco projetado para ser difícil de hackear. Muitos roteadores de internet e firewalls seguros incorporam a tecnologia do OpenBSD. Outra foi um problema de longa data em um software de vídeo popular que ferramentas de teste automatizadas haviam escaneado 5 milhões de vezes, sem encontrar nenhum problema.
“Leste protótipo é bom em encontrar vulnerabilidades que seriam muito compreendidas e encontráveis por pesquisadores de segurança”, disse Graham. “Ao mesmo tempo, ele encontrou vulnerabilidades e, em alguns casos, criou exploits sofisticados o suficiente para terem pretérito despercebidos por literalmente décadas de pesquisadores de segurança, assim porquê por todas as ferramentas automatizadas projetadas para encontrá-los.”
A indústria de cibersegurança vem se preparando há anos para o que modelos de IA mais capazes poderiam fazer à infraestrutura tecnológica sátira. Até recentemente, unicamente pesquisadores humanos especializados e com aproximação a ferramentas especializadas eram capazes de encontrar brechas de segurança mais graves. Agora, o pavor é que um protótipo de IA possa descobri-las por conta própria.
“Imagine uma horda de agentes catalogando metodicamente cada fraqueza em sua infraestrutura tecnológica, continuamente”, escreveu Nikesh Arora, CEO da Palo Cume Networks, em uma postagem de blog na semana passada.
Graham disse que uma das questões não respondidas sobre o Claude Mythos Preview, e outros modelos futuros que serão capazes de fazer coisas semelhantes, era se a maior secção ou todo o software crítico do mundo precisaria ser revisto ou reescrito porquê resultado desses novos modelos.
“Há muitos sistemas realmente críticos ao volta do mundo, seja infraestrutura física ou coisas que protegem seus dados pessoais, que estão rodando em versões antigas de código”, disse Graham. “Se antes eles eram majoritariamente seguros porque exigia muito esforço humano para atacá-los, esse paradigma de segurança ainda funciona?”
É sensato receber com cautela as alegações sobre capacidades de modelos não lançados vindas de empresas de IA. Neste caso, porém, pesquisadores de cibersegurança que tiveram aproximação ao Claude Mythos Preview caracterizaram o protótipo porquê um risco significativo de cibersegurança.
Segundo Kaplan, as capacidades de cibersegurança do Claude Mythos Preview não são resultado de treinamento privativo. Em vez disso, são unicamente uma das muitas áreas em que o protótipo é melhor que os anteriores. Ele previu que capacidades de cibersegurança semelhantes existirão em outros modelos em breve. À medida que isso intercorrer, acrescentou, a disputa armamentista entre hackers e empresas correndo para proteger seus sistemas só vai se intensificar.
“Porquê diz o slogan, oriente é o protótipo menos capaz a que teremos aproximação no porvir”, disse.
