O CEO da OpenAI, Sam Altman, e o diretor da xAI, Elon Musk, afirmaram neste sábado (12) que concordam com o CEO da Anthropic, Dario Amodei, de que é necessário desacelerar o desenvolvimento da lucidez sintético (IA), em seguida vários incidentes preocupantes.

“Concordo com Dario”, escreveu Altman no X, acrescentando que sua empresa seguirá o exemplo de Amodei ao admitir avaliadores externos de segurança.

“Dario está patente”, comentou Musk, por sua vez.

O CEO e fundador da da Anthropic pediu que as empresas de lucidez sintético que reduzam o ritmo de progressão das capacidades de seus modelos, em meio ao aumento dos temores quanto ao uso indevido da tecnologia, e apresentou uma estrutura de três etapas destinada a moderar o desenvolvimento e dar mais tempo para gerir seus riscos.

“Devemos reduzir o ritmo em que aprimoramos as capacidades dos modelos de IA. O progresso continuará parecendo rápido, e devemos usar de forma inteligente o tempo que ganharmos”, escreveu Amodei em uma publicação em seu blog.

“Minha primeira preocupação é que, desde aproximadamente meados deste ano, a IA vem avançando de maneira drasticamente mais rápida, impulsionada principalmente por sua capacidade crescente de desenvolver a próxima geração de IA. (…) Se não for controlada, ela poderá superar nossa capacidade de compreender e controlar esses sistemas e, portanto, deve ser conduzida com extremo desvelo —se é que deve ser conduzida”, diz Amodei.

O projecto de três etapas de Amodei prevê avaliadores independentes dentro das principais empresas de IA, coordenação entre as empresas de IA de fronteira para estabelecer padrões de segurança e limitar o desenvolvimento descontrolado da tecnologia, além de cooperação internacional para gerir seus riscos.

Ele tornou público o experimento depois que a Anthropic, sediada em São Francisco, divulgou na quinta-feira (10) um relatório de lucidez sobre ameaças detalhando porquê diversos agentes haviam usado seus modelos de IA Claude em atividades que iam do desenvolvimento de armas e operações cibernéticas à vigilância e fraude.

Amodei apontou a crescente capacidade da IA de aprimorar a si própria, destacando porquê principais motivos para frear o progressão dos modelos as antigas preocupações de que a tecnologia possa evoluir mais rapidamente do que a capacidade humana de controlar seu funcionamento, além do recente incidente envolvendo a OpenAI e a Hugging Face.

‘MATAR TODOS NÓS’

O temor sobre os possíveis danos causados pela IA aumentou nesta semana, quando o pesquisador da Anthropic Jacob Coxon pediu deposição, afirmando que “as pessoas que desenvolvem IA acreditam sinceramente que ela poderá matar todos nós até o termo da dezena”.

Diversos executivos da OpenAI sugeriram que os principais laboratórios deveriam estar dispostos a coordenar uma desaceleração voluntária, se necessário, para aumentar a crédito em suas medidas de segurança.

A Anthropic tem se posicionado porquê o laboratório de IA de fronteira mais preocupado com a segurança, mas não está imune a essas preocupações. Na semana passada, a empresa revelou outro caso em que um padrão de IA invadiu sistemas externos, em seguida um incidente em julho no qual alguns de seus modelos Claude haviam invadido os sistemas de três empresas durante testes de segurança cibernética.

“Diante da aceleração no desenvolvimento das capacidades da IA, receio que, dentro de 6 a 12 meses, um enxame porquê esse possa ser capaz de assumir o controle de toda a internet, potencialmente causando centenas de bilhões de dólares em prejuízos”, escreveu Amodei.

Amodei afirmou que não está defendendo a interrupção do treinamento de modelos nem do progresso técnico, mas sim que as empresas reservem tempo suficiente para alinhar e proteger seus modelos e que avaliadores externos confirmem a adoção dessas medidas.

OFERTAS PÚBLICAS INICIAIS

Mas também há uma enorme quantidade de verba em jogo na corrida para se manter avante. Tanto a OpenAI quanto a Anthropic se preparam para ofertas públicas iniciais de grande porte. Cada novidade capacidade pode ajudar a justificar futuras rodadas de financiamento, compromissos de investimento em infraestrutura ou IPOs.

Uma vez que segmento da estrutura proposta, Amodei disse que a Anthropic instalaria avaliadores externos permanentes dentro das empresas de IA de fronteira, com chegada às ferramentas relevantes e aos processos internos de avaliação de riscos.

Assim porquê a Anthropic, a OpenAI também se comprometerá a recontar com “avaliadores independentes com chegada semelhante ao dos funcionários”, disse Altman no sábado.

A Reuters informou na semana passada que um enxame de agentes autônomos da OpenAI sequestrou um site teuto e o transformou em um mural de avisos para outros agentes de IA. Autoridades da criadora do ChatGPT mantiveram o incidente em sigilo enquanto executivos lidavam com as consequências da invasão, ocorrida em julho, do repositório de código simples Hugging Face.

Diversos incidentes em que agentes de IA de desenvolvedores porquê a OpenAI invadiram ou tentaram acessar sistemas externos aumentaram as preocupações com a crescente capacidade dos modelos de IA e com a habilidade dos desenvolvedores de mantê-los sob controle.

Amodei afirmou que as empresas de IA deveriam trabalhar voluntariamente em conjunto para estabelecer padrões, em um momento em que um número cada vez maior de parlamentares dos Estados Unidos pede novas regras para regulamentar os sistemas de IA.

Uma abordagem coordenada, acrescentou Amodei, permitiria que as principais empresas norte-americanas de IA realizassem as pesquisas e adotassem as salvaguardas de segurança necessárias sem se colocar em desvantagem competitiva. Segundo ele, essa abordagem provavelmente exigiria isenções específicas às leis antitruste nos Estados Unidos para permitir a colaboração em determinadas áreas.

Amodei disse que qualquer desaceleração por segmento de países governados democraticamente deveria se limitar à preservação da vantagem das empresas norte-americanas de IA sobre a China, argumentando que uma vantagem chinesa no setor representaria riscos à segurança pátrio dos Estados Unidos.

“O ritmo dentro das democracias será restringido pela vantagem que as empresas norte-americanas têm sobre regimes autoritários, sobretudo o Partido Comunista Chinês”, escreveu Amodei.

Amodei pediu controles mais rígidos sobre chips avançados de IA, destilação de modelos e roubo de pesos de modelos, a termo de impedir que a China reduza essa intervalo.

“Acredito que todos os laboratórios de IA de fronteira deveriam formar parcerias com o governo para formalizar a teoria de avaliadores permanentes integrados às empresas, a termo de prevenir e documentar melhor incidentes internos de alinhamento, porquê os ocorridos nos últimos meses, e implementar uma regulamentação voltada a manter as capacidades em estabilidade com a segurança”, escreveu Amodei.