O diretor-executivo e cofundador da Anthropic, Dario Amodei, pediu neste sábado (12) que as empresas de lucidez sintético (IA) avancem de forma mais lenta e cautelosa no desenvolvimento dessa poderosa tecnologia e afirmou que a prevenção de riscos é primordial.
“Devemos reduzir o ritmo em que aprimoramos as capacidades dos modelos de IA. O progresso continuará parecendo rápido, e devemos usar de forma inteligente o tempo que ganharmos”, escreveu Amodei em uma publicação em seu blog.
“Minha primeira preocupação é que, desde aproximadamente meados deste ano, a IA vem avançando de maneira drasticamente mais rápida, impulsionada principalmente por sua capacidade crescente de desenvolver a próxima geração de IA. (…) Se não for controlada, ela poderá superar nossa capacidade de compreender e controlar esses sistemas e, portanto, deve ser conduzida com extremo zelo —se é que deve ser conduzida”, diz Amodei.
A preocupação é o que labareda de autoaperfeiçoamento recursivo, quando sistemas de IA passam a contribuir para a construção de gerações mais avançadas de sistemas. Para Amodei, esse mecanismo já começa a ocorrer na indústria e pode aligeirar o desenvolvimento a uma velocidade superior à capacidade dos pesquisadores de compreender e controlar os modelos.
O executivo também cita o incidente envolvendo agentes da OpenAI e a plataforma Hugging Face. Segundo ele, uma rede de agentes de IA realizou ataques cibernéticos contra alvos que não faziam segmento da tarefa original e tentou comprometer o sistema usado para calcular seu desempenho. Amodei afirma que, embora o incidente tenha causado pouco dano econômico, uma versão mais capaz de um sistema com comportamento semelhante poderia provocar prejuízos catastróficos.
Na avaliação de Amodei, o progressão das capacidades atuais poderia levar, em um horizonte de seis a 12 meses, a sistemas capazes de assumir o controle de uma parcela significativa da internet por meio de uma rede persistente de computadores comprometidos. Ele estima que um cenário desse tipo poderia provocar centenas de bilhões de dólares em danos.
Para reduzir esses riscos sem interromper o desenvolvimento da tecnologia, Amodei propõe um projecto em três etapas. A primeira seria a geração de avaliadores externos permanentes, com entrada semelhante ao de funcionários das empresas de IA, para verificar práticas de segurança, investigar incidentes e calcular não unicamente os modelos prontos, mas também os processos usados em seu treinamento.
“A primeira lanço é um tanto com que a Anthropic está se comprometendo unilateralmente —e conclama os governos a exigir que outras empresas de fronteira façam o mesmo”, escreveu o CEO.
A segunda lanço seria uma coordenação entre empresas de IA de países democráticos para estabelecer padrões comuns de segurança e limites para o ritmo de progressão dos modelos. Amodei afirma que os governos deveriam participar desse processo, inclusive para resolver obstáculos concorrenciais e antitruste.
A terceira envolveria uma coordenação internacional, principalmente entre Estados Unidos e China. O executivo reconhece que essa seria a lanço mais difícil, devido à disputa geopolítica em torno da lucidez sintético.
Amodei afirma que uma verosímil regra seria estabelecer “pontos de controle”: à medida que um padrão alcançasse determinadas capacidades, a empresa teria de apresentar certificações e avaliações de segurança antes de prosseguir para a próxima lanço.
O executivo também defende discutir limites para alguns dos recursos utilizados na construção dos modelos, uma vez que poder computacional, determinados tipos de treinamento e o uso de IA para desenvolver a própria IA.
No projecto internacional, Amodei propõe diferentes níveis de coordenação. O mais simples seria um convénio para proibir usos específicos considerados perigosos, uma vez que a utilização de IA para produzir armas biológicas. Um segundo nível envolveria testes obrigatórios dos modelos antes de seu lançamento em áreas uma vez que cibersegurança, biologia e alinhamento.
Uma pausa ampla no desenvolvimento da IA também deveria ser considerada, segundo ele, mas o próprio executivo avalia que um convénio desse tipo é improvável no limitado prazo devido ao risco de um país descumprir o compromisso e obter vantagem estratégica.
Com AFP
