Quando a usina nuclear de Tchernóbil explodiu em 1986, foi uma catástrofe para aqueles que viviam nas proximidades, no setentrião da Ucrânia. Mas o acidente também foi um sinistro para uma indústria global que promovia a pujança nuclear uma vez que a tecnologia do horizonte.
O número líquido de reatores nucleares praticamente estagnou desde portanto, pois passou a ser vista uma vez que insegura. O que aconteceria hoje se a indústria de IA sofresse um acidente equivalente?
Essa questão foi levantada à margem da Cúpula de Ação em IA desta semana em Paris por Stuart Russell, professor de ciência da computação na Universidade da Califórnia, Berkeley. Para ele, é uma falácia confiar que deve possuir um dilema entre segurança e inovação. Portanto, aqueles mais entusiasmados com a promessa da tecnologia de IA ainda devem proceder com cautela. “Não dá para ter inovação sem segurança”, disse ele.
O alerta de Russell foi ecoado por alguns outros especialistas em IA em Paris. “Precisamos ter padrões mínimos de segurança acordados globalmente. Precisamos tê-los em vigor antes de termos um grande sinistro”, disse Wendy Hall, diretora do Instituto de Ciência da Web da Universidade de Southampton.
Mas esses alertas estavam principalmente à margem, enquanto os delegados governamentais da cúpula circulavam pelo imenso Grand Palais.
Em um exposição contundente, JD Vance enfatizou o imperativo de segurança pátrio de liderar em IA. O vice-presidente dos Estados Unidos argumentou que a tecnologia nos tornaria “mais produtivos, mais prósperos e mais livres”. “O horizonte da IA não será conquistado com preocupações sobre segurança”, disse.
Enquanto a primeira cúpula internacional de IA em Bletchley Park, no Reino Uno, em 2023, focou quase inteiramente —muitos disseram excessivamente— em questões de segurança, a prioridade em Paris foi a ação, enquanto o presidente Emmanuel Macron anunciava grandes investimentos na indústria de tecnologia francesa.
“O processo que foi iniciado em Bletchley, que eu acho que foi realmente incrível, foi guilhotinado cá”, disse Max Tegmark, presidente do Future of Life Institute, que co-organizou um evento paralelo sobre segurança.
O que mais preocupa os defensores da segurança é a velocidade com que a tecnologia está se desenvolvendo e a dinâmica da corrida corporativa —e geopolítica— para compreender a perceptibilidade sintético universal, quando os computadores podem igualar os humanos em todas as tarefas cognitivas.
Várias empresas líderes em pesquisa de IA, incluindo OpenAI, Google DeepMind, Anthropic e a chinesa DeepSeek, têm uma missão explícita de compreender a AGI.
Mais tarde na semana, Dario Amodei, cofundador e CEO da Anthropic, previu que a AGI provavelmente seria alcançada em 2026 ou 2027. “O exponencial pode nos pegar de surpresa”, disse ele.
Ao lado dele, Demis Hassabis, cofundador e CEO da Google DeepMind, foi mais precatado, prevendo uma verosimilhança de 50% de compreender a AGI dentro de cinco anos. “Eu não ficaria chocado se fosse mais pequeno. Ficaria chocado se fosse mais longo que 10 anos”, disse ele.
Críticos dos defensores da segurança os retratam uma vez que fantasistas de ficção científica que acreditam que a geração de uma superinteligência sintético resultará na extinção humana: preocupados que se colocam uma vez que luditas modernos no caminho do progresso.
Mas os especialistas em segurança estão preocupados com os danos que podem ser causados pelos sistemas de IA extremamente poderosos que existem hoje e pelo risco de ataques cibernéticos ou biológicos massivos habilitados por IA.
Até mesmo pesquisadores na liderança admitem que não entendem completamente uma vez que seus modelos funcionam, criando preocupações de segurança e privacidade.
Uma pesquisa sobre “sleeper agents” [“agentes adormecidos”, modelos de IA que parecem inofensivos, mas que podem se comportar de forma não desejada] da Anthropic no ano pretérito descobriu que alguns modelos de base poderiam enganar humanos a confiar que estavam operando com segurança.
Por exemplo, modelos treinados para redigir código seguro em 2023 poderiam inserir vulnerabilidades quando o ano fosse transformado para 2024. Esse tipo de comportamento oculto não foi detectado pelas técnicas padrão de segurança da Anthropic. A possibilidade de um “candidato manchuriano” algorítmico estar presente no protótipo DeepSeek, da China, já levou à sua proibição em vários países.
Tegmark está otimista, no entanto, que tanto as empresas de IA quanto os governos verão o interesse próprio esmagador em priorizar a segurança mais uma vez. Nem os EUA, nem a China, nem qualquer outro país querem sistemas de IA fora de controle.
“A segurança em IA é um muito público global”, disse Xue Lan, reitor do Instituto de Governança Internacional de IA na Universidade Tsinghua em Pequim, no evento de segurança.
Na corrida para explorar todo o potencial da IA, o melhor lema para a indústria pode ser o dos Navy Seals dos EUA, não conhecidos por muitas preocupações. “Lentamente é suave, e suave é rápido.”
