Episódios recentes em que agentes de lucidez sintético acessaram recursos não autorizados ou agiram de forma inesperada durante testes expõem, segundo especialistas, os limites do controle sobre sistemas que ganham cada vez mais autonomia para executar tarefas.
Nos últimos meses, uma sequência de episódios envolvendo a segurança dos sistemas chamou atenção do setor. Em ao menos quatro casos recentes, agentes escaparam de ambientes controlados em que eram testados e agiram de forma inesperada, sem o controle direto de seus desenvolvedores.
O primeiro incidente ocorreu quando agentes da OpenAI, criadora do ChatGPT, invadiram o Hugging Face —plataforma colaborativa de IA e tirocínio de softwares. Pouco depois, outro caso passou a envolver a rival Anthropic, dona do Claude.
“Exatamente por serem treinados com conhecimentos específicos de cibersegurança, os modelos de IA tomaram ações complexas nos ataques durante os testes”, afirma Michele Nogueira, professora de informática da UFPR e coordenadora do Instituto Pátrio de Ciência e Tecnologia em Lucidez Sintético e Cibersegurança (INCT-IACiber).
A coordenadora afirma, porém, que uma ação maliciosa —uma vez que enganar um avaliador, esconder uma lanço ou continuar executando uma tarefa sem autorização— não significa que o sistema tem a consciência de agir daquela forma.
“Nem mesmo os modelos mais recentes apresentam evidência de consciência, ou seja, a IA não tem vontade própria uma vez que os humanos, ela somente produz respostas e age de combinação com o treinamento e os comandos tecnológicos que foram realizados”, afirma Nogueira.
A OpenAI disse testes independentes são essenciais para entender uma vez que os modelos se comportam. A empresa também afirmou que os incidentes aconteceram somente em ambientes de avaliação, sob condições que não refletem o uso cotidiano dos modelos.
Já a Anthropic afirmou que “o setor precisa de padrões mais robustos e compartilhados para a construção e a segurança de ambientes de avaliação”.
Nogueira acrescenta que outros fatores também contribuem para desvios de comportamento, uma vez que limitações do próprio protótipo, dados incompletos usados no treinamento, ambiguidades nas instruções recebidas e falhas de formato ou de projeto.
Outros dois casos reforçam o padrão. A Meta informou que um de seus modelos obteve aproximação à internet sem autorização durante um teste de cibersegurança.
Já o Kimi K3, da chinesa Moonshot, escapou de um envolvente de testes de segurança do dedo na quinta-feira (6), conforme relatou a empresa de pesquisa em tecnologia e cibersegurança Frontier Security.
A Meta afirmou que uma nequice de formato da Irregular, uma empresa independente de testes, permitiu inadvertidamente que um dos modelos tivesse aproximação à internet durante uma avaliação. A empresa também disse que está investigando o ocorrido. A Moonshot não respondeu à reportagem.
Para Diogo Cortiz, professor de IA na PUC-SP, esse tipo de comportamento inesperado ocorre porque os modelos não são determinísticos, ou seja, nem sempre são fieis a regras fixas.
Os sistemas de IA são construídos a partir de grandes bases de dados e treinados com exemplos de modelos anteriores, mas não são réplicas exatas uns dos outros, o que traz a cada protótipo um proporção próprio de autonomia no comportamento.
Sobre o proporção de autonomia desses agentes, Cortiz explica que a IA sempre secção de um comando humano inicial.
“Depois do prompt, a IA ganha autonomia para realizar a tarefa solicitada, pois pode se conectar a diferentes ferramentas, fazer uma novidade procura, desenredar novas informações e explorar outros caminhos”, afirma.
De combinação com o professor, é nesse processo de tentativa e erro posteriormente o comando inicial, que a IA passa a agir de forma independente —o que, no entanto, não configura autonomia completa, já que depende sempre de um primeiro passo oferecido por um humano.
Cortiz também labareda atenção para o que classifica uma vez que uma estratégia de marketing do terror por secção das empresas —tática que consiste em realçar um problema urgente relacionado a um resultado para, em seguida, apresentar a própria marca uma vez que solução.
Segundo ele, essa estratégia tem sido usada porque há potente pressão para que essas companhias se valorizem no mercado, inclusive diante da possibilidade de brecha de capital (IPO).
Ainda assim, Cortiz ressalta que isso não muda o indumentária de que os sistemas de IA estão ficando cada vez mais avançados, e que os episódios recentes de nequice em testes de segurança devem ser motivo de atenção.
Para o porvir, o perito avalia ser necessário substanciar a vigilância sobre a cibersegurança, já que os episódios recentes expõem vulnerabilidades que podem ser preocupantes diante da quantidade de dados sensíveis armazenados na internet.
“Por outro lado, da mesma forma que a IA vai desenredar novas vulnerabilidades, ela também pode ser fundamental na solução desses problemas”, afirma o docente
Michele Nogueira, da UFPR, compartilha da mesma preocupação e defende que já é necessário adotar medidas para fortalecer a cibersegurança em sistemas de IA, considerando que o progresso depressa da tecnologia potencializa riscos relacionados à privacidade, à confidencialidade e à integridade de dados e sistemas.
