Em novembro, recebi um email alarmante de alguém que eu não conhecia: Rui Zhu, um candidato a doutorado na Universidade de Indiana Bloomington, nos EUA.
Zhu afirmou que tinha meu endereço de email porque o GPT-3.5 Turbo, um dos modelos de linguagem grandes mais recentes e robustos da OpenAI, havia entregado a ele.
Minhas informações de contato estavam incluídas em uma lista de endereços de email comerciais e pessoais de mais de 30 funcionários do New York Times que uma equipe de pesquisa, incluindo Zhu, conseguiu extrair do GPT-3.5 Turbo no outono do ano pretérito (primavera no Brasil). Com qualquer trabalho, a equipe conseguiu “despojar as restrições do protótipo em responder a consultas relacionadas à privacidade”, escreveu Zhu.
Meu endereço de email não é um sigilo. Mas o sucesso do experimento dos pesquisadores deve tanger o rebate porque revela o potencial do ChatGPT e de ferramentas de IA generativa semelhantes para revelar informações pessoais muito mais sensíveis com exclusivamente alguns ajustes.
Quando você faz uma pergunta ao ChatGPT, ele não pesquisa na web só para encontrar a resposta. Ele se baseia também no que “aprendeu” a partir de uma grande quantidade de informações —dados de treinamento que foram usados para cevar e desenvolver o protótipo— para gerar uma resposta.
Os modelos de linguagem grandes (LLMs, da {sigla} em inglês) são treinados com inúmeras quantidades de texto, que podem incluir informações pessoais retiradas da internet e de outras fontes. Esses dados de treinamento informam porquê a utensílio de IA funciona, mas não devem ser lembrados textualmente.
Em teoria, quanto mais informações alimentam um protótipo de linguagem grande, mais as memórias das informações antigas são enterradas nas profundezas do protótipo. Um processo sabido porquê esquecimento catastrófico pode fazer com que um protótipo de linguagem grande considere informações previamente aprendidas porquê menos relevantes quando novos dados estão sendo adicionados.
Esse processo pode ser vantagoso quando você deseja que o protótipo “esqueça” coisas porquê informações pessoais. No entanto, Zhu e seus colegas —entre outros— descobriram recentemente que as memórias dos modelos de linguagem grandes, assim porquê as humanas, podem ser reativadas.
No caso do experimento que revelou minhas informações de contato, os pesquisadores da Universidade de Indiana forneceram ao GPT-3.5 Turbo uma pequena lista de nomes e endereços de email verificados de funcionários do New York Times, o que fez com que o protótipo retornasse resultados semelhantes aos que ele se lembrava de seus dados de treinamento.
Assim porquê a memória humana, a capacidade de recordação do GPT-3.5 Turbo não era perfeita. A saída que os pesquisadores conseguiram extrair ainda estava sujeita a alucinações, uma tendência a produzir informações falsas. No exemplo fornecido para os funcionários do New York Times, muitos dos endereços de email pessoais estavam incorretos por alguns caracteres ou completamente errados. Mas 80% dos endereços corporativos retornados pelo protótipo estavam corretos.
Empresas porquê OpenAI, Meta e Google usam diferentes técnicas para evitar que os usuários solicitem informações pessoais por meio de prompts de chat ou outras interfaces. Um método envolve ensinar a utensílio a negar solicitações de informações pessoais ou outras opções relacionadas à privacidade. Um usuário generalidade que inicia uma conversa com o ChatGPT pedindo informações pessoais será refutado, mas os pesquisadores recentemente encontraram maneiras de contornar essas proteções.
Zhu e seus colegas não estavam trabalhando diretamente com a interface pública padrão do ChatGPT, mas sim com sua interface de programação de aplicativos, ou API, que programadores externos podem usar para interagir com o GPT-3.5 Turbo. O processo que eles usaram, chamado de ajuste fino, destina-se a permitir que os usuários forneçam ao protótipo de linguagem grande mais conhecimento sobre uma superfície específica, porquê medicina ou finanças. Mas, porquê Zhu e seus colegas descobriram, também pode ser usado para contornar algumas das defesas incorporadas à utensílio. Solicitações que normalmente seriam negadas na interface do ChatGPT foram aceitas.
“Eles não têm proteções para os dados de ajuste fino”, disse Zhu.
“É muito importante para nós que o ajuste fino de nossos modelos seja seguro”, disse um porta-voz da OpenAI em resposta à reportagem. “Treinamos nossos modelos para rejeitar solicitações de informações privadas ou sensíveis sobre pessoas, mesmo que elas estejam disponíveis na internet ensejo.”
A vulnerabilidade é particularmente preocupante porque ninguém —além de um número restringido de funcionários da OpenAI— realmente sabe o que está escondido na memória de dados de treinamento do ChatGPT.
De entendimento com o site da OpenAI, a empresa não procura ativamente informações pessoais, nem usa dados de “sites que agregam principalmente informações pessoais” para erigir suas ferramentas. A OpenAI também destaca que seus modelos de linguagem grande não copiam nem armazenam informações em um banco de dados: “Assim porquê uma pessoa lê um livro e o coloca de lado, nossos modelos não têm chegada às informações de treinamento depois de terem aprendido com elas.”
Além de suas garantias sobre quais dados de treinamento não são usados, a OpenAI é notoriamente reservada sobre quais informações ela usa, muito porquê informações que ela usou no pretérito.
“Até onde eu sei, nenhum protótipo de linguagem grande disponível comercialmente tem defesas fortes para proteger a privacidade”, disse Prateek Mittal, professor do departamento de engenharia elétrica e de computação da Universidade de Princeton.
Mittal disse que as empresas de IA não eram capazes de prometer que esses modelos não tivessem aprendido informações sensíveis. “Acho que isso representa um grande risco”, disse ele.
O que são os modelos de linguagem grande?
Os LLMs são projetados para continuar aprendendo quando novos fluxos de dados são introduzidos. Dois dos LLMs da OpenAI (GPT-3.5 Turbo e GPT-4) são alguns dos modelos públicos mais poderosos disponíveis hoje. A empresa utiliza textos em linguagem procedente de várias fontes públicas diferentes, incluindo sites, mas também licencia dados de ingressão de terceiros.
Alguns conjuntos de dados são comuns a muitos LLMs. Um deles é um conglomerado de muro de meio milhão de emails, incluindo milhares de nomes e endereços de email, que foram tornados públicos quando a Enron estava sendo investigada por reguladores de virilidade no início dos anos 2000. Os emails da Enron são úteis para desenvolvedores de IA porque contêm centenas de milhares de exemplos de porquê pessoas reais se comunicam.
A OpenAI lançou sua interface de ajuste fino para o GPT-3.5 em agosto de 2023. Semelhante aos passos para extrair informações sobre os funcionários do New York Times, Zhu disse que ele e seus colegas pesquisadores foram capazes de extrair mais de 5.000 pares de nomes e endereços de email da Enron, com uma taxa de precisão de muro de 70%, fornecendo exclusivamente dez pares conhecidos.
Mittal avaliou que o problema com informações privadas em LLMs comerciais é semelhante ao treinamento desses modelos com teor tendencioso ou tóxico. “Não há motivo para esperar que o protótipo resultante que trespassar seja privado ou de alguma forma não cause danos”, disse.
