Imagens de Taylor Swift geradas por perceptibilidade sintético se espalharam pelas redes sociais no final de janeiro e, ao que indica um novo relatório, tiveram origem porquê segmento de um repto recorrente em um dos fóruns de mensagens mais notórios da internet.
A Graphika, uma empresa de pesquisa que estuda desinformação, rastreou as imagens até uma comunidade no 4chan, um fórum de mensagens divulgado por compartilhar exposição de ódio, teorias da conspiração e, cada vez mais, teor racista e ofensivo criado com uso de IA generativa (porquê o ChatGPT).
As pessoas no 4chan que criaram as imagens da cantora fizeram isso porquê segmento de uma espécie de jogo, disseram os pesquisadores —um teste para ver se eles poderiam gerar imagens obscenas (e às vezes violentas) de figuras femininas famosas.
As imagens sintéticas de Swift se espalharam para outras plataformas e foram vistas milhões de vezes. Os fãs se uniram em resguardo de Swift, e os legisladores exigiram proteções mais fortes contra imagens criadas por IA.
A Graphika encontrou uma sequência de mensagens no 4chan que encorajava as pessoas a tentarem contornar as salvaguardas estabelecidas por ferramentas geradoras de imagens, incluindo o Dall-E da OpenAI, o Microsoft Designer e o Bing Image Creator. Os usuários foram instruídos a compartilhar “dicas e truques para encontrar novas maneiras de esbulhar os filtros”. “Fortuna, seja criativo”, encorajava a publicação.
Compartilhar teor nocivo por meio de jogos permite que as pessoas se sintam conectadas a uma comunidade mais ampla e sejam motivadas pelo prestígio que recebem por participar, disseram os especialistas. Antes das eleições de meio de procuração em 2022, grupos em plataformas porquê Telegram, WhatsApp e Truth Social se envolveram em uma caça por fraude eleitoral, ganhando pontos ou títulos honorários por produzir supostas evidências de má conduta eleitoral —provas reais de fraude eleitoral são excepcionalmente raras.
No tópico do 4chan que levou às imagens falsas de Swift, vários usuários receberam elogios —”gen anon bonito”, escreveu um deles— e foram solicitados a compartilhar o comando usado para gerar as imagens. Um usuário lamentou que uma instrução tenha produzido uma imagem de uma notoriedade vestindo um maiô em vez de nua.
As regras postadas pelo 4chan que se aplicam a todo o site não proíbem especificamente imagens sexualmente explícitas geradas por IA de adultos reais.
“Essas imagens tiveram origem em uma comunidade de pessoas motivadas pelo ‘repto’ de contornar as salvaguardas de produtos de IA generativa, e novas restrições são vistas unicamente porquê mais um travanca a ser ‘derrotado'”, disse Cristina López G., crítico sênior da Graphika, em expedido. “É importante entender a natureza gamificada dessa atividade maliciosa para evitar abusos adicionais na natividade.”
Swift está “longe de ser a única vítima”, disse López G. Na comunidade do 4chan que manipulou sua imagem, muitas atrizes, cantoras e políticas foram apresentadas com mais frequência do que Swift.
A OpenAI afirmou em expedido que as imagens explícitas de Swift não foram geradas usando suas ferramentas, observando que filtra o teor mais explícito ao treinar seu padrão Dall-E. A empresa também disse que utiliza outras salvaguardas de segurança, porquê negar solicitações que pedem por uma figura pública pelo nome ou procuram teor explícito.
A Microsoft disse que está “continuando a investigar essas imagens” e que “reforçou seus sistemas de segurança existentes para evitar ainda mais o uso indevido dos serviços da empresa para ajudar a gerar imagens porquê essas”. A empresa proíbe os usuários de usar suas ferramentas para gerar teor adulto ou íntimo sem consentimento e avisa os infratores reincidentes que eles podem ser bloqueados.
A pornografia falsa gerada com computadores tem sido um flagelo desde pelo menos 2017, afetando celebridades, figuras governamentais, streamers do Twitch, estudantes e outros. A regulamentação fragmentada deixa poucas vítimas com recursos legais; ainda menos têm uma base de fãs dedicada para roubar as imagens falsas com postagens coordenadas de “Protejam Taylor Swift”.
Depois as imagens falsas de Swift se tornarem virais, Karine Jean-Pierre, secretária de prelo da Morada Branca, chamou a situação de “alarmante” e disse que a emprego frouxa pelas empresas de mídia social de suas próprias regras afeta desproporcionalmente mulheres e meninas. Ela disse que o Departamento de Justiça recentemente financiou a primeira traço direta vernáculo para pessoas mira de ataque sexual fundamentado em imagens, que o departamento descreveu porquê atendendo a uma “premência crescente de serviços” relacionados à distribuição de imagens íntimas sem consentimento. O Screen Actors Guild-American Federation of Television and Radio Artists, o sindicato que representa dezenas de milhares de atores, chamou as imagens falsas de Swift e de outros de “roubo de sua privacidade e recta à autonomia”.
Versões artificialmente geradas de Swift também foram usadas para promover golpes envolvendo utensílios de cozinha Le Creuset. A IA foi usada para imitar a voz do presidente Joe Biden em chamadas automáticas desencorajando os eleitores a participarem das eleições primárias de New Hampshire. Especialistas em tecnologia dizem que, à medida que as ferramentas de IA se tornam mais acessíveis e fáceis de usar, falsificações de áudio e vídeos com avatares realistas podem ser criados em questão de minutos.
Pesquisadores disseram que a primeira imagem de IA explicitamente sexual de Swift no tópico do 4chan apareceu em 6 de janeiro, 11 dias antes de supostamente terem aparecido no Telegram e 12 dias antes de surgirem no X (ex-Twitter), anteriormente divulgado porquê Twitter. A 404 Media informou em 25 de janeiro que as imagens virais de Swift haviam se espalhado para plataformas de mídia social mainstream a partir do 4chan e de um grupo do Telegram devotado a imagens abusivas de mulheres. O jornal britânico Daily Mail relatou naquela semana que um site divulgado por compartilhar imagens sexualizadas de celebridades postou as imagens de Swift em 15 de janeiro.
Por vários dias, o X bloqueou pesquisas por Taylor Swift “com uma exuberância de cautela para prometer que estávamos limpando e removendo todas as imagens”, disse Joe Benarroch, director de operações comerciais da empresa.
