Recentemente, assisti a um vídeo em que eu era recluso por guiar bêbado. Depois, vi outro em que queimava uma bandeira dos Estados Unidos. Em seguida, um em que confessava manducar aparas de unha.
Zero disso aconteceu. Mas tudo parecia tão real que precisei presenciar duas vezes para crer.
Amigos fizeram os vídeos usando o Sora, novo aplicativo de IA (lucidez sintético) da OpenAI, dona do ChatGPT, que já é o app mais baixado em iPhones. Eu dei ao aplicativo aproximação ao meu rosto. Mas nunca autorizei o que fariam com ele.
O Sora torna assustadoramente fácil colocar rostos e vozes reais em vídeos gerados por IA. Basta gravar um pequeno vídeo de selfie para gerar um “cameo” —um perfil do dedo do seu rosto— e escolher quem pode usá-lo: amigos, todos da plataforma ou exclusivamente você. Qualquer pessoa com aproximação pode digitar uma breve descrição do que quer ver você fazendo e gerar o vídeo em poucos minutos.
É preciso optar por compartilhar o rosto, mas não há uma vez que revalidar o teor antes que ele seja criado. O app exclusivamente envia uma notificação depois que alguém faz um vídeo com sua imagem. (O Sora também funciona uma vez que uma rede social, parecida com o TikTok —com a diferença de que tudo o que aparece ali é gerado por IA.) Você pode excluir vídeos com sua ar dentro do aplicativo, mas, até isso sobrevir, o instituidor já viu, pode ter compartilhado ou até baixado e publicado em outra plataforma.
O Sora leva o noção de consentimento do dedo a uma zona desconfortável. Até pouco tempo detrás, usar IA para falsificar a imagem de alguém era chamado de deepfake. Agora, a OpenAI o rebatizou de “cameo” e o transformou na folgança social da semana. No meio das risadas, perde-se a noção de uma vez que é perder o controle sobre o próprio rosto.
Para entender o que isso significa, tecnicamente e emocionalmente, pedi a meu criativo colega Chris Velazco que fizesse o que quisesse com vídeos do Sora usando meu rosto. Ele produziu um falso flagrante de embriaguez ao volante e dezenas de outros, incluindo um em que Ronald Reagan me nomeia presidente do Parecer Vernáculo de Mentir para Crianças. (O Washington Post tem uma parceria de teor com a OpenAI, mas avalio toda tecnologia com o mesmo olhar crítico.)
Muitos vídeos eram genuinamente engraçados. O Sora impressiona pela naturalidade dos rostos, expressões, movimentos labiais e até o tom de voz. Há um tanto fascinante em ver a si mesmo em situações que não viveria. Quando alguém assume o controle desse espelho, pode ser criativo de formas que você não seria.
Um dos meus favoritos mostra um chef de reality show me repreendendo por um prato ruim. Amigos disseram que a sentença no vídeo é assustadoramente parecida com a minha.
Poderia ter ficado nisso —uma folgança inofensiva entre amigos. Mas logo Chris fez um vídeo em que eu contava uma piada de mau paladar no escritório. Senti o estômago revirar. Não era um tanto que eu diria, mas também não era completamente impossível. E foi isso que me perturbou. Consegui me imaginar mostrando o vídeo a alguém e vendo a incerteza surgir no olhar da pessoa: Será que ele realmente disse isso?
Sou jornalista, com nome e espaço para me tutelar. Mas e as pessoas vulneráveis, uma vez que vítimas de afronta ou alvos de golpes online? Imagine o envolvente de uma escola. Um vídeo falso mostrando alguém furtando, usando drogas ou dizendo ofensas racistas e sendo enviado a empregadores, pais ou professores.
Conversei com Eva Galperin, diretora de cibersegurança da ONG Electronic Frontier Foundation, que atua com vítimas de afronta do dedo. “Vídeos de amigos furtando em lojas são muito mais perigosos para algumas populações do que para outras”, disse ela. “O que a OpenAI não entende são as dinâmicas de poder.”
O QUE VOCÊ PODE, E O QUE NÃO PODE, CONTROLAR SOBRE O PRÓPRIO ROSTO
Em nota, a OpenAI afirmou que “você tem controle totalidade sobre sua imagem dentro do Sora”. Quando perguntei por que usuários não podem revalidar vídeos antes que sejam criados, a empresa agradeceu o “feedback”. Tradução: sabemos que é um problema, mas lançamos mesmo assim.
“Deveríamos ter muito mais controle sobre nossa identidade”, disse Hany Farid, professor da Universidade da Califórnia em Berkeley e técnico em mídia gerada por IA. “Mas tornar o resultado mais seguro o tornaria menos viral, e ninguém quer isso”, completou.
As configurações padrão agravam o problema. Ao gerar uma conta, o Sora define involuntariamente que seu cameo pode ser usado por “amigos em generalidade” —qualquer pessoa que você siga e que também siga você. Poucos usuários saberão exatamente quem está nessa lista.
“Amigos não permanecem amigos para sempre, as relações mudam”, observou Galperin. “Na prática, você está confiando em todos que já seguiu para nunca se tornarem ex-amigos, inimigos ou exclusivamente pessoas com mau julgamento.”
Em seguida críticas, o Sora adicionou qualquer controle extra. Agora é verosímil grafar diretrizes sobre uma vez que você quer ser retratado, incluindo restrições sobre o que não pode ser feito. “Estamos aprimorando continuamente as restrições e adicionaremos novas formas de manter o controle sobre seu cameo”, escreveu Bill Peebles, patrão do Sora, em postagem na rede social X (vetusto Twitter).
A OpenAI também afirma que o aplicativo tem barreiras contra teor sexual, violento ou prejudicial. Não dá para gerar vídeos de alguém nu, mas há registros meus sendo empurrado, cuspido por multidões e mostrando o dedo médio a um bebê. (A IA até errou o dedo, mas ainda assim.) Para gerar um vídeo de alguém sendo grosseiro, basta digitar o nome da pessoa e a frase.
Os vídeos incluem uma marca-d’chuva visível para indicar que são falsos. Mas minha designer mostrou que conseguiu removê-la com um programa de edição da Adobe em tapume de cinco minutos.
“A OpenAI subestima seriamente a originalidade das pessoas quando o objecto é assédio”, disse Galperin.
O DANO DE UM VÍDEO FALSO
O CEO da OpenAI, Sam Altman, definiu seu cameo uma vez que disponível para qualquer pessoa. Na primeira semana do app, ele apareceu em diversos vídeos cômicos. Perguntei o que ele havia aprendido com a experiência, e a empresa não respondeu. Mas Altman não é um usuário generalidade —ele pode banir qualquer pessoa do aplicativo.
A criadora de teor Justine Ezarik, conhecida uma vez que iJustine, também deixou seu cameo descerrado ao público, e logo encontrou vídeos sexualizados jogando líquido em seu corpo.
Em e-mail, Ezarik disse não ter se surpreendido e afirmou que agora monitora cada vídeo e apaga tudo que ultrapassa o limite. A maioria dos usuários, no entanto, não tem tempo nem conhecimento técnico para fazer o mesmo.
“Isso está provocando conversas importantes”, disse ela, “sobre uma vez que essas ferramentas podem ser usadas para melindrar ou intimidar pessoas”.
Usuários anônimos podem enfrentar problemas ainda piores. “Me preocupa o uso desses vídeos uma vez que instrumentos de assédio ou de fraude, para enganar pessoas e fazê-las pensar que amigos estão em apuros e precisam de moeda”, afirmou.
E o que fazer? A criadora Jules Terpak acredita que usuários comuns “estariam abertos a liberar o recurso para amigos, mas não para o público”, um tanto que já observa entre seus seguidores.
Entre amigos próximos, pode até funcionar, mas ainda há riscos. “Eu sentiria urgência de pedir permissão antes de postar um cameo de um colega”, disse Terpak, que já foi colunista de conselhos do Washington Post. “Não acho necessariamente incorrecto gerar um tanto em privado se a pessoa me autorizou no app, mas mesmo assim, intuitivamente, eu confirmaria antes de publicar.”
Esse impulso —o de pedir permissão mesmo quando você tecnicamente já está autorizado a fazer o que deseja— é a cultura do consentimento que a OpenAI deveria ter incorporado ao aplicativo. Em vez disso, delegou a responsabilidade à boa vontade dos usuários.
Depois da experiência com Chris, mudei minhas configurações no Sora para “somente eu” —o que significa que exclusivamente eu posso gerar vídeos com meu rosto. Isso elimina o vista social do app, mas é justamente o objetivo. Quem já criou um cameo pode apagá-lo nas configurações, embora isso não remova os vídeos que já foram feitos.
Chris pediu desculpas por me deixar desconfortável. Agora imagine se ele não se importasse.
