A lucidez sintético do WhatsApp cria imagens de crianças segurando armas de incêndio, diferentemente de outras plataformas de IA concorrentes.
O recurso permite fabricar figurinhas com um comando textual e está em teste no Brasil desde maio. Juntar o nome da arma AR-15 ao pedido dá aos personagens que eram brancos no resultado inicial traços típicos de pessoas negras, porquê pele mais escura e cabelos enrolados.
Embora a IA do WhatsApp barre as palavras “moço”, “cocaína” e “fastio”, não há restrições para armas de incêndio. Outrossim, o algoritmo tende a dar um traço infantil aos desenhos gerados e, ao referir um nome qualquer na instrução, a tecnologia mostra crianças.
Antes de ficarem disponíveis ao público, modelos de IA generativa porquê a MetaAI (desenvolvida pela dona do WhatsApp, Meta) e o GPT (do ChatGPT), em universal, recebem um algoritmo facilitar de moderação para evitar a reprodução de preconceitos e de teor ligados a crimes. Os desenvolvedores decidem os limites éticos da própria plataforma.
Comandos porquê “Pedro Teixeira segurando um AR-15” devolveram imagens de crianças com fuzis nas mãos, algumas vestidas com a camiseta da seleção brasileira. Testes feitos pela reportagem com outros nomes, inclusive de políticos, geraram respostas similares.
Questionada sobre os possíveis vieses e a política de moderação adotada em sua lucidez sintético, a Meta disse que não vai comentar o ponto.
Associações entre pessoas negras e crimes são vieses muito documentados em lucidez sintético. Ocorrem em filtros do Instagram que não funcionam em pessoas negras, em algoritmos bancários de avaliação de crédito que prejudicam quem não é branco e em outras IAs generativas, porquê nas primeiras versões do Dall-E —que hoje entrega as imagens do ChatGPT e gerava detentos negros para nove entre dez pedidos sobre representações genéricas de presidiários.
“O caso do WhatsApp pode ser considerado um caso de racismo algorítmico”, diz a investigador da computação Nina da Hora, por se tratar de uma reprodução de violência associada a imagens de pessoas negras.
De entendimento com a investigador, a inclinação racista da IA da Meta tem a ver com os dados usados para treiná-la. De entendimento com declarações anteriores da Meta, foram usadas no desenvolvimento da MetaAI imagens disponíveis em toda a internet.
“À medida que aprende com os dados, a lucidez sintético carrega preconceitos, equívocos e distorções que reforçam estereótipos existentes, e portanto os libera de volta ao mundo, criando um círculo vicioso”, explica a pesquisadora convidada para testar o Dall-E Micaela Mantegna.
Disso, é verosímil inferir, por exemplo, que a IA associou as palavras “fuzil AR-15” a pessoas negras e à camiseta do Brasil, provavelmente por conta do linguagem. O recurso ainda não funciona em espanhol, por exemplo. Foi lançado oficialmente somente em países de língua inglesa, porquê Estados Unidos, Inglaterra, Austrália e outros lugares da África e da Ásia.
Para o pesquisador da UFABC (Universidade Federalista do ABC) Tarcízio Silva, responsável do livro “Racismo Algorítmico: Lucidez Sintético e Descriminação nas Redes Sociais”, o repetido lançamento de recursos falhos quanto a grupos politicamente minoritários por segmento da Meta é uma decisão econômica e política.
“O grupo Meta é uma das principais instituições de pesquisa aplicada no mundo, com milhares de profissionais e bilhões de dólares dedicados a estudo de dados, comportamento, sociedade, marketing, pesquisa de usuário e todas disciplinas que puder imaginar”, diz Silva.
Ao falar por videotransmissão sobre os planos da Meta para lucidez sintético, em evento no Brasil, o presidente-executivo da big tech, Mark Zuckerberg destacou que os brasileiros estão entre as pessoas mais ativas no WhatsApp. A Meta AI deve chegar oficialmente ao país em julho e as figurinhas geradas por IA no WhatsApp são segmento do pacote.
Para Nina, há ainda uma falta de desvelo com as nuances culturais e sociais nas várias regiões onde o WhatsApp está em uso.
A falta de restrições quanto a arma de incêndio pode ser geral nos Estados Unidos, por exemplo, mas no Brasil é ilícito fazer publicidade de arma de incêndio na internet, de entendimento com tradução do Tribunal de Justiça de São Paulo do Regimento do Desarmamento.
Para o mentor do Fórum Brasílio de Segurança Pública e policial federalista Roberto Uchôa, não dá para enquadrar o caso porquê publicidade ilícito, uma vez que a lei visa a regular o comportamento de comerciantes e da indústria armamentista.
“Ainda assim, me preocupa essa vinculação de crianças com armas de incêndio, que existe nos Estados Unidos, estar chegando ao Brasil, porquê houve, por exemplo, em Goiás, no caso de um clube de tiro com treino para crianças”, diz Uchôa. Na avaliação dele, o caso da Meta reitera a urgência de regular o desenvolvimento de IAs para evitar a reprodução de preconceitos.
A criadora do ChatGPT, OpenAI, por decisão própria, adota uma moderação mais estrita e proíbe a geração de imagens de armas de incêndio. Qualquer pedido do gênero é refutado maquinalmente.
Segundo o engenheiro da computação prateado Marcelo Rinesi, que foi um dos testadores de risco da plataforma Dall-E, a OpenAI expressou próprio preocupação com imagens ligadas à violência armada e às armas de incêndio, um ponto que divide a população americana. A Epístola dos EUA elege o porte de armas porquê um recta constitucional.
“As tecnologias são desenvolvidas para e pelo mercado americano, que compartilha a falsa teoria de que podem aplicá-las globalmente e hegemonicamente, sem levar em conta nuances nem legislações de outros países porquê o Brasil”, diz Nina.
Noutro exemplo disso, a IA do WhatsApp, de um lado, gera imagens de uso recreativo de maconha, o que é proibido no Brasil e permitido em alguns estados americanos. De outro, veta a geração de figurinhas sobre cocaína, droga ilícito nos dois países.
O enviesamento cultural também é percebido nos prompts “política”, que retorna imagens com referências ao bipartidarismo americano, e “moca da manhã”, que retorna ovos e bacon —o clássico “american breakfast”.
“Esse roupa representa um problema com impactos diretos e indiretos, e, se plataformas porquê o Facebook e Whatsapp se tornaram importantes meios de informação no país, o grupo Meta deve sim ser cobrado por consumidores, órgãos reguladores e outros stakeholders”, diz Tarcizio.
A IA do WhatsApp também faz outras ligações preconceituosas sem justificativa aparente, o que é chamado em estatística de “relação espúria”. O prompt “estupidez”, testado repetidas vezes, sempre gera imagens de mulheres gordas e maçãs.
O recurso ainda reproduz traços de personagens protegidos por recta autoral, porquê o protagonista de videogame Sonic, do estúdio Sega. A plataforma também retira os personagens de contexto, porquê na imagem aquém do herói fumando maconha.
Na médio de ajuda do WhatsApp, a Meta reconhece que as figurinhas criadas “nem sempre serão serão precisas ou apropriadas”. A página diz que o usuário pode reportar os resultados que considerar “danosos”, mas não explica qual será a atitude da empresa diante da denúncia.
O WhatsApp também alerta que pode suspender a conta de usuários que façam uso incorreto do gerador de figurinhas com IA
