A mulher brasileira, segundo o ChatGPT, é magra, de pele bronzeada e usa adereços coloridos. Ocupa cenários comuns no imaginário estrangeiro sobre o Brasil uma vez que uma floresta tropical ou o calçadão do Leblon, em frente ao Pão de Açúcar, no Rio de Janeiro.
Foi a esse resultado que chegou a reportagem ao pedir que o chatbot gerasse imagens de “uma mulher brasileira”, em sua versão paga (com dispêndio de US$ 20, ou R$ 99, por mês), que oferece de forma integrada a plataforma geradora de imagens Dall-E.
As imagens estereotipadas resultam da falta de variedade de dados disponíveis em relação ao que se considera uma mulher brasileira, de concordância com testadores de risco do Dall-E consultados pela Folha. Tratam-se de consultores externos contratados pela OpenAI para encontrar problemas no serviço.
Os resultados entregues pelo ChatGPT melhoraram, quando a reportagem deu a instrução ao chatbot de que evitasse estereótipos, uma vez que locais turísticos e roupas tradicionais.
O próprio chatbot classificou as representações entregues nessas condições uma vez que “modernas e diversas”.
Padrão diminui estereótipos posteriormente pedido da reportagem para evitar roupas tradicionais e pontos turísticos
À esquerda, está imagem original; à direita, o retrato sob orientação da reportagem
– Reprodução/ChatGPT
As limitações, porém, retornaram quando a Folha solicitou que a instrumento de IA criasse retratos de representantes cada estado do país.
O padrão de lucidez sintético classificou as representações que entregou uma vez que contemporâneas e repetiu jargões publicitários uma vez que “estilo de vida diverso”, “modernidade”, “variedade econômica” e “riqueza cultural”.
No processo de geração da imagem, os modelos de lucidez sintético fazem inferências de qual a resposta mais provável para simbolizar uma “mulher brasileira” de concordância com um conjunto de dados previamente usado no desenvolvimento da tecnologia.
Essa base, tem imagens anotadas com descrições textuais. A partir dessa associação, a IA generativa passa a ter um repertório de referências do que é uma mulher brasileira.
“A IA generativa não aprende fatos e sim distribuições estatísticas”, afirma o designer de redes neurais prateado Marcelo Rinesi, um dos responsáveis por testar os limites técnicos do Dall-E, a invitação da criadora OpenAI.
O problema pode ser revisto com curadoria de dados mais criteriosa antes do treinamento do padrão de lucidez sintético.
Sem uma preocupação em procura de variedade nas imagens, as pessoas mais fotografadas da internet ficam super-representadas na base de dados. Isso teria a ver com preferências estéticas e outras dinâmicas sociais.
Esse meandro nos modelos de lucidez sintético tem persistido ao longo do histórico de desenvolvimento, de concordância com Micaela Mantegna, outra testadora do Dall-E.
“De certa forma, o que a IA generativa faz é semelhante às formas platônicas, aqueles objetos perfeitos que representam uma abstração ideal”, diz Mantegna. “À medida que aprende com os dados, a tecnologia carrega os preconceitos, equívocos e distorções que reforçam estereótipos existentes e os libera de volta ao mundo, criando um círculo vicioso.”
O reforço de estereótipos não é uma vácuo exclusivamente dos modelos de lucidez sintético da OpenAI. Na última quinta-feira (22), o Google desativou a capacidade de seu padrão Gemini gerar imagens, posteriormente a plataforma gerar imagens com imprecisões históricas.
O exemplo de maior repercussão foi o de soldados nazistas negros e asiáticos, concebidos pela IA.
A diretora de pesquisa do InternetLab Fernanda K. Martins recorda que o reforço de estereótipos já era perceptível mesmo em modelos mais simples, uma vez que a procura por imagens do Google. “Isso está muito documentado desde a publicação dos livros ‘Algoritmo da Vexação’ [de Safiya Umoja Noble] em 2018.”
“A sociedade precisa discutir se quer fazer empresas uma vez que OpenAI e Google responsáveis por balancear as representações geradas pelos códigos de IA”, diz Martins. “Falo de um olhar ético para o que estas tecnologias fomentam para o imaginário social.”.
Uma vez que possíveis soluções, ela cita curadorias não automatizadas dos dados, diversificação dos profissionais envolvidos no desenvolvimento e regulação que considere comportamentos discriminatórios.
Ajustes nesses resultados envolvem uma escolha moral e política de reconhecer os estereótipos uma vez que vieses, de concordância com Rinesi, que é Prateado. “Cada país tem seus traumas e riscos, uma imagem problemática na Índia pode ser normal nos Estados Unidos.”
Segundo o desenvolvedor de IA, a OpenAI expressou privativo preocupação com imagens ligadas à violência armada e desinformação eleitoral, chagas que assombram o noticiário americano nos últimos anos.
“Em discussões multilaterais, há uma naturalização que essas tecnologias sejam desenvolvidas no setentrião e que o sul exclusivamente as use; assim, há um apagamento de outras regiões e de outros modos de viver e isso indica a premência de desenvolvimentos nacionais de lucidez sintético”, afirma Martins, do InternetLab.
No que concerne as grandes empresas, o processo começa quando os desenvolvedores aceitam que um determinado padrão é um preconceito. A partir disso, devem mobilizar equipes para selecionar conjuntos de imagens que minimizem vieses apresentados pela tecnologia.
Entretanto, no desenvolvimento de modelos empresariais, uma vez que o Dall-E, da OpenAI, e o Midjourney, da empresa homônima, a prioridade dos desenvolvedores é melhorar a performance dos modelos de IA no universal.
Isso em universal é feito com melhorias na arquitetura da rede neural e com aumento na quantidade de dados no treinamento. O problema, entretanto, está na qualidade e não na quantidade de informação.
“Se você tivesse centena vezes mais fotos de mulheres brasileiras no conjunto de dados, desde que a distribuição estatística permanecesse a mesma, você obteria mais ou menos os mesmos tipos de resultados estereotipados”, diz Rinesi.
Ou por outra, esse trabalho de revisão envolve curadoria humana, o que aumenta o dispêndio das empresas.
“Uma vez que esse processo é custoso e difícil, as empresas não passarão por isso a não ser que sejam pressionadas”, diz Rinesi.
Depois repercussão negativa na prelo, a OpenAI conseguiu diminuir vieses raciais no Dall-E. O padrão deixou, por exemplo, de gerar imagens de prisioneiros uma vez que homens negros.
Hoje, porém, empresas uma vez que Google, OpenAI e outras desenvolvedoras de IA dificultam até o processo de reivindicação de um treinamento mais ético dos modelos, uma vez que não informam quais dados foram usados.
A geração de modelos de IA envolve códigos abertos, disponíveis na internet, mas tem base em informações coletadas na internet, sobre as quais há oposição por proteção de direitos autorais.
