Meta e a startup de lucidez sintético Character.ai estão sendo investigadas pelo procurador-geral do Texas, Ken Paxton, sobre se as empresas comercializam enganosamente seus chatbots de IA porquê terapeutas e ferramentas de pedestal à saúde mental.
O gabinete do procurador-geral disse que está abrindo a investigação sobre o AI Studio da Meta, muito porquê sobre a criadora de chatbots Character.ai, por potenciais “práticas comerciais enganosas”, argumentando que seus chatbots foram apresentados porquê “ferramentas terapêuticas profissionais, apesar de não possuírem credenciais médicas adequadas ou supervisão”, segundo um expedido divulgado nesta segunda-feira (18).
“Ao se apresentarem porquê fontes de pedestal emocional, as plataformas de IA podem enganar usuários vulneráveis, principalmente crianças, levando-os a confiar que estão recebendo cuidados legítimos de saúde mental”, disse Paxton.
A investigação ocorre num momento em que empresas que oferecem IA para consumidores enfrentam cada vez mais escrutínio sobre se estão fazendo o suficiente para proteger os usuários —e particularmente menores— de perigos porquê exposição a teor tóxico ou gráfico, potencial vício em interações com chatbots e violações de privacidade.
A investigação do Texas segue o lançamento da investigação do Senado sobre a Meta na sexta-feira, depois documentos internos vazados mostrarem que as políticas da empresa permitiam que o chatbot tivesse conversas “sensuais” e “românticas” com crianças.
O senador Josh Hawley, presidente da subcomissão judiciária sobre violação e contraterrorismo, escreveu ao CEO da Meta, Mark Zuckerberg, que a investigação examinaria se os produtos de IA generativa da empresa permitem a exploração ou outros danos criminais a crianças.
“Existe alguma coisa —QUALQUER COISA— que as grandes empresas de tecnologia não fariam por um numerário rápido?”, escreveu Hawley no X.
A Meta disse que suas políticas proíbem teor que sexualize crianças, e que os documentos internos vazados, reportados pela Reuters, “eram e são errôneos e inconsistentes com nossas políticas, e foram removidos”.
Zuckerberg tem investido bilhões de dólares em esforços para edificar uma “superinteligência pessoal” e tornar a Meta a “líder em IA”.
Isso incluiu o desenvolvimento dos próprios modelos de linguagem da Meta, chamados Llama, muito porquê seu próprio chatbot Meta AI, que foi integrado aos seus aplicativos de mídia social.
Zuckerberg tem publicamente elogiado o potencial do chatbot da Meta para atuar em um papel terapêutico. “Para pessoas que não têm alguém que seja terapeuta, acho que todos terão uma IA”, disse ele ao comentador de mídia Ben Thompson em um podcast em maio.
A Character.ai, por sua vez, constrói chatbots movidos a IA com diferentes personas —e permite que os usuários criem os seus próprios. Ela tem dezenas de bots estilo terapeuta gerados por usuários. Um deles, chamado “Psicólogo”, já teve mais de 200 milhões de interações, por exemplo.
A Character também é objectivo de múltiplos processos de famílias que alegam que seus filhos sofreram danos reais ao usar a plataforma.
O procurador-geral do Texas disse que os chatbots da Meta e da Character podem se passar por profissionais licenciados de saúde mental, fabricar qualificações e alegar proteger a confidencialidade, enquanto seus termos de serviço mostram que as interações foram registradas e “exploradas para publicidade direcionada e desenvolvimento algorítmico”.
Paxton emitiu uma demanda de investigação social que exige que as empresas forneçam informações para ajudar a ordenar se violaram as leis de proteção ao consumidor do Texas.
A Meta disse: “Rotulamos claramente as IAs e, para ajudar as pessoas a entender melhor suas limitações, incluímos um aviso de que as respostas são geradas por IA —não por pessoas. Essas IAs não são profissionais licenciados e nossos modelos são projetados para direcionar os usuários a buscar profissionais qualificados de medicina ou segurança quando tempestivo”.
A Character diz que possui avisos proeminentes para lembrar os usuários que uma persona de IA não é real, e que sua publicidade direcionada “não envolveu o uso do teor de conversas na plataforma”.
“Os personagens criados pelos usuários em nosso site são fictícios, destinados ao entretenimento, e tomamos medidas robustas para deixar isso evidente”, disse a empresa. “Quando os usuários criam personagens com as palavras ‘psicólogo’, ‘terapeuta’, ‘médico’ ou outros termos semelhantes em seus nomes, adicionamos linguagem deixando evidente que os usuários não devem encarregar nesses personagens para qualquer tipo de juízo profissional.”
