A Character.AI, uma das startups de perceptibilidade sintético mais promissoras do Vale do Silício, anunciou, nesta quinta-feira (12), novas medidas de segurança para proteger usuários adolescentes, enquanto enfrenta acusações de que seus chatbots contribuíram para o suicídio e a automutilação de jovens.
A empresa californiana, fundada por ex-engenheiros do Google, é uma das várias que oferecem chatbots projetados para fornecer conversas, entretenimento e base emocional através de interações semelhantes às humanas.
Em uma ação judicial apresentada em outubro no estado da Flórida, uma mãe afirmou que a plataforma é responsável pelo suicídio de seu fruto de 14 anos.
O jovem, Sewell Setzer 3°, mantinha um relacionamento íntimo com um chatbot fundamentado na personagem de “Game of Thrones” Daenerys Targaryen e havia mencionado o libido de se suicidar.
De contrato com a denúncia, o robô incentivou o ato final do jovem, respondendo “por obséquio, meu gulodice rei” quando ele disse que “voltaria para lar”, antes de tirar a própria vida.
“(A Character.AI) fez de tudo para fabricar a submissão prejudicial de Sewell, de 14 anos, de seus produtos, abusou sexual e emocionalmente dele e, finalmente, não ofereceu ajuda nem notificou seus pais quando ele expressou ideias suicidas”, diz a denúncia.
Outra ação, apresentada no Texas na segunda-feira, envolve duas famílias que alegam que a plataforma expôs seus filhos a teor sexual e incentivou a automutilação.
Um dos casos envolve um jovem autista de 17 anos que supostamente sofreu uma crise de saúde mental em seguida usar a plataforma, enquanto a outra denúncia alega que a Character.AI incentivou um jovem a matar seus pais por limitarem seu tempo de tela.
A plataforma, que hospeda milhões de personagens criados por usuários que vão desde figuras históricas até conceitos abstratos, tornou-se popular entre usuários jovens que buscam base emocional.
Seus críticos dizem que ela levou adolescentes vulneráveis a um nível perigoso de submissão.
Em resposta, a Character.AI anunciou que havia desenvolvido um protótipo de IA separado para usuários menores de 18 anos, com filtros de teor mais rígidos e respostas mais moderadas.
A plataforma marcará maquinalmente o teor relacionado ao suicídio e direcionará os usuários para a Risca Pátrio de Prevenção do Suicídio.
“Nosso objetivo é fornecer um espaço encantador e seguro para nossa comunidade”, disse um porta-voz da empresa.
A Character.AI também planeja introduzir controles parentais a partir do início de 2025, o que permitirá supervisionar o uso por secção das crianças da plataforma.
Para os bots que incluem descrições uma vez que terapeuta ou médico, uma nota privativo advertirá que eles não substituem o aconselhamento profissional.
As novas características também incluem notificações de pausas obrigatórias e advertências sobre a natureza sintético das interações.
Ambas as ações mencionam os fundadores da Character.AI e o Google, que investe na startup.
Os fundadores, Noam Shazeer e Daniel de Freitas Adiwarsana, retornaram ao Google em agosto uma vez que secção de um contrato de licença de tecnologia com a Character.AI.
O porta-voz do Google, José Castañeda, disse em um enviado que o Google e a Character.AI são empresas completamente separadas e não relacionadas.
“A segurança do usuário é uma de nossas principais preocupações, por isso adotamos um enfoque cauto e responsável para desenvolver e implementar nossos produtos de IA, com testes rigorosos e processos de segurança”, acrescentou.
Em caso de risco de suicídio, saiba onde encontrar ajuda
Instituto Vita Alere de Prevenção e Posvenção do Suicídio
Oferece grupos de base aos enlutados e a familiares de pessoas com ideação suicida, cartilhas informativas sobre prevenção e posvenção e cursos para profissionais.
vitaalere.com.br
Abrases (Associação Brasileira dos Sobrevivente Enlutados por Suicídio)
Disponibiliza materiais informativos, uma vez que cartilhas e ebooks, e indica grupos de base em todas as regiões do país.
abrases.org.br
CVV (Núcleo de Valorização da Vida)
Presta serviço voluntário e gratuito de base emocional e prevenção do suicídio para todas as pessoas que querem e precisam conversar, sob totalidade sigilo e anonimato pelo site e telefone 188
cvv.org.br
