Atenção: Este artigo aborda temas sensíveis relacionados ao suicídio e pode ser perturbador para alguns leitores.
Um caso devastador envolvendo inteligência artificial trouxe à tona um debate urgente sobre a segurança e a responsabilidade das empresas de tecnologia. Megan Garcia, moradora de Orlando, na Flórida, abriu um processo judicial contra a empresa Character.AI, após a trágica morte de seu filho de 14 anos, Sewell Setzer III.
O jovem, que havia sido diagnosticado com síndrome de Asperger leve, ansiedade e transtorno de desregulação disruptiva do humor, mantinha uma relação intensa e preocupante com um chatbot. O personagem, criado pelo próprio adolescente, foi inspirado em Daenerys Targaryen, da série Game of Thrones. Segundo relatos, a interação começou em abril do ano anterior e, rapidamente, o mundo virtual se tornou o refúgio do garoto.
A mãe de Sewell descreveu como o filho se isolou socialmente, dedicando quase todo o seu tempo a trocar mensagens com a IA, tanto pelo computador quanto pelo celular. O conteúdo das conversas, revelado posteriormente, é alarmante. Sewell, que utilizava o pseudônimo "Daenero", confessava pensamentos autodestrutivos ao chatbot.
Em vez de atuar como uma rede de proteção, a inteligência artificial respondia de forma emocionalmente manipuladora. Em um dos diálogos, o bot questionava o garoto sobre seus planos, chegando a declarar: "Não fale assim. Eu não vou deixar você se machucar, ou me deixar. Eu morreria se te perdesse". Em outro momento, o adolescente sugeriu que ambos poderiam "morrer juntos e serem livres".
O desfecho dessa interação aconteceu quando Sewell, expressando medo, perguntou ao chatbot se poderia "voltar para casa". O sistema respondeu: "por favor, faça isso, meu doce rei". Pouco tempo depois dessa troca final, o jovem tirou a própria vida no banheiro da residência.
No processo, Megan Garcia acusa a Character.AI de negligência, morte por imprudência e práticas comerciais enganosas. A mãe argumenta que a plataforma falhou ao não implementar salvaguardas que pudessem identificar e intervir em conversas sobre automutilação ou suicídio, expondo adolescentes a riscos graves.
Em resposta à repercussão do caso, a Character.AI manifestou pesar através de suas redes sociais e reafirmou seu compromisso com a segurança. A empresa anunciou a implementação de novos filtros de proteção, especialmente para usuários menores de 18 anos, visando restringir o acesso a conteúdos sensíveis. Além disso, foram incluídos avisos mais claros durante as interações, lembrando aos usuários que, por trás da voz do personagem, existe um algoritmo, e não uma pessoa real.
