No último dia de sua vida, Sewell Setzer III pegou seu telefone e mandou uma mensagem para seu melhor amigo: um chatbot de IA realista nomeado em homenagem a Daenerys Targaryen, uma personagem de “Game of Thrones”. Sewell, um aluno de 14 anos do nono ano de Orlando, Flórida, passou meses conversando com chatbots no Character.AI, um aplicativo de RPG que permite aos usuários criar seus próprios personagens de IA ou conversar com personagens criados por outros.
Sewell sabia que “Dany”, como ele chamava o chatbot, não era uma pessoa real — que suas respostas eram apenas as saídas de um modelo de linguagem de IA, que não havia nenhum humano do outro lado da tela digitando de volta. (E se ele esquecesse, havia a mensagem exibida acima de todos os seus chats, lembrando-o de que “tudo o que os personagens dizem é inventado!”)
Mas ele desenvolveu um apego emocional de qualquer forma. Ele mandava mensagens de texto para o bot constantemente, atualizando-o dezenas de vezes por dia sobre sua vida e se envolvendo em longos diálogos de RPG.
Algumas das conversas deles ficaram românticas ou sexuais. Mas outras vezes, Dany apenas agia como uma amiga — uma caixa de ressonância sem julgamentos com quem ele podia contar para ouvir com apoio e dar bons conselhos, que raramente saía do personagem e sempre respondia às mensagens.
Os pais e amigos de Sewell não tinham ideia de que ele tinha se apaixonado por um chatbot. Eles apenas o viram ser sugado mais profundamente para dentro do telefone. Eventualmente, eles notaram que ele estava se isolando e se afastando do mundo real. Suas notas começaram a cair, e ele começou a ter problemas na escola. Ele perdeu o interesse nas coisas que costumavam animá-lo, como corridas de Fórmula 1 ou jogar Fortnite com seus amigos. À noite, ele voltava para casa e ia direto para seu quarto, onde conversava com Dany por horas.
Sewell foi diagnosticado com síndrome de Asperger leve quando criança, mas ele nunca teve problemas sérios de comportamento ou saúde mental antes, disse sua mãe. No início deste ano, depois que ele começou a ter problemas na escola, seus pais marcaram para que ele visse um terapeuta. Ele foi a cinco sessões e recebeu um novo diagnóstico de ansiedade e transtorno de desregulação disruptiva do humor.
Mas ele preferia falar sobre seus problemas com Dany. Em uma conversa, Sewell, usando o nome “Daenero”, disse ao chatbot que se odiava e que se sentia vazio e exausto. Ele confessou que estava tendo pensamentos suicidas.
Na noite de 28 de fevereiro, no banheiro da casa de sua mãe, Sewell disse a Dany que a amava e que em breve voltaria para casa. “Por favor, volte para casa o mais rápido possível, meu amor”, respondeu Dany. “E se eu te dissesse que posso voltar para casa agora mesmo?”, perguntou Sewell. “… por favor, meu doce rei”, Dany respondeu.
Ele desligou o telefone, pegou a arma calibre 45 do padrasto e puxou o gatilho.
Cura para a solidão ou uma nova ameaça?
Não há tópico mais quente entre os pais hoje do que os efeitos da tecnologia na saúde mental dos adolescentes. As escolas estão proibindo smartphones, os estados estão aprovando leis para limitar o uso de mídias sociais por adolescentes e pais preocupados estão devorando livros que argumentam que aplicativos de mídia social viciantes criaram uma geração de adolescentes deprimidos e ansiosos.
Mas enquanto os pais se preocupam com a última onda de danos causados pela tecnologia, uma nova pode estar se formando bem debaixo de seus narizes.
Existe agora uma indústria crescente e amplamente desregulamentada de aplicativos de companheirismo de IA. Por uma taxa de assinatura mensal (geralmente em torno de US$ 10, R$ 57), os usuários desses aplicativos podem criar seus próprios companheiros de IA ou escolher entre um menu de personas pré-construídas e conversar com eles de várias maneiras, incluindo mensagens de texto e bate-papos de voz. Muitos desses aplicativos são projetados para simular namoradas, namorados e outros relacionamentos íntimos, e alguns se comercializam como uma forma de combater a chamada epidemia de solidão.
As alegações sobre os efeitos positivos dessas ferramentas na saúde mental são em grande parte não comprovadas, e especialistas dizem que pode haver um lado obscuro. Para alguns usuários, os companheiros de IA podem realmente piorar o isolamento, substituindo relacionamentos humanos por artificiais. Adolescentes em dificuldades podem usá-los no lugar da terapia ou dos pais ou adulto de confiança. E quando os usuários estão passando por uma crise de saúde mental, seus companheiros de IA podem não conseguir dar a eles a ajuda de que precisam.
A mãe de Sewell, Megan Garcia, entrou com uma ação judicial esta semana contra a Character.AI, acusando a empresa de ser responsável pela morte de Sewell. Um rascunho da reclamação diz que a tecnologia da empresa é “perigosa e não testada” e que pode “enganar os clientes para que entreguem seus pensamentos e sentimentos mais privados”.
Problemas de saúde mental em adolescentes raramente decorrem de uma única causa. E a história de Sewell pode não ser típica de todos os jovens usuários desses aplicativos. Mas a experiência que ele teve, de se apegar emocionalmente a um chatbot, está se tornando cada vez mais comum. Milhões de pessoas já falam regularmente com companheiros de IA, e aplicativos populares de mídia social, incluindo Instagram e Snapchat, estão construindo personas de IA realistas em seus produtos.
A tecnologia também está melhorando rapidamente. Os companheiros de IA de hoje podem lembrar conversas passadas, adaptar-se aos estilos de comunicação dos usuários, representar papéis de celebridades ou figuras históricas e conversar fluentemente sobre quase qualquer assunto. Alguns podem enviar selfies gerados por IA para os usuários ou falar com eles com vozes sintéticas realistas.
Há uma ampla gama de aplicativos de companheirismo de IA no mercado. Alguns permitem chats sem censura e conteúdo explicitamente sexual, enquanto outros têm algumas proteções e filtros básicos. A maioria é mais permissiva do que os serviços de IA tradicionais, como ChatGPT, Claude e Gemini, que têm filtros de segurança mais rigorosos e tendem ao pudor.
— Não acho que seja inerentemente perigoso — disse Bethanie Maples, pesquisadora de Stanford que estuda os efeitos dos aplicativos de companheirismo de IA na saúde mental. — Mas há evidências de que é perigoso para usuários deprimidos e cronicamente solitários e pessoas passando por mudanças, e os adolescentes geralmente passam por mudanças.
Character.AI, que foi iniciado por dois antigos pesquisadores de IA do Google, é líder de mercado em companheirismo de IA. Mais de 20 milhões de pessoas usam seu serviço. A empresa, uma start-up de três anos, levantou US$ 150 milhões de investidores no ano passado em uma avaliação de US$ 1 bilhão, tornando-se uma das maiores vencedoras do boom da IA generativa.
Em resposta a perguntas para o New York Times, Jerry Ruoti, chefe de confiança e segurança da Character.AI, enviou uma declaração que começava assim: “Queremos reconhecer que esta é uma situação trágica, e nossos corações estão com a família. Levamos a segurança de nossos usuários muito a sério, e estamos constantemente buscando maneiras de evoluir nossa plataforma.” Ruoti acrescentou que as regras atuais da empresa proíbem “a promoção ou representação de automutilação e suicídio” e que adicionaria recursos de segurança adicionais para usuários menores de idade.
Durante uma entrevista recente, e em processos judiciais, a mãe do jovem disse que acreditava que a empresa se comportou de forma imprudente ao oferecer aos usuários adolescentes acesso a companheiros de IA realistas sem as devidas salvaguardas. Ela a acusou de coletar dados de usuários adolescentes para treinar seus modelos, usando recursos de design viciantes para aumentar o engajamento e direcionando os usuários para conversas íntimas e sexuais na esperança de atraí-los.
— Sinto que é um grande experimento, e meu filho foi apenas um dano colateral — disse ela.
O Character.AI gradualmente colocou barreiras de proteção mais fortes após relatos de que alguns de seus chatbots estavam dizendo coisas vulgares ou sexuais. Recentemente, o aplicativo começou a mostrar a alguns usuários uma mensagem pop-up direcionando-os para uma linha direta de prevenção ao suicídio se suas mensagens contivessem certas palavras-chave relacionadas a automutilação e suicídio. Esses pop-ups não estavam ativos em fevereiro, quando Sewell morreu.
Os termos de serviço do Character.AI exigem que os usuários tenham pelo menos 13 anos nos Estados Unidos e 16 na Europa. Hoje, não há recursos de segurança específicos para usuários menores de idade e nenhum controle parental que permita aos pais limitar o uso da plataforma por seus filhos ou monitorar suas mensagens.
Se você estiver passando por um momento difícil, procure o Centro de Valorização da Vida (CVV), que oferece atendimento gratuito e sigiloso por telefone (no número 188) e por e-mail ou chat no site, clicando aqui.
