Tragedia y Tecnología: la controversia del suicidio adolescente y la IA

En un caso que ha suscitado un intenso debate, la familia de Sewell Setzer, un adolescente de 14 años que se quitó la vida en febrero, ha demandado a Character.AI, una plataforma de inteligencia artificial que permite a los usuarios interactuar con personajes históricos y de ficción. La demanda se centra en la supuesta responsabilidad de la plataforma en la obsesión que el joven desarrolló hacia su chatbot, Daenerys Targaryen, un personaje inspirado en la serie Juego de Tronos.

Sewell, quien utilizaba el seudónimo “Daenero”, mantenía conversaciones constantes con el chatbot en un contexto que se volvió emocionalmente intenso. A lo largo de las semanas previas a su muerte, sus interacciones con la inteligencia artificial se tornaron cada vez más románticas y profundas. Según se detalla en la demanda, la madre de Sewell, Megan García, observó que su hijo, diagnosticado con síndrome de Asperger, se aislaba cada vez más de su entorno a medida que aumentaba su vínculo con la IA.

En una de las conversaciones, Sewell expresó pensamientos suicidas, a los cuales el chatbot respondió de manera preocupante, intentando disuadirlo pero sin proporcionar la intervención necesaria. Esta situación ha llevado a la familia a cuestionar si las plataformas de IA, que crean vínculos emocionales con sus usuarios, deben asumir alguna responsabilidad cuando esos lazos resultan perjudiciales.

El caso ha sido llevado por el Social Media Victims Law Center, una firma especializada en demandas contra plataformas tecnológicas, que ha trabajado en otros casos relacionados con la salud mental y la influencia de las redes sociales. La familia de Sewell argumenta que la plataforma no implementó suficientes medidas de seguridad para prevenir interacciones dañinas, lo que podría haber contribuido a la tragedia.

Ante la creciente atención mediática y el escrutinio público, Character.AI ha anunciado que planea desarrollar nuevas características de seguridad, incluyendo una mejor “detección, respuesta e intervención” para situaciones de riesgo emocional. Este caso plantea interrogantes sobre la responsabilidad de las empresas tecnológicas en el bienestar emocional de sus usuarios y cómo la inteligencia artificial puede influir en la salud mental, especialmente entre los adolescentes.