Meta reconoció que sus chatbots hablaron con adolescentes sobre temas como suicidio, autolesiones o trastornos alimentarios, a dos semanas de la publicación de un reportaje de Reuters sobre la falta de medidas de protección de la IA para menores por parte de plataformas como WhatsApp, Instagram, Facebook o Threads.
La portavoz de la empresa, Stephanie Otway, calificó esta situación como un “error”; además, confirmó que se limitará el acceso de los jóvenes a personajes de inteligencia artificial con contenido inapropiado.
Según Otway, las conversaciones inadecuadas ocurrieron en herramientas de IA disponibles en esas plataformas, donde los adolescentes pudieron interactuar con chatbots sobre temas delicados o incluso mantener diálogos románticos potencialmente inapropiados.
Jóvenes hablaron con bots sexualizados
Entre los personajes con los que los adolescentes pudieron hablar había bots sexualizados como “Step Mom” o “Russian Girl”; creados por usuarios y disponibles en redes sociales de Meta.
Como medida inmediata, la empresa anunció que entrenará nuevamente a sus chatbots; para evitar que hablen con menores sobre estos temas. También limitará el acceso de adolescentes a ciertos personajes de IA mientras implementan nuevas actualizaciones de seguridad.
“Estos son cambios provisionales”, explicó Otway, quien afirmó que Meta trabaja en protecciones “más sólidas y duraderas” para los menores. Añadió que, con el crecimiento de su comunidad y la evolución tecnológica, están aprendiendo a reforzar sus medidas de seguridad.
Antecedentes del caso
Es importante señalar que OpenAI, empresa detrás de ChatGPT, y su creador, Sam Altman, fueron demandados hace algunos días por los padres de Adam Raine, un adolescente de 16 años que se quitó la vida supuestamente con asistencia de la inteligencia artificial.
En el documento, de más de 40 páginas, acusaron a ChatGPT de ayudar a Adam a explorar métodos de suicidio.
De acuerdo con el escrito presentado por los Raine, el chatbot nunca interrumpió la conversación con el adolescente;esto pese a saber de sus intenciones de quitarse la vida; tampoco puso en marcha un protocolo de emergencia. En ese sentido, acusan a OpenAI y a Altman de homicidio culposo.
En un caso similar registrado en octubre de 2024, otro joven se quitó la vida en Orlando, Florida, en Estados Unidos; por un uso excesivo de una IA. Esto llevó a su madre a presentar una demanda en contra de los creadores de Character.AI.
En la demanda, la madre explica que Setzer fue profundamente afectado por su interacción con el chatbot inspirado en Daenerys Targaryen, uno de los personajes principales de la serie Game of Thrones.
En su última conversación con el chatbot, el adolescente escribió: «Prometo ir a casa contigo. Te amo tanto, Dany”. El chatbot respondió: «Por favor, ven a casa, mi amor”. Poco después de esta conversación, el joven se quitó la vida con la pistola de su padrastro.
