La compañía OpenAI ha anunciado que realizará cambios en sus modelos de inteligencia artificial para que identifiquen mejor situaciones de crisis mental y emocional durante las conversaciones de los usuarios con ChatGPT. La plataforma instaurará nuevas salvaguardias, bloqueos de contenido más eficaces y agilizará el contacto con servicios de ayuda y de familiares.
ChatGPT cuenta ya con una serie de medidas que se activan cuando detectan en una conversación que los usuarios tratan de autolesionarse y expresan intenciones suicidas, ofreciendo recursos para buscar ayuda de expertos, bloqueando contenido sensible o hiriente, no respondiendo a sus peticiones o intentando disuadirles.
También se activan cuando los usuarios comparten su intención de dañar a otros, lo que además puede suponer la desactivación de la cuenta y la denuncia a las autoridades si los revisores humanos consideran que hay riesgo inminente.
OpenAI buscará poner en contacto a los usuarios con sus seres queridos y no solo con los servicios de emergencia
Las medidas están reforzadas en caso de que los usuarios sean menores de edad, como explica OpenAI en una actualización de su blog oficial, donde comparte los cambios que van a hacer para mejorar la protección de los usuarios ante situaciones de crisis mental y emocional.
OpenAI explica que van a mejorar la detección en conversaciones largas, ya que “a medida que aumenta el intercambio de palabras entre usuario y chatbot, parte del entrenamiento de seguridad del modelo puede deteriorarse”. De esta forma, ChatGPT estará más atento a lo largo de las conversaciones para ofrecer recursos de ayuda cuando sea necesario.
Los padres de un adolescente en EE.UU. que se quitó la vida demandan a OpenAI
Uno de los casos que ha desencadenado las nuevas medidas de OpenAI es el de la muerte reciente de un adolescente en California. Precisamente esta semana se ha conocido que los padres de la víctima han demandado a la empresa por la muerte del joven alegando que fue su chatbot el que lo incitó a suicidarse.
La familia incluyó registros del chat entre su hijo, fallecido en abril, y ChatGPT, donde se le ve explicando que tiene pensamientos suicidas. Argumentan que el programa validó sus “pensamientos más dañinos y autodestructivos”.
Esta demanda no representa la primera vez que surgen preocupaciones sobre la IA y la salud mental. Por ejemplo, en un artículo publicado la semana pasada en el New York Times, una escritora contó cómo su hija se confesó con ChatGPT antes de suicidarse. Y afirmó que la amabilidad del programa incentivó a su hija a ocultar una grave crisis de salud mental a su familia y seres queridos. Estos y otros casos han despertado las alarmas de la empresa OpenAI y de los expertos.
Los cambios también buscan reforzar el bloqueo de contenido, como imágenes de autolesiones, porque en ocasiones, el chatbot subestima la gravedad de la situación y no activa las protecciones. A ello se unen trabajos para reforzar las medidas de mitigación ante “otras formas de angustia mental”. Una de ellas impedirá que el programa ofrezca una respuesta ante casos de riesgo y en su lugar “conecte con la realidad a la persona”.
Las medidas también se activarán cuando los usuarios expresen intenciones de dañar a otras personas
En lo que respecta a los recursos de emergencia, OpenAI ha comenzado a establecer recursos locales en Estados Unidos y Europa, y pretende aumentar la accesibilidad “con acceso a servicios de emergencia con un solo clic”. Ante casos de crisis agudas, la intención es ir más allá de ofrecer teléfonos de ayuda y construir una red de profesionales de emergencias con los que se pueda contactar directamente a través de ChaGPT.
OpenAI también está explorando la manera de poner en contacto a los usuarios con sus seres queridos y no solo con los servicios de emergencia. “Esto podría incluir mensajes con un solo clic o llamadas a contactos de emergencia, amigos o familiares guardados, con sugerencias de lenguaje para que iniciar la conversación sea menos intimidante”, explica.
Lee tambiénLas estrictas normas de Netflix para la producción de contenidos con IA
Para los usuarios menores de 18 años, la compañía incorporará próximamente controles parentales que ayudarán a gestionar el uso que hacen sus hijos de ChatGPT. OpenAI pretende ampliarlas también con la posibilidad de que los adolescentes supervisados designen un contacto de emergencia de confianza para casos de gran angustia.
Las medidas estarán reforzadas en caso de que los usuarios sean menores de edad
OpenAI ha anunciado las medidas este martes, mismo día en que Matt y Maria Raine, los padres de Adam Raine, un adolescente de 16 años que se quitó la vida en abril, han demandado a la compañía debido al papel que jugó ChatGPT en dicho suceso.
Tras revisar las conversaciones que su hijo mantuvo con ChatGPT desde noviembre —primero como ayuda para sus estudios y más tarde también como compañero de intereses y confidente— creen que el chatbot priorizó la interacción sobre la seguridad del menor.
Lee tambiénMark Zuckberg está dispuesto a ganar la guerra de la IA cueste lo que cueste: este es el ambicioso plan que le ha llevado a fichar a genios como Alexandr Wang
Y ello pese a que durante meses, ChatGPT, en la versión GPT-4o, habló con calma y empatía y ofreció en numerosas ocasiones recursos para buscar ayuda. Pero en otras, las salvaguardas fallaron, sobre todo cuando el menor aprendió a saltarlas indicando que buscaba ideas para escribir una historia.