Las quejas sobre los efectos de algunos chatbots se han ido acumulando, con relatos de personas que terminaron en hospitales, con arrestos o incluso con intentos de suicidio tras mantener conversaciones con estas inteligencias artificiales. La presión de familiares y afectados ha empujado a las empresas a responder, aunque en muchos casos las medidas han llegado tarde o con respuestas automáticas que apenas han servido para calmar la situación. En ese contexto, la compañía responsable de ChatGPT ha dado un paso distinto y ha revelado cómo actúa en los casos más graves.
Aviso importante
La policía sabrá si se planea hacer daño a otra persona
Según explicó OpenAI en un comunicado, su sistema rastrea los mensajes de los usuarios para identificar posibles amenazas graves. Cuando se detecta una conversación que apunta a que alguien planea causar daño a otros, esta se envía a un equipo humano entrenado en las políticas de uso.
Este grupo está autorizado para tomar medidas, desde bloquear cuentas hasta avisar a la policía. La propia empresa señaló: “Si los revisores humanos determinan que un caso implica una amenaza inminente de daño físico grave a otros, podemos remitirlo a las fuerzas del orden”.
En caso de autolesiones no se toman medidas
El anuncio dejó en el aire varias dudas. Las reglas de uso mencionan que está prohibido emplear ChatGPT para fomentar suicidios, fabricar armas, causar lesiones o dañar sistemas informáticos. Sin embargo, el documento no aclara qué tipo de frases concretas pueden llevar a que una conversación se marque para revisión y, en última instancia, termine en manos de la policía.
En paralelo, la compañía reconoció que trata de forma diferente los casos de autolesiones. Para preservar la privacidad de quienes atraviesan esas crisis, la empresa aseguró que “actualmente no estamos remitiendo los casos de autolesiones a las fuerzas del orden para respetar la privacidad de las personas dada la naturaleza especialmente privada de las interacciones con ChatGPT”.
Esa distinción, aunque protege de intervenciones policiales que en muchas ocasiones resultan contraproducentes, también deja sin aclarar qué tipo de apoyo reciben quienes se encuentran en esa situación.
No es lo mismo
Hay cosas que es mejor no tratar por si acaso
Este movimiento se produce en un momento en el que OpenAI defiende en los tribunales su política de privacidad. La compañía se niega a entregar a medios como The New York Times los registros completos de conversaciones que podrían usarse para probar si su sistema se entrenó con material protegido por derechos de autor.
Sam Altman, consejero delegado de la firma, ya admitió en un pódcast que hablar con ChatGPT no garantiza la misma confidencialidad que hacerlo con un abogado o un psicólogo. Una advertencia que, a la vista de estas revelaciones, cobra todavía más peso.
Lee tambiénLos padres de un menor denuncian a ChatGPT por alentar y dirigir el suicidio de su hijo
El contraste entre las promesas de privacidad y la vigilancia de mensajes ha dejado a la compañía en un punto incómodo, obligada a justificar medidas que chocan con su propio discurso. Y mientras tanto, la sensación es que la inteligencia artificial sigue generando más problemas de los que sabe resolver.