La excelente película Justicia Artificial, de Simón Casal, estrenada en 2024, aborda la temática de la aplicación de la inteligencia artificial en la administración pública. En concreto, plantea la cuestión de delegar a la IA la administración de la justicia, sustituyendo a los jueces.
Aunque a primera vista pueda parecer un enfoque muy futurista, lo cierto es que la aplicación de la IA en el ámbito judicial lleva años siendo una realidad, y en las últimas semanas han surgido diversos casos que ponen de manifiesto los crecientes peligros de un uso inadecuado de esta tecnología. No hablamos de distopías lejanas, sino de situaciones reales que evidencian un problema urgente: el uso acrítico de algoritmos de IA en la justicia.
Muchos profesionales de la justicia caen en el error de confiar en la IA como si fuera infalible
Posiblemente el sistema más antiguo de aplicación de algoritmos a la justicia sea COMPAS, desarrollado hace una década en Estados Unidos. Este algoritmo predictivo es utilizado por tribunales de varios estados del país para evaluar la probabilidad de que un acusado reincida.
La IA puede ayudar pero no puede sustituir el factor humano en la justicia
En 2016, una investigación de ProPublica —una organización de periodismo de investigación con sede en Nueva York— analizó el funcionamiento del algoritmo. ProPublica descubrió que las personas negras tenían casi el doble de probabilidades que las blancas de ser clasificadas como de alto riesgo sin llegar realmente a reincidir, mientras que COMPAS cometía el error contrario con las personas blancas: era mucho más probable que fueran etiquetadas como de bajo riesgo, pero que posteriormente cometieran nuevos delitos. También se constató que solo el 20 % de las personas a quienes se predijo que cometerían crímenes violentos realmente lo hicieron.
Los fallos de VioGén
En España, salvo en Catalunya y el País Vasco, también se utiliza un sistema predictivo, llamado VioGén, que evalúa la probabilidad de que una víctima de violencia de género vuelva a sufrir maltratos. El sistema asigna una puntuación a cada víctima: riesgo no apreciado, riesgo bajo, riesgo medio, riesgo alto o riesgo extremo. Las víctimas clasificadas con un riesgo más alto reciben más protección. Las que obtienen puntuaciones más bajas reciben menos protección.
El problema es que, según un artículo publicado en The New York Times (NYT) por Adam Satariano y Roser Toll en julio de 2024, VioGén acumula casos de víctimas que, pese a haber sido clasificadas con un riesgo bajo o no apreciado, volvieron a ser agredidas. De hecho, los periodistas del NYT descubrieron en una revisión oficial que, en 55 de los 98 feminicidios analizados, las mujeres asesinadas habían recibido de VioGén la clasificación de riesgo de maltrato reiterado como no apreciado o bajo. Cabe señalar que los agentes de policía tienen la facultad de aceptar o aumentar las calificaciones de VioGén en función de las pruebas, pero, según las autoridades, aceptan las puntuaciones de riesgo de VioGén en aproximadamente el 95 por ciento de los casos.
A pesar de estos datos, que ponen en duda la eficacia del sistema, la confianza del gobierno español en VioGén es sorprendente. En un comunicado, el Ministerio del Interior defendió vehementemente el uso de VioGén, aunque admitió que los feminicidios son difíciles de prever.
Es bien sabido que los humanos no somos, en general, buenos pronosticando, y menos aún el comportamiento humano. La IA predictiva tiene exactamente el mismo problema. Quien crea que la IA predictiva funciona debería leer con urgencia el libro AI Snake Oil: What Artificial Intelligence Can Do, What It Can’t, and How to Tell the Difference, de Arvind Narayanan y Sayash Kapoor.
Ejemplos de mal uso de la IA en la justicia
La IA generativa, como ChatGPT y similares, aplicada a la justicia también es fuente de graves problemas. Uno de los casos más mediáticos, denunciado en un artículo en MIT Technology Review, afectó a la compañía de IA Anthropic, demandada por varias discográficas por cuestiones de derechos de autor. En un escrito, los abogados que representaban los intereses de Anthropic, utilizaron el modelo de IA Claude para generar una cita de un precedente legal, pero la cita era incorrecta: ni el autor ni el título coincidían. Y nadie del equipo legal lo revisó antes de presentarlo.
La policía de Israel utilizó también recientemente un modelo de IA generativa para presentar argumentos en un caso de fraude y malversación. En este caso, el abogado del acusado observó que entre los argumentos de la policía se citaban leyes que no existían en el código penal de Israel. El juez Ehud Kaplan reaccionó con sorpresa y dijo: “Pensaba que ya lo había visto todo en mis 30 años de experiencia en los tribunales”.
Estos casos se suman a una lista creciente de más de 100 incidentes similares en todo el mundo. Aunque algunos despachos tienen políticas para regular el uso de la IA, los errores siguen aumentando. Y lo más preocupante: estos errores no solo aparecen en documentos redactados por abogados, sino, como hemos visto, también en informes policiales y en decisiones de tribunales de justicia, lo cual pone en riesgo la fiabilidad de todo el proceso judicial.
¿Por qué ocurre esto?
Estas situaciones no son anecdóticas. Reflejan una tensión profunda entre la rapidez y eficiencia que promete la IA y la precisión, verificación y responsabilidad que exige el sistema judicial. El problema es que muchos profesionales, y también muchos políticos, caen en el error de confiar en la IA, tratándola como si fuera infalible. Los chatbots de IA responden con una fluidez que genera una falsa sensación de autoridad, lo que hace que muchos usuarios relajen sus controles habituales. Pero, como hemos visto, estos modelos pueden “inventar” fuentes, distorsionar información o presentar datos con apariencia de veracidad sin ningún fundamento real.
Implicaciones para el sistema judicial
Los tribunales se basan en pruebas verificables, jurisprudencia existente y argumentos bien fundamentados. Si empezamos a introducir documentos con errores graves, fabricados por IA y no detectados por los humanos que deben validarlos, comprometemos los fundamentos del sistema judicial. A corto plazo, puede haber multas o sentencias anuladas. A largo plazo, la confianza ciudadana en la justicia puede verse seriamente erosionada.
También hay implicaciones legales directas: los códigos deontológicos de la profesión legal obligan a los abogados a garantizar la exactitud de todo lo que presentan ante un juez. Utilizar IA no exime de esa responsabilidad. Esto implica que, si un modelo genera información falsa, el error es responsabilidad del profesional humano, no de la máquina.
¿Hacia dónde vamos?
Dicho esto, no se trata de rechazar completamente la IA en el ámbito legal. Su capacidad para ayudar a analizar grandes volúmenes de datos o realizar búsquedas jurídicas puede ser muy útil. Pero esto solo será positivo si se mantiene el criterio humano como filtro insustituible. Es imprescindible que los profesionales del derecho reciban formación específica para entender qué puede hacer (y qué no) la IA, y qué riesgos implica su uso.
Además, las empresas que desarrollan herramientas de IA destinadas al ámbito jurídico deberían ser más transparentes sobre las limitaciones de sus productos. Muchas de estas empresas prometen “resultados fiables”, pero la realidad demuestra todo lo contrario.
El camino hacia una justicia más ágil puede conducirnos hacia una justicia artificialmente equivocada. La justicia no es un trabajo para máquinas. Es una tarea humana que requiere responsabilidad, criterio y rigor. Confiar ciegamente en la inteligencia artificial en el ámbito judicial no es solo un error técnico, es un peligro para la sociedad. Cuando las decisiones se toman a partir de argumentos inventados, la justicia real se convierte en justicia ficción.
Mucho antes de que la IA se convirtiera en una mala compañera de la verdad, Hannah Arendt ya advertía que la verdad factual estaba en peligro y que, sin ella, la libertad no podría sobrevivir. El mensaje de Arendt resuena hoy con una fuerza renovada
Ramon López de Mántaras. Institut d’Investigació en Intel·ligència Artificial (IIIA-CSIC)