El núcleo del problema: datos y sesgos estructurales
Los modelos de IA no son entes autónomos; son sistemas estadísticos que aprenden de datos. En el contexto judicial, esto significa que se entrenan con resoluciones históricas, normativa, doctrina y, en algunos casos, información contextual como perfiles socioeconómicos. Este proceso, lejos de ser neutro, introduce riesgos que afectan la legitimidad de las decisiones.
En primer lugar, los sesgos históricos son inevitables cuando se trabaja con jurisprudencia. Si en el pasado existieron patrones discriminatorios —por ejemplo, condenas más severas hacia determinados colectivos—, el modelo los incorporará y, potencialmente, los amplificará. La IA no corrige la historia; la replica a escala.
A ello se suma la incompletitud y falta de representatividad de los datos. Las bases judiciales no son homogéneas: algunas jurisdicciones publican todas sus resoluciones, otras solo una fracción. Esto genera datasets sesgados geográficamente y por materia, lo que compromete la capacidad predictiva del modelo en contextos distintos a los predominantes en el entrenamiento.
Otro factor crítico es la opacidad de los datasets privados. Muchos proveedores de IA legal no revelan el origen ni la composición de los datos empleados, lo que imposibilita auditorías independientes. Esta falta de trazabilidad no solo plantea dudas éticas, sino que entra en conflicto con el Reglamento Europeo de IA, que exige transparencia y documentación sobre los datos utilizados.
Finalmente, el riesgo de data poisoning —la introducción deliberada o accidental de información manipulada— añade una capa adicional de vulnerabilidad. En entornos abiertos, esta amenaza puede alterar el comportamiento del modelo, generando recomendaciones erróneas o sesgadas.
En suma, la fiabilidad de la IA judicial depende, en gran medida, de la gobernanza de los datos. Sin mecanismos robustos de control, la promesa de eficiencia puede verse eclipsada por el riesgo de decisiones injustas.
Caso paradigmático: la nulidad de una sentencia por uso indebido de IA en la fundamentación judicial
El debate sobre los límites y garantías en el uso de IA en la justicia ha dejado de ser teórico. Un ejemplo reciente y paradigmático es la sentencia de la Cámara en lo Penal de la Circunscripción Judicial de Esquel (octubre de 2025), que anuló una condena penal tras constatar que el juez de primera instancia había incorporado, en un apartado crucial de la sentencia, un texto generado por un asistente de IA generativa, sin dejar constancia expresa de su utilización ni del alcance de la asistencia recibida.
Lo relevante del caso no es la mera presencia de IA en la redacción, sino la imposibilidad de determinar si la herramienta fue utilizada únicamente para tareas accesorias —como la adaptación del tono o la síntesis de argumentos— o si, por el contrario, influyó en la propia fundamentación de la condena. La sentencia destaca que la “torpeza” del magistrado al dejar en el texto la frase “Aquí tienes el punto IV reeditado, sin citas y listo para copiar y pegar” permitió descubrir el uso de IA, pero también evidenció la ausencia de control humano efectivo y la falta de transparencia sobre el proceso de razonamiento judicial.
La Cámara subraya que, conforme a las directrices éticas y normativas vigentes (Acuerdo Plenario 5435/25 del STJ Chubut), la IA puede ser utilizada como herramienta complementaria, pero nunca puede sustituir el juicio profesional ni la responsabilidad del juez. La decisión judicial debe ser motivada, trazable y comprensible, y cualquier intervención de sistemas automáticos debe quedar registrada y ser susceptible de control por las partes y por instancias revisoras.
El fallo va más allá de la anécdota y plantea preguntas de fondo: ¿cómo garantizar la trazabilidad y la auditabilidad de las decisiones cuando intervienen sistemas de IA? ¿Qué grado de transparencia es exigible respecto al uso de estas herramientas en la motivación de sentencias? ¿Puede una decisión judicial considerarse válida si no es posible reconstruir el proceso intelectual que la sustenta, especialmente cuando se afectan derechos fundamentales?
Este precedente no solo anula la sentencia por vicios de fundamentación y falta de control humano, sino que remite las actuaciones al Superior Tribunal de Justicia para que investigue el alcance de las consecuencias derivadas del uso incorrecto de la IA, subrayando la responsabilidad del Estado en garantizar el acceso a la justicia y la tutela judicial efectiva.
¿Miles de interpretaciones equivalen a una mejor decisión?
En los sistemas judiciales tradicionales, los casos más complejos suelen resolverse mediante órganos colegiados o jurados. Esta práctica se fundamenta en la idea de que la deliberación colectiva, al integrar perspectivas diversas, reduce el riesgo de error y garantiza decisiones más equilibradas. La teoría de la sabiduría de la multitud sostiene que, bajo ciertas condiciones, la agregación de múltiples juicios independientes puede producir resultados más precisos que los de un solo experto.
Si trasladamos este principio al ámbito de la IA, surge una pregunta provocadora: ¿podría un modelo entrenado con millones de resoluciones actuar como una “multitud digital” y, por tanto, ofrecer decisiones más justas? A primera vista, la respuesta parece afirmativa: la IA no se limita a una única interpretación, sino que sintetiza patrones derivados de miles de casos. Sin embargo, esta analogía es engañosa y plantea matices importantes.
Por un lado, la IA ofrece ventajas evidentes frente a la deliberación humana: puede procesar volúmenes de información inabarcables para cualquier tribunal, identificar correlaciones invisibles y aplicar criterios de forma consistente, sin fatiga ni sesgos cognitivos individuales. Desde esta perspectiva, la IA parece encarnar la esencia de la “sabiduría colectiva”, pero a una escala sin precedentes. Sin embargo, es importante considerar el riesgo de aleatoriedad inherente a los modelos generativos de IA. Estos sistemas pueden producir respuestas diferentes ante entradas similares si no se controlan adecuadamente los parámetros de generación, lo que introduce incertidumbre y dificulta la reproducibilidad de las recomendaciones. En contextos judiciales, donde la consistencia y la trazabilidad son fundamentales, esta aleatoriedad puede afectar la confianza y la auditabilidad de las decisiones.
En contraparte, la diversidad que caracteriza a un tribunal colegiado no existe en un modelo algorítmico. La IA no delibera ni contrasta argumentos; simplemente optimiza una función matemática basada en los datos que se le proporcionan. Si esos datos son homogéneos o sesgados, la aparente pluralidad se convierte en una ilusión. Además, la aleatoriedad en la generación de respuestas puede amplificar los sesgos existentes, ya que la variabilidad no necesariamente aporta pluralidad real, sino que puede reforzar patrones injustos de manera impredecible. En otras palabras, la cantidad de interpretaciones históricas no garantiza diversidad epistemológica ni justicia sustantiva, y la falta de control sobre la aleatoriedad añade una capa adicional de vulnerabilidad al proceso.
Este dilema nos enfrenta a dos modelos de confianza:
- Wisdom of the Crowd (deliberación humana): aporta pluralidad real, debate y capacidad de ponderar valores, pero es limitada en velocidad y susceptible a sesgos individuales o grupales.
- Trusty Datasets (IA entrenada en grandes corpus): puede ofrecer una aplicación más uniforme de criterios y una alta escalabilidad, pero esta aparente consistencia depende críticamente de la calidad, diversidad y neutralidad de los datos, careciendo además de deliberación consciente.
¿Significa esto que uno de los enfoques es superior al otro? No necesariamente. Ambos presentan fortalezas y vulnerabilidades que deben ser analizadas en función del contexto, el tipo de decisión y las garantías que se exigen. La pregunta que queda abierta es si podemos —y debemos— diseñar sistemas híbridos que combinen la capacidad analítica de la IA con la deliberación humana para maximizar justicia y eficiencia.
Frente a este panorama, la industria Legaltech está desarrollando mecanismos para mitigar riesgos y garantizar un uso responsable de la IA en entornos judiciales. Algunas de las líneas más prometedoras son la IA explicable (XAI), que permite auditar la lógica detrás de cada recomendación. Estos modelos no solo ofrecen resultados, sino que justifican el razonamiento seguido, lo que facilita la revisión humana y reduce el riesgo de decisiones opacas; y la inferencia determinista en los LLMs, que trata de conseguir que los Large Language Models (LLMs) sean capaces de generar respuestas reproducibles y consistentes enfrentados a la misma información.
Otra solución clave es la creación de datasets curados y auditables, que aseguren la trazabilidad y calidad de la información. Esto implica seleccionar datos representativos, documentar su procedencia y aplicar técnicas de anonimización para cumplir con la normativa de protección de datos. Algunas plataformas ya incorporan metadatos de gobernanza, que permiten rastrear cada elemento del dataset y su impacto en el modelo.
Asimismo, se están implementando controles de gobernanza algorítmica, que registran cada interacción con el sistema para garantizar accountability. Estos mecanismos permiten reconstruir el proceso de decisión en caso de controversia, lo que resulta esencial para cumplir con los principios de transparencia y responsabilidad.
Por último, los sandbox regulatorios se han consolidado como entornos controlados donde se prueban soluciones antes de su despliegue masivo. Estos espacios permiten evaluar el impacto real de la IA en procesos judiciales, identificar riesgos y ajustar los modelos antes de que entren en producción.
Conclusión
La adopción de IA debe estar respaldada por una política clara de due diligence tecnológica, que abarque la evaluación rigurosa de la procedencia y calidad de los datos, así como la auditoría de los datasets empleados. La exigencia de explicabilidad de los modelos y la integración de controles humanos en los procesos críticos son requisitos imprescindibles para garantizar la fiabilidad y neutralidad de los resultados, evitando así riesgos legales o reputacionales.
En este escenario de digitalización acelerada de la justicia, la confianza se convierte en el activo más valioso para las organizaciones. Dicha confianza se construye desde la transparencia en los datos, la trazabilidad de los procesos y la responsabilidad en el uso de la tecnología.
Artículo elaborado por Sara de Pablo Yángüez, senior associate del área NewLaw de PwC Tax & Legal.
Contacta con nosotros
