Todos aprendieron la lección equivocada de las demandas por alucinaciones de IA. El titular fue "la IA inventa casos falsos." El verdadero peligro es más sutil y difícil de detectar: la IA inventando citas falsas dentro de casos que son completamente reales.
El fracaso que todos conocen: casos fabricados
En Mata v. Avianca (2023), los abogados presentaron un escrito federal citando varias decisiones judiciales que simplemente no existían. Las citas habían sido generadas por ChatGPT, que produjo nombres de casos, números de reporteros y citas que parecían plausibles de la nada. Cuando la parte contraria y el tribunal no pudieron localizar los casos, los abogados fueron sancionados. Se convirtió en la historia de advertencia canónica sobre la IA generativa en la práctica legal — y enseñó a la profesión a realizar una verificación de citas.
Un caso fabricado es, afortunadamente, fácil de detectar. Lo buscas; no está allí; lo eliminas. Una sola búsqueda expone la mentira.
El error que la mayoría de la gente pasa por alto: citas falsas en citas reales
Ahora considera una variante más insidiosa. El caso es real. La cita del reportero es correcta. El tribunal, el año, las partes — todo genuino. Pero la sentencia que la IA atribuye a esa opinión, la decisión citada que pone entre comillas, nunca fue escrita por ese tribunal. La herramienta fundamentó su respuesta en un documento real y luego fabricó un lenguaje que afirma haber encontrado allí.
Por qué esto es peor que un caso falso
- •La cita es real, por lo que pasa un chequeo de citas de rutina
- •Un revisor confirma que el caso existe y sigue adelante — la cita queda sin verificar.
- •El lenguaje fabricado a menudo suena como algo que diría la corte.
- •Puede sobrevivir hasta un escrito presentado, una opinión o un memorando para el cliente.
Esta es la trampa de las herramientas de IA legal "fundamentadas" o aumentadas por recuperación (RAG). Fundamentar un modelo en documentos fuente reales reduce las probabilidades de un caso completamente inventado, pero no garantiza que el modelo cite con precisión lo que recuperó. Aún puede parafrasear una decisión en palabras que el tribunal nunca usó, o combinar una cita de un pasaje con una proposición que no apoya.
Este patrón de citas en citas reales ha surgido, según se informa, en la práctica con asistentes de investigación comerciales y fundamentados. En un ejemplo reportado que involucra a Westlaw CoCounsel de Thomson Reuters —discutido en relación con un asunto referido como U.S. v. Farris— se dice que la herramienta produjo citas que no coincidían con el lenguaje de la autoridad citada, a pesar de que la cita subyacente era genuina. Presentamos esto solo como una ilustración reportada: no hemos confirmado de manera independiente el nombre exacto del caso, la cita, el tribunal, el año o la decisión, y los lectores deben verificar esos detalles antes de confiar en ellos. El patrón, sin embargo, está bien documentado —y es el patrón, no una sola anécdota, lo que debería cambiar la forma en que revisas la salida de la IA.
La conexión a tierra no es una garantía — la evidencia
Esta no es una preocupación marginal. Un estudio de 2024 del Stanford RegLab y el Instituto de IA Centrada en el Ser Humano (HAI) evaluó las principales herramientas de investigación de IA legal diseñadas específicamente —el tipo que se comercializa explícitamente como fundamentado y mitigado de alucinaciones— y encontró que aún alucinaban en una parte significativa de las consultas.
Acerca de estas cifras
El trabajo del Stanford RegLab / HAI (2024) reportó tasas de alucinación para las principales herramientas de investigación en IA legal en aproximadamente el 17–33%, dependiendo de la herramienta y la tarea. Citamos el rango en lugar de un solo número destacado porque los resultados variaron según la herramienta y el tipo de consulta; para porcentajes exactos por herramienta y metodología, consulte el documento principal.
La conclusión no es "estas herramientas son malas". Es que el anclaje reduce la alucinación pero no la elimina, y el residuo incluye exactamente la variedad peligrosa: citas seguras, bien formateadas y que pasan la verificación de citas que son incorrectas.
Para un registro público y en tiempo real de casos judiciales reales que involucraron citas alucinadas por IA, el investigador Damien Charlotin mantiene una base de datos ampliamente citada que rastrea estos incidentes a medida que llegan a los tribunales. Es un excelente recurso para ver con qué frecuencia — y hasta qué punto en el proceso — viajan estos errores. Nos referimos a él en lugar de duplicarlo.
Por qué falla la auto-verificación de un solo modelo
La solución instintiva es pedirle a la misma herramienta que se verifique a sí misma: "¿Estás seguro de que esa cita es precisa?" Esto rara vez ayuda y a menudo empeora las cosas.
- El modelo que fabricó la cita no tiene memoria de verdad fundamental de la opinión; pedirle que "verifique" simplemente vuelve a ejecutar el mismo emparejamiento de patrones que produjo el error.
- Prompts como "confirma que esto es textual" a menudo devuelven un sí seguro — a veces con un detalle de apoyo recién alucinado.
- El puntaje de confianza de un modelo no se correlaciona con la precisión de las citas, por lo que no puede marcarse a sí mismo las arriesgadas.
Por qué el desacuerdo entre modelos lo atrapa
Un modelo aislado tiene una recuperación y una forma de citarla. Múltiples modelos independientes cada uno recupera y cita por su cuenta. Cuando le haces la misma pregunta a varios modelos y uno de ellos produce una cita que los otros no pueden reproducir — o que los otros califican explícitamente como no respaldada — esa discrepancia es la señal de alarma.
El principio de independencia, aplicado a las citas
Si un modelo fabrica "el tribunal sostuvo X" en un caso real, otros modelos —basados en su propia recuperación de la misma opinión— típicamente no reproducirán ese lenguaje fabricado exacto. Una cita que solo un modelo puede producir, y que los otros evalúan mal, aparece como una afirmación de bajo consenso. Has convertido un error invisible en una bandera visible. Esto señala una cita que vale la pena verificar contra la fuente primaria —es una pantalla de mayor confianza, no una prueba de precisión.
Una lista de verificación para la investigación legal asistida por IA
Ya sea que utilices una herramienta de consenso o no, nunca presentes resultados de IA no verificados. Como mínimo:
- Confirma que el caso existe — pero no te detengas ahí; un verdadero sitio es donde se esconden los errores peligrosos
- Extrae la fuente primaria y lee el lenguaje citado en contexto — verifica cada cita textualmente contra la opinión misma, no contra el resumen de la IA.
- Verifica que la cita respalde la proposición — una cita real puede estar vinculada a una afirmación que en realidad no respalda.
- Verificar con modelos independientes — una cotización que solo produce un modelo es una señal para investigar, no un hecho para archivar.
- Nunca trates "fundamentado" como "verificado" — RAG reduce las probabilidades de invención; no elimina tu deber de verificar
El consenso entre modelos independientes aumenta tu confianza en que una cotización es real. No lo prueba. La fuente primaria sigue siendo la autoridad; la IA solo está ahí para ayudarte a encontrarla más rápido y para indicarte dónde los modelos no están de acuerdo.
Preguntas Frecuentes
¿Cuál es el fallo de la IA legal que la mayoría de las personas no perciben?
No el caso falso del que todos conocen, sino una cita fabricada escondida dentro de una cita real: la cita existe y pasa una verificación de citas, pero las palabras citadas nunca estuvieron en la opinión.
¿Por qué el auto-chequeo de un solo modelo no detecta una cita falsa?
Debido a que la cita es real, la auto-verificación confirma que el caso existe y se detiene ahí; el modelo no tiene un registro independiente de lo que realmente dijo la opinión.
¿Por qué la comparación entre modelos detecta citas fabricadas?
Los modelos independientes basados en diferentes recuperaciones rara vez inventan la misma cita, por lo que su desacuerdo pone de manifiesto la fabricación que un solo modelo confirmaría.