Tout le monde a tiré la mauvaise leçon des poursuites pour hallucination d'IA. Le titre était "L'IA invente des affaires fictives." Le véritable danger est plus subtil et plus difficile à détecter : l'IA inventant de fausses citations à l'intérieur d'affaires qui sont entièrement réelles.
L'échec que tout le monde connaît : des affaires fabriquées
Dans Mata v. Avianca (2023), des avocats ont déposé un mémoire fédéral citant plusieurs décisions judiciaires qui n'existaient tout simplement pas. Les citations avaient été générées par ChatGPT, qui a produit des noms de cas, des numéros de rapport et des citations ayant l'apparence plausible, sortis de nulle part. Lorsque l'avocat adverse et le tribunal n'ont pas pu localiser les affaires, les avocats ont été sanctionnés. Cela est devenu le récit d'avertissement canonique de l'IA générative dans la pratique juridique — et cela a appris à la profession à effectuer une vérification des citations.
Un cas fabriqué est, heureusement, facile à détecter. Vous le recherchez ; il n'est pas là ; vous le supprimez. Une seule recherche expose le mensonge.
L'échec que la plupart des gens manquent : des citations fausses dans de vraies citations
Considérons maintenant une variante plus insidieuse. Le cas est réel. La citation du journaliste est correcte. Le tribunal, l'année, les parties — tout est authentique. Mais la phrase que l'IA attribue à cet avis, la décision citée qu'elle met entre guillemets, n'a jamais été écrite par ce tribunal. L'outil a fondé sa réponse sur un document réel et a ensuite fabriqué un langage qu'il prétend avoir trouvé là.
Pourquoi c'est pire qu'une fausse affaire
- •La citation est réelle, donc elle passe un contrôle de citation de routine
- •Un critique confirme que le cas existe et passe à autre chose — la citation reste non vérifiée.
- •La langue fabriquée sonne souvent comme quelque chose que la cour dirait.
- •Il peut survivre jusqu'à un mémoire déposé, un avis ou un mémo client.
C'est le piège des outils juridiques d'IA "ancrés" ou augmentés par la récupération (RAG). Ancrer un modèle sur de vrais documents sources réduit les chances d'un cas entièrement inventé — mais cela ne garantit pas que le modèle cite avec précision ce qu'il a récupéré. Il peut toujours reformuler une décision avec des mots que le tribunal n'a jamais utilisés, ou coller une citation d'un passage à une proposition qu'elle ne soutient pas.
Ce modèle de citations-in-réelles-citations aurait apparemment émergé dans la pratique avec des assistants de recherche commerciaux et ancrés. Dans un exemple rapporté impliquant Westlaw CoCounsel de Thomson Reuters — discuté en lien avec une affaire désignée sous le nom de U.S. v. Farris — l'outil aurait produit des citations qui ne correspondaient pas au langage de l'autorité citée, même si la citation sous-jacente était authentique. Nous présentons cela uniquement comme une illustration rapportée : nous n'avons pas confirmé de manière indépendante le nom exact de l'affaire, la citation, le tribunal, l'année ou la décision, et les lecteurs devraient vérifier ces détails avant de s'y fier. Le modèle, cependant, est bien documenté — et c'est le modèle, et non une seule anecdote, qui devrait changer la façon dont vous examinez la production de l'IA.
La mise à la terre n'est pas une garantie — les preuves
Ce n'est pas une préoccupation marginale. Une étude de 2024 du Stanford RegLab et de l'Institut pour l'IA centrée sur l'humain (HAI) a évalué les principaux outils de recherche en IA juridique conçus à cet effet — ceux explicitement commercialisés comme étant fondés et atténuant les hallucinations — et a constaté qu'ils hallucinaient encore sur une part significative des requêtes.
À propos de ces chiffres
Le RegLab / HAI de Stanford (2024) a rapporté des taux d'hallucination pour les principaux outils de recherche en IA juridique dans une fourchette d'environ 17–33%, selon l'outil et la tâche. Nous citons la fourchette plutôt qu'un seul chiffre principal car les résultats variaient selon l'outil et le type de requête — pour des pourcentages exacts par outil et la méthodologie, consultez l'article principal.
L'enseignement à retenir n'est pas "ces outils sont mauvais." C'est que le ancrage réduit l'hallucination mais ne l'élimine pas, et le résidu comprend exactement le type dangereux : des citations confiantes, bien formatées, qui passent le contrôle des références et qui sont incorrectes.
Pour un enregistrement public en cours de véritables affaires judiciaires impliquant des citations hallucinationnées par l'IA, le chercheur Damien Charlotin maintient une base de données largement citée qui suit ces incidents lorsqu'ils atteignent les tribunaux. C'est une excellente ressource pour voir à quelle fréquence — et à quel stade du processus — ces erreurs se propagent. Nous y faisons référence plutôt que de le dupliquer.
Pourquoi l'auto-vérification à modèle unique échoue
La solution instinctive est de demander au même outil de se vérifier : "Es-tu sûr que cette citation est exacte ?" Cela aide rarement et aggrave souvent les choses.
- Le modèle qui a fabriqué la citation n'a pas de mémoire de vérité sur l'opinion — lui demander de "vérifier" ne fait que relancer le même appariement de motifs qui a produit l'erreur.
- Des invites comme "confirmez que c'est mot à mot" renvoient souvent un oui confiant — parfois avec un détail de soutien fraîchement halluciné.
- Le score de confiance d'un modèle ne corrèle pas avec l'exactitude des citations, donc il ne peut pas signaler lui-même les plus risquées.
Pourquoi le désaccord entre les modèles le capture.
Un modèle isolé a une récupération et une manière de la citer. Plusieurs modèles indépendants récupèrent et citent chacun de leur côté. Lorsque vous posez la même question à plusieurs modèles et que l'un d'eux produit une citation que les autres ne peuvent pas reproduire — ou que les autres évaluent explicitement comme non soutenue — ce désaccord est le signal d'alarme.
Le principe d'indépendance, appliqué aux citations
Si un modèle fabrique "la cour a statué X" dans un cas réel, d'autres modèles — basés sur leur propre récupération de la même opinion — ne reproduiront généralement pas ce langage fabriqué exact. Une citation que seul un modèle peut produire, et que les autres évaluent mal, apparaît comme une affirmation à faible consensus. Vous avez transformé une erreur invisible en un drapeau visible. Cela signale une citation qui mérite d'être vérifiée par rapport à la source primaire — c'est un filtre de confiance plus élevé, pas une preuve d'exactitude.
Une liste de vérification pour la recherche juridique assistée par l'IA
Que vous utilisiez ou non un outil de consensus, ne déposez jamais de résultats d'IA non vérifiés. Au minimum :
- Confirmez que le cas existe — mais ne vous arrêtez pas là ; un vrai site est là où se cachent les erreurs dangereuses.
- Tirez la source primaire et lisez le langage cité dans son contexte — vérifiez chaque citation textuellement par rapport à l'opinion elle-même, et non par rapport au résumé de l'IA.
- Vérifiez que la citation soutient la proposition — une vraie citation peut être attachée à une affirmation qu'elle ne soutient en réalité pas
- Vérification croisée avec des modèles indépendants — une citation produite par un seul modèle est un signal à enquêter, pas un fait à archiver
- Ne considérez jamais "établi" comme "vérifié" — RAG réduit les chances d'invention ; cela ne vous dégage pas de votre devoir de vérifier
Le consensus entre des modèles indépendants renforce votre confiance dans le fait qu'une citation est réelle. Cela ne le prouve pas. La source primaire reste l'autorité — l'IA est seulement là pour vous aider à la trouver plus rapidement et pour vous indiquer où les modèles ne sont pas d'accord.
Questions Fréquemment Posées
Quelle est l'erreur de l'IA juridique que la plupart des gens manquent ?
Pas le faux cas dont tout le monde parle, mais une citation fabriquée glissée à l'intérieur d'une vraie citation — la citation existe et passe un contrôle de citation, mais les mots cités n'ont jamais été dans l'opinion.
Pourquoi le contrôle autonome à modèle unique ne détecte-t-il pas une citation fausse ?
Parce que la citation est réelle, l'auto-vérification confirme que le cas existe et s'arrête là ; le modèle n'a aucun enregistrement indépendant de ce que l'opinion a réellement dit.
Pourquoi la comparaison entre modèles détecte-t-elle des citations fabriquées ?
Les modèles indépendants basés sur différentes récupérations n'inventent que rarement la même citation, donc leur désaccord met en évidence la fabrication qu'un seul modèle confirmerait.