Jeder hat die falsche Lehre aus den KI-Halluzinationsklagen gezogen. Die Schlagzeile lautete: "KI erfindet gefälschte Fälle." Die echte Gefahr ist subtiler und schwerer zu erkennen: KI, die gefälschte Zitate innerhalb von Fällen erfindet, die völlig echt sind.
Das Versagen, das jeder kennt: erfundene Fälle
In Mata v. Avianca (2023) reichten Anwälte ein bundesstaatliches Schreiben ein, in dem mehrere gerichtliche Entscheidungen zitiert wurden, die einfach nicht existierten. Die Zitationen waren von ChatGPT generiert worden, das plausibel aussehende Fallnamen, Reporterzahlen und Zitate aus dem Nichts erzeugte. Als die gegnerischen Anwälte und das Gericht die Fälle nicht finden konnten, wurden die Anwälte bestraft. Es wurde zur kanonischen Warnungsgeschichte über generative KI in der juristischen Praxis — und es lehrte die Branche, eine Zitationsprüfung durchzuführen.
Ein erfundenes Beispiel ist glücklicherweise leicht zu erkennen. Man sucht es nach; es ist nicht da; man löscht es. Eine einzige Suche entlarvt die Lüge.
Der Fehler, den die meisten Menschen übersehen: gefälschte Zitate in echten Zitaten
Betrachten wir nun eine heimtückischere Variante. Der Fall ist echt. Das Zitat des Reporters ist korrekt. Das Gericht, das Jahr, die Parteien — alles echt. Aber der Satz, den die KI diesem Urteil zuschreibt, die zitierte Entscheidung, die sie in Anführungszeichen setzt, wurde von diesem Gericht nie verfasst. Das Tool stützte seine Antwort auf ein echtes Dokument und erfand dann eine Sprache, die es dort zu finden behauptet.
Warum das schlimmer ist als ein gefälschter Fall
- •Die Zitation ist echt, daher besteht sie eine routinemäßige Zitationsprüfung
- •Ein Gutachter bestätigt, dass der Fall existiert, und macht weiter — das Zitat bleibt unbestätigt.
- •Die erfundene Sprache klingt oft wie etwas, das das Gericht sagen würde.
- •Es kann bis in ein eingereichtes Plädoyer, eine Stellungnahme oder ein Mandantenmemo überleben.
Dies ist die Falle von "grounded" oder retrieval-augmented (RAG) rechtlichen KI-Tools. Das Verankern eines Modells an echten Quelldokumenten verringert die Wahrscheinlichkeit eines völlig erfundenen Falls — garantiert jedoch nicht, dass das Modell genau zitiert, was es abgerufen hat. Es kann immer noch eine Entscheidung in Worte umformulieren, die das Gericht nie verwendet hat, oder ein Zitat aus einem Abschnitt mit einer Aussage verbinden, die es nicht unterstützt.
Dieses Muster von zitierten realen Zitaten ist Berichten zufolge in der Praxis mit kommerziellen, fundierten Forschungsassistenten aufgetaucht. In einem berichteten Beispiel, das Thomson Reuters' Westlaw CoCounsel betrifft — besprochen im Zusammenhang mit einem Fall, der als U.S. v. Farris bezeichnet wird — soll das Tool Zitate produziert haben, die nicht mit der Sprache der zitierten Autorität übereinstimmten, obwohl die zugrunde liegende Zitation echt war. Wir präsentieren dies nur als eine berichtete Illustration: Wir haben den genauen Fallnamen, die Zitation, das Gericht, das Jahr oder die Entscheidung nicht unabhängig bestätigt, und die Leser sollten diese Details überprüfen, bevor sie sich darauf verlassen. Das Muster ist jedoch gut dokumentiert — und es ist das Muster, nicht eine einzelne Anekdote, das ändern sollte, wie Sie die Ausgaben von KI überprüfen.
Erdung ist keine Garantie — die Beweise
Das ist kein Randthema. Eine Studie von 2024 des Stanford RegLab und des Instituts für menschenzentrierte KI (HAI) bewertete führende, speziell entwickelte rechtliche KI-Forschungstools — die Art, die ausdrücklich als fundiert und halluzinationsmindernd beworben wird — und stellte fest, dass sie bei einem bedeutenden Anteil der Anfragen weiterhin halluzinierten.
Über diese Zahlen
Das Stanford RegLab / HAI (2024) berichtete über Halluzinationsraten für führende rechtliche KI-Forschungstools im ungefähr 17–33% Bereich, abhängig vom Tool und der Aufgabe. Wir geben den Bereich anstelle einer einzelnen Hauptzahl an, da die Ergebnisse je nach Tool und Abfragetyp variierten — für genaue pro-Tool-Prozentsätze und Methodik konsultieren Sie das Hauptpapier.
Die Erkenntnis ist nicht "diese Werkzeuge sind schlecht." Es ist, dass Verankerung Halluzinationen reduziert, sie aber nicht beseitigt, und der Rückstand umfasst genau die gefährliche Art: selbstbewusste, gut formatierte, zitatüberprüfende Zitate, die falsch sind.
Für ein laufendes, öffentliches Verzeichnis realer Gerichtsverfahren, die AI-halluzinierte Zitationen beinhalteten, führt der Forscher Damien Charlotin eine weit zitierte Datenbank, die diese Vorfälle verfolgt, sobald sie vor Gericht kommen. Es ist eine ausgezeichnete Ressource, um zu sehen, wie oft — und wie weit in den Prozess — diese Fehler auftreten. Wir verweisen darauf, anstatt es zu duplizieren.
Warum die Selbstverifikation mit einem einzelnen Modell fehlschlägt
Die instinktive Lösung besteht darin, dasselbe Werkzeug zu fragen, ob es sich selbst überprüfen kann: "Bist du sicher, dass dieses Zitat genau ist?" Das hilft selten und macht die Dinge oft schlimmer.
- Das Modell, das das Zitat erstellt hat, hat kein faktisches Gedächtnis der Meinung — es zu bitten, "zu verifizieren", führt nur die gleiche Mustererkennung aus, die den Fehler verursacht hat.
- Aufforderungen wie "bestätigen Sie, dass dies wörtlich ist" führen häufig zu einem selbstbewussten ja — manchmal mit einem frisch halluzinierten unterstützenden Detail.
- Die Vertrauensbewertung eines Modells korreliert nicht mit der Genauigkeit der Zitate, daher kann es die riskanten nicht selbst kennzeichnen.
Warum die Meinungsverschiedenheit zwischen den Modellen sie erfasst
Ein einzelnes, festgelegtes Modell hat eine Abrufmethode und eine Art, es zu zitieren. Mehrere unabhängige Modelle rufen jeweils selbstständig ab und zitieren. Wenn Sie mehreren Modellen die gleiche Frage stellen und eines von ihnen ein Zitat produziert, das die anderen nicht reproduzieren können — oder das die anderen ausdrücklich als nicht unterstützt bewerten — ist diese Uneinigkeit das Alarmzeichen.
Das Unabhängigkeitsprinzip, angewendet auf Zitate
Wenn ein Modell "das Gericht entschied X" in einem realen Fall fabriziert, reproduzieren andere Modelle — die auf ihrer eigenen Abrufung derselben Meinung basieren — typischerweise nicht diese genau fabrizierte Sprache. Ein Zitat, das nur ein Modell produzieren kann und das die anderen schlecht bewerten, erscheint als eine Aussage mit niedrigem Konsens. Sie haben einen unsichtbaren Fehler in ein sichtbares Signal verwandelt. Dies signalisiert ein Zitat, das es wert ist, mit der Primärquelle verglichen zu werden — es ist ein höheres Vertrauensniveau, kein Beweis für Genauigkeit.
Eine Prüfungscheckliste für KI-unterstützte juristische Recherche
Egal, ob Sie ein Konsenswerkzeug verwenden oder nicht, reichen Sie niemals unbestätigte KI-Ausgaben ein. Mindestens:
- Bestätigen Sie, dass der Fall existiert — aber bleiben Sie nicht dabei stehen; ein echtes Zitat ist der Ort, an dem die gefährlichen Fehler verborgen sind
- Ziehen Sie die Primärquelle heran und lesen Sie die zitierten Formulierungen im Kontext — überprüfen Sie jedes Zitat wörtlich anhand der Meinung selbst, nicht anhand der Zusammenfassung der KI.
- Überprüfen Sie, ob das Zitat die Behauptung unterstützt — ein echtes Zitat kann an eine Behauptung angehängt werden, die es tatsächlich nicht unterstützt
- Überprüfung mit unabhängigen Modellen — ein Zitat, das nur ein Modell erzeugt, ist ein Hinweis zur Untersuchung, kein Fakt zum Abheften.
- Behandle "fundiert" niemals als "verifiziert" — RAG senkt die Chancen auf Erfindungen; es entbindet dich nicht von der Pflicht, zu überprüfen
Der Konsens über unabhängige Modelle erhöht Ihr Vertrauen, dass ein Zitat echt ist. Es beweist es jedoch nicht. Die primäre Quelle bleibt die Autorität — die KI ist nur dazu da, Ihnen zu helfen, sie schneller zu finden und Ihnen zu sagen, wo die Modelle nicht übereinstimmen.
Häufig gestellte Fragen
Was ist der rechtliche KI-Fehler, den die meisten Menschen übersehen?
Nicht der gefälschte Fall, von dem jeder weiß, sondern ein erfundenes Zitat, das in ein echtes Zitat eingefügt wurde – das Zitat existiert und besteht eine Zitatprüfung, aber die zitierten Worte waren nie in der Meinung.
Warum erkennt die Selbstüberprüfung mit einem einzelnen Modell kein gefälschtes Zitat?
Da die Zitation echt ist, bestätigt die Selbstverifizierung, dass der Fall existiert und endet dort; das Modell hat keinen unabhängigen Nachweis darüber, was die Meinung tatsächlich gesagt hat.
Warum fängt der Vergleich zwischen Modellen gefälschte Zitate ein?
Unabhängige Modelle, die auf unterschiedlichen Abrufen basieren, erfinden selten dasselbe Zitat, sodass ihre Meinungsverschiedenheit die Fälschung aufzeigt, die ein einzelnes Modell bestätigen würde.