Wszyscy wyciągnęli błędne wnioski z pozwów dotyczących halucynacji AI. Nagłówek brzmiał "AI wymyśla fałszywe sprawy." Prawdziwe niebezpieczeństwo jest subtelniejsze i trudniejsze do wychwycenia: AI wymyśla fałszywe cytaty w ramach spraw, które są całkowicie rzeczywiste.
Niepowodzenie, o którym wszyscy wiedzą: sfabrykowane sprawy
W Mata v. Avianca (2023) prawnicy złożyli federalny wniosek, w którym powołali się na kilka orzeczeń sądowych, które po prostu nie istniały. Cytaty zostały wygenerowane przez ChatGPT, który stworzył wyglądające na wiarygodne nazwy spraw, numery reporterów i cytaty z niczego. Kiedy przeciwni prawnicy i sąd nie mogli znaleźć tych spraw, prawnikom nałożono sankcje. Stało się to kanoniczną przestrogą o generatywnej sztucznej inteligencji w praktyce prawnej — i nauczyło to zawód, aby przeprowadzać weryfikację cytatów.
Fałszywa sprawa jest, na szczęście, łatwa do wykrycia. Sprawdzasz to; nie ma tego; usuwasz to. Jedno wyszukiwanie ujawnia kłamstwo.
Niepowodzenie, które większość ludzi przeocza: fałszywe cytaty w prawdziwych cytatach
Teraz rozważmy bardziej podstępny wariant. Sprawa jest rzeczywista. Cytat z reportera jest poprawny. Sąd, rok, strony — wszystko autentyczne. Ale zdanie, które AI przypisuje tej opinii, cytowane orzeczenie, które umieszcza w cudzysłowach, nigdy nie zostało napisane przez ten sąd. Narzędzie oparło swoją odpowiedź na rzeczywistym dokumencie, a następnie sfabrykowało język, który twierdzi, że tam znalazło.
Dlaczego to jest gorsze niż fałszywa sprawa
- •Cytat jest prawdziwy, więc przechodzi rutynową weryfikację cytatów
- •Recenzent potwierdza, że sprawa istnieje i przechodzi dalej — cytat pozostaje niezweryfikowany.
- •Sztuczny język często brzmi jak coś, co mogłoby powiedzieć sąd.
- •Może przetrwać aż do złożonego wniosku, opinii lub notatki dla klienta.
To jest pułapka narzędzi prawnych AI "grounded" lub wzbogaconych o retrieval (RAG). Ugruntowanie modelu na rzeczywistych dokumentach źródłowych zmniejsza prawdopodobieństwo całkowicie wymyślonej sprawy — ale nie gwarantuje, że model dokładnie cytuje to, co odzyskał. Może nadal sparafrazować orzeczenie w słowach, których sąd nigdy nie użył, lub połączyć cytat z jednego fragmentu z tezą, której nie wspiera.
Ten wzór cytatów w rzeczywistych cytatach podobno pojawił się w praktyce z komercyjnymi, ugruntowanymi asystentami badawczymi. W jednym z podanych przykładów dotyczących Westlaw CoCounsel firmy Thomson Reuters — omawianym w związku z sprawą określaną jako U.S. v. Farris — narzędzie miało rzekomo wygenerować cytaty, które nie odpowiadały językowi cytowanego źródła, mimo że podstawowy cytat był autentyczny. Przedstawiamy to tylko jako zgłoszoną ilustrację: nie potwierdziliśmy niezależnie dokładnej nazwy sprawy, cytatu, sądu, roku ani orzeczenia, a czytelnicy powinni zweryfikować te szczegóły przed poleganiem na nich. Wzór ten jest jednak dobrze udokumentowany — i to wzór, a nie pojedyncza anegdota, powinien zmienić sposób, w jaki przeglądasz wyniki AI.
Uziemienie nie jest gwarancją — dowody
To nie jest marginalna kwestia. Badanie z 2024 roku przeprowadzone przez Stanford RegLab i Instytut Sztucznej Inteligencji Skoncentrowanej na Człowieku (HAI) oceniło wiodące narzędzia badawcze AI w dziedzinie prawa, które są wyraźnie reklamowane jako oparte na faktach i z ograniczonymi halucynacjami, i stwierdziło, że nadal halucynowały w znaczącej części zapytań.
O tych liczbach
Prace Stanford RegLab / HAI (2024) zgłosiły wskaźniki halucynacji dla wiodących narzędzi AI w prawie w przybliżeniu w zakresie 17–33%, w zależności od narzędzia i zadania. Podajemy zakres, a nie pojedynczą wartość, ponieważ wyniki różniły się w zależności od narzędzia i typu zapytania — w celu uzyskania dokładnych procentów dla poszczególnych narzędzi oraz metodologii, zapoznaj się z głównym artykułem.
Wnioskiem nie jest to, że "te narzędzia są złe." Chodzi o to, że uzasadnienie redukuje halucynacje, ale ich nie eliminuje, a pozostałości obejmują dokładnie niebezpieczny rodzaj: pewne, dobrze sformatowane, przechodzące weryfikację cytaty, które są błędne.
Aby uzyskać aktualny, publiczny rejestr rzeczywistych spraw sądowych, które dotyczyły cytatów wywołanych przez AI, badacz Damien Charlotin prowadzi szeroko cytowaną bazę danych, która śledzi te incydenty, gdy trafiają do sądów. To doskonałe źródło do zobaczenia, jak często — i jak daleko w procesie — te błędy się pojawiają. Wskazujemy na to, zamiast to powielać.
Dlaczego weryfikacja samodzielna w modelu pojedynczym zawodzi
Instynktownym rozwiązaniem jest poproszenie tego samego narzędzia o sprawdzenie samego siebie: "Czy jesteś pewien, że ten cytat jest dokładny?" Rzadko to pomaga, a często pogarsza sytuację.
- Model, który wygenerował cytat, nie ma pamięci o prawdziwej opinii — proszenie go o "weryfikację" po prostu powtarza ten sam proces dopasowywania wzorców, który spowodował błąd.
- Podpowiedzi takie jak "potwierdź, że to jest dosłownie" często zwracają pewne tak — czasami z nowo wymyślonym szczegółem wspierającym.
- Wynik pewności modelu nie koreluje z dokładnością cytatów, więc nie może samodzielnie oznaczać ryzykownych.
Dlaczego niezgodność między modelami ją łapie
Pojedynczy model stacjonarny ma jedno źródło i jeden sposób cytowania. Wiele niezależnych modeli każde z nich samodzielnie pozyskuje i cytuje. Kiedy zadajesz kilka modeli to samo pytanie, a jeden z nich produkuje cytat, którego inne nie mogą odtworzyć — lub który inne wyraźnie oceniają jako niepoparty — to nieporozumienie jest dzwonkiem alarmowym.
Zasada niezależności, stosowana do cytatów
Jeśli jeden model wytwarza "sąd orzekł X" w rzeczywistej sprawie, inne modele — oparte na własnym pozyskaniu tej samej opinii — zazwyczaj nie powtórzą dokładnie tego samego sfałszowanego języka. Cytat, który może wyprodukować tylko jeden model, a który inne oceniają słabo, pojawia się jako roszczenie o niskim konsensusie. Przekształciłeś niewidoczny błąd w widoczny sygnał. To sygnalizuje cytat wart sprawdzenia w źródle pierwotnym — jest to ekran o wyższym poziomie pewności, a nie dowód dokładności.
Lista kontrolna weryfikacji dla wspomaganego przez AI badania prawnego
Niezależnie od tego, czy używasz narzędzia do osiągania konsensusu, nigdy nie składaj niezweryfikowanego wyniku AI. W minimum:
- Potwierdź, że sprawa istnieje — ale na tym się nie zatrzymuj; prawdziwe cytaty to miejsce, gdzie ukrywają się niebezpieczne błędy
- Pobierz źródło pierwotne i przeczytaj cytowany język w kontekście — zweryfikuj każde cytat dosłownie w odniesieniu do samej opinii, a nie do podsumowania AI
- Sprawdź, czy cytat wspiera tezę — rzeczywisty cytat może być dołączony do twierdzenia, którego w rzeczywistości nie wspiera
- Weryfikacja z niezależnymi modelami — cytat, który produkuje tylko jeden model, jest sygnałem do zbadania, a nie faktem do zarchiwizowania.
- Nigdy nie traktuj "uzasadnionego" jako "zweryfikowanego" — RAG obniża szanse na wynalazek; nie zwalnia cię z obowiązku sprawdzenia
Konsensus w niezależnych modelach zwiększa twoją pewność, że cytat jest prawdziwy. Nie dowodzi tego. Głównym źródłem wciąż jest autorytet — AI jest tylko po to, aby pomóc ci znaleźć to szybciej i wskazać, gdzie modele się nie zgadzają.
Najczęściej zadawane pytania
Jaki jest błąd prawno-sztucznej inteligencji, który większość ludzi przeocza?
Nie chodzi o fałszywą sprawę, o której wszyscy wiedzą, ale o sfabrykowany cytat ukryty w prawdziwym cytacie — cytat istnieje i przechodzi weryfikację, ale cytowane słowa nigdy nie znalazły się w opinii.
Dlaczego samodzielne sprawdzanie w jednym modelu nie wychwytuje fałszywego cytatu?
Ponieważ cytat jest rzeczywisty, samoweryfikacja potwierdza, że sprawa istnieje i na tym się kończy; model nie ma niezależnego zapisu tego, co opinia faktycznie powiedziała.
Dlaczego porównanie między modelami wychwytuje sfabrykowane cytaty?
Niezależne modele oparte na różnych wyszukiwaniach rzadko wymyślają ten sam cytat, więc ich niezgodność ujawnia fałszerstwo, które potwierdziłby pojedynczy model.