Mọi người đã học được bài học sai từ các vụ kiện ảo tưởng AI. Tiêu đề là "AI phát minh ra các vụ án giả." Mối nguy thực sự tinh vi hơn và khó phát hiện hơn: AI phát minh ra các trích dẫn giả trong các vụ án hoàn toàn có thật.
Sự thất bại mà ai cũng biết: các vụ án bị bịa đặt
Trong Mata v. Avianca (2023), các luật sư đã nộp một bản tóm tắt liên bang trích dẫn một số quyết định tư pháp mà thực tế không tồn tại. Các trích dẫn này đã được tạo ra bởi ChatGPT, công cụ này đã sản xuất ra những tên vụ án, số báo cáo và trích dẫn trông có vẻ hợp lý từ hư không. Khi các luật sư đối kháng và tòa án không thể tìm thấy các vụ án, các luật sư đã bị xử phạt. Đây trở thành câu chuyện cảnh báo điển hình về AI sinh ra trong thực hành pháp lý — và nó đã dạy cho nghề luật cách kiểm tra trích dẫn.
Một vụ án giả mạo thì, thật may mắn, rất dễ phát hiện. Bạn tra cứu nó; nó không có ở đó; bạn xóa nó đi. Một lần tra cứu đã phơi bày sự dối trá.
Sự thất bại mà hầu hết mọi người bỏ lỡ: trích dẫn giả trong các trích dẫn thật
Bây giờ hãy xem xét một biến thể tinh vi hơn. Trường hợp là thật. Trích dẫn của phóng viên là đúng. Tòa án, năm, các bên — tất cả đều có thật. Nhưng câu mà AI gán cho ý kiến đó, phần phán quyết mà nó đặt trong dấu ngoặc kép, chưa bao giờ được tòa án đó viết. Công cụ đã dựa vào một tài liệu có thật và sau đó bịa ra ngôn ngữ mà nó tuyên bố đã tìm thấy ở đó.
Tại sao điều này tệ hơn một vụ án giả mạo
- •Trích dẫn là có thật, vì vậy nó được kiểm tra trích dẫn định kỳ
- •Một người đánh giá xác nhận rằng trường hợp tồn tại và tiếp tục — câu trích dẫn không được xác minh.
- •Ngôn ngữ giả mạo thường nghe giống như điều gì đó mà tòa án sẽ nói.
- •Nó có thể tồn tại cho đến khi vào một bản tóm tắt, một ý kiến, hoặc một bản ghi nhớ cho khách hàng.
Đây là cái bẫy của các công cụ AI pháp lý "được căn cứ" hoặc tăng cường truy xuất (RAG). Căn cứ một mô hình vào các tài liệu nguồn thực tế làm giảm khả năng xảy ra một vụ án hoàn toàn được bịa đặt — nhưng nó không đảm bảo rằng mô hình trích dẫn chính xác những gì nó đã truy xuất. Nó vẫn có thể diễn đạt lại một phán quyết bằng những từ mà tòa án chưa bao giờ sử dụng, hoặc ghép một trích dẫn từ một đoạn văn vào một luận điểm mà nó không hỗ trợ.
Mô hình trích dẫn trong các trích dẫn thực tế này được cho là đã xuất hiện trong thực tiễn với các trợ lý nghiên cứu thương mại, có cơ sở. Trong một ví dụ được báo cáo liên quan đến Westlaw CoCounsel của Thomson Reuters — được thảo luận liên quan đến một vụ việc được gọi là U.S. v. Farris — công cụ này được cho là đã tạo ra các trích dẫn không khớp với ngôn ngữ của cơ quan được trích dẫn, mặc dù trích dẫn cơ bản là chính xác. Chúng tôi chỉ trình bày điều này như một minh họa được báo cáo: chúng tôi chưa xác nhận độc lập tên vụ việc, trích dẫn, tòa án, năm hoặc phán quyết chính xác, và độc giả nên xác minh những chi tiết đó trước khi dựa vào chúng. Tuy nhiên, mô hình này đã được tài liệu hóa tốt — và chính mô hình này, chứ không phải bất kỳ giai thoại đơn lẻ nào, mới là điều nên thay đổi cách bạn xem xét đầu ra của AI.
Tiếp đất không phải là một sự đảm bảo — bằng chứng
Đây không phải là một mối quan tâm bên lề. Một nghiên cứu năm 2024 từ Stanford RegLab và Viện AI Tập trung vào Con người (HAI) đã đánh giá các công cụ nghiên cứu AI pháp lý được thiết kế đặc biệt hàng đầu — loại được tiếp thị rõ ràng là có cơ sở và giảm thiểu ảo giác — và phát hiện ra rằng chúng vẫn tạo ra ảo giác trên một tỷ lệ đáng kể các truy vấn.
Về những con số này
RegLab / HAI của Stanford (2024) đã báo cáo tỷ lệ ảo giác cho các công cụ nghiên cứu AI pháp lý hàng đầu trong khoảng 17–33%, tùy thuộc vào công cụ và nhiệm vụ. Chúng tôi trích dẫn khoảng này thay vì một con số chính xác duy nhất vì kết quả khác nhau theo từng công cụ và loại truy vấn — để biết tỷ lệ phần trăm cụ thể theo từng công cụ và phương pháp, hãy tham khảo bài báo chính.
Điều rút ra không phải là "những công cụ này là xấu." Mà là căn cứ làm giảm ảo giác nhưng không loại bỏ hoàn toàn, và phần còn lại bao gồm chính loại nguy hiểm: những trích dẫn tự tin, được định dạng tốt, vượt qua kiểm tra trích dẫn nhưng lại sai.
Để có một hồ sơ công khai liên tục về các vụ án thực tế liên quan đến các trích dẫn do AI ảo giác, nhà nghiên cứu Damien Charlotin duy trì một cơ sở dữ liệu được trích dẫn rộng rãi theo dõi những sự cố này khi chúng đến tòa án. Đây là một nguồn tài nguyên tuyệt vời để xem những lỗi này xảy ra thường xuyên như thế nào — và chúng đi xa đến đâu trong quy trình. Chúng tôi chỉ ra nó thay vì sao chép.
Tại sao xác minh tự động bằng mô hình đơn không thành công
Giải pháp theo bản năng là yêu cầu cùng một công cụ tự kiểm tra: "Bạn có chắc rằng trích dẫn đó là chính xác không?" Điều này hiếm khi giúp ích, và thường làm mọi thứ tồi tệ hơn.
- Mô hình đã tạo ra câu trích dẫn không có bộ nhớ thực tế về ý kiến — việc yêu cầu nó "xác minh" chỉ lặp lại cùng một quá trình khớp mẫu đã tạo ra lỗi.
- Các yêu cầu như "xác nhận điều này là chính xác" thường trả về một câu trả lời tự tin có — đôi khi kèm theo một chi tiết hỗ trợ mới được tưởng tượng ra.
- Điểm tự tin của một mô hình không tương quan với độ chính xác của báo giá, vì vậy nó không thể tự đánh dấu những cái rủi ro.
Tại sao sự bất đồng giữa các mô hình lại thu hút nó
Một mô hình đơn lẻ có một cách truy xuất và một cách trích dẫn. Nhiều mô hình độc lập mỗi mô hình tự truy xuất và trích dẫn riêng. Khi bạn hỏi nhiều mô hình cùng một câu hỏi và một trong số chúng đưa ra một trích dẫn mà những mô hình khác không thể tái tạo — hoặc mà những mô hình khác rõ ràng đánh giá là không được hỗ trợ — sự bất đồng đó là chuông báo động.
Nguyên tắc độc lập, áp dụng cho các trích dẫn
Nếu một mô hình tạo ra "tòa án đã tuyên bố X" trong một vụ án thực tế, các mô hình khác — dựa trên việc truy xuất ý kiến tương tự của riêng chúng — thường sẽ không tái tạo ngôn ngữ giả mạo chính xác đó. Một trích dẫn mà chỉ một mô hình có thể sản xuất, và mà các mô hình khác đánh giá thấp, xuất hiện như một tuyên bố có sự đồng thuận thấp. Bạn đã biến một lỗi vô hình thành một cờ hiệu rõ ràng. Điều này báo hiệu một trích dẫn đáng để kiểm tra với nguồn gốc chính — đó là một màn lọc có độ tin cậy cao hơn, không phải là bằng chứng về độ chính xác.
Danh sách kiểm tra xác minh cho nghiên cứu pháp lý hỗ trợ bởi AI
Dù bạn có sử dụng công cụ đồng thuận hay không, đừng bao giờ nộp đầu ra AI chưa được xác minh. Tối thiểu:
- Xác nhận trường hợp tồn tại — nhưng đừng dừng lại ở đó; một trích dẫn thực sự là nơi những lỗi nguy hiểm ẩn náu
- Kéo nguồn chính và đọc ngôn ngữ được trích dẫn trong ngữ cảnh — xác minh từng trích dẫn một cách chính xác so với ý kiến chính, không so với tóm tắt của AI.
- Kiểm tra rằng trích dẫn hỗ trợ cho đề xuất — một trích dẫn thực sự có thể được gắn với một tuyên bố mà nó thực sự không hỗ trợ.
- Kiểm tra chéo với các mô hình độc lập — một trích dẫn chỉ được một mô hình sản xuất là dấu hiệu để điều tra, không phải là một sự thật để lưu trữ.
- Không bao giờ coi "đã xác minh" là "đã xác nhận" — RAG làm giảm khả năng phát minh; nó không loại bỏ nghĩa vụ của bạn để kiểm tra
Sự đồng thuận giữa các mô hình độc lập nâng cao sự tự tin của bạn rằng một trích dẫn là thật. Nó không chứng minh điều đó. Nguồn gốc chính vẫn là thẩm quyền — AI chỉ ở đó để giúp bạn tìm kiếm nhanh hơn và cho bạn biết nơi mà các mô hình không đồng ý.
Câu hỏi thường gặp
Sai lầm về AI pháp lý mà hầu hết mọi người bỏ lỡ là gì?
Không phải là trường hợp giả mà mọi người đều biết, mà là một trích dẫn giả được giấu bên trong một trích dẫn thật — trích dẫn đó tồn tại và vượt qua kiểm tra trích dẫn, nhưng những lời được trích dẫn chưa bao giờ có trong ý kiến.
Tại sao việc tự kiểm tra bằng mô hình đơn không phát hiện được một trích dẫn giả?
Bởi vì trích dẫn là có thật, việc tự xác minh xác nhận rằng trường hợp tồn tại và dừng lại ở đó; mô hình không có hồ sơ độc lập về những gì ý kiến thực sự đã nói.
Tại sao so sánh giữa các mô hình lại phát hiện ra những trích dẫn giả mạo?
Các mô hình độc lập dựa trên các phương pháp truy xuất khác nhau hiếm khi tạo ra cùng một trích dẫn, vì vậy sự bất đồng của chúng làm lộ ra sự giả mạo mà một mô hình đơn lẻ sẽ xác nhận.