Semua orang belajar pelajaran yang salah daripada tuntutan undang-undang AI-mengkhayalkan. Tajuknya adalah "AI mencipta kes palsu." Bahaya sebenar adalah lebih halus dan sukar untuk dikesan: AI mencipta petikan palsu dalam kes yang sepenuhnya nyata.
Kegagalan yang semua orang tahu: kes yang direka bentuk
Dalam Mata v. Avianca (2023), peguam-peguam mengemukakan satu dokumen persekutuan yang memetik beberapa keputusan kehakiman yang sebenarnya tidak wujud. Petikan-petikan tersebut telah dihasilkan oleh ChatGPT, yang menghasilkan nama kes, nombor laporan, dan petikan yang kelihatan meyakinkan dari tiada apa-apa. Apabila peguam pembangkang dan mahkamah tidak dapat menemui kes-kes tersebut, para peguam dikenakan hukuman. Ia menjadi kisah amaran kanonik tentang AI generatif dalam amalan undang-undang — dan ia mengajar profesion untuk menjalankan semakan petikan.
Kes yang direka adalah, syukurlah, mudah untuk dikesan. Anda mencarinya; ia tidak ada; anda memadamkannya. Satu carian mendedahkan pembohongan itu.
Kegagalan yang sering terlepas pandang oleh kebanyakan orang: petikan palsu dalam sitasi sebenar
Sekarang pertimbangkan varian yang lebih licik. Kes ini adalah nyata. Petikan wartawan adalah betul. Mahkamah, tahun, pihak-pihak — semuanya tulen. Tetapi ayat yang AI atribusikan kepada pendapat itu, pegangan yang dipetik yang diletakkan dalam tanda petik, tidak pernah ditulis oleh mahkamah tersebut. Alat itu mengandalkan jawapannya pada dokumen yang nyata dan kemudian mereka bahasa yang dikatakannya telah ditemui di sana.
Mengapa ini lebih teruk daripada kes palsu
- •Kutipan itu adalah nyata, jadi ia lulus pemeriksaan kutipan rutin
- •Seorang pengulas mengesahkan kes itu wujud dan meneruskan — petikan itu tidak disahkan.
- •Bahasa yang direka sering kedengaran seperti sesuatu yang akan dikatakan oleh mahkamah.
- •Ia boleh bertahan sehingga ke dalam ringkasan yang difailkan, pendapat, atau memo klien.
Ini adalah perangkap alat undang-undang-AI "grounded" atau augmented retrieval (RAG). Mengasaskan model pada dokumen sumber sebenar mengurangkan kemungkinan kes yang sepenuhnya direka — tetapi ia tidak menjamin model tersebut memetik dengan tepat apa yang ia ambil. Ia masih boleh memparafrasekan satu pegangan ke dalam kata-kata yang tidak pernah digunakan oleh mahkamah, atau menggabungkan petikan dari satu petikan ke atas satu proposisi yang tidak disokong.
Corak petikan-dalam-sitasi ini dilaporkan telah muncul dalam amalan dengan pembantu penyelidikan komersial yang berasaskan. Dalam satu contoh yang dilaporkan melibatkan Thomson Reuters' Westlaw CoCounsel — dibincangkan berkaitan dengan satu perkara yang dirujuk sebagai U.S. v. Farris — alat ini dikatakan telah menghasilkan petikan yang tidak sepadan dengan bahasa autoriti yang dirujuk, walaupun sitasi yang mendasari adalah tulen. Kami membentangkan ini hanya sebagai ilustrasi yang dilaporkan: kami tidak mengesahkan secara bebas nama kes yang tepat, sitasi, mahkamah, tahun, atau keputusan, dan pembaca harus mengesahkan butiran tersebut sebelum bergantung padanya. Corak tersebut, bagaimanapun, didokumenkan dengan baik — dan ia adalah corak, bukan sebarang anekdot tunggal, yang seharusnya mengubah cara anda menilai output AI.
Penyambungan tidak menjamin — buktinya
Ini bukanlah kebimbangan yang remeh. Sebuah kajian 2024 dari Stanford RegLab dan Institut untuk AI Berpusatkan Manusia (HAI) menilai alat penyelidikan AI undang-undang yang dibina khusus — jenis yang secara jelas dipasarkan sebagai berasaskan dan mengurangkan halusinasi — dan mendapati bahawa mereka masih mengalami halusinasi pada sebahagian besar pertanyaan.
Mengenai angka-angka ini
RegLab / HAI Stanford (2024) melaporkan kadar halusinasi untuk alat penyelidikan AI undang-undang terkemuka dalam julat 17–33%, bergantung kepada alat dan tugas. Kami menyebut julat tersebut dan bukannya satu angka utama kerana hasilnya berbeza mengikut alat dan jenis pertanyaan — untuk peratusan tepat bagi setiap alat dan metodologi, rujuk kertas utama.
Pengambilannya bukan "alat-alat ini buruk." Ia adalah bahawa penyandaran mengurangkan halusinasi tetapi tidak menghapuskannya, dan sisa termasuk tepat jenis yang berbahaya: petikan yang yakin, terformat dengan baik, dan lulus pemeriksaan rujukan yang salah.
Untuk rekod awam yang berjalan mengenai kes mahkamah sebenar yang melibatkan petikan yang dihalusinasi oleh AI, penyelidik Damien Charlotin mengekalkan pangkalan data yang banyak dirujuk yang menjejaki insiden ini apabila ia sampai ke mahkamah. Ia adalah sumber yang sangat baik untuk melihat seberapa kerap — dan sejauh mana dalam proses — kesilapan ini berlaku. Kami merujuk kepadanya dan bukannya menduplikasinya.
Mengapa pengesahan diri model tunggal gagal
Penyelesaian yang instinctif adalah untuk meminta alat yang sama memeriksa dirinya sendiri: "Adakah anda pasti bahawa petikan itu tepat?" Ini jarang membantu, dan sering kali menjadikan keadaan lebih teruk.
- Model yang menghasilkan petikan tersebut tidak mempunyai ingatan kebenaran tentang pendapat — memintanya untuk "mengesahkan" hanya menjalankan semula corak padanan yang sama yang menghasilkan ralat.
- Arahan seperti "sahkan ini adalah secara verbatim" sering kali menghasilkan jawapan ya yang yakin — kadang-kadang dengan butiran sokongan yang baru dihalusinasi.
- Skor keyakinan model tidak berkorelasi dengan ketepatan petikan, jadi ia tidak dapat menandakan sendiri yang berisiko.
Mengapa ketidaksetujuan antara model menangkapnya
Model tunggal yang terasing mempunyai satu pengambilan dan satu cara untuk memetiknya. Beberapa model bebas masing-masing mengambil dan memetik secara sendiri. Apabila anda bertanya kepada beberapa model soalan yang sama dan salah satu daripada mereka menghasilkan petikan yang tidak dapat dihasilkan semula oleh yang lain — atau yang secara jelas dinilai oleh yang lain sebagai tidak disokong — perbezaan pendapat itu adalah loceng penggera.
Prinsip kebebasan, diterapkan pada petikan
Jika satu model memalsukan "mahkamah memutuskan X" dalam kes sebenar, model-model lain — yang berasaskan pengambilan mereka sendiri terhadap pendapat yang sama — biasanya tidak akan menghasilkan bahasa yang tepat dipalsukan itu. Sebuah petikan yang hanya boleh dihasilkan oleh satu model, dan yang dinilai dengan buruk oleh yang lain, muncul sebagai tuntutan konsensus rendah. Anda telah mengubah kesilapan yang tidak kelihatan menjadi bendera yang kelihatan. Ini menandakan petikan yang berbaloi untuk disemak terhadap sumber utama — ia adalah skrin keyakinan yang lebih tinggi, bukan bukti ketepatan.
Senarai semak pengesahan untuk penyelidikan undang-undang yang dibantu AI
Sama ada anda menggunakan alat konsensus atau tidak, jangan sekali-kali menghantar output AI yang tidak disahkan. Sekurang-kurangnya:
- Pastikan kes itu wujud — tetapi jangan berhenti di situ; rujukan yang sebenar adalah di mana kesilapan berbahaya bersembunyi
- Tarik sumber utama dan baca bahasa yang dipetik dalam konteks — sahkan setiap petikan secara verbatim terhadap pendapat itu sendiri, bukan terhadap ringkasan AI.
- Semak bahawa petikan menyokong proposisi — petikan sebenar boleh dilampirkan pada tuntutan yang sebenarnya tidak disokong olehnya
- Semak silang dengan model bebas — satu petikan yang hanya dihasilkan oleh satu model adalah tanda untuk menyiasat, bukan fakta untuk disimpan
- Jangan sekali-kali menganggap "dikenakan hukuman" sebagai "disahkan" — RAG mengurangkan kemungkinan penciptaan; ia tidak menghapuskan tanggungjawab anda untuk menyemak
Konsensus di antara model-model bebas meningkatkan keyakinan anda bahawa sebut harga itu adalah nyata. Ia tidak membuktikannya. Sumber utama masih merupakan pihak berkuasa — AI hanya ada untuk membantu anda mencarinya dengan lebih cepat dan untuk memberitahu anda di mana model-model itu tidak sependapat.
Soalan Lazim
Apakah kegagalan AI undang-undang yang paling ramai orang terlepas pandang?
Bukan kes palsu yang semua orang tahu, tetapi petikan yang dipalsukan disembunyikan dalam petikan yang sebenar — petikan itu wujud dan lulus pemeriksaan petikan, tetapi kata-kata yang dipetik tidak pernah ada dalam pendapat.
Mengapa pemeriksaan kendiri model tunggal tidak dapat mengesan petikan palsu?
Kerana petikan itu adalah nyata, pengesahan diri mengesahkan bahawa kes itu wujud dan berhenti di situ; model tersebut tiada rekod bebas tentang apa yang sebenarnya dikatakan dalam pendapat itu.
Mengapa perbandingan antara model menangkap petikan yang dipalsukan?
Model-model bebas yang berasaskan pengambilan yang berbeza jarang mencipta petikan yang sama, jadi perbezaan mereka menonjolkan pemalsuan yang akan disahkan oleh satu model tunggal.