AI kini tertanam dalam penyelidikan undang-undang, penyusunan, dan semakan. Ia benar-benar berguna — dan ia akan, dengan keyakinan penuh, memberikan anda undang-undang kes yang tidak wujud dan petikan yang tidak pernah ditulis. Panduan ini merangkumi apa itu halusinasi AI undang-undang, mengapa alat yang "berasaskan fakta" juga menghasilkan halusinasi, apa yang sebenarnya dikatakan oleh bukti, dan — bahagian yang paling banyak dilangkau — aliran kerja konkrit untuk melindungi diri anda.
Apa itu halusinasi AI undang-undang
Halusinasi adalah output yang yakin dan terdengar plausible tetapi salah, tanpa sebarang isyarat dalaman bahawa ada yang tidak kena. Dalam kerja undang-undang, ia mengambil beberapa bentuk yang dikenali:
- Kes yang direka: keputusan yang sepenuhnya dicipta dengan nama yang realistik dan petikan wartawan yang tidak sepadan dengan sebarang pendapat sebenar
- Statut yang salah atau dinyatakan dengan tidak tepat: seksyen statut sebenar yang dipetik untuk proposisi yang tidak mereka sokong, atau peruntukan yang diringkaskan dengan tidak tepat
- Petikan yang dipalsukan dalam petikan sebenar: jenis yang paling berbahaya — kes yang tulen dan dipetik dengan betul dengan petikan yang tidak pernah ditulis oleh mahkamah.
Kategori ketiga adalah yang paling ditakuti. Kes palsu akan dikesan sebaik sahaja anda mencarinya. Petikan yang direka dalam kes nyata lulus dalam pemeriksaan sitasi rutin — sitasi itu sah — dan kesilapan itu tersembunyi dalam bahasa yang anda tidak semak dengan sumber.
Mengapa ia berlaku — walaupun dengan alat yang "dihidupkan"
Model bahasa tidak mencari fakta dalam pangkalan data; ia menghasilkan sambungan teks yang paling mungkin berdasarkan corak dalam latihannya. Kadang-kadang, output yang terdengar paling mungkin adalah fiksyen.
"Grounded" atau alat undang-undang yang ditambah dengan pengambilan (RAG) cuba memperbaiki ini dengan mengambil dokumen sumber sebenar dan mengarahkan model untuk menjawab berdasarkan dokumen tersebut. Ini benar-benar membantu — ia dengan ketara mengurangkan kes yang sepenuhnya direka. Tetapi pengkalan tidak menjamin:
Di mana penyaluran masih bocor
- •Model boleh memetik salah dokumen yang telah diambilnya dengan betul.
- •Ia boleh melampirkan petikan sebenar kepada satu cadangan yang tidak disokong oleh sumber.
- •Pengambilan boleh mengeluarkan petikan yang salah, dan model tetap menyebutnya dengan yakin.
- •Ia boleh menggabungkan bahasa dari pelbagai sumber menjadi satu "petikan" yang direka.
Dengan kata lain, grounding mengubah distribusi kesalahan — lebih sedikit kes yang palsu, tetapi yang tersisa cenderung kepada jenis kutipan yang sukar dikesan dalam petikan sebenar.
Bukti
Ini bukan hipotesis. Dua pengacara dan satu penjejak adalah berbaloi untuk diketahui:
Mata v. Avianca (2023)
Kisah amaran yang bersejarah. Peguam telah mengemukakan dokumen persekutuan yang menyebut pelbagai keputusan kehakiman yang tidak wujud — ChatGPT telah mereka-reka keputusan tersebut, lengkap dengan petikan palsu. Mahkamah telah menghukum para peguam. Ia telah menetapkan, secara terbuka dan mahal, bahawa hasil AI generatif yang tidak disahkan tiada tempat dalam pengemukaan.
Stanford RegLab / HAI (2024)
Satu kajian 2024 dari Stanford RegLab dan Institut untuk AI Berpusatkan Manusia telah menilai alat penyelidikan AI undang-undang yang dibina khusus dan mendapati bahawa mereka masih mengalami halusinasi pada sebahagian besar pertanyaan — dilaporkan dalam julat kira-kira 17–33% bergantung kepada alat dan tugas.
Sebelum menerbitkan, sahkan semula peratusan yang tepat, alat khusus yang dinilai, dan atribusi yang tepat terhadap kertas utama. Sebutkan dengan jujur dan boleh dipertanggungjawabkan — jangan sekali-kali membesar-besarkan atau membundarkan kepada angka pemasaran.
Pangkalan data Charlotin (penjejak)
Penyelidik Damien Charlotin mengekalkan pangkalan data awam yang banyak dirujuk yang menjejak kes mahkamah yang melibatkan petikan yang dihalusinasi oleh AI. Ia adalah rekod terbaik tentang seberapa kerap kesilapan ini sampai ke mahkamah dan sejauh mana ia bergerak sebelum seseorang menyedarinya. Kami menyebutnya sebagai sumber — ia adalah rujukan untuk dirujuk, bukan sesuatu yang perlu dihasilkan semula.
Cara melindungi diri anda: aliran kerja pengesahan
Kebanyakan liputan berhenti di "berhati-hati." Inilah bahagian yang kurang dilayani — aliran kerja konkrit yang boleh anda jalankan pada setiap tugas penyelidikan yang dibantu AI:
Pemeriksaan sitasi bebas
Sahkan setiap kes dan statut yang disebut wujud dalam sumber yang berwibawa (laporan, kod) — secara berasingan daripada alat yang menghasilkannya. Jangan biarkan AI mengesahkan petikan sendiri.
Pengesahan petikan secara verbatim
Tarik sumber utama dan baca setiap petikan dalam konteks. Padankan kata-kata yang dipetik secara karakter demi karakter dengan pendapat. Sebuah petikan yang sebenar dengan kata-kata yang palsu adalah kesilapan yang tersembunyi.
Semakan cadangan
Sahkan sumber itu benar-benar menyokong hujah yang dirujuk. Petikan yang sah boleh dilampirkan pada tuntutan yang tidak disokongnya.
Perbandingan antara model
Tanya soalan yang sama kepada beberapa model AI yang bebas. Apabila satu model menghasilkan kes atau petikan yang tidak dapat dihasilkan semula oleh yang lain — atau yang dinilai oleh yang lain sebagai tidak disokong — anggap ketidaksepakatan itu sebagai tanda untuk menyiasat.
Jangan pernah menyimpan output yang tidak disahkan.
Tiada hasil AI yang dimasukkan ke dalam ringkasan, memo, atau fail sehingga seorang manusia telah mengesahkan sumber utama. Berdasarkan ≠ disahkan.
Mengapa perbandingan antara model mendapat tempatnya dalam aliran kerja
Sebuah model tunggal tidak dapat memeriksa dirinya sendiri dengan boleh dipercayai — apabila ditanya "adakah anda pasti?", ia cenderung untuk mengulangi kesilapan yang sama. Model-model bebas gagal dengan cara yang berbeza: mereka mempunyai data latihan yang berbeza dan, dalam tetapan yang berasaskan, pengambilan yang berbeza. Kes yang direka atau petikan yang salah yang dihasilkan oleh satu model biasanya tidak dihasilkan semula oleh yang lain, jadi ia menonjol sebagai tuntutan dengan konsensus yang rendah. Itu adalah isyarat anda untuk merujuk kepada sumber utama. Konsensus di kalangan model meningkatkan keyakinan anda bahawa sesuatu itu adalah nyata — ia tidak membuktikannya, dan ia tidak pernah menggantikan pembacaan pendapat.
Pembingkaian tanggungjawab profesional
Ini bukan hanya amalan yang baik — ia berkaitan dengan tanggungjawab profesional yang teras. tanggungjawab untuk kompetensi semakin merangkumi pemahaman tentang alat yang anda gunakan dan mod kegagalannya; seorang peguam yang tidak tahu bahawa AI yang berasaskan data masih boleh menghasilkan petikan yang tidak tepat sedang kehilangan sesuatu yang penting tentang alat tersebut. tanggungjawab untuk keterbukaan kepada tribunal bermakna anda bertanggungjawab terhadap ketepatan apa yang anda failkan — titik. Alat AI tidak boleh memegang tanggungjawab itu untuk anda, dan "perisian yang menjana ia" bukanlah satu pembelaan dalam kes-kes yang dikenakan hukuman.
- Anggap output AI sebagai petunjuk penyelidikan, jangan sekali-kali sebagai rujukan rasmi.
- Manusia yang menandatangani pemfailan memiliki setiap kes dan petikan di dalamnya.
- Dokumentasikan langkah verifikasi anda — ia adalah amalan yang baik dan rekod ketekunan.
Digunakan dengan baik — dengan pengesahan bebas dan perbandingan model silang yang dibina ke dalam aliran kerja — AI menjadikan penyelidikan undang-undang lebih cepat dan membantu menonjolkan tuntutan yang berbaloi untuk diteliti semula. Digunakan dengan kepercayaan, ia akhirnya akan meletakkan petikan yang dipalsukan dalam ringkasan anda. Perbezaannya adalah aliran kerja, dan aliran kerja itu adalah milik anda untuk diuruskan.
Soalan Lazim
Apakah ilusi AI yang sah?
Kes palsu, undang-undang yang salah, dan petikan yang direka disembunyikan dalam petikan sebenar — hasil yang yakin dari AI undang-undang yang tidak benar.
Adakah alat AI undang-undang yang "berdasarkan" masih berhalusinasi?
Ya. Pos tersebut menunjukkan halusinasi berterusan walaupun dalam alat yang berasaskan, dengan menyebut bukti yang didokumenkan termasuk Mata v. Avianca dan kajian RegLab Stanford 2024.
Bagaimana anda melindungi diri anda daripada halusinasi AI yang berkaitan dengan undang-undang?
Dengan aliran kerja pengesahan: semakan sitasi bebas, pengesahan petikan secara verbatim, perbandingan silang model, dan tidak pernah mengemukakan output yang tidak disahkan — tanggungjawab ketelusan anda tidak dipindahkan kepada alat tersebut.