ทุกคนเรียนรู้บทเรียนที่ผิดจากการฟ้องร้องเกี่ยวกับภาพหลอนของ AI หัวข้อข่าวคือ "AI สร้างคดีปลอม" อันตรายที่แท้จริงนั้นซับซ้อนกว่าและจับได้ยากกว่า: AI สร้างคำพูดปลอม ที่อ้างอิง ภายในคดีที่แท้จริงทั้งหมด
ความล้มเหลวที่ทุกคนรู้จัก: คดีที่สร้างขึ้น
ใน Mata v. Avianca (2023) ทนายความได้ยื่นเอกสารทางการฟ้องร้องในระดับรัฐบาลกลางโดยอ้างถึงคำตัดสินทางศาลหลายรายการที่ไม่มีอยู่จริง การอ้างอิงเหล่านี้ถูกสร้างขึ้นโดย ChatGPT ซึ่งผลิตชื่อคดี หมายเลขรายงาน และคำพูดที่ดูน่าเชื่อถือขึ้นมาจากอากาศ เมื่อทนายฝ่ายตรงข้ามและศาลไม่สามารถหาคดีเหล่านั้นได้ ทนายความจึงถูกลงโทษ มันกลายเป็นเรื่องเตือนใจที่เป็นที่รู้จักในวงการเกี่ยวกับ AI ที่สร้างสรรค์ในทางกฎหมาย — และมันสอนให้วิชาชีพนี้ทำการตรวจสอบการอ้างอิงให้ถูกต้อง
กรณีที่สร้างขึ้นนั้น โชคดีที่จับได้ง่าย คุณค้นหามัน; มันไม่มีอยู่; คุณลบมันออกไป การค้นหาเพียงครั้งเดียวก็เปิดเผยความโกหกได้
ความล้มเหลวที่คนส่วนใหญ่พลาด: คำพูดปลอมในเอกสารอ้างอิงจริง
ตอนนี้พิจารณาเวอร์ชันที่แฝงไปด้วยอันตรายมากขึ้น กรณีนี้เป็น จริง การอ้างอิงของผู้สื่อข่าวเป็น ถูกต้อง ศาล ปี และคู่ความ — ทั้งหมดเป็นของจริง แต่ประโยคที่ AI อ้างว่าเป็นความเห็นนั้น การถือครองที่มันใส่ในเครื่องหมายคำพูด ไม่เคยถูกเขียนโดยศาลนั้น เครื่องมือได้อิงคำตอบของมันจากเอกสารจริงและจากนั้นก็สร้างภาษาที่มันอ้างว่าพบที่นั่น
ทำไมสิ่งนี้ถึงแย่กว่าคดีปลอม
- •การอ้างอิงนั้นเป็นของจริง ดังนั้นมัน ผ่านการตรวจสอบการอ้างอิงตามปกติ
- •ผู้ตรวจสอบยืนยันว่ามีกรณีนี้อยู่และดำเนินการต่อไป — ข้อความอ้างอิงไม่ได้รับการตรวจสอบ
- •ภาษาที่สร้างขึ้นมัก ฟัง ดูเหมือนสิ่งที่ศาลจะพูด
- •มันสามารถอยู่รอดไปจนถึงเอกสารย่อ เอกสารแสดงความคิดเห็น หรือบันทึกของลูกค้า
นี่คือกับดักของเครื่องมือ AI ด้านกฎหมายที่ "มีพื้นฐาน" หรือการเสริมการดึงข้อมูล (RAG) การทำให้โมเดลมีพื้นฐานจากเอกสารต้นฉบับจริงช่วยลดโอกาสของกรณีที่ถูกสร้างขึ้นทั้งหมด — แต่ ไม่ได้ รับประกันว่าโมเดลจะอ้างอิงสิ่งที่มันดึงมาได้อย่างถูกต้อง มันยังสามารถพาราฟเรสการตัดสินใจเป็นคำที่ศาลไม่เคยใช้ หรือเชื่อมโยงการอ้างอิงจากข้อความหนึ่งไปยังข้อเสนอที่มันไม่สนับสนุนได้
รูปแบบการอ้างอิงที่มีการอ้างอิงจริงนี้ได้ปรากฏขึ้นในทางปฏิบัติกับผู้ช่วยวิจัยเชิงพาณิชย์ที่มีพื้นฐาน ในตัวอย่างที่รายงานหนึ่งซึ่งเกี่ยวข้องกับ Westlaw CoCounsel ของ Thomson Reuters — ที่มีการพูดถึงในเรื่องที่เรียกว่า U.S. v. Farris — เครื่องมือดังกล่าวถูกกล่าวว่าผลิตการอ้างอิงที่ไม่ตรงกับภาษาของอำนาจที่ถูกอ้างถึง แม้ว่าการอ้างอิงพื้นฐานจะเป็นของจริงก็ตาม เรานำเสนอสิ่งนี้เพียงเป็น การแสดงตัวอย่างที่รายงาน: เราไม่ได้ยืนยันชื่อคดีที่แน่นอน การอ้างอิง ศาล ปี หรือการตัดสินอย่างอิสระ และผู้อ่านควรตรวจสอบรายละเอียดเหล่านั้นก่อนที่จะพึ่งพา สิ่งที่ รูปแบบ อย่างไรก็ตาม ได้รับการบันทึกไว้อย่างดี — และเป็นรูปแบบ ไม่ใช่เรื่องราวเดียวที่ควรเปลี่ยนวิธีที่คุณตรวจสอบผลลัพธ์ของ AI
การกราวด์ไม่ใช่การรับประกัน — หลักฐาน
นี่ไม่ใช่เรื่องที่ไม่สำคัญ การ ศึกษาในปี 2024 จาก Stanford RegLab และ Institute for Human-Centered AI (HAI) ได้ประเมินเครื่องมือวิจัย AI ด้านกฎหมายที่สร้างขึ้นเพื่อจุดประสงค์เฉพาะ — ประเภทที่ถูกตลาดอย่างชัดเจนว่าเป็นเครื่องมือที่มีพื้นฐานและลดการเกิดภาพหลอน — และพบว่ามันยังคงเกิดภาพหลอนในส่วนที่สำคัญของคำถามอยู่ดี
เกี่ยวกับตัวเลขเหล่านี้
งานของ Stanford RegLab / HAI (2024) รายงานอัตราการเกิดภาพหลอนสำหรับเครื่องมือวิจัย AI ด้านกฎหมายชั้นนำอยู่ในช่วงประมาณ 17–33% ขึ้นอยู่กับเครื่องมือและงานที่ทำ เราอ้างถึงช่วงนี้แทนที่จะเป็นตัวเลขเดียวเพราะผลลัพธ์แตกต่างกันไปตามเครื่องมือและประเภทคำถาม — สำหรับเปอร์เซ็นต์เฉพาะต่อเครื่องมือและระเบียบวิธีการ โปรดดูเอกสารหลัก
ข้อสรุปไม่ใช่ "เครื่องมือเหล่านี้ไม่ดี" แต่คือ การตั้งหลักช่วยลดการหลอน แต่ไม่สามารถกำจัดมันได้ และสิ่งที่เหลืออยู่รวมถึงประเภทที่อันตรายอย่างแท้จริง: การอ้างอิงที่มั่นใจ มีรูปแบบดี และผ่านการตรวจสอบอ้างอิง แต่ผิด.
สำหรับบันทึกสาธารณะเกี่ยวกับคดีในศาลจริงที่เกี่ยวข้องกับการอ้างอิงที่เกิดจากการหลอนของ AI นักวิจัย Damien Charlotin ได้จัดทำฐานข้อมูลที่มีการอ้างอิงอย่างกว้างขวาง เพื่อติดตามเหตุการณ์เหล่านี้เมื่อถึงศาล เป็นแหล่งข้อมูลที่ยอดเยี่ยมในการดูว่าข้อผิดพลาดเหล่านี้เกิดขึ้นบ่อยเพียงใด — และลึกเข้าไปในกระบวนการมากเพียงใด เราชี้ไปที่มันแทนที่จะทำซ้ำมัน
ทำไมการตรวจสอบตนเองด้วยโมเดลเดียวจึงล้มเหลว
การแก้ไขตามสัญชาตญาณคือการขอให้เครื่องมือเดียวกันตรวจสอบตัวเอง: "คุณมั่นใจไหมว่าข้ออ้างนั้นถูกต้อง?" สิ่งนี้มักจะไม่ช่วยอะไร และมักทำให้สถานการณ์แย่ลง
- โมเดลที่สร้างคำพูดนี้ไม่มีความทรงจำที่ถูกต้องเกี่ยวกับความคิดเห็น — การขอให้มัน "ตรวจสอบ" เพียงแค่ทำซ้ำรูปแบบการจับคู่ที่ผลิตข้อผิดพลาดนั้นอีกครั้ง
- คำสั่งเช่น "ยืนยันว่านี่คือคำพูดที่ตรงตามต้นฉบับ" มักจะให้คำตอบที่มั่นใจว่า ใช่ — บางครั้งพร้อมกับรายละเอียดสนับสนุนที่เพิ่งถูกสร้างขึ้นใหม่
- คะแนนความมั่นใจของโมเดลไม่สัมพันธ์กับความถูกต้องของการอ้างอิง ดังนั้นมันจึงไม่สามารถทำเครื่องหมายตัวเองในกรณีที่มีความเสี่ยงได้
ทำไมความไม่เห็นด้วยระหว่างโมเดลจึงถูกจับได้
โมเดลที่มีพื้นฐานเดียวมีการดึงข้อมูลหนึ่งครั้งและวิธีการอ้างอิงหนึ่งวิธี โมเดลอิสระหลายตัวแต่ละตัวดึงข้อมูลและอ้างอิงด้วยตนเอง เมื่อคุณถามโมเดลหลายตัวคำถามเดียวกันและหนึ่งในนั้นสร้างการอ้างอิงที่คนอื่นไม่สามารถทำซ้ำได้ — หรือที่คนอื่นให้คะแนนอย่างชัดเจนว่าไม่มีการสนับสนุน — ความไม่เห็นด้วยนั้นคือสัญญาณเตือน
หลักการอิสระภาพที่ใช้กับการอ้างอิง
หากโมเดลหนึ่งสร้าง "ศาลได้ถือว่า X" ในกรณีจริง โมเดลอื่น ๆ ที่อิงจากการดึงข้อมูลความคิดเห็นเดียวกันมักจะไม่ทำซ้ำภาษาที่สร้างขึ้นนั้นอย่างแม่นยำ คำอ้างอิงที่โมเดลเพียงหนึ่งเดียวสามารถผลิตได้ และที่โมเดลอื่น ๆ ให้คะแนนต่ำ จะปรากฏเป็นข้อเรียกร้องที่มีความเห็นไม่ตรงกันต่ำ คุณได้เปลี่ยนข้อผิดพลาดที่มองไม่เห็นให้กลายเป็นธงที่มองเห็นได้ นี่เป็นสัญญาณว่าคำอ้างอิงนั้นควรตรวจสอบกับแหล่งข้อมูลหลัก — มันเป็นการคัดกรองที่มีความมั่นใจสูงกว่า ไม่ใช่หลักฐานของความถูกต้อง
รายการตรวจสอบการตรวจสอบสำหรับการวิจัยทางกฎหมายที่ใช้ AI
ไม่ว่าคุณจะใช้เครื่องมือการเห็นพ้องหรือไม่ก็ตาม อย่าเก็บผลลัพธ์ AI ที่ยังไม่ได้รับการตรวจสอบอย่างเด็ดขาด อย่างน้อยที่สุด:
- ยืนยันว่ามีกรณีนี้อยู่ — แต่ไม่หยุดเพียงแค่นั้น; การอ้างอิงที่แท้จริงคือที่ที่ข้อผิดพลาดที่อันตรายซ่อนอยู่
- ดึงแหล่งข้อมูลหลักและอ่านข้อความที่อ้างถึงในบริบท — ตรวจสอบการอ้างอิงทุกครั้งตามตัวอักษรกับความคิดเห็นเอง ไม่ใช่กับสรุปของ AI
- ตรวจสอบว่าการอ้างอิงสนับสนุนข้อเสนอ — การอ้างอิงที่แท้จริงสามารถแนบกับข้อเรียกร้องที่มันไม่ได้สนับสนุนจริง ๆ ได้
- ตรวจสอบกับโมเดลอิสระ — การอ้างอิงที่โมเดลเดียวผลิตออกมาเป็นสัญญาณให้ตรวจสอบ ไม่ใช่ข้อเท็จจริงที่จะบันทึก
- อย่าปฏิบัติต่อ "การตั้งอยู่" ว่าเป็น "การตรวจสอบแล้ว" — RAG ลดโอกาสในการประดิษฐ์; มันไม่ได้ลบหน้าที่ของคุณในการตรวจสอบ
ความเห็นร่วมกันจากโมเดลอิสระเพิ่มความมั่นใจของคุณว่าการอ้างอิงนั้นเป็นของจริง แต่ไม่ได้พิสูจน์มัน แหล่งข้อมูลหลักยังคงเป็นผู้มีอำนาจ — AI มีไว้เพื่อช่วยให้คุณค้นหาได้เร็วขึ้นและบอกคุณว่าโมเดลต่าง ๆ ไม่เห็นด้วยที่ไหน
คำถามที่พบบ่อย
ความล้มเหลวด้านกฎหมาย-ปัญญาประดิษฐ์ที่คนส่วนใหญ่พลาดคืออะไร?
ไม่ใช่กรณีปลอมที่ทุกคนรู้จัก แต่เป็นการอ้างอิงที่สร้างขึ้นซึ่งซ่อนอยู่ในการอ้างอิงที่แท้จริง — การอ้างอิงนั้นมีอยู่และผ่านการตรวจสอบการอ้างอิง แต่คำพูดที่ถูกอ้างถึงไม่เคยอยู่ในความเห็นนั้น
ทำไมการตรวจสอบด้วยโมเดลเดียวถึงไม่สามารถจับคำพูดปลอมได้?
เนื่องจากการอ้างอิงนั้นเป็นจริง การตรวจสอบด้วยตนเองยืนยันว่ามีกรณีนี้อยู่และหยุดอยู่ที่นั่น; โมเดลไม่มีบันทึกอิสระเกี่ยวกับสิ่งที่ความคิดเห็นกล่าวไว้จริงๆ
ทำไมการเปรียบเทียบข้ามโมเดลจึงจับคำพูดที่ปลอมแปลงได้?
โมเดลอิสระที่ตั้งอยู่บนการดึงข้อมูลที่แตกต่างกันมักจะไม่สร้างคำพูดเดียวกัน ดังนั้นความไม่เห็นด้วยของพวกเขาจึงเผยให้เห็นการสร้างขึ้นที่โมเดลเดียวจะยืนยัน