सबैले AI-भ्रमको मुद्दाहरूबाट गलत पाठ सिके। शीर्षक थियो "AI झूठा मुद्दाहरू आविष्कार गर्छ।" वास्तविक खतरा धेरै सूक्ष्म र समात्न गाह्रो छ: AI पूर्ण रूपमा वास्तविक मुद्दाहरू भित्र झूठा उद्धरणहरू आविष्कार गर्दै।
सबैलाई थाहा भएको असफलता: बनाइएका मुद्दाहरू
माता बनाम एभियान्का (२०२३) मा, वकिलहरूले केही न्यायिक निर्णयहरूको उल्लेख गर्दै संघीय ब्रीफ दायर गरे जुन वास्तवमा अस्तित्वमा थिएनन्। उद्धरणहरू ChatGPT द्वारा उत्पन्न गरिएको थियो, जसले विश्वासनीय देखिने मुद्दाका नाम, रिपोर्टर नम्बर, र उद्धरणहरू सिर्जना गर्यो। जब विपक्षी वकिल र अदालतले ती मुद्दाहरू फेला पार्न सकेनन्, वकिलहरूलाई सजाय दिइयो। यो कानूनी अभ्यासमा उत्प्रेरक एआईको एक मानक चेतावनीको कथा बन्यो — र यसले पेशालाई उद्धरण जाँच गर्न सिकायो।
एक बनावटी मामला, भाग्यवश, पत्ता लगाउन सजिलो हुन्छ। तपाईं यसलाई खोज्नुहुन्छ; यो त्यहाँ छैन; तपाईं यसलाई मेटाउनुहुन्छ। एक मात्र खोजले झूठलाई उजागर गर्छ।
धेरै मानिसहरूले चुकाउने असफलता: वास्तविक उद्धरणहरूमा नक्कली उद्धरणहरू
अब एक बढी कपटी भिन्नता विचार गर्नुहोस्। मामला वास्तविक छ। रिपोर्टरको उद्धरण सही छ। अदालत, वर्ष, पक्षहरू — सबै वास्तविक। तर AI ले त्यो रायलाई जुन वाक्यको श्रेय दिन्छ, उद्धृत गरेको धारणा जसलाई यसले उद्धरण चिह्नमा राखेको छ, त्यो अदालतले कहिल्यै लेखेको थिएन। उपकरणले आफ्नो उत्तरलाई एक वास्तविक कागजातमा आधारित बनायो र त्यसमा भेटिएको भनेर दाबी गरेको भाषा बनायो।
यो किन झूटा मुद्दाभन्दा खराब छ
- •उद्धरण वास्तविक छ, त्यसैले यो नियमित उद्धरण जाँचमा पास हुन्छ
- •एक समीक्षकले मुद्दा अस्तित्वमा रहेको पुष्टि गर्छ र अघि बढ्छ — उद्धरण प्रमाणित हुँदैन
- •नक्कली भाषा प्रायः सुनिन्छ जस्तो केही अदालतले भन्न सक्छ।
- •यसले फाइल गरिएको संक्षेप, एक राय, वा ग्राहकको मेमोमा सबै तरिकामा बाँच्न सक्छ।
यो "ग्राउन्डेड" वा रिट्रीवल-ऑग्मेन्टेड (RAG) कानूनी-AI उपकरणहरूको जाल हो। वास्तविक स्रोत कागजातहरूमा मोडेललाई ग्राउन्ड गर्दा पूर्ण रूपमा आविष्कृत मुद्दाको सम्भावना घट्छ - तर यसले ग्यारेन्टी गर्दैन कि मोडेलले यसले प्राप्त गरेको कुरा सही रूपमा उद्धृत गर्छ। यसले अझै पनि अदालतले कहिल्यै प्रयोग नगरेका शब्दहरूमा एक धारणा पुनःव्याख्या गर्न सक्छ, वा एक उद्धरणलाई एक अंशबाट अर्को प्रस्तावमा जोड्न सक्छ जुन यसले समर्थन गर्दैन।
यो उद्धरण-मा-यथार्थ-उद्धरणको ढाँचा व्यावसायिक, ग्राउन्डेड अनुसन्धान सहायकहरूसँग व्यवहारमा देखा परेको रिपोर्ट गरिएको छ। थम्सन रुइटर्सको वेस्टलॉ कोकाउन्सेलसँग सम्बन्धित एक रिपोर्ट गरिएको उदाहरणमा — जुन यू.एस. बनाम फ्यारिस भनेर उल्लेख गरिएको छ — यो उपकरणले उद्धृत प्राधिकरणको भाषासँग मेल नखाने उद्धरणहरू उत्पादन गरेको भनिएको छ, यद्यपि आधारभूत उद्धरण वास्तविक थियो। हामी यसलाई मात्र एक रिपोर्ट गरिएको उदाहरणको रूपमा प्रस्तुत गर्छौं: हामीले स्वतन्त्र रूपमा ठ्याक्कै मुद्दाको नाम, उद्धरण, अदालत, वर्ष, वा निर्णयको पुष्टि गरेका छैनौं, र पाठकहरूले ती विवरणहरूमा भरोसा गर्नु अघि तिनीहरूलाई प्रमाणित गर्नुपर्छ। तथापि, ढाँचा राम्रोसँग दस्तावेज गरिएको छ — र यो ढाँचा हो, कुनै एकल कथा होइन, जसले तपाईंलाई एआई उत्पादनको समीक्षा गर्ने तरिका परिवर्तन गर्नुपर्छ।
ग्राउन्डिङ कुनै ग्यारेन्टी होइन — प्रमाण
यो कुनै छेउको चासो होइन। स्ट्यानफोर्ड रिग्ल्याब र मानव-केंद्रित एआई (HAI) को 2024 को अध्ययन ले प्रमुख उद्देश्य-निर्मित कानूनी-एआई अनुसन्धान उपकरणहरूको मूल्याङ्कन गर्यो - जसलाई स्पष्ट रूपमा आधारभूत र भ्रान्ति-न्यूनिकृतको रूपमा बजारमा प्रस्तुत गरिएको छ - र यसले पत्ता लगायो कि तिनीहरूले अझै पनि महत्त्वपूर्ण प्रश्नहरूको एक हिस्सा मा भ्रान्ति गरिरहेका थिए।
यी आकृतिहरूको बारेमा
स्ट्यानफोर्ड रिग्लाब / एचएआई (२०२४) ले प्रमुख कानूनी-एआई अनुसन्धान उपकरणहरूको लागि ह्यालुसिनेसन दरहरू लगभग १७–३३% दायरा मा रिपोर्ट गरेको छ, उपकरण र कार्यको आधारमा। हामी एकल शीर्षक संख्याको सट्टा दायरा उल्लेख गर्छौं किनभने परिणामहरू उपकरण र प्रश्न प्रकार अनुसार भिन्न थिए — प्रत्येक उपकरणको सटीक प्रतिशत र विधि जान्नका लागि प्राथमिक कागजातमा सल्लाह गर्नुहोस्।
सन्देश यो होइन कि "यी उपकरणहरू खराब छन्।" यो हो कि ग्राउन्डिङले भ्रान्ति घटाउँछ तर यसलाई समाप्त गर्दैन, र यसको अवशेषमा ठिकै तरिकाले प्रस्तुत गरिएका, आत्मविश्वासी, उद्धरण जाँच पास गर्ने उद्धरणहरू समावेश छन् जुन गलत छन्।
एआई-भ्रमित उद्धरणहरू समावेश गर्ने वास्तविक अदालतका मुद्दाहरूको चलिरहेको, सार्वजनिक रेकर्डको लागि, अनुसन्धानकर्ता डेमियन चार्लोटिनले यी घटनाहरूलाई अदालतमा पुग्दा ट्र्याक गर्ने व्यापक रूपमा उद्धृत गरिने डाटाबेस राख्छन्। यी त्रुटिहरू कति पटक — र प्रक्रिया भित्र कति टाढासम्म — यात्रा गर्छन् भन्ने देख्नको लागि यो एक उत्कृष्ट स्रोत हो। हामी यसलाई दोहोर्याउने सट्टा यसलाई संकेत गर्छौं।
एकल-मोडेल आत्म-प्रमाणन किन असफल हुन्छ
स्वाभाविक समाधान भनेको सोही उपकरणलाई आफूलाई जाँच गर्न सोध्नु हो: "के तपाईं निश्चित हुनुहुन्छ कि यो उद्धरण सही छ?" यो प्रायः मद्दत गर्दैन, र प्रायः चीजहरूलाई झन खराब बनाउँछ।
- उक्त उद्धरणलाई निर्माण गर्ने मोडेलसँग विचारको कुनै वास्तविक स्मृति छैन — यसलाई "सत्यापन" गर्न सोध्दा यसले त्रुटि उत्पादन गर्ने समान ढाँचाको मिलानलाई पुनः चलाउँछ।
- "यो शब्दशः हो भनेर पुष्टि गर्नुहोस्" जस्ता प्रोत्साहनहरूले प्रायः आत्मविश्वासपूर्ण हो फर्काउँछन् - कहिलेकाहीं नयाँ कल्पित समर्थन विवरणसहित।
- एक मोडेलको आत्मविश्वास स्कोर उद्धरणको सटीकता सँग सम्बन्धित हुँदैन, त्यसैले यसले जोखिमपूर्णलाई स्व-झण्डा गर्न सक्दैन।
किन क्रस-मोडेल असहमतिले यसलाई समात्छ
एक्लो ग्राउन्डेड मोडेलसँग एक पुनःप्राप्ति र यसलाई उद्धृत गर्ने एक तरिका हुन्छ। धेरै स्वतन्त्र मोडेलहरूले प्रत्येकले आफ्नै तरिकामा पुनःप्राप्ति र उद्धृत गर्छन्। जब तपाईंले धेरै मोडेलहरूलाई एउटै प्रश्न सोध्नुहुन्छ र तीमध्ये एकले यस्तो उद्धरण उत्पादन गर्छ जुन अरूले पुनः उत्पादन गर्न सक्दैनन् — वा जुन अरूले स्पष्ट रूपमा असमर्थितको रूपमा मूल्याङ्कन गर्छन् — त्यो असहमतिले चेतावनीको घण्टी हो।
स्वतन्त्रता सिद्धान्त, उद्धरणहरूमा लागू गरिन्छ
यदि एक मोडेलले वास्तविक घटनामा "अदालतले X भन्यो" बनाउँछ भने, अन्य मोडेलहरू — जसले सोही विचारको आफ्नै पुनःप्राप्तिमा आधारित छन् — सामान्यतया त्यो ठ्याक्कै बनाइएको भाषा पुन: उत्पादन गर्दैनन्। एउटा उद्धरण जुन केवल एक मोडेलले उत्पादन गर्न सक्छ, र जसलाई अन्यले कमजोर मूल्याङ्कन गर्छन्, कम सहमति भएको दाबीको रूपमा देखा पर्छ। तपाईंले एक अदृश्य त्रुटिलाई दृश्य झण्डामा परिवर्तन गर्नुभएको छ। यसले प्राथमिक स्रोतको विरुद्ध जाँच गर्न लायक उद्धरणको संकेत गर्दछ — यो उच्च-विश्वासको स्क्रिन हो, सटीकताको प्रमाण होइन।
एआई-सहायता प्राप्त कानूनी अनुसन्धानको लागि एक प्रमाणीकरण चेकलिस्ट
तपाईंले सहमति उपकरण प्रयोग गर्नुहुन्छ कि गर्नुहुन्न, कहिल्यै प्रमाणित नगरेको AI उत्पादन दर्ता नगर्नुहोस्। न्यूनतम:
- केसको अस्तित्व पुष्टि गर्नुहोस् — तर त्यहाँ रोक्न नदिनुहोस्; वास्तविक उद्धरण भनेको खतरनाक त्रुटिहरू लुकेको स्थान हो
- प्राथमिक स्रोतलाई तान्नुहोस् र उद्धृत भाषालाई सन्दर्भमा पढ्नुहोस् — प्रत्येक उद्धरणलाई शब्दशः विचारको विरुद्धमा प्रमाणित गर्नुहोस्, एआईको संक्षेपको विरुद्धमा होइन
- उद्धरणले प्रस्तावलाई समर्थन गर्छ कि गर्दैन जाँच गर्नुहोस् — वास्तविक उद्धरणलाई त्यस्तो दाबीमा संलग्न गर्न सकिन्छ जुन यसले वास्तवमा समर्थन गर्दैन
- स्वतन्त्र मोडेलहरूसँग क्रस-चेक गर्नुहोस् — एक मोडेलले मात्र उत्पादन गर्ने उद्धरण अनुसन्धान गर्नको लागि झण्डा हो, फाइल गर्नको लागि तथ्य होइन
- कसैलाई "ग्राउन्डेड" लाई "सत्यापित"को रूपमा कहिल्यै नलिनुहोस् — RAG आविष्कारको सम्भावनालाई घटाउँछ; यसले तपाईंको जाँच गर्ने कर्तव्यलाई हटाउँदैन
स्वतन्त्र मोडेलहरू बीचको सहमति तपाईंको विश्वासलाई बढाउँछ कि उद्धरण वास्तविक छ। यसले यसलाई प्रमाणित गर्दैन। प्राथमिक स्रोत अझै पनि प्राधिकरण हो — एआई केवल तपाईंलाई यसलाई छिटो पत्ता लगाउन मद्दत गर्न र मोडेलहरू कहाँ असहमत छन् भनेर बताउनको लागि मात्र छ।
बारम्बार सोधिने प्रश्नहरू
कुन कानूनी-एआई असफलता हो जुन धेरै मानिसहरूले चुकाउँछन्?
यो सबैले थाहा पाएको नक्कली केस होइन, तर एक वास्तविक उद्धरणको भित्र लुकेको बनावटी उद्धरण हो - उद्धरण अस्तित्वमा छ र उद्धरण जाँच पास गर्छ, तर उद्धृत गरिएका शब्दहरू कहिल्यै रायमा थिएनन्।
एकल-मोडेल आत्म-चेकले नक्कली उद्धरण किन समात्दैन?
किनभने उद्धरण वास्तविक छ, आत्म-प्रमाणनले घटनाको अस्तित्वलाई पुष्टि गर्दछ र त्यहाँ रोकिन्छ; मोडेलसँग रायले वास्तवमा के भनेको भन्ने कुनै स्वतन्त्र रेकर्ड छैन।
क्रस-मोडेल तुलना किन बनाइएका उद्धरणहरू समात्छ?
विभिन्न पुनःप्राप्तिहरूमा आधारित स्वतन्त्र मोडेलहरूले विरलै एउटै उक्ति आविष्कार गर्छन्, त्यसैले तिनीहरूको असहमतिले एकल मोडेलले पुष्टि गर्ने बनावटलाई उजागर गर्छ।