எல்லோரும் AI-மயக்கம் வழக்குகளிலிருந்து தவறான பாடம் கற்றுக்கொண்டனர். தலைப்பு "AI போலி வழக்குகளை உருவாக்குகிறது" என்றது. உண்மையான ஆபத்து மிகவும் நுணுக்கமாகவும் பிடிக்க கடினமாகவும் உள்ளது: AI முற்றிலும் உண்மையான வழக்குகளில் போலி மேலோட்டங்கள் உருவாக்குவது.
எல்லாரும் அறிந்த தோல்வி: உருவாக்கப்பட்ட வழக்குகள்
மாத்தா வி. அவியாங்கா (2023) இல், attorneys பல நீதிமன்ற தீர்மானங்களை மேற்கோள் காட்டி ஒரு கூட்டாட்சி குறிப்பு தாக்கல் செய்தனர், அவை எளிதாக இல்லாதவை. மேற்கோள்கள் ChatGPT மூலம் உருவாக்கப்பட்டன, இது நம்பகமானதாக தோன்றும் வழக்கு பெயர்கள், அறிக்கையாளர் எண்கள் மற்றும் மேற்கோள்களை உருவாக்கியது. எதிர்க்கட்சியின் வழக்குரைஞர்கள் மற்றும் நீதிமன்றம் அந்த வழக்குகளை கண்டுபிடிக்க முடியாத போது, வழக்குரைஞர்களுக்கு தண்டனை விதிக்கப்பட்டது. இது சட்டப் பயிற்சியில் உருவாக்கும் AI இன் முறைப்படி எச்சரிக்கையாக மாறியது — மேலும் இது தொழிலுக்கு மேற்கோள் சரிபார்க்கும் முறையை நடத்த கற்றுத்தந்தது.
ஒரு உருவாக்கப்பட்ட வழக்கு, நன்றி, பிடிக்க எளிது. நீங்கள் அதை தேடுகிறீர்கள்; அது அங்கு இல்லை; நீங்கள் அதை நீக்குகிறீர்கள். ஒரு ஒற்றை தேடல் பொய்யை வெளிப்படுத்துகிறது.
பலர் தவறாக புரிந்து கொள்ளும் தோல்வி: உண்மையான மேற்கோள்களில் போலி மேற்கோள்கள்
இப்போது ஒரு மேலும் தீவிரமான மாறுபாட்டைப் பரிசீலிக்கவும். இந்த வழக்கு உண்மையானது. செய்தியாளர் மேற்கோள் சரியானது. நீதிமன்றம், ஆண்டு, தரப்புகள் — அனைத்தும் உண்மையானவை. ஆனால் AI அந்த கருத்துக்கு ஒதுக்கப்படும் வாக்கியம், மேற்கோள் அடிப்படையில் அது மேற்கோள் அடிக்கிறது, அந்த நீதிமன்றத்தால் எழுதப்படவில்லை. அந்த கருவி தனது பதிலை ஒரு உண்மையான ஆவணத்தில் அடிப்படையாக்கொண்டு, அங்கு கண்டதாகக் கூறும் மொழியை உருவாக்கியது.
இதுவே போலி வழக்கைவிட ஏன் மோசமாக உள்ளது?
- •இந்த மேற்கோள் உண்மையானது, எனவே இது ஒரு வழக்கமான மேற்கோள் சரிபார்ப்பை கடக்கிறது
- •ஒரு மதிப்பீட்டாளர் வழக்கு உள்ளதென உறுதிப்படுத்துகிறார் மற்றும் அடுத்ததாக செல்கிறார் — மேற்கோள் சரிபார்க்கப்படவில்லை
- •உருவாக்கப்பட்ட மொழி பெரும்பாலும் கேட்கப்படும் நீதிமன்றம் கூறும் ஒன்றாகத் தோன்றுகிறது.
- •இது ஒரு கோப்பில் சுருக்கம், ஒரு கருத்து, அல்லது ஒரு கிளையன்ட் மெமோவுக்குள் முழுமையாக உயிர் வாழலாம்.
இது "அடிப்படையிலான" அல்லது மீட்டெடுத்தல்-விருத்தி (RAG) சட்ட-ஏஐ கருவிகளின் சிக்கலாகும். உண்மையான ஆதார ஆவணங்களில் ஒரு மாதிரியை அடிப்படையாக்குவது முழுமையாக உருவாக்கப்பட்ட வழக்கின் வாய்ப்புகளை குறைக்கிறது — ஆனால் இது உறுதி செய்யவில்லை, மாதிரி அது மீட்டெடுத்ததை சரியாக மேற்கோள் கொடுக்கிறது. இது நீதிமன்றம் ஒருபோதும் பயன்படுத்தாத வார்த்தைகளில் ஒரு தீர்மானத்தை மறுபரிசீலனை செய்யலாம், அல்லது ஒரு உரையிலிருந்து மேற்கோளை எடுத்து, அது ஆதரிக்காத ஒரு கருத்தில் இணைக்கலாம்.
இந்த மேற்கோள்கள்-உள்ள-உரை முறை வணிக, நிலையான ஆராய்ச்சி உதவியாளர்களுடன் நடைமுறையில் தோன்றியதாக தகவல்கள் தெரிவிக்கின்றன. U.S. v. Farris எனப்படும் விவகாரத்துடன் தொடர்புடையதாக விவரிக்கப்பட்ட ஒரு எடுத்துக்காட்டில், Thomson Reuters' Westlaw CoCounsel பயன்படுத்திய கருவி மேற்கோளிடப்பட்ட அதிகாரத்தின் மொழியுடன் பொருந்தாத மேற்கோள்களை உருவாக்கியதாக கூறப்படுகிறது, அடிப்படையான மேற்கோள் உண்மையானதாக இருந்த போதிலும். இதனை அறிக்கையிடப்பட்ட எடுத்துக்காட்டாக மட்டுமே நாங்கள் வழங்குகிறோம்: நாங்கள் சரியான வழக்கு பெயர், மேற்கோள், நீதிமன்றம், ஆண்டு, அல்லது தீர்ப்பு ஆகியவற்றை தனியாக உறுதிப்படுத்தவில்லை, மற்றும் வாசகர்கள் அவற்றின் மீது நம்பிக்கை வைக்கும்முன் அந்த விவரங்களை சரிபார்க்க வேண்டும். முறை எனினும், நன்கு ஆவணப்படுத்தப்பட்டுள்ளது — மற்றும் இது ஒரு தனி அனுகூலமல்ல, நீங்கள் AI வெளியீட்டை மதிப்பீடு செய்வதற்கான முறை மாற்ற வேண்டும்.
அடிப்படையாக்கம் ஒரு உறுதி அல்ல — சான்றுகள்
இது ஒரு அலைவரிசை கவலை அல்ல. ஸ்டான்ஃபோர்டு ரெக்லாப் மற்றும் மனித மைய AI (HAI) நிறுவனத்திலிருந்து 2024-ல் வெளியான ஒரு ஆய்வு முன்னணி நோக்கத்திற்கேற்ப உருவாக்கப்பட்ட சட்ட-ஏஐ ஆராய்ச்சி கருவிகளை மதிப்பீடு செய்தது — குறிப்பாக அடிப்படையாகக் கொண்ட மற்றும் மாயை குறைக்கப்பட்டதாக விளம்பரம் செய்யப்படும் வகை — மற்றும் அவை இன்னும் முக்கியமான கேள்விகளின் ஒரு பகுதியின் மீது மாயை அடைந்தன என்று கண்டறிந்தது.
இந்த எண்கள் பற்றி
ஸ்டான்ஃபோர்ட் ரெக்Lab / HAI (2024) வேலை முன்னணி சட்ட-ஏஐ ஆராய்ச்சி கருவிகளுக்கான மாயை வீதங்களை சுமார் 17–33% வரம்பில் அறிவித்துள்ளது, கருவி மற்றும் பணியின் அடிப்படையில். கருவி மற்றும் கேள்வி வகை அடிப்படையில் முடிவுகள் மாறுபட்டதால், ஒரே தலைப்பு எண்ணிக்கையைப் பதிலாக, வரம்பை மேற்கோள் கொடுக்கிறோம் — குறிப்பிட்ட கருவி சதவீதங்கள் மற்றும் முறைமையைப் பார்க்க, முதன்மை ஆவணத்தை அணுகவும்.
எடுத்துக்காட்டுவது "இந்த கருவிகள் மோசமாக உள்ளன" என்பதல்ல. அடிப்படையாக்கம் மாயக்காட்சியை குறைக்கிறது ஆனால் அதை நீக்குவதில்லை, மற்றும் மீதமுள்ளவை தவறான, நம்பிக்கையுள்ள, நன்கு வடிவமைக்கப்பட்ட, மேற்கோள் சரிபார்க்கும் மேற்கோள்களை அடிப்படையாகக் கொண்ட ஆபத்தான வகையைச் சேர்க்கிறது.
ஏற்கனவே உள்ள AI-கற்பனை செய்யப்பட்ட மேற்கோள்களை உள்ளடக்கிய உண்மையான நீதிமன்ற வழக்குகளின் ஓடிக்கூடிய, பொது பதிவுக்கு, ஆராய்ச்சியாளர் டேமியன் சார்லோட்டின் பரவலாக மேற்கோளிடப்படும் தரவுத்தொகுப்பை பராமரிக்கிறார் இந்த சம்பவங்கள் நீதிமன்றங்களுக்கு வந்தபோது. இந்த பிழைகள் எவ்வளவு முறை — மற்றும் செயல்முறையின் எவ்வளவு ஆழத்தில் — பயணிக்கின்றன என்பதைப் பார்க்க இது ஒரு சிறந்த வளமாகும். இதைப் நாங்கள் நகலெடுக்காமல் குறிப்பிடுகிறோம்.
ஏன் ஒரே மாதிரியான சுய-சரிபார்ப்பு தோல்வியுறுகிறது
இன்ஸ்டின்க்டிவ் சரி செய்வது என்பது அதே கருவியை தன்னைச் சரிபார்க்க கேட்க வேண்டும்: "அந்த மேற்கோள் சரியானதா?" இது அரிதாகவே உதவுகிறது, மேலும் பெரும்பாலும் விஷயங்களை மோசமாக்குகிறது.
- அந்த மேற்கோளை உருவாக்கிய மாதிரிக்கு கருத்தின் உண்மையான நினைவுகள் இல்லை — அதை "சரிபார்க்க" கேட்டால், அது தவறை உருவாக்கிய அதே மாதிரி பொருத்தத்தை மீண்டும் இயக்குகிறது.
- "இந்தது சரியாக உள்ளது" போன்ற உத்திகள் அடிக்கடி ஒரு நம்பிக்கையுள்ள ஆம் எனக் கொடுக்கின்றன — சில சமயங்களில் புதிய கற்பனை செய்யப்பட்ட ஆதார விவரத்துடன்.
- ஒரு மாதிரியின் நம்பிக்கை மதிப்பு மேற்கோள் துல்லியத்துடன் தொடர்பு கொள்ளாது, எனவே அது ஆபத்தானவற்றை தானாகவே அடையாளம் காண முடியாது.
ஏன் மாடல் மாறுபாட்டில் முரண்பாடு அதை பிடிக்கிறது
ஒரு தனிமை நிலைமையுள்ள மாதிரிக்கு ஒரு மீட்டெடுப்பு மற்றும் அதை மேற்கோள் காட்டுவதற்கான ஒரு வழி உள்ளது. பல சுயாதீன மாதிரிகள் ஒவ்வொன்றும் தங்களின் மீட்டெடுப்பையும் மேற்கோள்களையும் தனியாக செய்கின்றன. நீங்கள் பல மாதிரிகளை ஒரே கேள்வி கேட்டால், அவற்றில் ஒன்றே ஒரு மேற்கோளை உருவாக்கினால் மற்றவை மீண்டும் உருவாக்க முடியாதது — அல்லது மற்றவர்கள் தெளிவாக ஆதரிக்கப்படாததாக மதிப்பீடு செய்தால் — அந்த மோதல் எச்சரிக்கையைக் குறிக்கிறது.
சுதந்திரக் கொள்கை, மேற்கோள்களுக்கு பயன்படுத்தப்பட்டது
ஒரு மாதிரி "நீதிமன்றம் X ஐ வைத்துள்ளது" என்றதை ஒரு உண்மையான வழக்கில் உருவாக்கினால், மற்ற மாதிரிகள் — தங்களின் சொந்த கருத்தை மீட்டெடுத்த அடிப்படையில் — பொதுவாக அந்த குறிப்பிட்ட உருவாக்கப்பட்ட மொழியை மீண்டும் உருவாக்க மாட்டார்கள். ஒரே மாதிரி உருவாக்கக்கூடிய மேற்கோள், மற்றவர்கள் குறைவாக மதிப்பீடு செய்யும், குறைந்த ஒப்பந்தக் கோரிக்கையாக மாறுகிறது. நீங்கள் ஒரு கண்ணுக்கு தெரியாத பிழையை கண்ணுக்கு தெரியுமாறு flag ஆக மாற்றியுள்ளீர்கள். இது முதன்மை ஆதாரத்துடன் சரிபார்க்க வேண்டிய மேற்கோளை குறிக்கிறது — இது அதிக நம்பகத்தன்மை கொண்ட திரை, துல்லியத்தின் சான்று அல்ல.
AI-உதவிய சட்ட ஆராய்ச்சிக்கான சரிபார்ப்பு சரிபார்ப்பு பட்டியல்
நீங்கள் ஒப்புதலுக்கான கருவியை பயன்படுத்துகிறீர்களா இல்லையா, உறுதிப்படுத்தப்படாத AI வெளியீட்டை எப்போது வேண்டுமானாலும் பதிவு செய்ய வேண்டாம். குறைந்தபட்சம்:
- கேஸ் இருப்பதை உறுதிப்படுத்தவும் — ஆனால் அங்கு நிறுத்த வேண்டாம்; உண்மையான மேற்கோள் என்பது ஆபத்தான பிழைகள் மறைந்திருக்கும் இடம்
- முதன்மை மூலத்தை இழுக்கவும் மற்றும் மேற்கோள் மொழியை சூழலில் படிக்கவும் — ஒவ்வொரு மேற்கோளையும் அதற்கான கருத்துக்கு எதிராக, AI-யின் சுருக்கத்திற்கு எதிராக அல்ல, சரியாகச் சரிபார்க்கவும்.
- மேலோட்டத்தை ஆதரிக்கும் மேற்கோள் சரிபார்க்கவும் — ஒரு உண்மையான மேற்கோள் அது உண்மையில் ஆதரிக்காத ஒரு கோரிக்கைக்கு இணைக்கப்படலாம்
- சுயாதீன மாதிரிகளுடன் மோதிக்கொள் — ஒரு மாதிரி மட்டுமே வழங்கும் மேற்கோள் என்பது ஆராய வேண்டிய ஒரு சின்னம், பதிவுசெய்ய வேண்டிய ஒரு உண்மை அல்ல
- "அடிப்படையில் உள்ள" என்பதை "சரிபார்க்கப்பட்ட" எனக் கருதாதீர்கள் — RAG கண்டுபிடிப்பின் வாய்ப்புகளை குறைக்கிறது; இது உங்கள் சரிபார்க்கும் கடமையை நீக்காது
சுயாதீன மாதிரிகள் மத்தியில் ஒப்புதல் உங்கள் மேற்கோள் உண்மையானது என்பதை உறுதிப்படுத்துகிறது. இது அதை நிரூபிக்கவில்லை. முதன்மை மூலமே அதிகாரம் - AI உங்கள் தேடலை விரைவாக செய்ய உதவுவதற்காக மட்டுமே உள்ளது மற்றும் மாதிரிகள் எங்கு ஒத்துக்கொள்வதில்லை என்பதை உங்களுக்கு தெரிவிக்கிறது.
அடிக்கடி கேட்கப்படும் கேள்விகள்
பலர் தவறாகக் கவனிக்கிற சட்ட-ஏஐ தோல்வி என்ன?
எல்லாரும் அறிந்துள்ள போலி வழக்கு அல்ல, ஆனால் உண்மையான மேற்கோளில் மறைத்து வைக்கப்பட்ட ஒரு உருவாக்கப்பட்ட மேற்கோள் — மேற்கோள் உள்ளது மற்றும் மேற்கோள்-சேக்கில் கடந்து செல்கிறது, ஆனால் மேற்கோளான வார்த்தைகள் கருத்தில் எப்போது இருந்ததில்லை.
ஏன் ஒரே மாதிரியான சுய-சோதனை ஒரு போலி மேற்கோளை பிடிக்க முடியாது?
ஏனெனில் மேற்கோள் உண்மையானது, சுய-சரிபார்ப்பு வழக்கின் இருப்பை உறுதிப்படுத்துகிறது மற்றும் அங்கு நிற்கிறது; மாதிரிக்கு கருத்து உண்மையில் என்ன கூறியது என்பதற்கான தனிப்பட்ட பதிவுகள் இல்லை.
குறுக்குவழி மாதிரி ஒப்பீடு ஏன் உருவாக்கப்பட்ட மேற்கோள்களை பிடிக்கிறது?
வித்தியாசமான மீட்டெடுப்புகளின் அடிப்படையில் உள்ள சுயாதீன மாதிரிகள் ஒரே மேற்கோளை உருவாக்க Rarely, எனவே அவற்றின் மோதல் ஒரு தனி மாதிரி உறுதிப்படுத்தும் போலி உருவாக்கத்தை வெளிப்படுத்துகிறது.