ప్రతి ఒక్కరూ AI-హాల్యూసినేషన్ న్యాయమందల నుండి తప్పు పాఠం నేర్చుకున్నారు. శీర్షిక "AI అబద్ధమైన కేసులను ఆవిష్కరిస్తుంది" అని ఉంది. నిజమైన ప్రమాదం మరింత సున్నితమైనది మరియు పట్టుకోవడం కష్టం: AI పూర్తిగా నిజమైన కేసులలో అబద్ధమైన ఉల్లేఖనాలు ఆవిష్కరించడం.
ఎవరూ తెలిసిన విఫలం: తయారు చేసిన కేసులు
మాటా వి. అవియాంకా (2023)లో, న్యాయవాదులు అనేక న్యాయ నిర్ణయాలను ఉల్లేఖిస్తూ ఒక ఫెడరల్ బ్రీఫ్ను దాఖలు చేశారు, అవి నిజంగా ఉన్నవి కాదు. ఈ ఉల్లేఖనలు చాట్జిపిటి ద్వారా రూపొందించబడ్డాయి, ఇది నమ్మకమైన కేసు పేర్లు, రిపోర్టర్ సంఖ్యలు మరియు ఉల్లేఖనలను అక్షరాలుగా ఉత్పత్తి చేసింది. ప్రతిపక్ష న్యాయవాది మరియు కోర్టు ఈ కేసులను కనుగొనలేకపోతే, న్యాయవాదులకు శిక్షలు విధించబడ్డాయి. ఇది న్యాయ ప్రాక్టీస్లో జనరేటివ్ ఎఐ యొక్క ప్రామాణిక హెచ్చరిక కథగా మారింది — మరియు ఇది వృత్తిని ఒక ఉల్లేఖన తనిఖీ నిర్వహించడానికి నేర్పించింది.
ఒక తయారుచేసిన కేసు, అదృష్టవశాత్తు, పట్టుకోవడం సులభం. మీరు దాన్ని పరిశీలిస్తారు; అది అక్కడ లేదు; మీరు దాన్ని తొలగిస్తారు. ఒకే ఒక పరిశీలన అబద్ధాన్ని బయటపెడుతుంది.
అధిక మంది మిస్ అయ్యే విఫలం: నిజమైన ఉల్లేఖనాల్లో కృత్రిమ ఉల్లేఖనలు
ఇప్పుడు మరింత దుర్మార్గమైన వేరియంట్ను పరిగణించండి. ఈ కేసు నిజం. రిపోర్టర్ ఉల్లేఖనం సరైనది. కోర్టు, సంవత్సరం, పక్షాలు — అన్నీ నిజమైనవి. కానీ AI ఆ అభిప్రాయానికి కేటాయించిన వాక్యం, అది ఉల్లేఖించిన హోల్డింగ్, ఆ కోర్టు రాసింది కాదు. ఈ సాధనం ఒక నిజమైన పత్రంపై తన సమాధానాన్ని ఆధారపెట్టింది మరియు అక్కడ కనుగొన్నట్లు చెప్పిన భాషను తయారు చేసింది.
ఇది నకిలీ కేసు కంటే ఎందుకు చెడ్డది
- •ఈ ఉల్లేఖనం నిజం, కాబట్టి ఇది ఒక సాధారణ ఉల్లేఖన తనిఖీని పాస్ చేస్తుంది
- •ఒక సమీక్షకుడు కేసు ఉన్నదని నిర్ధారించి, ముందుకు సాగుతాడు — ఉల్లేఖనం నిర్ధారించబడదు.
- •కట్టుబాటు చేసిన భాష తరచుగా శ్రవణం చేయడానికి న్యాయస్థానం చెప్పే దాంట్లోని ఏదో ఒకటి వంటి ఉంటుంది
- •ఇది ఫైల్ చేసిన బ్రీఫ్, అభిప్రాయం లేదా క్లయింట్ మెమోలోకి పూర్తిగా జీవించగలదు.
ఇది "గ్రౌండెడ్" లేదా రిట్రీవల్-ఆగ్మెంటెడ్ (RAG) చట్ట-ఏఐ సాధనాల ఉల్లంఘన. నిజమైన మూల పత్రాలపై ఒక మోడల్ను గ్రౌండ్ చేయడం పూర్తిగా ఆవిష్కృతమైన కేసు సంభవాలను తగ్గిస్తుంది — కానీ ఇది ఖచ్చితంగా కాదు మోడల్ అది పొందినది సరిగ్గా ఉల్లేఖించడానికి. ఇది కోర్ట్ ఎప్పుడూ ఉపయోగించని పదాలలో ఒక హోల్డింగ్ను పునరావృతం చేయవచ్చు లేదా ఒక ప్యాసేజ్ నుండి ఒక ఉల్లేఖనాన్ని ఒక ప్రతిపాదనపై చేర్చవచ్చు, ఇది మద్దతు ఇవ్వదు.
ఈ కోట్స్-ఇన్-రియల్-సిటేషన్స్ నమూనా వాణిజ్య, స్థిరమైన పరిశోధన సహాయకులతో ప్రాక్టీస్లో కనిపించినట్లు సమాచారం. యు.ఎస్. వి. ఫారిస్ అని పిలువబడే అంశంతో సంబంధం ఉన్న థామ్సన్ రాయిటర్స్' వెస్ట్లా కోకౌన్సెల్ను కలిగి ఉన్న ఒక ఉదాహరణలో, ఈ సాధనం ఉటంకించిన అధికారిక భాషతో సరిపోలని కోట్స్ను ఉత్పత్తి చేసినట్లు చెబుతున్నారు, అయితే ఆధారిత ఉటంకనం నిజమైనది. మేము దీన్ని కేవలం సమాచారంగా ఉదాహరణగా అందిస్తున్నాము: మేము స్వతంత్రంగా ఖచ్చితమైన కేసు పేరు, ఉటంకనం, కోర్టు, సంవత్సరం లేదా తీర్పును నిర్ధారించలేదు, మరియు పాఠకులు వాటిపై ఆధారపడే ముందు ఆ వివరాలను నిర్ధారించుకోవాలి. అయితే, నమూనా బాగా డాక్యుమెంటెడ్ ఉంది — మరియు ఇది ఏకైక అనేకత కాదు, మీకు AI అవుట్పుట్ను సమీక్షించే విధానాన్ని మార్చాలి.
గ్రౌండింగ్ ఒక హామీ కాదు — సాక్ష్యం
ఇది కేవలం పక్కా ఆందోళన కాదు. స్టాన్ఫోర్డ్ రెగ్లాబ్ మరియు మానవ-కేంద్రిత AI (HAI) సంస్థ నుండి 2024లో జరిగిన అధ్యయనం ప్రముఖంగా రూపొందించిన చట్టం-ఏఐ పరిశోధన సాధనాలను అంచనా వేసింది — ఇవి స్పష్టంగా స్థిరమైన మరియు హాల్యూసినేషన్-తగ్గించినట్లు మార్కెట్ చేయబడినవి — మరియు అవి ఇంకా అర్థవంతమైన ప్రశ్నల శాతం మీద హాల్యూసినేట్ చేస్తున్నాయని కనుగొంది.
ఈ సంఖ్యల గురించి
స్టాన్ఫర్డ్ రెగ్లాబ్ / హెచ్ఎఐ (2024) పని ప్రముఖ న్యాయ-ఏఐ పరిశోధన సాధనాల కోసం హాల్యూసినేషన్ రేట్లను సుమారు 17–33% పరిధిలో నివేదించింది, సాధనం మరియు పనిపై ఆధారపడి. సాధనం మరియు ప్రశ్న రకానికి అనుగుణంగా ఫలితాలు మారుతందని, ఒకే హెడ్లైన్ సంఖ్యను కాకుండా పరిధిని మేము ఉల్లేఖిస్తున్నాము — ఖచ్చితమైన ప్రతి సాధనానికి శాతం మరియు పద్ధతికి, ప్రాథమిక పత్రాన్ని సంప్రదించండి.
తీసుకునే విషయం "ఈ సాధనాలు చెడు" కాదు. ఇది గ్రౌండింగ్ హాల్యూసినేషన్ను తగ్గిస్తుంది కానీ దాన్ని పూర్తిగా తొలగించదు, మరియు మిగిలినది ఖచ్చితంగా ప్రమాదకరమైన రకాన్ని కలిగి ఉంది: నమ్మకమైన, బాగా ఫార్మాట్ చేయబడిన, సైట్-చెక్-పాసింగ్ ఉల్లేఖనలు తప్పుగా ఉంటాయి.
AI-హాల్యూసినేటెడ్ సిటేషన్లను కలిగి ఉన్న నిజమైన కోర్టు కేసుల కోసం నడుస్తున్న, ప్రజా రికార్డ్గా, పరిశోధకుడు డేమియన్ చార్లోటిన్ విస్తృతంగా ఉటంకించబడే డేటాబేస్ను నిర్వహిస్తాడు ఈ సంఘటనలు కోర్టులకు చేరినప్పుడు వాటిని ట్రాక్ చేయడానికి. ఈ తప్పులు ఎంత సార్లు — మరియు ప్రక్రియలో ఎంత దూరం — ప్రయాణిస్తున్నాయో చూడటానికి ఇది అద్భుతమైన వనరు. మేము దీన్ని పునరావృతం చేయకుండా దానికి సూచిస్తున్నాము.
ఏందుకు సింగిల్-మోడల్ స్వయంనిర్ధారణ విఫలమవుతుంది
స్వాభావిక పరిష్కారం అదే సాధనను తనను తనే తనిఖీ చేయమని అడగడం: "మీరు ఆ ఉల్లేఖనం ఖచ్చితంగా సరైనదని నమ్ముతున్నారా?" ఇది చాలా అరుదుగా సహాయపడుతుంది, మరియు తరచుగా విషయాలను మరింత చెడ్డగా చేస్తుంది.
- ఉల్లేఖనాన్ని కల్పించిన మోడల్కు ఆ తీర్పు గురించి వాస్తవ జ్ఞాపకం ఉండదు — దానిని "ధృవీకరించమని" అడగడం అంటే పొరపాటును సృష్టించిన అదే నమూనా-సరిపోలికను మళ్లీ నడపడమే
- "ఈది అక్షరశః సత్యం అని నిర్ధారించండి" వంటి ప్రాంప్ట్లు తరచుగా ఒక నమ్మకమైన అవునుని అందిస్తాయి — కొన్ని సార్లు కొత్తగా కల్పించిన మద్దతు వివరంతో.
- ఒక మోడల్ యొక్క నమ్మక స్కోరు ఉల్లేఖన ఖచ్చితత్వంతో సంబంధం కలిగి ఉండదు, కాబట్టి ఇది ప్రమాదకరమైన వాటిని స్వయంగా గుర్తించలదు.
ఎందుకు క్రాస్-మోడల్ విరుద్ధత దాన్ని పట్టుకుంటుంది
ఒక ఒంటరి గ్రౌండెడ్ మోడల్కు ఒక రిట్రీవల్ మరియు దాన్ని ఉల్లేఖించడానికి ఒక మార్గం ఉంది. అనేక స్వతంత్ర మోడల్స్ ప్రతి ఒక్కటి తమ స్వంతంగా రిట్రీవ్ మరియు ఉల్లేఖిస్తాయి. మీరు అనేక మోడల్స్కు ఒకే ప్రశ్న అడిగినప్పుడు, వాటిలో ఒకటి ఉల్లేఖనాన్ని ఉత్పత్తి చేస్తే, మిగతావి పునరుత్పత్తి చేయలేని — లేదా మిగతావి స్పష్టంగా మద్దతు లేని అని రేటింగ్ చేసిన — ఆ విరుద్ధత అలారం బెల్గా ఉంటుంది.
స్వాతంత్ర్య సూత్రం, ఉల్లేఖనాలకు వర్తింపజేయబడింది
ఒక మోడల్ "న్యాయస్థానం Xని నిర్ణయించింది" అని నిజమైన కేసులో తయారు చేస్తే, ఇతర మోడళ్లు — అదే అభిప్రాయాన్ని తమ స్వంత రీట్రీవల్ ఆధారంగా — సాధారణంగా ఆ ఖచ్చితమైన తయారు చేసిన భాషను పునరుత్పత్తి చేయవు. ఒక మోడల్ మాత్రమే ఉత్పత్తి చేయగల కోటేషన్, మరియు ఇతరులు దాన్ని బాగా రేటు చేయని, తక్కువ-సమ్మతి క్లెయిమ్గా ఉత్పత్తి అవుతుంది. మీరు ఒక అజ్ఞేయ తప్పును ఒక స్పష్టమైన జెండాగా మార్చారు. ఇది ప్రాథమిక మూలం వ్యతిరేకంగా తనిఖీ చేయడానికి విలువైన కోటేషన్ను సంకేతం చేస్తుంది — ఇది అధిక నమ్మకంతో కూడిన స్క్రీన్, ఖచ్చితత్వానికి సాక్ష్యం కాదు.
AI-సహాయితా చట్ట పరిశోధన కోసం ఒక నిర్ధారణ చెక్లిస్ట్
మీరు ఏదైనా సమ్మతి సాధనాన్ని ఉపయోగిస్తున్నారా లేదా ఉపయోగించడం లేదు, నిర్ధారించని AI ఫలితాలను ఎప్పుడూ దాఖలు చేయకండి. కనీసం:
- కేస్ ఉన్నదని నిర్ధారించండి — కానీ అక్కడ ఆగకండి; ప్రమాదకరమైన తప్పులు దాచుకున్న నిజమైన ఉల్లేఖనం అక్కడే ఉంది
- ప్రాథమిక మూలాన్ని తీసుకోండి మరియు ఉల్లేఖన భాషను సందర్భంలో చదవండి — ప్రతి ఉల్లేఖనాన్ని దాని స్వరూపానికి వ్యతిరేకంగా, AI యొక్క సంక్షిప్తీకరణకు వ్యతిరేకంగా ఖచ్చితంగా నిర్ధారించండి
- ఉల్లేఖనం ప్రతిపాదనను మద్దతు ఇస్తుందా అని తనిఖీ చేయండి — నిజమైన ఉల్లేఖనం అది నిజంగా మద్దతు ఇవ్వని ఒక ఆరోపణకు జోడించబడవచ్చు
- స్వతంత్ర మోడళ్లతో క్రాస్-చెక్ చేయండి — ఒక మోడల్ మాత్రమే ఉత్పత్తి చేసే ఉల్లేఖనం అన్వేషించడానికి ఒక జెండా, ఫైల్ చేయడానికి ఒక వాస్తవం కాదు
- “గ్రౌండెడ్”ని “వెరిఫైడ్”గా ఎప్పుడూ పరిగణించకండి — RAG ఆవిష్కరణల అవకాశాలను తగ్గిస్తుంది; ఇది మీ తనిఖీ చేయాల్సిన బాధ్యతను తీసివేయదు
స్వతంత్ర మోడళ్ల మధ్య సార్వత్రికత మీకు ఒక ఉల్లేఖనం నిజమని నమ్మకం పెంచుతుంది. ఇది దాన్ని నిరూపించదు. ప్రాథమిక మూలం ఇంకా అధికారికమే - AI మీకు దాన్ని త్వరగా కనుగొనడంలో సహాయపడటానికి మరియు మోడళ్లు ఏ చోట విభజించాయో చెప్పటానికి మాత్రమే ఉంది.
అడిగే ప్రశ్నలు
చట్టపరమైన-ఏఐ విఫలం అనేది ఎక్కువ మంది మిస్ అయ్యే విషయం ఏమిటి?
అందరికి తెలిసిన నకిలీ కేసు కాదు, కానీ నిజమైన ఉల్లేఖనలో దాచిన ఒక కట్టుబాటు ఉల్లేఖన — ఉల్లేఖన ఉంది మరియు ఉల్లేఖన-తనిఖీని పాస్ చేస్తుంది, కానీ ఉల్లేఖనలో ఉన్న మాటలు ఎప్పుడూ అభిప్రాయంలో లేవు.
ఏందుకు ఒకే మోడల్ స్వయంనిర్ధారణ ఒక కాపీని పట్టించుకోదు?
ఉల్లేఖనం నిజమైనది కావడంతో, స్వీయ-ధృవీకరణ కేసు ఉనికిలో ఉందని నిర్ధారించి అక్కడితో ఆగిపోతుంది; అభిప్రాయం వాస్తవానికి ఏమి చెప్పిందో దాని గురించి మోడల్కు స్వతంత్ర రికార్డు ఏదీ ఉండదు.
క్రాస్-మోడల్ పోల్చడం ఎందుకు కట్టుబాటు చేసిన ఉల్లేఖనాలను పట్టుకుంటుంది?
విభిన్న రిట్రీవల్స్ ఆధారంగా ఉన్న స్వతంత్ర మోడళ్లు ఒకే కోట్ను చాలా అరుదుగా ఆవిష్కరిస్తాయి, కాబట్టి వారి విభేదం ఒకే మోడల్ నిర్ధారించగల ఫాబ్రికేషన్ను వెలుగులోకి తీసుకువస్తుంది.