모두가 AI 환각 소송에서 잘못된 교훈을 배웠습니다. 헤드라인은 "AI가 가짜 사건을 발명한다"였습니다. 진짜 위험은 더 미묘하고 포착하기 어렵습니다: AI가 전적으로 실제인 사건 내에서 가짜 인용을 발명하는 것입니다.
모두가 아는 실패: 조작된 사건들
마타 대 아비앙카 (2023) 사건에서 변호사들은 존재하지 않는 여러 사법 결정을 인용한 연방 브리프를 제출했습니다. 인용된 내용은 ChatGPT에 의해 생성되었으며, 그 결과 그럴듯한 사건 이름, 보고서 번호 및 인용문이 무에서 생성되었습니다. 상대 변호사와 법원이 사건을 찾을 수 없자, 변호사들은 제재를 받았습니다. 이는 법률 실무에서 생성적 AI에 대한 전형적인 경고 사례가 되었으며, 이 사건은 법조계에 인용 검토를 수행하도록 가르쳤습니다.
조작된 사건은 다행히도 쉽게 발견할 수 있습니다. 검색해보면, 그 사건이 없고, 삭제합니다. 단 한 번의 검색으로 거짓이 드러납니다.
대부분의 사람들이 놓치는 실패: 실제 인용에서의 가짜 인용문
이제 더 교활한 변형을 고려해 보자. 사건은 실제이다. 기자 인용은 정확하다. 법원, 연도, 당사자 — 모두 진짜이다. 그러나 AI가 그 의견에 귀속시키는 문장, 인용 부호로 묶인 판결문은 그 법원에서 작성된 적이 없다. 이 도구는 실제 문서에 기반하여 답변을 구성한 다음, 그곳에서 발견했다고 주장하는 언어를 조작했다.
이것이 가짜 사건보다 더 나쁜 이유
- •인용은 실제이므로 일상적인 인용 확인을 통과합니다
- •검토자가 사건이 존재한다고 확인하고 넘어간다 — 인용은 검증되지 않는다
- •제작된 언어는 종종 법원이 말할 것 같은 소리를 냅니다.
- •그것은 제출된 간략서, 의견서 또는 클라이언트 메모에 이르기까지 생존할 수 있습니다.
이것이 "기반" 또는 검색 증강(RAG) 법률 AI 도구의 함정입니다. 실제 출처 문서에 모델을 기반화하면 완전히 발명된 사례의 가능성이 줄어들지만, 모델이 검색한 내용을 정확하게 인용할 것이라는 보장은 없습니다. 여전히 법원이 사용하지 않은 단어로 판결을 바꿔 표현하거나, 한 구절에서 인용한 내용을 지지하지 않는 주장에 결합할 수 있습니다.
상용화된 연구 보조원과 함께 실제로 나타난 이 인용-인-실제-인용 패턴은 보고된 바 있습니다. U.S. v. Farris라는 사건과 관련하여 논의된 Thomson Reuters의 Westlaw CoCounsel을 포함한 한 보고된 사례에서, 이 도구는 인용된 권위의 언어와 일치하지 않는 인용문을 생성한 것으로 전해졌습니다. 비록 기본 인용이 진짜였지만 말입니다. 우리는 이것을 보고된 예시로만 제시합니다: 우리는 정확한 사건 이름, 인용, 법원, 연도 또는 판결을 독립적으로 확인하지 않았으며, 독자들은 이를 신뢰하기 전에 해당 세부 사항을 확인해야 합니다. 그러나 이 패턴은 잘 문서화되어 있으며, 당신이 AI 출력을 검토하는 방식을 바꿔야 하는 것은 단일 일화가 아니라 바로 이 패턴입니다.
접지는 보장이 아니다 — 증거
이것은 주변적인 우려가 아닙니다. 스탠포드 레그랩과 인간 중심 AI 연구소(HAI)의 2024년 연구는 명시적으로 기반이 있고 환각 완화가 이루어진다고 마케팅된 주요 목적의 법률 AI 연구 도구를 평가했으며, 여전히 상당수의 쿼리에서 환각을 일으킨다는 것을 발견했습니다.
이 수치에 대하여
스탠포드 RegLab / HAI (2024)에서는 주요 법률 AI 연구 도구의 환각 비율이 도구와 작업에 따라 대략 17–33% 범위라고 보고했습니다. 우리는 도구와 쿼리 유형에 따라 결과가 달라지기 때문에 단일 헤드라인 숫자보다는 범위를 인용합니다 — 각 도구의 정확한 비율과 방법론에 대해서는 주요 논문을 참조하십시오.
핵심은 "이 도구들이 나쁘다"가 아닙니다. 기반이 환각을 줄이지만 없애지는 않는다는 것이며, 그 잔여물에는 정확히 위험한 종류가 포함됩니다: 자신감 있고, 잘 형식화된, 인용 검사를 통과하는 잘못된 인용문들입니다.
AI 환각 인용이 포함된 실제 법원 사건에 대한 지속적인 공개 기록을 위해, 연구원 다미엔 샤를로탱은 이러한 사건이 법원에 도달할 때까지 추적하는 널리 인용되는 데이터베이스를 유지합니다. 이는 이러한 오류가 얼마나 자주 발생하는지, 그리고 과정의 어느 단계까지 진행되는지를 확인할 수 있는 훌륭한 자원입니다. 우리는 이를 복제하기보다는 지적합니다.
단일 모델 자기 검증이 실패하는 이유
본능적인 해결책은 같은 도구에게 스스로를 점검하도록 요청하는 것이다: "그 인용이 정확한지 확실한가?" 이는 거의 도움이 되지 않으며, 종종 상황을 악화시킨다.
- 인용을 생성한 모델은 의견에 대한 실제 기억이 없으며, "검증"을 요청하는 것은 오류를 발생시킨 동일한 패턴 매칭을 다시 실행하는 것에 불과합니다.
- "이것이 정확하다는 것을 확인해 주세요"와 같은 프롬프트는 종종 자신감 있는 예를 반환합니다 — 때때로 새로 만들어진 지원 세부 정보와 함께.
- 모델의 신뢰도 점수는 인용 정확성과 상관관계가 없으므로 위험한 것들을 스스로 표시할 수 없습니다.
왜 교차 모델 불일치가 그것을 포착하는가
독립된 모델 하나는 하나의 검색과 하나의 인용 방식을 가지고 있습니다. 여러 개의 독립적인 모델은 각자 검색하고 인용합니다. 여러 모델에 동일한 질문을 했을 때, 그 중 하나가 다른 모델들이 재현할 수 없는 인용을 생성하거나 다른 모델들이 명시적으로 지원되지 않는다고 평가하는 경우 — 그 불일치가 경고 신호입니다.
인용에 적용된 독립 원칙
하나의 모델이 실제 사례에서 "법원이 X를 판결했다"라고 조작하면, 다른 모델들은 동일한 의견을 기반으로 하더라도 일반적으로 그 정확한 조작된 언어를 재현하지 않습니다. 오직 하나의 모델만 생성할 수 있고 다른 모델들이 낮은 평가를 하는 인용문은 낮은 합의 주장으로 나타납니다. 당신은 보이지 않는 오류를 보이는 플래그로 바꾸었습니다. 이는 기본 출처와 대조할 가치가 있는 인용문을 신호합니다 — 이는 더 높은 신뢰도의 스크린이지 정확성의 증거는 아닙니다.
AI 지원 법률 연구를 위한 검증 체크리스트
합의 도구를 사용하든 사용하지 않든, 검증되지 않은 AI 출력을 제출하지 마십시오. 최소한:
- 사례가 존재하는지 확인하세요 — 하지만 거기서 멈추지 마세요; 실제 인용이 위험한 오류가 숨겨져 있는 곳입니다.
- 주요 출처를 확인하고 인용된 언어를 맥락에서 읽으세요 — AI의 요약이 아니라 의견 자체에 대해 모든 인용을 정확하게 검증하세요.
- 인용이 주장을 뒷받침하는지 확인하세요 — 실제 인용이 실제로 지지하지 않는 주장에 첨부될 수 있습니다.
- 독립 모델과 교차 검증 — 한 모델만 생성하는 인용은 조사해야 할 신호이지, 기록할 사실이 아니다.
- “근거가 있는” 것을 “확인된” 것으로 취급하지 마십시오 — RAG는 발명의 가능성을 낮추지만, 확인할 의무를 없애지는 않습니다.
독립적인 모델 간의 합의는 인용이 실제임에 대한 신뢰를 높여줍니다. 그러나 그것이 증명하는 것은 아닙니다. 주요 출처가 여전히 권위이며, AI는 단지 더 빠르게 찾도록 도와주고 모델 간의 의견 차이를 알려주는 역할만 합니다.
자주 묻는 질문
대부분의 사람들이 놓치는 법률 AI 실패는 무엇인가요?
모두가 아는 가짜 사례가 아니라, 실제 인용문 안에 숨겨진 조작된 인용문입니다 — 인용은 존재하고 인용 검사를 통과하지만, 인용된 단어는 의견서에 결코 포함되지 않았습니다.
왜 단일 모델 자기 점검이 가짜 인용을 잡지 못할까요?
인용이 실제이기 때문에, 자기 검증은 사건이 존재함을 확인하고 거기서 멈춥니다; 모델은 의견이 실제로 무엇을 말했는지에 대한 독립적인 기록이 없습니다.
왜 교차 모델 비교가 조작된 인용을 포착하나요?
다른 검색에 기반한 독립적인 모델들은 같은 인용구를 거의 만들지 않기 때문에, 그들의 불일치는 단일 모델이 확인할 수 있는 조작을 드러냅니다.