AI现在嵌入法律研究、起草和审查中。它确实有用——并且它会毫不犹豫地向您提供不存在的案例法和从未写过的引用。此指南涵盖了法律AI幻觉是什么，为什么即使是“有根”的工具也会产生它们，证据实际上说了什么，以及——大多数报道跳过的部分——保护自己的具体工作流程。
法律AI幻觉是什么
幻觉是一种自信、听起来合理的输出，但实际上是错误的，没有任何内部信号表明有问题。在法律工作中，它们有几种可识别的形式：
- 虚构的案例：完全虚构的裁决，具有现实的名称和报告引用，但与任何真实的意见不对应
- 错误或误述的法规：引用的真实法条与其所支持的命题不符，或对条款的总结不准确
- 真实引用中的虚构引用：最危险的类型——一个真实、正确引用的案例中包含法院从未实际写过的引用
第三类是最值得担心的。虚假案例在您查找时就会被发现。真实案例中的虚构引用在常规引用检查中顺利通过——引用是有效的——而错误隐藏在您未与来源核实的语言中。
为什么会发生——即使在“有根”工具中
语言模型并不在数据库中查找事实；它根据训练中的模式生成最合理的文本延续。有时，听起来最合理的输出是虚构的。
“有根”或检索增强（RAG）法律工具试图通过检索真实的源文档并指示模型从中回答来解决这个问题。这确实有帮助——它大大减少了完全虚构的案例。但有根并不是保证：
有根仍然泄漏的地方
- •模型可以误引它正确检索的文档
- •它可以将真实引用附加到源不支持的命题上
- •检索可能会显示错误的段落，而模型仍然自信地引用它
- •它可以将来自多个来源的语言混合成一个虚构的“引用”
换句话说，有根改变了错误的分布——虚假案例更少，但幸存者倾向于难以捕捉的真实引用类型。
证据
这不是假设。两个锚点和一个跟踪器值得了解：
Mata诉Avianca（2023）
这个里程碑式的警示故事。律师提交了一份联邦简报，引用了多个不存在的司法决定——ChatGPT虚构了这些决定，连同虚假的引用。法院对律师进行了制裁。它公开且昂贵地确立了未经验证的生成AI输出在提交中没有立足之地。
斯坦福RegLab / HAI（2024）
2024年斯坦福RegLab和人本中心AI研究所的一项研究评估了领先的专用、有根的法律AI研究工具，发现它们在相当一部分查询中仍然产生幻觉——根据工具和任务的不同，报告的比例大约在17–33%之间。
在发布之前，重新确认确切的百分比、评估的具体工具以及与原始论文的精确归属。诚实且可归属地引用——绝不要夸大或四舍五入成营销数字。
Charlotin数据库（跟踪器）
研究员Damien Charlotin维护着一个广泛引用的公共数据库，跟踪涉及AI幻觉引用的法院案件。这是记录这些错误到达法院的频率以及在被发现之前传播多远的最佳记录。我们将其作为资源引用——这是参考，而不是要复制的内容。
如何保护自己：验证工作流程
大多数报道停留在“要小心”上。这是被忽视的部分——一个您可以在每个AI辅助研究任务中实际运行的具体工作流程：
独立引用检查
确认每个引用的案例和法规在权威来源中存在（报告者、法典）——与产生它的工具分开。不要让AI验证自己的引用。
逐字引用验证
提取原始来源并在上下文中阅读每个引用。逐字匹配引用的单词与意见。真实引用中的虚假引用是隐藏的错误。
命题检查
确认源实际上支持其所引用的观点。真实引用可以附加到它不支持的主张上。
跨模型比较
向多个独立AI模型提出相同的问题。当一个模型生成其他模型无法重现的案例或引用时——或者其他模型评估为不支持——将该不一致视为调查的标志。
绝不要提交未经验证的输出
在人工验证原始来源之前，任何AI结果都不得进入简报、备忘录或提交。有根≠验证。
为什么跨模型比较在工作流程中占有一席之地
单一模型无法可靠地自我检查——被问到“你确定吗？”时，它往往会重申同样的错误。独立模型的失败方式不同：它们有不同的训练数据，并且在有根的设置中，检索方式也不同。一个模型产生的虚构案例或误引通常不会被其他模型重现，因此它作为低共识主张而突出。这是您去查阅原始来源的信号。跨模型的共识提高了您对某事真实的信心——但这并不证明它的真实性，也永远无法替代阅读意见。
专业责任框架
这不仅仅是良好的实践——它与核心专业职责相对应。能力责任越来越包括理解您使用的工具及其失败模式；一个不知道有根AI仍然会幻觉引用的律师，缺少了对该工具的实质性了解。对法庭的诚实责任意味着您对所提交内容的准确性负责——没有例外。AI工具无法为您承担这一责任，而“软件生成的”在被制裁的案件中并不是辩护理由。
- 将AI输出视为研究线索，而不是记录引用
- 签署提交的人工负责其中的每个案例和引用
- 记录您的验证步骤——这既是良好的实践，也是尽职调查的记录
如果使用得当——在工作流程中内置独立验证和跨模型比较——AI可以加快法律研究，并帮助发现值得再次审视的主张。若仅凭信任使用，它最终会在您的简报中放入虚构的引用。区别在于工作流程，而工作流程由您来执行。
常见问题解答
什么是法律AI幻觉？
虚假的案例、错误的法规和伪造的引用夹在真实的引文中——法律人工智能自信输出的内容并不真实。
“扎根”的法律人工智能工具仍然会产生幻觉吗？
是的。帖子显示即使在有根据的工具中，幻觉仍然存在，引用了包括Mata诉Avianca案和2024年斯坦福RegLab研究在内的文献证据。
你如何保护自己免受法律AI幻觉的影响？
通过验证工作流程：独立的引用检查、逐字引用验证、跨模型比较，并且绝不提交未经验证的输出——您的诚实义务并不会转移到工具上。