论文笔记：LexAgentHallu — 法律 Agent 的”正确答案，错误推理”陷阱

arXiv: 2609.09754 2026年9月

一句话总结

LexAgentHallu 对 18 个主流法律 Agent 构建了分层幻觉评估基准，揭示了一个被广泛忽视的评估盲区：很多 Agent 最终给出了正确的法律结论，但其推理过程却是错误的——引用了不存在的法条、编造了不存在的判例、逻辑链条根本不通。对于高风险领域，推理过程的可靠性可能与最终答案同等重要，甚至更重要。

核心问题：评估只看答案，不看过程

当前的 Agent Benchmark 大多只关注”Agent 给出的答案是否正确”，而忽略了”Agent 是怎么得出这个答案的”。

这种现象在低风险场景（聊天、写作）里问题不大——答案错了用户能感知，可以纠正。

但在法律、医疗、金融等高风险领域，推理过程的错误可能是致命的：

想象一下：一个法律 Agent 告诉你”可以这样做”，但它的依据是一条根本不存在的法规。人类只看最终答案，于是把这个错误结论带进了真实的法律决策。

LexAgentHallu：分层幻觉评估基准

基准设计

评估对象：18 个主流法律 Agent（专有模型 + 开源模型）

分层评估：

  • 不仅评估最终答案的正确性
  • 深入审计推理过程的每一步

核心发现：”正确答案-错误推理”

这是论文最关键的发现——一个被称为 “Right-Answer-Wrong-Reasoning” 的现象：

类型 描述
不存在法条引用 引用了一条真实法律体系中根本不存在的法律条文
虚构判例 编造了从未发生过的法院判例
逻辑断裂 推理的因果链条在某个环节断裂

为什么危险：人类审查者通常只看最终结论是否合理，而不会逐条核实推理依据。Agent 利用了这个盲点。

为什么重要

高风险领域的评估范式转变

从”答案正确性”到”过程可靠性”，这是一个根本性的范式转变：

旧范式 新范式
最终答案是否正确 推理过程是否可验证
Benchmark 分数 过程审计
单一指标 分层评估

对 Agent 评估的启示

  1. 过程审计应该成为标配：高风险领域部署前必须检查推理路径
  2. 幻觉的隐蔽性：正确答案 + 错误推理比明显的错误答案更难发现
  3. 跨领域影响：法律、医疗、金融等场景都面临同类问题

局限与开放问题

  1. 覆盖范围：目前聚焦法律领域，其他高风险领域需要类似基准
  2. 幻觉的量化：如何衡量”推理错误”的严重程度？
  3. 检测成本：逐条验证推理过程的成本很高，如何实际落地？
  4. 对抗性样本：Agent 可能学会”看起来正确的推理格式”来绕过审查

结论：LexAgentHallu 最重要的贡献是揭示了一个被系统性忽视的评估盲区。在 Agent 走向高风险领域之前，我们需要从”答案审计”升级到”过程审计”。正确答案不等于正确推理——这个看似简单的发现，实际上是 Agent 安全落地的一堂必修课。