VERITYGATE：面向结构化证据的LLM叙述四道门忠实度框架与配套基准

arXiv:2610.00833v1 公告类型：新发布 摘要：流畅的 LLM 解释未必遵循来自结构化系统的证据。我们提出 VERITYGATE，一个针对声明证据 ID、实体、数字与主张类型的四道门校验器。它检查固定 schema，并不验证正文中的每一个事实。在 r=0 和 r=1 下，我们在每种设置下测试 900 个实例（450 对 grounded-ungrounded 对），模型包括 GPT-4o-mini、Llama-3.3-70B 和 Claude Sonnet 4.6。在该 schema 级契约下、修复之前，mini 有 80.3% 的主张未通过，Sonnet 有 47.9% 的主张未通过。这些是验证器拒绝率，而非正文幻觉率。一轮修复将 mini 的主张存活率从 19.7% 提升至 28.0%，将 Sonnet 从 52.1% 提升至 54.3%。每个示例中已验证主张的变化分别为：mini +0.14、Llama -0.71、Sonnet -0.47，因此存活率与输出量必须一并报告。对 Sonnet 进行第二轮修复没有带来明确收益。在 r=1 时，Gate 4 覆盖了 mini、Llama 和 Sonnet 失败主张的 97.0%、98.7% 和 100%。小规模人工研究支持这些规则，但也显示 schema 检查与正确正文之间存在差距。一项特定领域的 GPT-4o 评审测试显示出顺序效应，因此它仅作为有用性检查。我们开源了代码和数据。