Vibe Patenting：评估面向专利撰写 Agent 的 LLM 评审能力

arXiv:2609.13422v1 公告类型：新发布 摘要：LLM 评判模型（LLM judge）正被越来越多地用于评估和改进 AI 生成的内容，但其在复杂专业工作中的可靠性仍不明确。我们通过 Vibe Patenting 研究这一问题——这是一个用于 AI Agent 评估的端到端专利撰写测试平台。一个独立调用的 LLM 评判模型会对生成的专利初稿进行评估，并提供结构化反馈以支持迭代修订。在多项发明和多种撰写 Agent 配置下，由评判模型引导的修订持续提升了评判模型所评估的质量，而无引导的修订则趋于饱和。值得注意的是，迭代式评判反馈使一个低推理能力的 Agent 能够接近成本远高于它的高推理能力 Agent 的表现。更强的模型和更多的推理投入通常会提升评判模型所评估的撰写质量，而领域特定的 Agent 工作流则带来进一步的增益。我们让评判模型与专业专利律师的独立评估进行了验证对比，发现两者存在显著但高度依赖具体指标的共识，以及系统性的校准差异。这些结果凸显了 LLM 评判模型作为复杂专业工作流的评估工具和优化信号时，既有价值也存在局限。