Vibe 专利撰写：评估面向专业专利起草 Agent 的 LLM 评审模型

arXiv:2609.13422v1 公告类型：新发布 摘要：LLM judge 正越来越多地被用于评估和改进 AI 生成的输出，但其在复杂专业工作场景下的可靠性仍不明确。我们通过 Vibe Patenting 研究这一问题——这是一个用于 AI agent 评估的端到端专利撰写测试平台。系统会调用一个独立的 LLM judge 对生成的专利初稿进行评估，并提供结构化反馈以支持迭代式修改。在多个发明主题和多种撰写 agent 配置下，由 judge 引导的修改始终能提升 judge 评估的质量，而无引导的修改则往往趋于饱和。值得注意的是，迭代式的 judge 反馈能让一个低推理能力的 agent 接近性能明显更强、成本也更高的高推理 agent 的水平。更强的模型和更多的推理投入通常能提升 judge 评估的撰写质量，而领域特定的 agentic 工作流还能带来进一步的提升。我们让专业专利律师对 judge 的评估结果进行独立验证，发现二者之间存在显著但高度依赖具体指标的共识，同时也存在系统性的校准差异。这些结果既凸显了 LLM judge 作为复杂专业工作流评估工具和优化信号的实用价值，也揭示了其局限性。