推测性宏提交加速工具调用 Agent

arXiv:2609.03236v1 公告类型：new 摘要：使用工具的 LLM Agent 消耗的 wall-clock 时间不仅用于模型推理，还用于串行的 action--observation 回合，其中每次工具调用、环境转换和观察都可能延迟后续决策。我们提出 Speculative Macro Commit（SMC），一种面向双层 Agent 系统的运行时机制：大型权威 actor 模型生成官方轨迹，而更快的投机性 drafter 模型在隔离的环境快照上持续预测并执行未来的 action 链。SMC 从训练轨迹中挖掘重复出现的多 action 骨架，并将其存储在 macro 库中，用于在运行时与 drafter 预测的 action 链进行匹配。当 actor 的下一个工具调用与首个 draft action 匹配时，SMC 将剩余已预执行的 draft 步骤及其观察结果提交至官方轨迹。使用 Qwen3.5-27B INT4 作为权威 actor 模型、Qwen3.5-4B 作为投机性 drafter 模型，SMC 在保持与串行 Agent 相当的整体准确率的同时，在 $\tau^2$-Bench Telecom 子集上将延迟相比 Speculative Actions（SA）基线降低 10.23%，相比串行执行降低 18.59%。在 AppWorld 上，SMC 相比 SA 基线降低 wall time 7.7%，相比串行执行降低 44.9%，任务完成率略有下降。总体而言，SMC 提供了一种实用的方法，可复用多步投机执行并将 Agent 延迟降至单步投机 action 之外。我们的代码已公开 于此。