AIBuildAI-2.5：LLM 引导树搜索实现高效自主模型开发

arXiv:2609.25047v1 公告类型：新发布 摘要：能够自动构建人工智能（AI）模型的自主智能体有望拓宽 AI 在科学与工程领域的普及程度。此类智能体中一条热门技术路线将模型构建表述为代码搜索问题，并通过树搜索求解：树中每个节点代表一个候选程序，通过从父节点生成子程序使树不断扩展；目前这类智能体在贴近实际的 benchmark 上已接近资深 AI 工程师的水平。然而，这类智能体在效率方面仍存在三个尚未被充分解决的短板。第一，在现实的资源预算内只能执行少量候选方案，因此依赖已执行奖励对节点进行排序的搜索规则（如 Monte Carlo 式树搜索）只能依据数量稀少且充满噪声的评分，导致对下一个待探索节点的选择不够有效。第二，缺乏资源感知（resource-aware）的训练任务调度策略，可能降低硬件利用率与训练效率。第三，每次智能体调用都由单一的大模型提供服务，推高了推理成本。本文我们提出 AIBuildAI-2.5——一个以 LLM 智能体执行树搜索的智能体系统，并逐一解决上述三个问题。AIBuildAI-2.5 提出了一种新颖的 LLM 引导树搜索：由评判器（judge）对每个候选方案的预期改进、依据充分性与可行性进行打分，再由选择器（selector）结合这些分数与搜索状态对候选池进行排序。此外，AIBuildAI-2.5 还包含一个调度器，在启动训练任务时纳入当前硬件资源状态进行考量；以及一个路由器（router），在 AI 模型构建工作流中将成本更低的 LLM 分配给要求较低的任务，同时为最具挑战性的子任务保留能力最强的 LLM。AIBuildAI-2.5 在 MLE-Bench 上排名第一，奖牌率达 73.3%，并在 AIRS-Bench 的六项自主 AI 研究任务上超越了一个强基线。