LMBuild：评测 LLM Agent 生成可建造且功能性结构的能力

arXiv:2610.04292v1 公告类型：new 摘要：基于 LLM 的 Agent 生成复杂 3D 结构的能力日益增强，有望重塑物体在物理世界中的设计与实现方式。然而，生成优雅的几何形状与生成可建造、能履行预期功能的物体之间存在本质区别。现有评估大多聚焦于几何质量，却忽视了物理可实现性。我们提出 LMBuild，这是一个用于评估 LLM Agent 生成可建造且具功能性结构的 benchmark。LMBuild 将生成的物体表示为装配结构，包含部件分解、关节、材料和装配序列。为支持可复现的评估，我们提供了一个统一框架，包括：（1）一个交互式环境，Agent 可在其中使用工具来检索、创建和放置组件以构建物体；（2）一个精心策划的 benchmark，它重新利用了已有的 CAD 数据集，并用来自 Wikipedia 的知识对其进行扩充；（3）一个评估框架，涵盖结构稳固性、功能可供性（functional affordance）、设计质量和物理实现。对 30 个系统的评估揭示了几个耐人寻味的发现：（a）对于前沿的闭源模型而言，稳固性和对齐已不再是主要瓶颈，而功能可供性和物理可操作性仍然是相当大的挑战；（b）更强的模型更善于创建新组件，而较弱的模型则倾向于依赖检索；（c）提供功能规格说明能显著提升部件完整性、运动学表现和物理可操作性。这些结果表明，生成真实世界的结构需要对功能可供性、力学以及新颖组件的设计与创造进行更深入的推理。我们期待 LMBuild 能为衡量进展、激励面向可建造且具功能性结构生成 Agent 的研究提供基础。