IndustryLLM：面向工业采购的失败驱动 LLM 训练方法

arXiv:2609.31871v1 公告类型：新发布 摘要：工业采购要求语言模型在严格的安全公差下，弥合非正式的买家行话、稀疏的市场属性信息以及权威的工程标准之间的差距。我们推出 IndustryLLM，这是一个开放权重的工业语言模型，基于 Qwen3.5-35B-A3B-Base 训练而成（总参数 35B，每个 token 激活约 3B 参数，视觉编码器保持冻结）。我们不依赖通用的文本规模扩展，而是引入了一种由失败案例驱动的自适应方案，涵盖持续预训练（CPT）和监督微调（SFT）。CPT 利用了一个经过策划的约 100B token 语料库，其中包括 50 亿 token 的国家标准（如 GB/T）和技术档案，100 亿 token 的去标识化真实工业交易和询盘记录，以及 600 亿 token 的通用回放数据。为了克服语域不匹配和事实脆弱性问题，我们通过跨 10 种体裁和 8 种写作风格的多语域改写、基于置信度路由的最小事实编辑，以及针对错误的 QA 合成（解决诸如将“42-luo-mu”纠正为 42CrMo 的口语错别字、将“16674”等模糊代码扩展为 GB/T 16674，以及澄清相互冲突的尺寸规格等问题），系统性地重建了一个估计约 200 亿 token 的领域子集。针对下游部署，我们形式化了一个证据门控的约束评估接口，强制执行三值逻辑，其中未验证的产品证据保持“未知”状态，而非“满足”。离线评估显示，在采购询盘结构化任务上取得了一致的提升（精确匹配率提高 2.97 个百分点，95% 置信区间 [2.11, 3.86]，处于 No-Think 模式），而在生产环境中进行的随机在线 A/B 实验带来了显著的改进（GMV 提升 4.25%，满意询盘提升 8.3%），同时将延迟从 6-7 秒降低至 1.5 秒。模型权重和配置已在 https://huggingface.co/alibaba-multimodal-industrial-ai/IndustryLLM 发布。