开放权重模型家族中的方向性溯源：见证重叠研究

arXiv:2609.31784v1 公告类型：新发布 摘要：开放权重模型经常被发布、微调、对齐、合并后再次发布，这使得溯源审计不仅要判断各个 checkpoint 之间是否存在关联，还要确定哪个 checkpoint 出现得更早。现有的许多模型溯源方法都基于"已知基准模型"的审计设定：给定一个受害者模型或源模型，检验某个嫌疑模型是否与其相关。尽管这类审计被表述为从源模型到嫌疑模型的单向检验，但其底层证据往往是对称的，依赖于表示相似度、权重相似度、行为指纹或相关性统计。对称的两两比较可以检测出关联性，但仅凭自身无法判定 checkpoint A 与 B 之间的先后方向。因此我们提出一种局部几何比较方法：不直接比较两个 checkpoint，而是引入第三个同族 checkpoint 作为见证者，比较各候选端点周围的几何结构。通过判断哪个候选表现得更像是分支的父节点，来推断方向。基于这一思路，以及实验中观察到的父节点锚定与子节点锚定的见证重叠分布之间存在不对称性，我们提出 Witness Overlap——一种无需 prompt、无需训练的白盒方向性溯源检验方法。在来自 16 个模型族的 176 个 LLM checkpoint 上，我们的单见证者检验使用 Frobenius 余弦相似度对 95.3% 的父子关系判定实现了正确定向。我们还进一步评估了根节点识别、兄弟节点区分、向 VLM 和扩散模型族的泛化能力，以及链式结构的排序。该信号对权重噪声和稀疏剪枝具有鲁棒性，且我们提出的基于 SVD 的权重降维变体比 Frobenius 余弦相似度表现出更强的鲁棒性。