ZK-LLM 中的 Bits：面向可验证私有 LLM 推理的零知识友好量化评估

arXiv:2609.36437v1 公告类型：新提交 摘要：零知识证明正逐渐成为实现可验证的私密 LLM 治理与审计的一种有前景的途径——在这种场景下，监管方、用户和审计方需要验证关于训练数据使用或 LLM 推理时行为的声明，而模型提供方则必须保护专有的模型参数。然而，尽管 ZK-LLM 受到日益广泛的关注，业界对 ZK 友好量化（ZK-friendly quantization）的理解仍然有限。这一空白至关重要，因为在 ZK 场景下，量化直接决定了 ZK 推理的算术结构、约束复杂度和证明成本。ZK 协议运行在有限域上，其成本在很大程度上取决于算术运算的数量与类型、非线性操作以及 lookup 约束。因此，理解 ZK 友好量化是让 ZK-LLM 走向实用的关键。在本工作中，我们首次对面向 LLM 的 ZK 友好量化进行了系统性研究。我们首先对 ZK 友好量化给出形式化定义，刻画了 ZK 证明生成所需的各项性质。随后，我们在权重、激活以及非线性 lookup table 精度的广泛设计空间中，评估了九个语言模型，包括 Qwen2.5-14B 以及混合专家模型 Qwen3-30B-A3B。结果表明，激活精度远比权重精度敏感，而非线性 lookup 近似可能成为效用下降的主要来源。我们还发现，在多个大型模型中，RMSNorm 的逆平方根 lookup 是一个反复出现的瓶颈；通过对该瓶颈进行选择性精度提升，我们恢复了接近基线的效用。最后，我们表明，降低位宽或 lookup table 尺寸并不一定能带来成比例的端到端证明成本节省，这说明传统的低比特量化启发式方法并不能直接转化为 ZK 证明效率的提升，也凸显了面向算子的精度选择（operator-aware precision selection）的必要性。