G²PTQ：以广义梯度补偿改进 LLM 训练后量化

arXiv:2609.31009v1 公告类型：新发布 摘要：训练后量化（PTQ）是一种在无需重新训练的情况下降低大语言模型（LLM）内存与计算占用的实用方法。基于 GPTQ 的方法已成为事实标准，但仍存在两个互补的局限：采用局部逐层目标的方法缺乏全局监督；而采用全局目标的方法在初始阶段固定其 Hessian 估计，并忽略一阶梯度，导致其指导在量化推进过程中逐渐失效。本文提出 G$^2$PTQ，一个统一的 PTQ 框架，通过广义梯度补偿（Generalized Gradient Compensation）在全局监督的块级优化目标下整合一阶与二阶信息。通过在量化每个 Transformer 块之前刷新梯度与 Hessian 估计，G$^2$PTQ 避免了以往全局方法的信息滞后问题。此外，为稳定精确的一阶补偿，我们引入了一种信赖域缩放机制，动态约束梯度步长，防止权重更新爆炸。最后，我们推导了块级 Hessian 近似与精确梯度补偿的高效实现。在多个模型家族与位宽上的实验结果表明，G$^2$PTQ 实现了与全精度模型更好的对齐，性能超越现有最优基线。代码已开源：https://github.com/G2PTQ/G2PTQ。