QLoRA学习新事实：获取与保留的权衡边界

arXiv:2608.25677v1 Announce Type: new Abstract: 参数高效微调通常被认为能够保留预训练能力，因为它只更新少量参数。我们发现这一假设强烈依赖于 adapter 的容量。我们在一个受控的、基于 OpenStreetMap 构建的 benchmark 中研究了事实获取，其中 Qwen3-4B 必须学习匿名化的地理关联，同时保留无关能力。通过比较全参数微调（FFT）与量化低秩适配（QLoRA）在秩 8、16、32 和 64 下的表现，我们发现秩会引发一条清晰的获取—保留前沿曲线。低秩 QLoRA 保留了域外（OOD）性能，但获取的事实更少；而更高的秩提升了同一事实的 paraphrase 泛化能力，却以在无关 benchmark 上性能的持续下降为代价。FFT 表现为一个保守的基线：它能很好地保留通用能力，但无法达到最高的事实获取水平。分布层面、权重空间和谱诊断均反映了这一行为权衡，更高秩的 QLoRA 偏离预训练模型更远。一项单独的数学适应实验显示出更弱的前沿效应，表明当适应任务需要安装新的事实关联，而非强化预训练已支持的技能时，该效应最为显著。代码和数据见 https://github.com/zhngstl/new_facts_forgetting。