LLM 微调是否必须依赖人类可读文本？

arXiv:2609.35868v1 公告类型：new 摘要：人类可读性对于大语言模型的有效微调是否必不可少？我们研究了以模型为条件的训练表示能否在无需人类可读文本形式的情况下，保留或提升自适应效用。我们提出期望更新对齐合成数据（Desired-Update-Aligned Synthetic Data, DASA），该方法利用冻结参考模型的激活梯度反馈来引导连续合成输入嵌入的优化。受激活梯度在局部风险降低中所起作用的启发，DASA 瞄准的是有用的自适应更新，而非源文本重建或语言流畅性。所得嵌入被直接用于下游微调；离散 token 投影仅用于定性检查。实验涵盖 Llama 和 Qwen 两个系列的六个模型（参数量从 1B 到 32B），涉及六个 benchmark，覆盖知识、数学推理、代码生成和常识推理。在匹配的 LoRA 自适应设置下，DASA 取得了与源自然语言数据相当的性能，并在多种配置下超越源数据，同时在多数对比中优于 GRADMM。进一步的实验覆盖了通用领域和任务专门化的源数据。在所评估的合成设置下，DASA 相比 GRADMM 实现了 $3.6$--$4.9\times$ 的加速，且峰值 GPU 显存占用相当。