强化微调 LLM 玩社交推理游戏

arXiv:2610.04261v1 公告类型：new 摘要：强化微调（RFT）在大语言模型（LLM）与人类及其他 Agent 交互的应用中正得到日益广泛的使用。在本研究中，我们利用社交推理游戏（social deduction games）来考察 RFT 如何改变 LLM 的社会行为。我们让经过微调的 LLM Agent 与基础 LLM Agent 进行隐藏角色游戏，这类游戏需要进行隐藏状态推断、社交解读和投票引导。结果表明，LLM Agent 无法通过直接优化最终的胜负结果可靠地获得社交推理能力，这说明最终游戏结果对于社会交互学习而言是一种稀疏且嘈杂的信号。然而，RFT 在提升社交解读能力方面尤为有效，包括要求 Agent 从公开讨论中推断隐藏角色、随时间更新信念以及预测其他 Agent 未来决策的任务。我们进一步表明，RFT 还能提升社交影响力，包括引导投票、团队批准和集体决策的任务，不过这些增益更强烈地依赖于行为特异性的奖励和结构化的交互环境。最后，我们表明，通过多智能体社会认知强化微调（multi-agent social-cognitive reinforcement fine-tuning），可以进一步提升 LLM 进行社交推理游戏的能力，该方法在同一阵营的多智能体训练过程中结合了社交解读与社交影响力信号。这些习得的行为在战略能力、说服力和社交实用性方面也获得了人类评估者更为积极的评价。总体而言，这些结果深化了我们对 RFT 如何改变 LLM 社会行为的理解，并为机器社会智能的行为学习理论迈出了重要一步。