LLM Agent 的"来源偏好"：成因与消除方法

arXiv:2610.03195v1 公告类型：新提交 摘要：随着 LLM Agent 代替用户决定购买哪款产品、预订哪家酒店或引用哪篇论文，对来自特定来源（即物品所属的网站或服务）的偏好，正在影响用户最终收到的结果以及被选中来源。我们在端到端搜索场景下研究了 12 个 Agent 模型在三个领域中的来源偏好。通过比较处于相同排序位置、满足相同需求但来自不同来源的物品，我们发现每个模型在每个领域都会偏好某些来源并回避另一些来源，且各模型在偏好哪些来源上高度一致。这种偏好甚至可能超过物品满足需求的程度：当来自受偏好来源的物品比另一件少满足一项需求时，其被选中的概率约为三分之二；而在相反情形下，来自不受偏好来源的较好物品几乎从未被选中。用于识别物品来源的信息本身就会影响选择：隐藏来源信息会削弱这种偏好，而为物品贴上受偏好来源的标签则会提高其被选中的概率。我们检验了形成这种偏好的两条路径：奖励更优物品的强化训练可能使某个来源成为满足需求的捷径；而信息缺失则可能触发对该来源的先入之见。补充缺失信息，或在提示中加入反驳这些先入之见的内容，均可降低来源偏好。