返回资讯列表
身份不止于记忆:面向部署中 AI Agent 持续身份的新基准

身份不止于记忆:面向部署中 AI Agent 持续身份的新基准

2026年9月15日作者:AI铺子编辑部
行业动态

13637v1 公告类型:new 摘要:持久化 Agent 需要能够区分"可回忆的身份事实"与"所表达和实际执行的身份事实"的评估方法

arXiv:2609.13637v1 公告类型:new 摘要:持久化 Agent 需要能够区分"可回忆的身份事实"与"所表达和实际执行的身份事实"的评估方法。我们推出 PAI-Bench,这是一个与提供商无关的 benchmark,用于评估对版本化、受更新治理的身份契约(identity contract)的保真度。该 benchmark 将召回(recall)、组合(composition)、行为执行(behavioral enactment)、抗干扰性(resistance)、持久性(persistence)、谱系(lineage)以及受角色条件约束的更新(role-conditioned updates)分离开来,同时将评分 oracle 置于目标进程之外。两轮冻结的评测活动覆盖了十六个合成 profile、三十二个探针,以及三个独立初始化的目标配置,共产生 1,536 条保留响应。一项独立于 judge 的字面审计发现,48/48 条原子响应中均存在直接父级标识符,但在隐式自画像中仅为 1/48。在八个 profile 上,在相同的四句话指令下,显式字段线索使三个身份标识符的联合出现率从 0/8 提升至 7/8。另一项单独的启动体标签替换(startup body-label substitution)实验,在父级标识符仍然缺席的情况下,将完整称谓的出现率从 1/8 提升至 7/8。这些对比揭示了在被测部署中存在的"提示依赖的组件选择"以及"组件对启动线索的特异性敏感"。重放相同的因子设计响应还发现,Claude 的头条均值比 Astra 低 12.5 个百分点,这表明评估器敏感性与目标行为是相互独立的。上述研究在每个条件下均使用单一目标样本,并辅以事后审计和后续实验。PAI-Bench 提供了一套可复现的评估协议,用于将事实可用性、身份表达和行为执行作为身份契约保真度的不同维度加以度量。
来源:arXiv cs.AI | 查看原文

本文内容仅供参考,不构成任何投资或使用建议。AI铺子不对文章内容的准确性承担责任。 详情请参阅免责声明