SenseAgent：面向自适应跨域 IMU 感知的 LLM Agent

arXiv:2609.32000v1 公告类型：新提交 摘要：深度学习已显著提升了惯性测量单元（IMU）在移动与可穿戴设备上的感知能力。然而，在某一领域训练的 IMU 模型，当面对新用户、新设备或新的佩戴位置时，往往会变得不可靠。现有方法通常将这一问题视为静态的模型设计任务：它们要么预训练更强的表征，要么加入数据增强，要么在部署前选定一种适配方法。但在实际场景中，目标领域只能被逐步观测，标注数据稀缺，且不同的领域漂移需要不同的感知策略。本文提出 SenseAgent——一个由 LLM 引导的跨领域 IMU 活动识别感知 Agent。SenseAgent 并非让 LLM 直接对原始 IMU 信号进行分类，而是将 LLM 用作运行时规划器，调度感知工具、源领域经验记忆、在线目标记忆以及验证器（verifier）。Agent 会基于目标数据流生成一份无需标注的诊断报告，并据此决定是维持原始推理，还是调用专用工具，包括重力感知感知（gravity-aware sensing）、原型迁移（prototype transfer）和风格归一化（style normalization）。在采纳高风险工具决策之前，验证器会检查源领域校准、目标记忆可靠性以及无害性准则。SenseAgent 还支持在少量反馈下进行适配，无需重新训练 backbone，也无需替换无标注流程。这一设计将跨领域 IMU 感知从固定的推理流水线转变为闭环感知过程，能够诊断目标漂移、选择合适的感知动作，并拒绝不安全的适配。我们在多个 IMU 数据集及部署漂移场景下对 SenseAgent 进行了评估。结果表明，其经验证的路线选择能够提升跨领域感知性能，在更困难的佩戴位置漂移与复合漂移场景下表现尤为突出，并能进一步受益于有限的用户反馈。