解析对话式 LLM Agent 的网页搜索行为：从检索决策、策略到结果与响应

arXiv:2609.19244v1 公告类型：new 摘要：对话式 LLM agent 日益依赖 Web 搜索，然而对 agentic 搜索端到端生命周期的理解仍然不足。我们首次对四大对话平台（ChatGPT、Claude、Grok 和 DeepSeek）中的 Web 搜索进行了研究，结合真实用户交互（invivo）与通过各平台模型 API 开展的受控实验（invitro）。我们考察了 agentic 决策中调用 Web 搜索的质量、制定查询的策略、所接收搜索结果中潜在的域名偏好，以及将搜索结果转化为有据可查回复时的选择。我们发现，不同平台和模型在 Web 搜索决策上存在显著差异，而更频繁地调用 Web 搜索并不必然带来更好的回复质量。我们进一步表明，对话式 agent 采用了不同的复杂查询策略，且平台特定的搜索引擎会返回来自其偏好域名的搜索结果。最后，尽管回复在很大程度上以搜索结果为依据，但部分论断依赖于未被引用的搜索结果，这引发了关于归因与可靠性的担忧。我们的发现对未来 AI agent 的设计以及为对话式检索优化的 Web 搜索工具具有重要启示。