返回资讯列表
Agent 应部署在何处?端云连续体中智能体 AI 的能耗-内存特性分析
2026年9月17日作者:AI铺子编辑部
行业动态
18283v1 公告类型:新发布 摘要:随着电信网络向 5G-Advanced 与 6G 自主运维演进,agentic 人工智能(AI)工作流——即由大语言模型(LLM)执行多步推理、调用诊断工具、检索领域知识并在 agent 团队间进行协同——正日益深度嵌入边缘-云连续体
arXiv:2609.18283v1 公告类型:新发布
摘要:随着电信网络向 5G-Advanced 与 6G 自主运维演进,agentic 人工智能(AI)工作流——即由大语言模型(LLM)执行多步推理、调用诊断工具、检索领域知识并在 agent 团队间进行协同——正日益深度嵌入边缘-云连续体。生物大脑仅以约 20W 的极低代谢功率预算即可完成复杂认知,而当代 LLM 在能耗与内存占用上均极为高昂,这使得可持续的全生命周期编排成为关键的运营要务。然而,现有的 AI 生命周期指标仅评估孤立的单模型推理,或完全忽略多 agent 执行图。其结果是,网络运营商缺乏基础模型来判断分布式 agent 通信是否带来可观的能耗开销,以及 agent 团队应物理部署在边缘-云架构的哪一层级。为填补这一空白,我们提出 agentic-eCAL,将 AI 生命周期能耗成本(eCAL)指标推广至有向多 agent 工作流:该方法将闭式双速率单调用能耗模型(计算受限的 prefill 阶段与内存受限的 decode 阶段)与 7 层 OSI 数据传输模型相耦合。基于 NVIDIA A100 与 H100 上数百组 GPU benchmark 配置、16 个开放权重模型及 8 种编排拓扑,我们对该指标的各组成部分进行了验证,并研究了工作流部署位置的 implications。研究结果表明,跨 5G RAN、城域网及光链路,agent 间文本传输所消耗的能量仅占工作流总能耗的 0.25%。因此,在边缘-云 agent 部署中,分布式所带来的主要能耗成本往往并非 agent 间文本传输本身,而是由该通信所诱发的额外推理与上下文处理开销。
来源:arXiv cs.AI | 查看原文
本文内容仅供参考,不构成任何投资或使用建议。AI铺子不对文章内容的准确性承担责任。 详情请参阅免责声明。