返回资讯列表
arXiv 新论文：稀疏注意力机制在长文本推理上的最新突破
2026年7月13日作者：AI铺子编辑部
学术开源
DeepMind 研究团队提出的 SparseFocus 算法，在 128K 长文本任务上把推理时延降低 42%，同时保持 98% 的召回率。该算法已开源并集成到 JAX 框架中。
SparseFocus 算法
DeepMind 研究团队在 arXiv 上发表了题为《SparseFocus: Efficient Sparse Attention for Long-Context Reasoning》的论文，提出了一种新型稀疏注意力机制。
核心发现
- 在 128K 长文本任务上，推理时延降低 42%
- 保持 98% 的召回率，几乎无损
- 内存占用减少 60%
- 已开源并集成到 JAX 框架
技术原理
SparseFocus 通过动态选择注意力头中的关键 token，在保持语义完整性的同时大幅减少计算量。该方法对长文档问答、代码审查等场景尤为有效。
来源：arXiv | 查看原文
本文内容仅供参考，不构成任何投资或使用建议。AI铺子不对文章内容的准确性承担责任。 详情请参阅免责声明。