r/MachineLearningreddit-ml【译】长上下文推理上，滑窗注意力优于线性注意力 [R]
一篇新 arXiv 预印本称：带 sink 的滑动窗口注意力（SWA）作为缓解 LLM 二次复杂度的简单方案，在长上下文推理基准上表现不亚于甚至远好于各实验室花大量后训练算力做的线性注意力变体。作者报告在 Needle-in-a-Haystack 与 BABILong 上 SWA 性能可达线性注意力的 2–10 倍，并强烈建议优先改用 SWA，而非继续后训练线性模型。
社区动态
汇聚 V2EX、Hacker News、掘金等 IT 社区的热门讨论与精华内容。