# SwiLA：按上下文组织记忆 Switching Linear Attention如何在固定状态中组合多个线性回归模型？本文解读其记忆更新与检索机制、实验结果，以及仍然存在的容量和计算成本限制。 Source: https://www.iplexlaw.co.kr/zh/blog/swila-switching-linear-attention 首页 / 新闻与洞见 新闻与洞见 SwiLA：按上下文组织记忆 Switching Linear Attention如何在固定状态中组合多个线性回归模型？本文解读其记忆更新与检索机制、实验结果，以及仍然存在的容量和计算成本限制。 人工智能 2026.10.29 已出版 IPLEX 阅读约13分钟 本文由IPLEX知识产权律师事务所的韩国专利代理师金容德撰写，对相关技术论文进行解读。 同一个词，在不同上下文中可能指向不同对象。AI将对话记录压缩成记忆时，也需要保留这种差异。如果把多个上下文混入同一份记忆，不同的关联关系就可能在检索时相互干扰。 Switching Linear Attention，简称SwiLA，将固定大小的记忆分配给多个线性回归分量，并依据输入与已有记忆之间的关系调整更新权重。其核心是在不无限增加存储空间的前提下，提高信息检索函数的表达能力。 1. 论文信息与解读版本 论文题为Switching Linear Attention，作者为Hyun Dong Lee、Xavier Gonzalez、Nicolas Zucchet、E. Kelly Buchanan、Emily B. Fox和Scott W. Linderman。论文列出的机构为Stanford University；脚注说明，Xavier Gonzalez在研究期间任职于Stanford，目前在Unconventional AI。 本文依据2026年9月30日发布的arXiv:2609.39034v1，DOI为10.48550/arXiv.2609.39034。原文PDF注明这是一篇COLM 2026会议论文。下文涉及的数值和图表均以v1为准。 原文采用CC BY 4.0许可。转载图表的来源为Lee等人于2026年发表的Switching Linear Attention，图注保留原文图表编号。本文解读作者与论文研究团队并非同一主体。 2. 为什么检索方式重要：保留完整记录，还是压缩成状态 通常，softmax注意力会把历史词元的键和值保存在KV缓存中，再计算查询与各键的关系，组合需要的值。这样的检索较为灵活，但上下文越长，需要保存的缓存也越大。 线性注意力则把历史信息累积在固定大小的状态矩阵中，相当于从一本摘要账簿中读取答案，而不再逐项展开全部记录。不过，只用一个线性映射把查询对应到值，难以充分表示随上下文变化的关联。 例如，Harry出现在介绍音乐家的段落中，和出现在讲述虚构巫师的段落中，需要唤起的关联并不相同。SwiLA用多个回归模型的混合，处理同一线索在不同上下文中指向不同值的情况。 原文Figure 1：线性回归与分段回归的区别、SwiLA状态结构及softmax近似实验。右图为合成任务的测试R²，不是语言模型准确率。来源：Lee等，2026，CC BY 4.0。 3. 核心思路：将记忆建模为回归模型的混合 研究者把记忆写入理解为学习从键到值的回归函数，把检索理解为在该函数中代入查询。这一视角称为测试时回归（TTR）。读取词元时变化的是在当前上下文内学习的快速权重状态，并非每来一个词元就重新训练整个语言模型。 DeltaNet的基本读取操作是用单一状态矩阵W乘以查询q。SwiLA将状态拆分为J个线性回归分量，并为每个输出维度分别设置混合权重。可以把它理解为保留多本各有所长的账簿，再根据问题调整各自对答案的贡献。 输出由各分量的预测乘以查询侧混合权重后求和得到。因此，Switching并不意味着始终只选择一个专家的硬路由。混合权重随输入变化，使整体检索函数比单个线性变换具有更强的表达能力。 当输出维度为D时，分量选择的组合可达J^D种，但实际存储的权重规模为J×D²。可组合方式的数量不等于实际记忆容量。论文并未声称固定状态能够无损保存全部历史信息。 4. 一个词元的处理流程：以预测误差决定更新比例 第一步，从输入词元计算查询、键、值以及混合权重。第二步，各回归分量依据已有状态预测当前键对应的值，并与实际值相减，得到预测误差。 第三步，将输入产生的先验权重与各分量的预测误差结合，计算责任度（responsibility）。即使输入相同，已有记忆不同，责任度也可能不同。这正是它与仅依据输入进行分配的路由器之间的区别。 第四步，按学习率×责任度×预测误差×键所对应的量更新各分量的快速权重。第五步，把查询作用于更新后的分量，再按查询侧权重加总形成输出。研究者从线性回归混合模型的在线期望最大化算法（EM）推导出这一流程。 EM提供了估计潜在分量归属概率并更新模型的框架。这里的实现并非对每个词元反复进行长时间优化直至收敛，而是以快速权重的一步随机梯度更新构成递推式。 5. 延续上下文与遗忘旧状态：Temporal SwiLA和Gated SwiLA Temporal SwiLA考虑到上下文通常会跨越多个连续词元。它将上一时刻的分量概率分布与当前输入产生的分布混合，再向后传递。这是对隐马尔可夫模型滤波的一种便于计算的近似；即使段落中没有反复出现上下文提示，分量选择的倾向也能延续。 Gated SwiLA引入由输入控制的遗忘门，对较早的状态进行衰减。论文分别给出了先计算责任度再衰减，以及先衰减再计算责任度的公式。实际采用的是后者，即从衰减后的状态计算预测误差和责任度。 如果更新总是集中在少数分量，增加分量数量也无法充分发挥作用。研究者提出辅助损失，同时鼓励各分量的均衡利用与逐词元的专业化。他们还讨论了输入相关噪声，但在主要的374M语言模型实验中关闭了路由器和时间门的噪声。并不是所有实验都同时启用了全部改进。 6. 合成实验：同一个键随上下文对应不同的值 softmax近似实验使用维度32、长度512的合成序列，训练集包含65,536条序列，测试集包含2,048条。与DeltaNet比较时，两者采用相同的循环状态预算。每种预算下最优的SwiLA配置都取得了更高的测试R²。该结论对应指定的合成输入与配置搜索，并不保证对所有输入都具有同等的近似精度。 上下文依赖关联回忆任务（CDAR）设置四个上下文，每个包含32组键值对，共128个关联。同一个键在不同上下文中对应不同值，而且上下文词元不会持续重复出现，因此模型必须同时保留键值关系和当前上下文。序列长度为1,024。 在Figure 2A中，单头、维度32、四个混合分量的Temporal SwiLA，以4,096的状态大小成为达到近乎完美准确率的最小配置。但图中展示的是对学习率和随机种子进行搜索后获得的最佳准确率，不能当作平均训练稳定性或实际服务成功率。 原文Figure 2：左图为不同状态大小下的CDAR准确率，右图为不同预训练样本量下的RegBench准确率。两图对应不同合成任务，模型层数等条件也需分别考虑。来源：Lee等，2026，CC BY 4.0。 RegBench要求模型观察随机概率有限自动机生成的示例字符串，在上下文内学习下一词元的分布。实验比较八层模型，并将循环模型每层状态大小统一为16,384。训练数据较少时，Temporal SwiLA和DN-MoM表现较强；数据增多后，Transformer达到最高准确率。因此，不能说SwiLA在所有数据规模下都领先。 7. 语言模型结果：在相近规模与训练条件下比较 主要语言模型实验采用约3.74亿（374M）参数、24层、隐藏维度1,024的模型，使用约150亿（15B）FineWeb-Edu词元训练。训练序列长度为4,096，使用八张H100 GPU。为匹配总参数量，各架构的前馈网络中间维度进行了小幅调整。 SwiLA系列采用八个头，每头四个混合分量，键和值的维度均为64，每层主要循环状态包含131,072个标量。DeltaNet、GDN和KDA也采用相同的主要状态规模。不过，主要状态数量一致，并不代表运行时总内存和计算量也完全一致。 原文Table 1：374M模型的困惑度和常识推理准确率。困惑度越低越好，准确率越高越好，不应把不同指标混作一个分数。来源：Lee等，2026，CC BY 4.0。 常识推理的平均准确率分别为：Transformer++ 45.3%、DeltaNet 43.7%、Gated DeltaNet 45.0%、KDA 46.6%。SwiLA为44.7%，Gated SwiLA与Gated Temporal SwiLA均为45.4%。带门控的变体比Transformer++高0.1个百分点，但KDA更高。论文没有提供依据，将这一小幅差异解释为统计上确定的优势，或推广为更大规模模型的普遍优势。 原文Table 2：六个回忆密集型任务的contains得分，输入截断至2K词元，并非所有问答任务的通用准确率。来源：Lee等，2026，CC BY 4.0。 回忆任务平均得分分别为DeltaNet 17.3%、Gated DeltaNet 19.2%、KDA 20.3%、Gated Temporal SwiLA 20.6%。Transformer++为28.3%，FoX为33.7%，差距仍然明显。固定状态中的回忆能力得到改善，不等于已经完全替代保存完整KV缓存的模型。 Hybrid Temporal SwiLA将三个循环层与一个softmax注意力层交替组合，得分为31.8%，高于Hybrid GDN的29.5%和Transformer++的28.3%。但混合模型的全注意力层仍保留KV缓存，因此不能把纯SwiLA的固定状态属性直接用于描述整个混合模型。 8. 吞吐量提升的条件：训练速度与推理吞吐量应分别看待 吞吐量实验与前述精度实验不同，测量的是单张H100上13亿（1.3B）参数的模型。训练序列长度为2K、4K、8K、16K时，批大小分别为64、32、16、8，使每次更新均处理131,072个词元。计时包括前向传播、反向传播、梯度裁剪和AdamW更新。 原文Figure S3：每次更新处理相同词元数时的训练吞吐量与峰值已分配内存。固定状态不保证训练始终更快或总内存始终更少。来源：Lee等，2026，CC BY 4.0。 推理使用2,048词元的合成提示，通过贪心解码生成128词元，批大小从1增至128。测量的是包括预填充和解码在内的完整生成时间；发生显存不足的配置以及更大的批大小不计入完成测量。 原文Figure S4：不同批大小下的整体推理吞吐量和峰值内存；X表示显存不足。单请求响应延迟与大批量吞吐量应区别解读。来源：Lee等，2026，CC BY 4.0。 研究者报告，SwiLA整体推理吞吐量达到Transformer基线的4—5倍，其中包含不使用KV缓存、从而容纳更大批次带来的收益。这不意味着每个批大小下都快4—5倍，也不意味着单个用户等待答复的时间按相同比例缩短。相较GDN，SwiLA训练约慢2倍，推理约慢1.25—1.5倍，内存占用也更高。 9. 尚存的限制与适用条件 首先，记忆容量仍然固定。上下文增长并不会带来额外存储，信息干扰和容量上限依然存在。尤其是原文回忆评测明确将输入限制为2K词元，不能仅据此推断超长文档中的准确性。 其次，责任度依赖已有状态，形成非线性递推，给并行训练带来困难。论文实验采用快速顺序Triton内核；附录虽然提出牛顿迭代和分块并行方法，但不能描述为这些优化已在主要实验中解决了训练速度问题。 第三，专家越多并不一定越好。在独立的115M参数、5B训练词元消融实验中，保持状态预算不变而将分量数从4增至16，会缩小各分量的投影维度，性能略有下降。必须权衡分量数量和单个分量的表达容量。 第四，基本SwiLA存在专家坍缩问题。消融实验中，加入辅助损失后，测试困惑度从36.769降至16.807；Temporal SwiLA相应为16.718和16.715，差异很小。这些数值来自该消融实验，不能与主要374M实验的性能混在一起比较。 10. 从专利代理师视角看技术区别 技术问题是在有限循环状态内，更准确地保留并检索随上下文变化的键值关联。解决方案可概括为线性回归分量的混合、按输出维度设置权重、反映已有状态预测误差的责任度，以及利用责任度更新状态的组合。 相较仅依据输入选择记忆的方式，SwiLA在分配过程中考虑当前记忆对该输入的解释程度。Temporal结构加入上下文的持续性，Gated结构加入记忆衰减。准确说明技术差异，需要区分这些结构各自的作用及其组合关系。 已经确认的效果包括指定状态预算下的合成任务性能，以及374M实验中的回忆改善；同时仍有训练和推理成本增加、与全注意力相比回忆得分较低等问题。笔者认为，论文的价值不只在于划分记忆，更在于用一致的概率模型共同设计更新规则和检索函数。这是对技术结构的解读，并非对可专利性或侵权作出判断。 11. 结语 SwiLA保留线性注意力固定大小的记忆，通过按上下文组合多个回归分量，提高检索的表达能力。已有状态的预测误差影响后续更新分配，以及单独建模上下文持续性，是其中两项关键设计。 实验表明，固定状态也能改善回忆性能，但与保存完整历史的注意力相比，容量差异和顺序训练成本仍然存在。实际应用时，应同时考虑所需上下文长度、回忆准确率、批处理吞吐量和训练成本，再判断该架构是否合适。 图中保留原始标注与形态，相关内容在正文中说明。 相关业务：人工智能专利 查看IPLEX的AI技术与专利分析 论文原文：Switching Linear Attention 查看韩文原文 本文基于发表时的情况撰写。如需就具体事项咨询，请联系IPLEX。 咨询相关业务 ↗ 全部文章 本页目录 1. 论文信息与解读版本 2. 为什么检索方式重要：保留完整记录，还是压缩成状态 3. 核心思路：将记忆建模为回归模型的混合 4. 一个词元的处理流程：以预测误差决定更新比例 5. 延续上下文与遗忘旧状态：Temporal SwiLA和Gated SwiLA 6. 合成实验：同一个键随上下文对应不同的值 7. 语言模型结果：在相近规模与训练条件下比较 8. 吞吐量提升的条件：训练速度与推理吞吐量应分别看待 9. 尚存的限制与适用条件 10. 从专利代理师视角看技术区别 11. 结语 咨询IPLEX 与我们讨论您的需求 保护、维权与管理。 我们将与您共同分析技术与业务需求。 ↗ 联系我们 较新文章 撤回专利申请后，撤销审决诉讼能否继续？ ↗ 较早文章 智利商标申请实务：注册流程、办理时间与三项制度特点 ↗ 相关解读 人工智能 2026.10.28 微软语音合成专利：如何结合音素、词语与句子结构 结合美国专利US12094447B2，解析音素或字符信息、词嵌入与语法结构如何对齐、融合并生成语音。 ↗ 阅读全文 人工智能 2026.10.27 GBLA：如何高效读取长推荐历史 从技术与专利实务角度分析门控双向线性注意力、混合编码器，以及检索精度和速度数据的适用边界。 ↗ 阅读全文 人工智能 2026.10.22 DFlare：拓宽推测解码草稿模型的信息通道 逐层特征融合、分来源KV投影与渐进式位置损失，如何共同提升块扩散草稿模型的有效容量。 ↗ 阅读全文 - https://www.iplexlaw.co.kr/zh - https://www.iplexlaw.co.kr/zh/blog/category/ai - https://www.iplexlaw.co.kr/zh/ai-patents - https://arxiv.org/abs/2609.39034 - https://www.iplexlaw.co.kr/ko/blog/swila-switching-linear-attention - https://www.iplexlaw.co.kr/zh/contact - https://www.iplexlaw.co.kr/zh/blog - https://www.iplexlaw.co.kr/zh/blog/swila-switching-linear-attention#article-1891-en-0 - https://www.iplexlaw.co.kr/zh/blog/swila-switching-linear-attention#article-1891-en-1 - https://www.iplexlaw.co.kr/zh/blog/swila-switching-linear-attention#article-1891-en-2 - https://www.iplexlaw.co.kr/zh/blog/swila-switching-linear-attention#article-1891-en-3 - https://www.iplexlaw.co.kr/zh/blog/swila-switching-linear-attention#article-1891-en-4 - https://www.iplexlaw.co.kr/zh/blog/swila-switching-linear-attention#article-1891-en-5 - https://www.iplexlaw.co.kr/zh/blog/swila-switching-linear-attention#article-1891-en-6 - https://www.iplexlaw.co.kr/zh/blog/swila-switching-linear-attention#article-1891-en-7 - https://www.iplexlaw.co.kr/zh/blog/swila-switching-linear-attention#article-1891-en-8 - https://www.iplexlaw.co.kr/zh/blog/swila-switching-linear-attention#article-1891-en-9 - https://www.iplexlaw.co.kr/zh/blog/swila-switching-linear-attention#article-1891-en-10 - https://www.iplexlaw.co.kr/zh/contact - https://www.iplexlaw.co.kr/zh/blog/brunch-case-1892 - https://www.iplexlaw.co.kr/zh/blog/chile-trademark-filing-guide - https://www.iplexlaw.co.kr/zh/blog/microsoft-multilevel-tts - https://www.iplexlaw.co.kr/zh/blog/microsoft-multilevel-tts - https://www.iplexlaw.co.kr/zh/blog/gbla-generative-retrieval - https://www.iplexlaw.co.kr/zh/blog/gbla-generative-retrieval - https://www.iplexlaw.co.kr/zh/blog/dflare-block-diffusion-drafting - https://www.iplexlaw.co.kr/zh/blog/dflare-block-diffusion-drafting