# Gated DeltaNet-2：将擦除与写入分开

解析独立擦除、写入门如何改善固定容量的循环记忆，并核对论文架构、实验数据及其适用边界。

Source: https://www.iplexlaw.co.kr/zh/blog/gated-deltanet-2-erase-write

首页 / 新闻与洞见 新闻与洞见 Gated DeltaNet-2：将擦除与写入分开 解析独立擦除、写入门如何改善固定容量的循环记忆，并核对论文架构、实验数据及其适用边界。 人工智能 2026.10.20 已出版 IPLEX 阅读约13分钟 论文研究什么问题 本文分析Ali Hatamizadeh、Yejin Choi、Jan Kautz的《Gated DeltaNet-2: Decoupling Erase and Write in Linear Attention》。所依据的是arXiv:2605.22791v1，提交日期为2026年5月21日，PDF标注5月22日。该文为预印本，不据此宣称已在期刊发表。论文采用CC BY 4.0许可，转载的架构图、表格和吞吐量图归属于上述作者及NVIDIA。 核心问题是如何修改容量有限的压缩记忆，同时尽量不干扰已有的其他关联。改进点在于更有选择性的更新，而非单纯扩大记忆。下文区分论文报告的结果与我们从技术、专利实务角度作出的解读。 从增长的缓存到固定状态 Softmax注意力可直接访问历史词元，但KV缓存随序列增长。循环线性注意力则将键值关联累积到固定大小的矩阵中：键提供寻址线索，值承载内容，查询从状态中读取信息。这抑制了存储量增长，却会因多种关联共享有限空间而产生干扰。 DeltaNet根据新值与当前读取值之间的差更新记忆。Gated DeltaNet加入可学习的遗忘，Kimi Delta Attention（KDA）进一步按通道控制衰减。然而，擦除旧内容与写入新内容的强度仍由同一个标量beta控制。 在两个维度上独立控制 Gated DeltaNet-2保留逐通道衰减alpha，同时通过独立线性投影及sigmoid生成输入相关的擦除门b和写入门w。b作用于键通道，w作用于值通道，得到e = b ⊙ k和z = w ⊙ v。 先衰减得到Sbar = D Sprevious，再读取r = Sbarᵀe，按S = Sbar + k(z − r)ᵀ更新，查询使用更新后的状态。若两个门退化为同一标量beta，即回到KDA；若衰减也为标量，则回到Gated DeltaNet。技术差异在于作用维度及更新项的关系，而不只是多了两个门。 图1：Gated DeltaNet-2混合架构与模块设计 词元路径与并行训练 查询和键依次经过线性投影、短因果卷积、SiLU和L2归一化；值经过投影、卷积和SiLU。循环算子输出再经RMS归一化、独立输出门和投影。输出门并非写入门。 训练采用64词元分块的WY形式，将逐通道累积衰减吸收到非对称擦除因子中，在块内使用三角方程求解与稠密矩阵乘法。反向传播必须用已经门控的键和值累积梯度，不能像标量beta那样简单移到运算外。FP32衰减计算、状态与求解精度也是实现要点。 实验比较的边界 主要实验使用13亿参数模型、1000亿FineWeb-Edu训练词元和4K训练长度，对比Mamba-2、Gated DeltaNet、KDA以及Mamba-3的SISO、MIMO版本。循环与混合架构分别评估，混合架构另加窗口为2K的滑动窗口注意力。 在16个头、键和值各128维的设置下，每层、每个批次元素的循环状态含262,144个数值。这不是整个模型的总内存。混合模型还保留有界的局部注意力缓存，以压缩远处信息并更精确地处理局部关系。 语言建模与推理成绩 表2的平均值由LAMBADA准确率及所列常识推理任务构成。循环模型为53.11，KDA为52.28，Gated DeltaNet为52.07；混合模型为53.97，后二者分别为52.68和52.25。相对KDA提高0.83与1.29个百分点，结论限于该实验条件。 平均领先并不代表每项领先。循环模型LAMBADA准确率48.09，低于Gated DeltaNet的49.62。混合模型WikiText困惑度15.62，而Mamba-3 SISO为15.54，该指标越低越好。 表2：语言建模与常识推理结果 检索改善仍伴随明显错误 RULER的4K MK-NIAH-1任务中，循环模型准确率37.8%，KDA为28.0%，Gated DeltaNet为27.8%；混合模型为48.0%，KDA为40.4%。循环模型提升9.8个百分点，支持其减轻干扰的作用，但37.8%远非可靠检索。循环模型S-NIAH-3从2K的89.8%降至4K的31.8%，Gated DeltaNet在4K为60.6%。 表4包括SWDE的HTML抽取、FDA的PDF键值抽取、SQuAD、TriviaQA、Natural Questions和DROP，输入均截断至2K。循环平均29.88，对比KDA的28.67；混合平均42.28，对比40.14。但循环模型DROP仅17.87，低于KDA的21.80。这并非对数十万词元文档高准确检索的验证。 表3：RULER单目标与多键检索准确率 表4：输入截断至2K词元的真实数据检索 消融实验与训练吞吐量 消融保留原投影参数，只在运行时将一个门沿通道求平均，因此参数量不变。4K MK-NIAH-1中，仅写入门逐通道得30.6，仅擦除门逐通道得35.2，两个门均逐通道得37.8。擦除范围由[0,1]扩至[0,2]时为37.6，没有一致的额外收益。两侧通道结构都有贡献，擦除侧单独保留时恢复了更多收益。 图2是在单张H100上、固定词元预算下测量13亿参数混合模型的训练吞吐量：从2K×8时每秒38.0千词元，到16K×1时36.1千词元。KDA略快，说明更精细的控制具有额外计算成本。不能将这一训练结果直接解释为推理延迟或部署费用的普遍优势。 表5：门控通道结构与擦除范围的消融实验 图2：单张H100测得的训练吞吐量 哪些结论尚未验证 该结构可为有界状态下积累长历史、分开处理近邻与远程信息的系统提供参考，这是基于设计的推论。论文并未验证韩文专利说明书分析、法律文档检索或某个具体工业服务。 主要证据集中在13亿参数、1000亿训练词元的规模，更大模型、其他语言及更长真实上下文需另行测试。表中未给出重复训练波动或置信区间。固定状态仍有信息容量限制，精细编辑不会使它变成无损存储。 专利实务如何描述技术关系 具体问题是有限循环状态中的关联干扰，以及键侧擦除与值侧写入受同一标量约束。解决手段是在同一个delta更新中结合逐通道衰减、独立擦除门与写入门。区别于KDA的不仅是门结构，还包括对应的非对称并行计算和门控梯度累积。 技术文件应说明作用轴、中间量及其在状态更新中的角色，并交代与训练计算的对应关系。效果应联系相同状态规模下的指标、消融与H100条件，同时保留单项劣势和开销。此处属于技术分析，不等于认定论文已证明可专利性。 设计启示 Gated DeltaNet-2展示了更有选择性地修改固定记忆的方法：分别学习擦除与写入，并让这种分工贯穿循环更新和并行训练。 值得关注的是干扰问题、协调更新和实测效果之间的联系。将这些联系与限制共同理解，比用某个最高分证明全面优越更有价值。 图中保留原始标注与形态，相关内容在正文中说明。 相关业务：人工智能专利 Gated DeltaNet-2论文第一版 · CC BY 4.0 查看韩文原文 本文基于发表时的情况撰写。如需就具体事项咨询，请联系IPLEX。 咨询相关业务 ↗ 全部文章 本页目录 论文研究什么问题 从增长的缓存到固定状态 在两个维度上独立控制 词元路径与并行训练 实验比较的边界 语言建模与推理成绩 检索改善仍伴随明显错误 消融实验与训练吞吐量 哪些结论尚未验证 专利实务如何描述技术关系 设计启示 咨询IPLEX 与我们讨论您的需求 保护、维权与管理。 我们将与您共同分析技术与业务需求。 ↗ 联系我们 较新文章 重复消息处理与专利创造性 ↗ 较早文章 埃及商标申请与注册实务指南 ↗ 相关解读 人工智能 2026.10.29 SwiLA：按上下文组织记忆 Switching Linear Attention如何在固定状态中组合多个线性回归模型？本文解读其记忆更新与检索机制、实验结果，以及仍然存在的容量和计算成本限制。 ↗ 阅读全文 人工智能 2026.10.28 微软语音合成专利：如何结合音素、词语与句子结构 结合美国专利US12094447B2，解析音素或字符信息、词嵌入与语法结构如何对齐、融合并生成语音。 ↗ 阅读全文 人工智能 2026.10.27 GBLA：如何高效读取长推荐历史 从技术与专利实务角度分析门控双向线性注意力、混合编码器，以及检索精度和速度数据的适用边界。 ↗ 阅读全文

- https://www.iplexlaw.co.kr/zh
- https://www.iplexlaw.co.kr/zh/blog/category/ai
- https://www.iplexlaw.co.kr/zh/ai-patents
- https://arxiv.org/abs/2605.22791v1
- https://creativecommons.org/licenses/by/4.0/
- https://www.iplexlaw.co.kr/ko/blog/gated-deltanet-2-erase-write
- https://www.iplexlaw.co.kr/zh/contact
- https://www.iplexlaw.co.kr/zh/blog
- https://www.iplexlaw.co.kr/zh/blog/gated-deltanet-2-erase-write#article-1858-en-0
- https://www.iplexlaw.co.kr/zh/blog/gated-deltanet-2-erase-write#article-1858-en-1
- https://www.iplexlaw.co.kr/zh/blog/gated-deltanet-2-erase-write#article-1858-en-2
- https://www.iplexlaw.co.kr/zh/blog/gated-deltanet-2-erase-write#article-1858-en-3
- https://www.iplexlaw.co.kr/zh/blog/gated-deltanet-2-erase-write#article-1858-en-4
- https://www.iplexlaw.co.kr/zh/blog/gated-deltanet-2-erase-write#article-1858-en-5
- https://www.iplexlaw.co.kr/zh/blog/gated-deltanet-2-erase-write#article-1858-en-6
- https://www.iplexlaw.co.kr/zh/blog/gated-deltanet-2-erase-write#article-1858-en-7
- https://www.iplexlaw.co.kr/zh/blog/gated-deltanet-2-erase-write#article-1858-en-8
- https://www.iplexlaw.co.kr/zh/blog/gated-deltanet-2-erase-write#article-1858-en-9
- https://www.iplexlaw.co.kr/zh/blog/gated-deltanet-2-erase-write#article-1858-en-10
- https://www.iplexlaw.co.kr/zh/contact
- https://www.iplexlaw.co.kr/zh/blog/brunch-case-1859
- https://www.iplexlaw.co.kr/zh/blog/egypt-trademark-filing-guide
- https://www.iplexlaw.co.kr/zh/blog/swila-switching-linear-attention
- https://www.iplexlaw.co.kr/zh/blog/swila-switching-linear-attention
- https://www.iplexlaw.co.kr/zh/blog/microsoft-multilevel-tts
- https://www.iplexlaw.co.kr/zh/blog/microsoft-multilevel-tts
- https://www.iplexlaw.co.kr/zh/blog/gbla-generative-retrieval
- https://www.iplexlaw.co.kr/zh/blog/gbla-generative-retrieval