# Gated DeltaNet-2: раздельное стирание и запись Как независимые вентили стирания и записи уточняют обновление рекуррентной памяти фиксированного размера: архитектура, эксперименты и ограничения. Source: https://www.iplexlaw.co.kr/ru/blog/gated-deltanet-2-erase-write ГЛАВНАЯ / Новости и аналитика Новости и аналитика Gated DeltaNet-2: раздельное стирание и запись Как независимые вентили стирания и записи уточняют обновление рекуррентной памяти фиксированного размера: архитектура, эксперименты и ограничения. ИИ 2026.10.20 Опубликовано IPLEX Время чтения: 13 мин. Статья и постановка задачи Ali Hatamizadeh, Yejin Choi и Jan Kautz предложили Gated DeltaNet-2: Decoupling Erase and Write in Linear Attention. Разбор относится к arXiv:2605.22791v1, поданному 21 мая 2026 года; на PDF указано 22 мая. Это препринт, а не утверждение о журнальной публикации. Статья доступна по CC BY 4.0; воспроизведённые схема, таблицы и график принадлежат указанным авторам и NVIDIA. Главный вопрос — как исправлять сжатую память, не нарушая другие связи. Предлагается точнее управлять обновлением, а не просто увеличивать объём памяти. Ниже результаты авторов отделены от нашей технической интерпретации и выводов для патентной практики. От растущего кэша к фиксированному состоянию Softmax-внимание обращается к предыдущим токенам напрямую, но KV-кэш растёт с длиной последовательности. Рекуррентное линейное внимание накапливает связи ключ–значение в матрице фиксированного размера. Ключ задаёт обращение к связи, значение несёт содержание, запрос считывает состояние. Экономия хранения сопровождается интерференцией: множество связей разделяет ограниченное пространство. DeltaNet обновляет разность между новым значением и текущим считыванием. Gated DeltaNet добавляет обучаемое забывание, а Kimi Delta Attention (KDA) делает затухание поканальным. Однако единый скаляр beta по-прежнему связывает интенсивность стирания старого содержания и записи нового. Независимое управление по двум осям Gated DeltaNet-2 сохраняет поканальное затухание alpha, но независимыми линейными проекциями и сигмоидами формирует зависящие от входа вентили стирания b и записи w. Первый действует на каналы ключа, второй — значения: e = b ⊙ k, z = w ⊙ v. После затухания Sbar = D Sprevious считывается r = Sbarᵀe и выполняется S = Sbar + k(z − r)ᵀ. Запрос читает обновлённое состояние. Если оба вентиля свести к одному скаляру beta, получается KDA; если сделать скалярным и затухание — Gated DeltaNet. Отличие определяется связью осей и членов обновления, а не самим количеством вентилей. Рисунок 1: гибридная архитектура и блок Gated DeltaNet-2 Обработка токена и параллельное обучение Запрос и ключ проходят линейную проекцию, короткую причинную свёртку, SiLU и L2-нормализацию; значение — проекцию, свёртку и SiLU. Выход рекуррентного оператора обрабатывается RMS-нормализацией, отдельным выходным вентилем и проекцией. Выходной вентиль не следует смешивать с вентилем записи. Для обучения используется блочная WY-форма с блоками по 64 токена. Накопленное поканальное затухание включается в асимметричные множители стирания, сохраняя внутри блока решение треугольных систем и плотные матричные произведения. При обратном проходе градиенты накапливаются с учётом уже модулированных ключей и значений: поканальные множители нельзя вынести подобно скаляру beta. Существенны вычисление затухания в FP32 и точность состояния и решения систем. Условия сравнения Основные эксперименты выполнены для моделей с 1,3 млрд параметров на 100 млрд токенов FineWeb-Edu при длине обучения 4K. Сравнивались Mamba-2, Gated DeltaNet, KDA и варианты Mamba-3 SISO/MIMO. Рекуррентные и гибридные семейства оценивались отдельно; гибрид добавляет внимание со скользящим окном 2K. При 16 головах и размерностях ключа и значения 128×128 состояние содержит 262 144 значения на слой и элемент пакета. Это не общий объём памяти модели. Гибрид дополнительно хранит ограниченный локальный кэш, сочетая сжатую дальнюю историю с более точными локальными взаимодействиями. Языковые задачи и рассуждение Среднее в таблице 2 включает точность LAMBADA и перечисленных задач на здравый смысл. Рекуррентная модель получила 53,11 против 52,28 у KDA и 52,07 у Gated DeltaNet. Гибридная — 53,97 против 52,68 и 52,25. Преимущество над KDA составляет 0,83 и 1,29 процентного пункта в условиях этого опыта. Лидерство по среднему не означает победу во всех задачах. Рекуррентная точность LAMBADA равна 48,09 против 49,62 у Gated DeltaNet. Перплексия WikiText у гибрида — 15,62, тогда как Mamba-3 SISO даёт 15,54; здесь меньшее значение лучше. Таблица 2: языковые задачи и рассуждение на основе здравого смысла Извлечение информации: улучшение не устраняет ошибки На MK-NIAH-1 из RULER при 4K рекуррентная модель достигает 37,8%, KDA — 28,0%, Gated DeltaNet — 27,8%. Гибрид достигает 48,0% против 40,4% у KDA. Прибавка 9,8 пункта у рекуррентной модели указывает на снижение интерференции, но 37,8% далеко от надёжного извлечения. Её S-NIAH-3 падает с 89,8% при 2K до 31,8% при 4K; Gated DeltaNet при 4K даёт 60,6%. В таблице 4 рассматриваются извлечение из HTML в SWDE, пары ключ–значение из PDF в FDA, SQuAD, TriviaQA, Natural Questions и DROP, причём вход обрезан до 2K токенов. Средние: 29,88 против 28,67 у KDA для рекуррентных моделей и 42,28 против 40,14 для гибридных. На DROP рекуррентная модель уступает KDA: 17,87 против 21,80. Это не проверка точного поиска в документах на сотни тысяч токенов. Таблица 3: точность поиска одного элемента и нескольких ключей в RULER Таблица 4: поиск на реальных данных при входе до 2K токенов Абляции и скорость обучения В абляциях веса проекций сохранялись, а один вентиль усреднялся по каналам во время исполнения: число параметров оставалось прежним. На MK-NIAH-1 при 4K только поканальная запись даёт 30,6, только поканальное стирание — 35,2, оба — 37,8. Расширение диапазона стирания с [0,1] до [0,2] даёт 37,6 без устойчивой дополнительной выгоды. Оба механизма вносят вклад, но сохранение лишь поканального стирания возвращает большую часть улучшения. Рисунок 2 показывает обучение гибридных моделей с 1,3 млрд параметров на одной H100 при фиксированном бюджете токенов. Скорость Gated DeltaNet-2 меняется с 38,0 тыс. токенов/с при 2K×8 до 36,1 при 16K×1. KDA немного быстрее. Более точное управление требует дополнительных вычислений; результат нельзя переносить напрямую на задержку инференса или стоимость внедрения. Таблица 5: абляции поканальных вентилей и диапазона стирания Рисунок 2: скорость обучения на одной H100 Границы доказательств Архитектура может быть полезна для накопления длинной истории в ограниченном состоянии и разделения близкого и далёкого контекста. Это вывод из устройства модели. Статья не проверяет анализ корейских патентных описаний, поиск юридических документов или конкретный промышленный сервис. Основные результаты относятся к 1,3 млрд параметров и 100 млрд обучающих токенов. Другие масштабы, языки и более длинные реальные контексты требуют проверки. В таблицах нет разброса между повторными обучениями и доверительных интервалов. Фиксированное состояние остаётся ограниченным по информационной ёмкости; точное редактирование не превращает его в хранение без потерь. Взгляд патентной практики Конкретная задача — интерференция множества связей в сжатом рекуррентном состоянии и ограничение, создаваемое общим скаляром для стирания по оси ключа и записи по оси значения. Решение объединяет поканальное затухание и независимые вентили в одном дельта-обновлении. Отличие от KDA связано также с асимметричной параллельной формой и соответствующим накоплением градиентов. В техническом описании следует совместно раскрывать оси, промежуточные величины, их роль в обновлении и соответствующие вычисления обучения. Эффекты необходимо привязывать к одинаковому размеру состояния, абляциям и условиям H100, включая слабые результаты отдельных задач и накладные расходы. Это технический анализ, а не заключение о патентоспособности. Что даёт такой подход Gated DeltaNet-2 позволяет избирательнее редактировать фиксированную память: стирание и запись обучаются независимо, а их разделение сохраняется в рекуррентном обновлении и параллельном обучении. Полезно рассматривать вместе проблему интерференции, согласованное обновление и измеренные эффекты. Такая связь с учётом ограничений информативнее, чем представление отдельного лучшего результата как всеобщего превосходства. Сохранены исходные обозначения и формы; содержание раскрыто в тексте. Связанная практика: патенты в области ИИ Статья Gated DeltaNet-2, версия 1 · CC BY 4.0 Прочитать корейский оригинал Материал отражает ситуацию на дату публикации. Обратитесь в IPLEX, чтобы обсудить обстоятельства вашего дела. Обсудить этот вопрос ↗ Все статьи НА ЭТОЙ СТРАНИЦЕ Статья и постановка задачи От растущего кэша к фиксированному состоянию Независимое управление по двум осям Обработка токена и параллельное обучение Условия сравнения Языковые задачи и рассуждение Извлечение информации: улучшение не устраняет ошибки Абляции и скорость обучения Границы доказательств Взгляд патентной практики Что даёт такой подход ОБРАТИТЕСЬ В IPLEX Обсудите с нами вопросы интеллектуальной собственности Мы рассматриваем ваши технологические и бизнес-потребности вместе. ↗ Связаться с нами Новее Дублирующиеся сообщения и изобретательский уровень ↗ Ранее Регистрация товарного знака в Египте: порядок и практические вопросы ↗ Материалы по теме Искусственный интеллект 2026.10.29 SwiLA: память, учитывающая контекст Как Switching Linear Attention объединяет линейные регрессионные модели в состоянии фиксированного размера: механизм обновления памяти, результаты извлечения информации и ограничения по ёмкости и вычислительным затратам. ↗ Читать статью Искусственный интеллект 2026.10.28 Патент Microsoft на синтез речи: звуки, слова и структура предложения Патент US12094447B2 описывает объединение фонем или символов с векторными представлениями слов и грамматическими признаками для синтеза речи. ↗ Читать статью Искусственный интеллект 2026.10.27 GBLA: эффективная обработка длинной истории рекомендаций Технический и патентный анализ двунаправленного линейного внимания с гейтами, гибридного кодировщика и границ опубликованных результатов. ↗ Читать статью - https://www.iplexlaw.co.kr/ru - https://www.iplexlaw.co.kr/ru/blog/category/ai - https://www.iplexlaw.co.kr/ru/ai-patents - https://arxiv.org/abs/2605.22791v1 - https://creativecommons.org/licenses/by/4.0/ - https://www.iplexlaw.co.kr/ko/blog/gated-deltanet-2-erase-write - https://www.iplexlaw.co.kr/ru/contact - https://www.iplexlaw.co.kr/ru/blog - https://www.iplexlaw.co.kr/ru/blog/gated-deltanet-2-erase-write#article-1858-en-0 - https://www.iplexlaw.co.kr/ru/blog/gated-deltanet-2-erase-write#article-1858-en-1 - https://www.iplexlaw.co.kr/ru/blog/gated-deltanet-2-erase-write#article-1858-en-2 - https://www.iplexlaw.co.kr/ru/blog/gated-deltanet-2-erase-write#article-1858-en-3 - https://www.iplexlaw.co.kr/ru/blog/gated-deltanet-2-erase-write#article-1858-en-4 - https://www.iplexlaw.co.kr/ru/blog/gated-deltanet-2-erase-write#article-1858-en-5 - https://www.iplexlaw.co.kr/ru/blog/gated-deltanet-2-erase-write#article-1858-en-6 - https://www.iplexlaw.co.kr/ru/blog/gated-deltanet-2-erase-write#article-1858-en-7 - https://www.iplexlaw.co.kr/ru/blog/gated-deltanet-2-erase-write#article-1858-en-8 - https://www.iplexlaw.co.kr/ru/blog/gated-deltanet-2-erase-write#article-1858-en-9 - https://www.iplexlaw.co.kr/ru/blog/gated-deltanet-2-erase-write#article-1858-en-10 - https://www.iplexlaw.co.kr/ru/contact - https://www.iplexlaw.co.kr/ru/blog/brunch-case-1859 - https://www.iplexlaw.co.kr/ru/blog/egypt-trademark-filing-guide - https://www.iplexlaw.co.kr/ru/blog/swila-switching-linear-attention - https://www.iplexlaw.co.kr/ru/blog/swila-switching-linear-attention - https://www.iplexlaw.co.kr/ru/blog/microsoft-multilevel-tts - https://www.iplexlaw.co.kr/ru/blog/microsoft-multilevel-tts - https://www.iplexlaw.co.kr/ru/blog/gbla-generative-retrieval - https://www.iplexlaw.co.kr/ru/blog/gbla-generative-retrieval