# SwiLA: память, учитывающая контекст

Как Switching Linear Attention объединяет линейные регрессионные модели в состоянии фиксированного размера: механизм обновления памяти, результаты извлечения информации и ограничения по ёмкости и вычислительным затратам.

Source: https://www.iplexlaw.co.kr/ru/blog/swila-switching-linear-attention

ГЛАВНАЯ / Новости и аналитика Новости и аналитика SwiLA: память, учитывающая контекст Как Switching Linear Attention объединяет линейные регрессионные модели в состоянии фиксированного размера: механизм обновления памяти, результаты извлечения информации и ограничения по ёмкости и вычислительным затратам. Искусственный интеллект 2026.10.29 Опубликовано IPLEX Время чтения: 13 мин. Технический разбор статьи подготовил Ким Ёндок, патентный поверенный Республики Корея, IPLEX IP LAW FIRM. Одно и то же слово в разных контекстах может обозначать разные объекты. Когда ИИ сжимает историю разговора для хранения в памяти, эти различия необходимо сохранить. Если несколько контекстов объединить в одном представлении, соответствующие связи могут мешать друг другу при извлечении информации. Switching Linear Attention, или SwiLA, распределяет память фиксированного размера между несколькими компонентами линейной регрессии и меняет вклад в их обновление с учётом связи между входом и уже накопленным состоянием. Идея состоит в том, чтобы сделать функцию извлечения информации выразительнее без неограниченного увеличения объёма памяти. 1. Статья и рассматриваемая версия Авторы Switching Linear Attention — Hyun Dong Lee, Xavier Gonzalez, Nicolas Zucchet, E. Kelly Buchanan, Emily B. Fox и Scott W. Linderman. В статье указана аффилиация Stanford University. В сноске уточняется, что Xavier Gonzalez работал в Stanford во время исследования и сейчас работает в Unconventional AI. Разбор посвящён arXiv:2609.39034v1, опубликованной 30 сентября 2026 года; DOI — 10.48550/arXiv.2609.39034. В исходном PDF работа обозначена как статья конференции COLM 2026. Приведённые ниже числа и иллюстрации относятся именно к версии v1. Работа опубликована на условиях CC BY 4.0. Источник воспроизводимых рисунков и таблиц — Lee и соавторы, Switching Linear Attention, 2026; подписи сохраняют их исходные номера. Автор настоящего комментария и исследовательский коллектив статьи — разные лица. 2. Почему важен способ чтения памяти: полный журнал или сжатое состояние Обычное softmax-внимание хранит ключи и значения предыдущих токенов в KV-кеше. Оно сопоставляет запрос с ключами и объединяет нужные значения. Такой способ гибок, но с увеличением контекста растёт и кеш. Линейное внимание накапливает прошлую информацию в матрице состояния фиксированного размера. Это похоже на чтение сводного регистра вместо повторного просмотра всей истории. Однако одно линейное отображение запросов в значения ограничивает возможность представить связи, меняющиеся в зависимости от контекста. Например, имя Harry требует разных ассоциаций в абзаце о музыканте и в абзаце о вымышленном волшебнике. SwiLA использует смесь регрессионных моделей, чтобы учитывать случаи, когда одна подсказка в разных контекстах указывает на разные значения. Figure 1 из статьи: линейная и кусочная регрессия, структура состояния SwiLA и приближение softmax. Справа показан тестовый R² синтетической задачи, а не точность языковой модели. Источник: Lee и соавторы, 2026, CC BY 4.0. 3. Основная идея: память как смесь регрессионных компонентов Исследователи рассматривают запоминание как обучение функции регрессии от ключей к значениям, а извлечение — как вычисление этой функции для запроса. Такой подход называется регрессией во время применения модели, или test-time regression (TTR). При чтении токенов меняется состояние быстрых весов, обучаемых внутри контекста, а не вся языковая модель заново. Базовое чтение памяти в DeltaNet сводится к умножению запроса q на одну матрицу состояния W. SwiLA разделяет состояние на J компонентов линейной регрессии и задаёт веса смешивания отдельно для каждого выходного измерения. Это напоминает несколько специализированных регистров, вклад которых зависит от вопроса. Выход представляет собой сумму предсказаний компонентов с весами смеси со стороны запроса. Поэтому слово switching не означает обязательной жёсткой маршрутизации только к одному эксперту. Зависимость весов от входа делает общую функцию извлечения выразительнее единственного линейного преобразования. При D выходных измерениях число возможных комбинаций выбора компонентов составляет J^D, тогда как объём хранимых весов масштабируется как J×D². Число комбинаций нельзя отождествлять с фактической ёмкостью памяти. Авторы не утверждают, что фиксированное состояние сохраняет всю прошлую информацию без потерь. 4. Обработка токена: ошибка предсказания определяет обновление Сначала из входного токена вычисляются запросы, ключи, значения и веса смеси. Затем каждый регрессионный компонент использует своё текущее состояние, чтобы предсказать значение для данного ключа. Разница между предсказанным и наблюдаемым значениями образует ошибку предсказания. На третьем шаге априорные веса, полученные из входа, объединяются с ошибками компонентов для вычисления их ответственностей — апостериорных вероятностей принадлежности. Один и тот же вход может получить разные ответственности в зависимости от содержимого памяти. Это отличает механизм от маршрутизатора, принимающего решение исключительно по входу. Далее быстрые веса каждого компонента обновляются на величину, пропорциональную произведению скорости обучения, ответственности, ошибки предсказания и ключа. После обновления к компонентам применяется запрос, а результаты суммируются с весами со стороны запроса. Исследователи выводят эти операции из онлайн-алгоритма ожидания–максимизации для смеси линейных регрессий. EM задаёт способ оценить принадлежность скрытым компонентам и обновить модель. Здесь рекуррентная формула строится на одном шаге стохастического градиентного обновления быстрых весов на токен. Длительная оптимизация до сходимости при поступлении каждого токена не выполняется. 5. Сохранение контекста и забывание: Temporal SwiLA и Gated SwiLA Temporal SwiLA учитывает, что контекст обычно сохраняется на протяжении нескольких последовательных токенов. Предыдущее распределение вероятностей компонентов смешивается с распределением, полученным из текущего входа, и передаётся на следующий шаг. Это вычислительно доступное приближение фильтрации скрытой марковской модели позволяет сохранять предпочтение компонентов, даже если контекстная подсказка не повторяется внутри абзаца. Gated SwiLA добавляет зависящий от входа вентиль забывания, ослабляющий старое состояние. В статье различаются варианты затухания до и после вычисления ответственностей. Реализация Gated SwiLA использует формулу, в которой ошибки предсказания и ответственности рассчитываются по уже ослабленному состоянию. Множество компонентов бесполезно, если почти все обновления достаются нескольким из них. Авторы вводят вспомогательную функцию потерь, поощряющую сбалансированное использование компонентов и специализацию на отдельных токенах. Обсуждается также зависящий от входа шум, но в основных языковых экспериментах с 374M параметрами шум маршрутизатора и временного вентиля отключён. Не все предложенные приёмы применялись одновременно во всех экспериментах. 6. Синтетические задачи: один ключ и разные значения в разных контекстах В эксперименте по приближению softmax используются синтетические последовательности длиной 512 и размерностью 32: 65 536 обучающих и 2 048 тестовых последовательностей. Сравнение с DeltaNet проводится при одинаковом бюджете рекуррентного состояния. Лучшая конфигурация SwiLA при каждом бюджете показывает более высокий тестовый R². Это результат для заданных синтетических входов и поиска конфигураций, а не гарантия такой же точности приближения на любых данных. Задача контекстно-зависимого ассоциативного воспроизведения CDAR содержит четыре контекста по 32 пары ключ–значение, всего 128 связей. Один ключ соответствует разным значениям в разных контекстах, а токены контекста не повторяются постоянно. Поэтому модель должна удерживать и связи, и информацию об активном контексте. Длина последовательности — 1 024 токена. На Figure 2A Temporal SwiLA с одной головой, размерностью 32 и четырьмя компонентами смеси — минимальная конфигурация, достигающая почти идеальной точности; размер состояния равен 4 096. Однако график показывает лучший результат по перебору скоростей обучения и случайных начальных состояний. Это не показатель средней устойчивости обучения или успешности реального сервиса. Figure 2 из статьи: слева — точность CDAR в зависимости от размера состояния; справа — точность RegBench при разном числе примеров предобучения. Это разные синтетические задачи; условия сравнения, включая число слоёв, нужно различать. Источник: Lee и соавторы, 2026, CC BY 4.0. RegBench предлагает примеры строк, созданных случайными вероятностными конечными автоматами, и проверяет обучение распределению следующего токена внутри контекста. Сравниваются восьмислойные модели; размер состояния каждого рекуррентного слоя установлен равным 16 384. При небольшом объёме обучающих данных Temporal SwiLA и DN-MoM сильны, но при увеличении данных наивысшей точности достигает Transformer. SwiLA не лидирует при любом объёме данных. 7. Языковые модели: сравнение при сопоставимом масштабе и обучении В основном сравнении модели примерно с 374 млн параметров, 24 слоями и скрытой размерностью 1 024 обучаются на приблизительно 15 млрд токенов FineWeb-Edu. Длина обучающей последовательности — 4 096, используются восемь GPU H100. Промежуточные размерности блоков прямого распространения немного меняются, чтобы выровнять общее число параметров. Варианты SwiLA используют восемь голов, по четыре компонента смеси на голову, а также ключи и значения размерности 64. Основное рекуррентное состояние составляет 131 072 скаляра на слой. DeltaNet, GDN и KDA имеют такой же бюджет основного состояния. Это не означает равенства всей оперативно используемой памяти или вычислительной нагрузки. Table 1 из статьи: перплексия и точность рассуждений на основе здравого смысла для моделей на 374 млн параметров. Перплексия должна быть ниже, точность — выше; эти метрики нельзя трактовать как один взаимозаменяемый показатель. Источник: Lee и соавторы, 2026, CC BY 4.0. Средняя точность задач на рассуждение с опорой на здравый смысл составляет 45,3% у Transformer++, 43,7% у DeltaNet, 45,0% у Gated DeltaNet и 46,6% у KDA. SwiLA достигает 44,7%, а Gated SwiLA и Gated Temporal SwiLA — по 45,4%. Варианты с вентилями превышают результат Transformer++ на 0,1 процентного пункта, однако KDA показывает больше. Оснований считать эту небольшую разницу статистически установленным преимуществом или переносить её на все крупные модели не представлено. Table 2 из статьи: показатель contains на шести задачах извлечения информации с входами, обрезанными до 2K токенов. Это не общая точность всех задач ответа на вопросы. Источник: Lee и соавторы, 2026, CC BY 4.0. Средние результаты задач на извлечение информации — 17,3% у DeltaNet, 19,2% у Gated DeltaNet, 20,3% у KDA и 20,6% у Gated Temporal SwiLA. Transformer++ достигает 28,3%, FoX — 33,7%; разрыв остаётся существенным. Улучшение извлечения в фиксированном состоянии и полная замена модели с сохранением всего KV-кеша — разные утверждения. Hybrid Temporal SwiLA чередует три рекуррентных слоя с одним слоем softmax-внимания и получает 31,8%, превышая 29,5% у Hybrid GDN и 28,3% у Transformer++. Но слои полного внимания по-прежнему сохраняют KV-кеш. Свойство фиксированного состояния чистой SwiLA нельзя распространять на гибридную модель целиком. 8. Условия роста производительности: обучение и инференс измеряются отдельно В отличие от экспериментов по точности, тест пропускной способности использует модели с 1,3 млрд параметров на одном H100. Для обучающих последовательностей длиной 2K, 4K, 8K и 16K размеры пакетов составляют соответственно 64, 32, 16 и 8: на обновление всегда приходится 131 072 токена. Во время включены прямой и обратный проходы, ограничение нормы градиента и шаг AdamW. Figure S3 из статьи: пропускная способность обучения и пиковая выделенная память при одинаковом числе токенов на обновление. Фиксированное состояние не гарантирует более быстрого обучения или меньшего общего потребления памяти. Источник: Lee и соавторы, 2026, CC BY 4.0. При инференсе синтетический промпт из 2 048 токенов дополняется 128 токенами посредством жадного декодирования. Размер пакета увеличивается от 1 до 128. Измеряется полное время генерации, включая обработку промпта (prefill) и декодирование. Конфигурации, на которых заканчивается память, и более крупные пакеты исключаются из завершённых измерений. Figure S4 из статьи: полная пропускная способность инференса и пиковая память при разных размерах пакета. X означает нехватку памяти. Задержку отдельного запроса следует отличать от пропускной способности большого пакета. Источник: Lee и соавторы, 2026, CC BY 4.0. Авторы сообщают о совокупной пропускной способности инференса в четыре–пять раз выше базового Transformer. В результат входит возможность обрабатывать более крупные пакеты без KV-кеша. Это не означает ускорения в четыре–пять раз при любом размере пакета или такого же сокращения ожидания ответа одним пользователем. По сравнению с GDN обучение SwiLA примерно вдвое медленнее, инференс — примерно в 1,25–1,5 раза медленнее, а потребление памяти выше. 9. Сохраняющиеся ограничения и условия применения Во-первых, ёмкость памяти остаётся фиксированной. Более длинный контекст не добавляет места для хранения, поэтому интерференция и ограничения ёмкости сохраняются. В частности, входы в проверке извлечения обрезаются до 2K токенов; по этим результатам нельзя судить о точности работы со сверхдлинными документами. Во-вторых, зависимости ответственностей от существующего состояния создают нелинейную рекурсию, затрудняющую параллельное обучение. В экспериментах используется быстрое последовательное ядро Triton. В приложении предложены итерации Ньютона и параллелизация по блокам, но нельзя утверждать, что эти оптимизации уже устранили ограничение скорости обучения в основных экспериментах. В-третьих, увеличение числа экспертов не обязательно улучшает результат. В отдельной абляции с моделями на 115 млн параметров и 5 млрд обучающих токенов рост числа компонентов с четырёх до шестнадцати при том же бюджете состояния уменьшает размерности проекций и немного ухудшает качество. Число компонентов приходится согласовывать с выразительной ёмкостью каждого из них. В-четвёртых, базовая SwiLA подвержена коллапсу экспертов. В абляции добавление вспомогательной функции потерь снижает тестовую перплексию с 36,769 до 16,807. Для Temporal SwiLA соответствующие значения — 16,718 и 16,715, то есть различие мало. Эти числа относятся к отдельной абляции; их нельзя смешивать с результатами основного сравнения моделей на 374 млн параметров. 10. Технические отличия с точки зрения патентного поверенного Техническая задача заключается в более точном сохранении и извлечении зависимых от контекста связей ключ–значение в ограниченном рекуррентном состоянии. Решение объединяет смесь линейных регрессоров, веса для каждого выходного измерения, ответственности с учётом ошибки предсказания текущего состояния и обновление состояния на основе этих ответственностей. В отличие от выбора памяти только по входу, SwiLA учитывает, насколько хорошо текущее содержимое памяти объясняет этот вход. Модификация Temporal обеспечивает устойчивость контекста во времени, а Gated добавляет затухание состояния. Для корректного описания различий нужно отделять роли этих механизмов и показывать, как они сочетаются. Подтверждены улучшения на синтетических задачах при определённых бюджетах состояния и рост качества извлечения в экспериментах с 374 млн параметров. При этом остаются повышенные затраты на обучение и инференс, а также отставание от полного внимания в извлечении информации. На мой взгляд, ценность работы состоит не столько в разделении памяти, сколько в согласованном проектировании её обновления и функции чтения в единой вероятностной модели. Это технический комментарий, а не заключение о патентоспособности или нарушении прав. 11. Итоги SwiLA сохраняет память фиксированного размера, характерную для линейного внимания, и повышает выразительность извлечения за счёт контекстной смеси регрессионных компонентов. Ключевые особенности — влияние ошибки предсказания существующего состояния на следующее обновление и отдельный механизм сохранения контекста во времени. Эксперименты показывают возможность улучшить извлечение информации при фиксированном состоянии. Однако разница в ёмкости по сравнению с вниманием, сохраняющим всю историю, и затраты последовательного обучения остаются. При выборе архитектуры необходимо совместно оценивать требуемую длину контекста, точность извлечения, пакетную пропускную способность и стоимость обучения. Сохранены исходные обозначения и формы; содержание раскрыто в тексте. Связанная практика: патенты в области ИИ Технические и патентные разборы ИИ от IPLEX Научная статья: Switching Linear Attention Прочитать корейский оригинал Материал отражает ситуацию на дату публикации. Обратитесь в IPLEX, чтобы обсудить обстоятельства вашего дела. Обсудить этот вопрос ↗ Все статьи НА ЭТОЙ СТРАНИЦЕ 1. Статья и рассматриваемая версия 2. Почему важен способ чтения памяти: полный журнал или сжатое состояние 3. Основная идея: память как смесь регрессионных компонентов 4. Обработка токена: ошибка предсказания определяет обновление 5. Сохранение контекста и забывание: Temporal SwiLA и Gated SwiLA 6. Синтетические задачи: один ключ и разные значения в разных контекстах 7. Языковые модели: сравнение при сопоставимом масштабе и обучении 8. Условия роста производительности: обучение и инференс измеряются отдельно 9. Сохраняющиеся ограничения и условия применения 10. Технические отличия с точки зрения патентного поверенного 11. Итоги ОБРАТИТЕСЬ В IPLEX Обсудите с нами вопросы интеллектуальной собственности Мы рассматриваем ваши технологические и бизнес-потребности вместе. ↗ Связаться с нами Новее Отзыв патентной заявки во время судебного оспаривания отказа ↗ Ранее Товарные знаки в Чили: процедура регистрации, сроки и три особенности ↗ Материалы по теме Искусственный интеллект 2026.10.28 Патент Microsoft на синтез речи: звуки, слова и структура предложения Патент US12094447B2 описывает объединение фонем или символов с векторными представлениями слов и грамматическими признаками для синтеза речи. ↗ Читать статью Искусственный интеллект 2026.10.27 GBLA: эффективная обработка длинной истории рекомендаций Технический и патентный анализ двунаправленного линейного внимания с гейтами, гибридного кодировщика и границ опубликованных результатов. ↗ Читать статью Искусственный интеллект 2026.10.22 DFlare: больше информации для черновой модели Послойное объединение признаков, раздельные KV-проекции и постепенное изменение функции потерь в блочно-диффузионном спекулятивном декодировании. ↗ Читать статью

- https://www.iplexlaw.co.kr/ru
- https://www.iplexlaw.co.kr/ru/blog/category/ai
- https://www.iplexlaw.co.kr/ru/ai-patents
- https://arxiv.org/abs/2609.39034
- https://www.iplexlaw.co.kr/ko/blog/swila-switching-linear-attention
- https://www.iplexlaw.co.kr/ru/contact
- https://www.iplexlaw.co.kr/ru/blog
- https://www.iplexlaw.co.kr/ru/blog/swila-switching-linear-attention#article-1891-en-0
- https://www.iplexlaw.co.kr/ru/blog/swila-switching-linear-attention#article-1891-en-1
- https://www.iplexlaw.co.kr/ru/blog/swila-switching-linear-attention#article-1891-en-2
- https://www.iplexlaw.co.kr/ru/blog/swila-switching-linear-attention#article-1891-en-3
- https://www.iplexlaw.co.kr/ru/blog/swila-switching-linear-attention#article-1891-en-4
- https://www.iplexlaw.co.kr/ru/blog/swila-switching-linear-attention#article-1891-en-5
- https://www.iplexlaw.co.kr/ru/blog/swila-switching-linear-attention#article-1891-en-6
- https://www.iplexlaw.co.kr/ru/blog/swila-switching-linear-attention#article-1891-en-7
- https://www.iplexlaw.co.kr/ru/blog/swila-switching-linear-attention#article-1891-en-8
- https://www.iplexlaw.co.kr/ru/blog/swila-switching-linear-attention#article-1891-en-9
- https://www.iplexlaw.co.kr/ru/blog/swila-switching-linear-attention#article-1891-en-10
- https://www.iplexlaw.co.kr/ru/contact
- https://www.iplexlaw.co.kr/ru/blog/brunch-case-1892
- https://www.iplexlaw.co.kr/ru/blog/chile-trademark-filing-guide
- https://www.iplexlaw.co.kr/ru/blog/microsoft-multilevel-tts
- https://www.iplexlaw.co.kr/ru/blog/microsoft-multilevel-tts
- https://www.iplexlaw.co.kr/ru/blog/gbla-generative-retrieval
- https://www.iplexlaw.co.kr/ru/blog/gbla-generative-retrieval
- https://www.iplexlaw.co.kr/ru/blog/dflare-block-diffusion-drafting
- https://www.iplexlaw.co.kr/ru/blog/dflare-block-diffusion-drafting