# Titans: нейронная память, обновляемая во время инференса

Технический разбор Titans v1: ассоциативная память, неожиданность, забывание, архитектуры MAC/MAG/MAL и границы результатов на длинном контексте.

Source: https://www.iplexlaw.co.kr/ru/blog/titans-test-time-neural-memory

ГЛАВНАЯ / Новости и аналитика Новости и аналитика Titans: нейронная память, обновляемая во время инференса Технический разбор Titans v1: ассоциативная память, неожиданность, забывание, архитектуры MAC/MAG/MAL и границы результатов на длинном контексте. AI & Patents 2026.11.10 Опубликовано IPLEX Время чтения: 11 мин. Большое контекстное окно само по себе не означает, что ИИ сохраняет и правильно использует сведения из всей предыстории. Titans решает эту задачу, обновляя отдельную нейронную память при обработке новых данных и одновременно применяя внимание к текущему контексту. Разбор основан на первой версии работы «Titans: Learning to Memorize at Test Time» в arXiv. Рассматриваются обновляемые параметры, взаимодействие памяти и внимания и фактический смысл экспериментальных результатов; исходные схемы и таблицы сохранены. Работа и рассматриваемая версия Авторы — Ali Behrouz, Peilin Zhong и Vahab Mirrokni из Google Research. Идентификатор работы — arXiv:2501.00663, DOI — 10.48550/arXiv.2501.00663. Рассматриваемая версия v1 представлена 31 декабря 2024 года и содержит 27 страниц. Позднее работа была опубликована в NeurIPS 2025. Эта публикация отделена от текста v1: приведенные ниже описания, изображения и числовые результаты относятся к v1 и не смешиваются с последующими редакциями. Версия v1 доступна по лицензии CC BY 4.0. Указанные три исследователя являются авторами оригинальных схем и таблиц; в подписях приведены номера соответствующих иллюстраций в статье. Почему увеличения окна недостаточно Полное внимание моделирует прямые зависимости между токенами, но с ростом контекста резко возрастают вычислительные затраты и расход памяти. Рекуррентные модели сжимают прошлое в состояние фиксированного размера: это повышает масштабируемость, но создает риск утраты информации. Принять длинную последовательность и эффективно использовать ранние факты — разные способности. Уместна аналогия рабочего стола для текущей задачи и записей о прошлом. Однако «записи» Titans — это ассоциации в весах нейросети, а не читаемая стенограмма или обычный документальный архив. Краткосрочное внимание и обучаемая долговременная память выполняют разные функции. Запоминание ассоциаций во время инференса Память связывает ключ k со значением v. В уравнении 12 используется квадратичная ошибка ‖M(k) − v‖². Во внутреннем цикле меняются веса памяти M, а проекции ключей и значений и прочие параметры архитектуры обучаются во внешнем цикле. Это не полное повторное обучение большой языковой модели при поступлении каждого фрагмента. Градиент функции потерь ассоциативной памяти служит сигналом «неожиданности». Плохо представляемая текущей памятью ассоциация может вызвать более сильное обновление. Это величина оптимизации, а не проверка истинности сообщения или его значимости для пользователя. Момент переносит влияние недавней неожиданности, а зависящий от входа коэффициент забывания регулирует сохранение прежней памяти. Сочетаются текущий градиент, след предыдущих обновлений и адаптивное затухание, вместо бесконечного накопления каждого элемента. Извлечение выполняется отдельно: запрос проходит через память в прямом проходе без изменения весов. Различение записи и чтения необходимо, чтобы понять, какая часть системы продолжает обучаться во время инференса. MAC: память как часть контекста Memory as a Context (MAC) разбивает вход на сегменты. Текущий сегмент обращается к долговременной памяти; извлеченные сведения объединяются с токенами постоянной памяти и текущим сегментом до применения внимания. Взаимодействующие ветви показаны на рисунке 2. Рисунок 2, архитектура MAC. Ali Behrouz, Peilin Zhong и Vahab Mirrokni, Titans v1, CC BY 4.0. Воспроизведён фрагмент с рисунком или таблицей. Затем результат внимания обновляет долговременную память для следующего сегмента и вместе с выходом памяти участвует в формировании окончательного результата. Последовательность состоит из извлечения, объединения, внимания и обновления памяти — это конкретнее, чем просто добавление памяти к Transformer. Постоянная память имеет здесь специальный смысл: обученные параметры, не зависящие от входных данных и представляющие знания о задаче. Во время инференса они фиксированы. Их нельзя описывать как механизм постоянного хранения разговоров каждого пользователя. MAG, MAL и память без внимания В Memory as a Gate (MAG) вход обрабатывается ветвью нейронной памяти и ветвью внимания со скользящим окном, после чего выходы объединяются через механизм гейтинга. Внимание работает с текущим окном, а память передает более ранний контекст, обеспечивая взаимодополняющую обработку. Такая схема представлена на рисунке 4. Рисунок 4, архитектура MAG. Ali Behrouz, Peilin Zhong и Vahab Mirrokni, Titans v1, CC BY 4.0. Воспроизведён фрагмент с рисунком или таблицей. Memory as a Layer (MAL) последовательно размещает память перед вниманием. Сначала информация обрабатывается и сжимается памятью, затем поступает в модуль внимания. Рисунок 5 показывает этот порядок, при котором промежуточное представление может стать ограничением и уменьшить взаимодополняемость модулей. Рисунок 5, архитектура MAL. Ali Behrouz, Peilin Zhong и Vahab Mirrokni, Titans v1, CC BY 4.0. Воспроизведён фрагмент с рисунком или таблицей. В статье отдельно оценивается LMM — модуль долговременной памяти без внимания. Такое сравнение отделяет эффект самого механизма обновления памяти от преимущества его сочетания с вниманием. Масштаб и условия обучения В экспериментальной постановке перечислены модели на 170M, 340M, 400M и 760M параметров. Первые три обучались на 15 млрд токенов FineWeb-Edu, модели 760M — на 30 млрд. В таблице 1 приведены варианты 340M, 400M и 760M. При сравнении необходимо сохранять сведения и о числе параметров, и об объеме обучающих данных. Длина обучающей последовательности составляла 4 096 токенов; использовались токенизатор Llama 2 и словарь 32K. Применялись AdamW, начальный шаг обучения 0,0004 с косинусным расписанием, пакеты по 500 000 токенов и затухание весов 0,1. Сравнение включало Transformer++, семейство Mamba, DeltaNet, TTT и гибриды рекуррентных моделей с вниманием. Как читать результаты языковых задач Для 760M параметров и 30B токенов таблица 1 дает средний результат 48,69 у Transformer++, 49,69 у Gated DeltaNet, 51,08 у Samba и 51,49 у Gated DeltaNet-H2. У LMM он равен 51,56, MAC — 52,51, MAG — 52,50, MAL — 50,97. Эти значения не позволяют утверждать, что любой вариант Titans превосходит любой базовый метод. Перплексия Wiki составляет 19,93 у MAC, 18,61 у MAG и 19,07 у MAL против 19,88 у Gated DeltaNet-H2; здесь меньшее значение лучше. Незначительное преимущество MAC по средней оценке задач не означает лидерства по всем метрикам языкового моделирования. При 400M параметров и 15B токенов средние оценки MAC и MAG равны 48,65 и 48,60. Это результаты конкретных тестов в указанных условиях, а не универсальная мера интеллекта и не доказательство превосходства над крупными коммерческими языковыми моделями. Извлечение сведений из длинного контекста Тесты RULER с одной «иголкой» включают S-NIAH-PK, S-NIAH-N и S-NIAH-W при длинах 2K, 4K, 8K и 16K. Они проверяют восстановление нужной информации среди отвлекающего текста, а не только возможность принять длинный вход. Исходные результаты сохранены в таблице 2. Таблица 2, результаты RULER S-NIAH. Ali Behrouz, Peilin Zhong и Vahab Mirrokni, Titans v1, CC BY 4.0. Воспроизведён фрагмент с рисунком или таблицей. На 16K оценки MAC по трем задачам составляют 98,4, 97,4 и 95,2; LMM — 96,2, 80,2 и 80,6; TTT — 88,4, 4,4 и 0,0. При этом MAG получает 98,6 в S-NIAH-N, опережая MAC с 97,4. MAC не лучший в каждой ячейке таблицы. BABILong требует рассуждать по фактам, разбросанным в гораздо более длинных документах; статья сообщает о работе за пределами двух миллионов токенов. Условия с несколькими примерами и дообучением, размеры моделей и варианты с RAG различаются. Сравнения, в том числе с GPT-4, нельзя выдавать за единообразную постановку или гарантированный результат на любых деловых документах. Глубина памяти, скорость и ограничения Исследование сопоставляет память на MLP с одной–четырьмя слоями и линейную память. Увеличение глубины улучшало перплексию, но снижало пропускную способность. В этих опытах использовались модуль памяти и подмножество Pile; их нельзя переносить на полную стоимость всех архитектур Titans. Реализация объединяет градиенты в блоки, использует матричные умножения и параллельный расчет момента. Это не означает, что каждое нелинейное обновление можно безусловно выполнить одной параллельной операцией. Авторы также отмечают, что модуль памяти несколько медленнее Mamba2 и Gated DeltaNet. Сжатые ассоциации не являются дословной базой данных с сохранением происхождения каждого сведения. Изменение или забывание весов само по себе не гарантирует достоверность, точное восстановление цитат или удаление данных. Результаты v1 следует понимать в пределах испытанного масштаба, где наибольшая указанная модель имеет 760M параметров. Что дают абляции техническому и патентному анализу Для оценки решения существенно, как связаны память «ключ–значение», момент, адаптивное забывание и внимание. Формулировка «ИИ помнит» слишком общая и не раскрывает ни технический механизм, ни отношения между компонентами. Таблица 5, результаты абляций. Ali Behrouz, Peilin Zhong и Vahab Mirrokni, Titans v1, CC BY 4.0. Воспроизведён фрагмент с рисунком или таблицей. В таблице 5 оценка LMM на длинном контексте равна 92,68. Без момента она падает до 87,12, без затухания весов — до 85,60, с линейной памятью — до 85,34. Эти опыты показывают вклад компонентов. Перплексию языкового моделирования из данной таблицы нельзя автоматически называть перплексией Wiki из таблицы 1. В той же таблице оценки длинного контекста составляют 97,95 для MAC, 96,70 для MAG и 96,91 для MAL. Они помогают сравнивать архитектурные решения, но сами по себе не устанавливают действительность патентного притязания и не доказывают применение идентичной системы в коммерческом продукте. Основной архитектурный результат Titans связывает три решения: сохранение прошлого, внимание к текущему вводу и обновление либо забывание по ходу обработки. Вклад работы заключается в конкретном взаимодействии этих механизмов, а не только в названии «долговременная память». Полезная память не обязательно представляет собой точную копию исходного документа. При оценке следует сохранять привязку к масштабу, условиям испытаний и вычислительным компромиссам, отделяя предложенный механизм от обещаний о поведении промышленной системы. Сохранены исходные обозначения и формы; содержание раскрыто в тексте. Численные результаты и описание архитектуры относятся к 27-страничной версии arXiv v1. Они не приравниваются к последующей публикации и не подтверждают характеристики или реализацию коммерческого продукта. Рассмотренная версия: Titans, arXiv v1 (31 декабря 2024 года) Лицензия на рисунки: CC BY 4.0 Последующая публикация: NeurIPS 2025 Ознакомьтесь с практикой IPLEX по анализу технологий ИИ и патентов. Опыт патентного поверенного Ким Ёндока в области ИИ Прочитать корейский оригинал Материал отражает ситуацию на дату публикации. Обратитесь в IPLEX, чтобы обсудить обстоятельства вашего дела. Обсудить этот вопрос ↗ Все статьи НА ЭТОЙ СТРАНИЦЕ Работа и рассматриваемая версия Почему увеличения окна недостаточно Запоминание ассоциаций во время инференса MAC: память как часть контекста MAG, MAL и память без внимания Масштаб и условия обучения Как читать результаты языковых задач Извлечение сведений из длинного контекста Глубина памяти, скорость и ограничения Что дают абляции техническому и патентному анализу Основной архитектурный результат ОБРАТИТЕСЬ В IPLEX Обсудите с нами вопросы интеллектуальной собственности Мы рассматриваем ваши технологические и бизнес-потребности вместе. ↗ Связаться с нами Новее Дизайн светодиодной лампы: как прежняя публикация исключила защиту от нарушения ↗ Ранее Daedong Myeonok: различительный элемент ресторанного знака ↗ Материалы по теме Искусственный интеллект 2026.11.19 Эмбеддинги Matryoshka для поиска изображений: отбор по префиксу и ранжирование по полному вектору Разбираем Matryoshka Representation Learning: обучение вложенных представлений и результаты поиска на ImageNet-1K из NeurIPS 2022. ↗ Читать статью Искусственный интеллект 2026.11.18 Патент ByteDance на субтитры: распознавание отдельных дорожек и устранение наложения по времени Разбираем US11837234B2: выбор аудиодорожек и изменение времени субтитров, отдельно от публичных инструкций CapCut. ↗ Читать статью Искусственный интеллект 2026.11.17 Распознанный текст Apple: от номера или URL к подходящему действию US12001642B2 связывает распознанный текст, координаты, тип данных и ввод пользователя с контекстными меню и действиями. ↗ Читать статью

- https://www.iplexlaw.co.kr/ru
- https://www.iplexlaw.co.kr/ru/blog/category/ai
- https://arxiv.org/abs/2501.00663v1
- https://creativecommons.org/licenses/by/4.0/
- https://proceedings.neurips.cc/paper_files/paper/2025/hash/a4ca07aa108036f80cbb5b82285fd4b1-Abstract-Conference.html
- https://www.iplexlaw.co.kr/ru/ai-patents
- https://www.iplexlaw.co.kr/ko/blog/titans-test-time-neural-memory
- https://www.iplexlaw.co.kr/ru/contact
- https://www.iplexlaw.co.kr/ru/blog
- https://www.iplexlaw.co.kr/ru/blog/titans-test-time-neural-memory#article-1938-en-0
- https://www.iplexlaw.co.kr/ru/blog/titans-test-time-neural-memory#article-1938-en-1
- https://www.iplexlaw.co.kr/ru/blog/titans-test-time-neural-memory#article-1938-en-2
- https://www.iplexlaw.co.kr/ru/blog/titans-test-time-neural-memory#article-1938-en-3
- https://www.iplexlaw.co.kr/ru/blog/titans-test-time-neural-memory#article-1938-en-4
- https://www.iplexlaw.co.kr/ru/blog/titans-test-time-neural-memory#article-1938-en-5
- https://www.iplexlaw.co.kr/ru/blog/titans-test-time-neural-memory#article-1938-en-6
- https://www.iplexlaw.co.kr/ru/blog/titans-test-time-neural-memory#article-1938-en-7
- https://www.iplexlaw.co.kr/ru/blog/titans-test-time-neural-memory#article-1938-en-8
- https://www.iplexlaw.co.kr/ru/blog/titans-test-time-neural-memory#article-1938-en-9
- https://www.iplexlaw.co.kr/ru/blog/titans-test-time-neural-memory#article-1938-en-10
- https://www.iplexlaw.co.kr/ru/contact
- https://www.iplexlaw.co.kr/ru/blog/brunch-case-1939
- https://www.iplexlaw.co.kr/ru/blog/brunch-case-1937
- https://www.iplexlaw.co.kr/ru/blog/matryoshka-prefix-vector-image-retrieval
- https://www.iplexlaw.co.kr/ru/blog/matryoshka-prefix-vector-image-retrieval
- https://www.iplexlaw.co.kr/ru/blog/bytedance-track-based-caption-timing
- https://www.iplexlaw.co.kr/ru/blog/bytedance-track-based-caption-timing
- https://www.iplexlaw.co.kr/ru/blog/apple-recognized-text-contextual-actions
- https://www.iplexlaw.co.kr/ru/blog/apple-recognized-text-contextual-actions
