# GBLA: эффективная обработка длинной истории рекомендаций Технический и патентный анализ двунаправленного линейного внимания с гейтами, гибридного кодировщика и границ опубликованных результатов. Source: https://www.iplexlaw.co.kr/ru/blog/gbla-generative-retrieval ГЛАВНАЯ / Новости и аналитика Новости и аналитика GBLA: эффективная обработка длинной истории рекомендаций Технический и патентный анализ двунаправленного линейного внимания с гейтами, гибридного кодировщика и границ опубликованных результатов. Искусственный интеллект 2026.10.27 Опубликовано IPLEX Время чтения: 12 мин. Задача исследования Работа Gated Bidirectional Linear Attention for Generative Retrieval Artem Matveev, Vladislav Tytskiy, Sergei Makeev и Sergei Liamaev из Yandex посвящена эффективному использованию длинной истории взаимодействий. Анализ основан на версии 2 arXiv от 8 июня 2026 года работы, принятой на SIGIR 2026. Генеративный поиск выдаёт семантические идентификаторы кандидатов, а не обычный текстовый ответ. Двунаправленная история и авторегрессионный выход Кодировщик сопоставляет обе стороны уже наблюдённой к моменту прогноза истории, тогда как декодировщик авторегрессионно генерирует токены идентификатора. Это не означает доступа к будущим целевым меткам. В промышленном эксперименте при длине 2 048 Recall@1000 составляла 0,8667 для двунаправленного самовнимания и 0,8353 для причинной маски: разница 3,14 процентного пункта. Линейное вычисление и три дополнения Стоимость обычного внимания пропорциональна L²dh. Ядерное двунаправленное линейное внимание переставляет операции в φ(Q)(φ(K)ᵀV) с нормировкой на φ(Q)(φ(K)ᵀ1), используя положительное отображение, например ELU+1. Основное вычисление имеет порядок Ldh² и линейно по длине L при фиксированной ширине dh. GBLA добавляет локальное причинное смешивание Conv1D перед проекциями Q/K/V, скалярный гейт ключей с нормировкой по позициям и выходной гейт с RMSNorm и SiLU. Вес ключа действует и на агрегат признаков, и на знаменатель. Это мягкое взвешивание важности, а не двоичное удаление или рекуррентное забывание. Размер ядра свёртки в эксперименте равен четырём. Исходный рисунок 1: локальное смешивание и гейты ключей и выхода Зачем нужен гибридный кодировщик Многохешевые эмбеддинги объединяются и проецируются в кодировщик, далее используется декодировщик с перекрёстным вниманием. Девять слоёв повторяют [самовнимание, GBLA, GBLA]: три слоя самовнимания сохраняются, шесть заменяются. Поэтому весь гибрид не является полностью линейным. При длине 2 048 Recall@1000 равнялась 0,8668 для гибрида и 0,8586 для всех слоёв GBLA, разница — 0,82 пункта. Исходные таблицы 1 и 2: двунаправленность и гибридная схема Промышленные результаты и абляции На закрытых данных Yandex использовались семь дней и около 400 млн обучающих примеров с оценкой на следующем дне. Кодировщик имел девять слоёв, ширину 1 024 и 16 голов, причинный декодировщик — один слой. Эффективный размер батча совпадал, но максимальные скорости обучения различались: 7×10⁻⁴ и 5×10⁻⁴. Recall@1000 оценивает охват кандидатов для последующего ранжирования, а не клики или выручку. Самовнимание/гибрид дали Recall@1000 0,8667/0,8668 при 2 048; 0,8784/0,8790 при 4 096; 0,8854/0,8842 при 8 192. В последнем случае Recall@10 составила 0,3013/0,2948: улучшения не были всеобщими. При 2 048 удаление гейта ключей, свёртки или RMSNorm с гейтом снижало Recall@1000 с 0,8668 до 0,8661, 0,8652 или 0,8641. Простое линейное внимание давало 0,8620 и Recall@10 0,2675 против 0,2780 у GBLA. Эти точечные оценки сами по себе не доказывают статистическую значимость. Исходная таблица 3: качество поиска по длине истории Исходная таблица 4: абляции компонентов GBLA Ускорение слоя и всего обучения Тест одного слоя на H100 использовал батч восемь, среднее десяти запусков и FlashAttention-v3 как базу. При длине 2 048 GBLA занимала 0,618 мс против 0,585 мс, то есть была медленнее. Ускорение составляло 1,50× при 4 096, 2,46× при 8 192 и 8,22× при 32 768: 8,217 против 67,542 мс. Показатель 8,2× относится к этому слою, а не ко всему сервису. Полный шаг обучения при 8 192 и батче восемь сократился с 5 400 до 4 200 мс, около 1,29×. При 2 048 и батче 32 гибрид занимал 3 100 против 3 000 мс. Простое линейное внимание при 8 192 было быстрее — 3 800 мс, но с указанным компромиссом по качеству. Разные батчи не позволяют объяснять различия строк только длиной истории. Исходный рисунок 2: задержка одного слоя внимания Исходные таблицы 5 и 6: время слоя и полного обучения Открытые тесты и ограничения Для Amazon Beauty, Toys и Sports использовался протокол GRID/Tiger: фильтрация 5-core, последнее взаимодействие для теста, предпоследнее для валидации, эмбеддинги Flan-T5 и семантические ID RK-Means. Истории ограничены 128 элементами, результаты усреднены по пяти инициализациям. Recall@10 Tiger/GBLA: 0,0641/0,0611, 0,0584/0,0579 и 0,0345/0,0329 соответственно. Опубликованные Recall и NDCG у GBLA были немного ниже. Близость чисел не доказывает эквивалентность; эффективность на коротких историях не измерялась. Промышленные данные закрыты, а выводы ограничены указанными аппаратными, архитектурными и экспериментальными условиями. Исходная таблица 7: результаты на открытых данных Amazon Патентный взгляд на сочетание средств Важно связать задачу длинной истории с конкретным сочетанием локального смешивания, весов ключей, выходных гейтов и сохранённого самовнимания. Анализ должен различать отдельные элементы и их комбинацию, определять необходимые признаки формулы и сопоставлять заявленные эффекты с экспериментами. Публикация не доказывает новизну или патентоспособность возможной формулы. Уровень техники, объём охраны и достаточность раскрытия требуют отдельной оценки. При внедрении следует совместно измерять поиск кандидатов, последующее ранжирование, память и общую задержку. Исходные рисунки и таблицы сохранены с русскими пояснениями; ниже приведены работа и атрибуция CC BY 4.0. Сохранены исходные обозначения и формы; содержание раскрыто в тексте. Связанная практика: патенты в области ИИ Работа и иллюстрации: Matveev и соавторы, GBLA v2, 2026 (CC BY 4.0) · CC BY 4.0 Прочитать корейский оригинал Материал отражает ситуацию на дату публикации. Обратитесь в IPLEX, чтобы обсудить обстоятельства вашего дела. Обсудить этот вопрос ↗ Все статьи НА ЭТОЙ СТРАНИЦЕ Задача исследования Двунаправленная история и авторегрессионный выход Линейное вычисление и три дополнения Зачем нужен гибридный кодировщик Промышленные результаты и абляции Ускорение слоя и всего обучения Открытые тесты и ограничения Патентный взгляд на сочетание средств ОБРАТИТЕСЬ В IPLEX Обсудите с нами вопросы интеллектуальной собственности Мы рассматриваем ваши технологические и бизнес-потребности вместе. ↗ Связаться с нами Новее Ремонт подушек саксофона: признаки способа и изобретательский уровень ↗ Ранее Оспаривание промышленного образца: сначала доказательства раскрытия ↗ Материалы по теме Искусственный интеллект 2026.10.29 SwiLA: память, учитывающая контекст Как Switching Linear Attention объединяет линейные регрессионные модели в состоянии фиксированного размера: механизм обновления памяти, результаты извлечения информации и ограничения по ёмкости и вычислительным затратам. ↗ Читать статью Искусственный интеллект 2026.10.28 Патент Microsoft на синтез речи: звуки, слова и структура предложения Патент US12094447B2 описывает объединение фонем или символов с векторными представлениями слов и грамматическими признаками для синтеза речи. ↗ Читать статью Искусственный интеллект 2026.10.22 DFlare: больше информации для черновой модели Послойное объединение признаков, раздельные KV-проекции и постепенное изменение функции потерь в блочно-диффузионном спекулятивном декодировании. ↗ Читать статью - https://www.iplexlaw.co.kr/ru - https://www.iplexlaw.co.kr/ru/blog/category/ai - https://www.iplexlaw.co.kr/ru/ai-patents - https://arxiv.org/abs/2606.07317v2 - https://creativecommons.org/licenses/by/4.0/ - https://www.iplexlaw.co.kr/ko/blog/gbla-generative-retrieval - https://www.iplexlaw.co.kr/ru/contact - https://www.iplexlaw.co.kr/ru/blog - https://www.iplexlaw.co.kr/ru/blog/gbla-generative-retrieval#article-1885-en-0 - https://www.iplexlaw.co.kr/ru/blog/gbla-generative-retrieval#article-1885-en-1 - https://www.iplexlaw.co.kr/ru/blog/gbla-generative-retrieval#article-1885-en-2 - https://www.iplexlaw.co.kr/ru/blog/gbla-generative-retrieval#article-1885-en-3 - https://www.iplexlaw.co.kr/ru/blog/gbla-generative-retrieval#article-1885-en-4 - https://www.iplexlaw.co.kr/ru/blog/gbla-generative-retrieval#article-1885-en-5 - https://www.iplexlaw.co.kr/ru/blog/gbla-generative-retrieval#article-1885-en-6 - https://www.iplexlaw.co.kr/ru/blog/gbla-generative-retrieval#article-1885-en-7 - https://www.iplexlaw.co.kr/ru/contact - https://www.iplexlaw.co.kr/ru/blog/brunch-case-1886 - https://www.iplexlaw.co.kr/ru/blog/brunch-case-1884 - https://www.iplexlaw.co.kr/ru/blog/swila-switching-linear-attention - https://www.iplexlaw.co.kr/ru/blog/swila-switching-linear-attention - https://www.iplexlaw.co.kr/ru/blog/microsoft-multilevel-tts - https://www.iplexlaw.co.kr/ru/blog/microsoft-multilevel-tts - https://www.iplexlaw.co.kr/ru/blog/dflare-block-diffusion-drafting - https://www.iplexlaw.co.kr/ru/blog/dflare-block-diffusion-drafting