# LSA: как сократить затраты на поиск нужных токенов

Кластеризация в обучаемом пространстве, поиск Flat и Tree, варианты D-LSA и N-LSA, а также условия экспериментов с точностью, скоростью и памятью.

Source: https://www.iplexlaw.co.kr/ru/blog/latent-sparse-attention

ГЛАВНАЯ / Новости и аналитика Новости и аналитика LSA: как сократить затраты на поиск нужных токенов Кластеризация в обучаемом пространстве, поиск Flat и Tree, варианты D-LSA и N-LSA, а также условия экспериментов с точностью, скоростью и памятью. Искусственный интеллект 2026.11.06 Опубликовано IPLEX Время чтения: 14 мин. Чтение меньшего числа токенов не гарантирует ускорения языковой модели, если их предварительный отбор остаётся дорогим. Latent Sparse Attention (LSA) группирует ключи в обученном пространстве и направляет запрос к нужным позициям через представителей этих групп. Целью становится стоимость самого поиска. D-LSA подключается к готовой модели через дистилляцию индексатора, а N-LSA обучается вместе с моделью с самого начала. Ниже отдельно рассмотрены устройство, измеренные результаты и ограничения обеих схем в версии статьи, на которой основан исходный материал. Статья и рассматриваемая версия Работа называется Latent Sparse Attention: Towards Subquadratic Ultra-Long Context Attention. Авторы — Ales Kubicek, Andrea Caciolai, Liangzu Peng, Sukrit Sumant, Benjamin Hoover, Fraser Greenlee, Ruairidh M. Battleday, Radim Urban, Torsten Hoefler и James C. R. Whittington. Urban и Hoefler представляют ETH Zurich, остальные перечисленные авторы — Prefrontal AI. Анализ относится к arXiv:2610.42147v1, поданной 30 октября 2026 года. DOI — 10.48550/arXiv.2610.42147, лицензия — CC BY 4.0. Это препринт, который здесь не представляется как рецензированная публикация. Сохранены исходные рисунки 3–7 и таблица 3; сообщённые исследователями измерения отделяются от технической интерпретации. Почему разреженное внимание тоже бывает дорогим Запрос описывает искомую информацию, ключ служит для сопоставления, а значение содержит представление, которое считывается. При полном внимании каждый запрос сравнивается с предшествующими ключами, поэтому предварительная обработка входа, или prefill, обычно имеет квадратичную зависимость от длины контекста T. Разреженное внимание выбирает часть позиций, но индексатор при этом может продолжать просматривать все ключи либо последовательные блоки. В эксперименте на рисунке 2 индексатор занимал 98 % времени prefill при десяти миллионах токенов. Измерение относится к одному глобальному слою внимания GLM-5.3-Flash на одной H200 и последнему блоку из 32 768 запросов. Под семантической кластеризацией LSA понимается сходство в обученном векторном пространстве, а не ручное присвоение тематических меток. Представители групп помогают вернуться к исходным данным В основном варианте D-LSA ключи проецируются в 64-мерное пространство индексации и нормализуются. Четыре соседних ключа объединяются пулингом, затем сходные ключи сливаются внутри блоков по 512 токенов. Критерий Уорда предпочитает слияния с наименьшим ростом внутрикластерного разброса. Полученные группы, или buckets, содержат в среднем восемь ключей, максимум шестнадцать; завершённые блоки впоследствии не перестраиваются. Рисунок 3. D-LSA Flat и Tree выбирают группы и восстанавливают исходные позиции токенов. Kubicek и др., arXiv:2610.42147v1, CC BY 4.0. Для группы сохраняются центроид и отображение на исходные позиции. Запрос оценивает центроиды, выбирает перспективные группы и раскрывает их индексы в пределах бюджета дальних токенов. Само внимание использует исходные ключи и значения, а также начальные sink-токены и недавнее окно. Окно охватывает последний ещё не кластеризованный блок. Центроид помогает искать, но не заменяет всю исходную информацию при окончательном вычислении. Flat оценивает все центроиды. При фиксированном размере группы стоимость одного запроса остаётся линейной по T, а индексирование prefill — асимптотически квадратичным. Tree добавляет верхние уровни групп и лучевой поиск с ограничением кандидатов на каждом уровне. При постоянном бюджете получается O(log T) сравнений центроидов на запрос и O(T log T) для prefill. Субквадратичную сложность следует связывать именно с Tree. Чему обучается D-LSA D-LSA фиксирует предобученную модель и настраивает небольшие послойные матрицы проекций запросов и ключей, а также температуру обучения. Учителем служит исходное распределение внимания. При дистилляции напрямую оцениваются все ключи; кластеризация в вычисление функции потерь не включается. Авторы сообщают о 352 миллионах обучающих токенов из документов длиной от 16k до 1M. Последующее обучение всей модели с разреженным вниманием не проводилось из-за стоимости. Базы сравнения различаются: у Qwen-3.8-27B это полное внимание, у GLM-5.3-Flash — существующее разреженное. Отдельный вариант Training-Free использует главные направления без дистилляции и не должен смешиваться с основными результатами D-LSA. N-LSA обучается предсказывать следующий токен N-LSA не использует модель-учителя и кластеризует сами ключи внимания. Вместо дополнительных индексных проекций оценкой группы становится максимальное сходство её центроида с головами запроса. Через операцию выбора градиент не проходит; обучение идёт по пути внимания к выбранным ключам, sink-токенам и недавнему окну. Реализация не добавляет вспомогательную функцию потерь или новые параметры. Рисунок 4. N-LSA группирует ключи внимания и обучается предсказанию следующего токена. Kubicek и др., arXiv:2610.42147v1, CC BY 4.0. В эксперименте использовалась гибридная модель примерно на 500 миллионов параметров с 24 слоями. Каждый четвёртый слой был слоем внимания, остальные — Gated DeltaNet. После предобучения на контексте 4k следовала фаза снижения скорости обучения на контексте 128k. Для N-LSA оценивался только Flat, поэтому результаты не доказывают работоспособность нативного обучения Tree в крупных моделях. Задачи оценки и расширение контекста D-LSA проверялся на MMLU-Pro, GPQA-Diamond, AIME25, MATH500, LongBench v2 и RULER. Из-за стоимости сверхдлинного контекста часть тестов выполнялась на подвыборках. В RULER использовали сто запросов на задачу до 1M токенов и двадцать при большей длине. Новый PaperTrail вставляет искусственно созданные фактические подсказки в научные статьи и проверяет поиск в одной статье, связь двух и цепочки из трёх и более. Этот балл не является прямой мерой способности к научному открытию. Контекст расширяли до 10M токенов: для Qwen-3.8-27B применяли YaRN, тогда как GLM-5.3-Flash не имеет явного позиционного кодирования, требующего такой же обработки. Испытания не ограничены исходно заявленным диапазоном контекста моделей. Точность зависит от модели и поиска У Qwen-3.8-27B D-LSA Flat отставал от полного внимания не более чем на пять пунктов вплоть до 1M. На 10M результаты RULER составили 63,9 против 59,9, PaperTrail — 29,1 против 19,8 в пользу Flat. Это наблюдения в конкретных задачах и настройках, а не общее правило о повышении точности при сокращении чтения. Рисунок 5. Точность задач на знания, рассуждение и длинный контекст зависит от модели и поиска. Kubicek и др., arXiv:2610.42147v1, CC BY 4.0. У GLM-5.3-Flash разница между Flat и исходным разреженным вниманием была в пределах трёх пунктов до 1M, но на 2M–5M отставание достигало восьми. На 10M в RULER разрыв не превышал четырёх пунктов. Tree получил 55,8 против 66,8 у Flat. С ростом контекста некоторые задачи усложнялись для обеих моделей: сохранить уровень ослабевающей базы и хорошо решить задачу — разные результаты. Ускорение слоя и задержка всего сервиса На одной H200 при 10M токенов D-LSA ускорил prefill и декодирование одного слоя в 22,7 и 4,6 раза относительно разреженного внимания GLM-5.3-Flash, и в 72,4 и 42,5 раза относительно полного внимания Qwen-3.8-27B. Prefill измеряли на последнем блоке из 32 768 запросов, декодирование — на одном шаге одного запроса. Это не ускорение полного пользовательского запроса. Рисунок 6. Скорость, память и масштабирование одного слоя; затенённая область после 10M представляет экстраполяцию. Kubicek и др., arXiv:2610.42147v1, CC BY 4.0. При обслуживании через SGLang Qwen-3.8-27B D-LSA Flat на H200 с контекстом 10M улучшил время до первого токена (TTFT) в 9,21 раза, время на выходной токен (TPOT) — в 2,87 раза, с TP8 и DCP8. В таблице 3 первая строка каждого блока содержит базовые времена, остальные — относительные ускорения. Важно учитывать оборудование и схему распараллеливания. Таблица 3. Обслуживание через SGLang: первая строка блока показывает базовое время, остальные — ускорение. Учитываются оборудование и параллелизм. Kubicek и др., arXiv:2610.42147v1, CC BY 4.0. Для GLM-5.3-Flash на H200 конфигурация CP8 дала улучшение TTFT/TPOT в 2,24/2,10 раза, TP8 — в 5,83/1,91 раза. Указанный режим H200, 10M, TP8 использовал два узла с PP2. На коротком контексте возможно замедление: Qwen-3.8-27B Flat на B300 при 512k показал 0,68× по TTFT и 0,63× по TPOT. Значение ниже единицы означает, что отбор и кластеризация обходятся дороже сэкономленных вычислений. Скорость нативного обучения и затраты памяти При 128k прямой и обратный проходы одного слоя N-LSA были в 1,6 раза быстрее полного внимания. Фаза снижения скорости обучения всей гибридной модели завершалась в 1,24 раза быстрее при одинаковой валидационной потере 1,085. Различие объясняется тем, что внимание используется лишь в каждом четвёртом слое. Рисунок 7. Раздельно показаны обучение одного слоя N-LSA и фаза снижения скорости обучения всей модели. Kubicek и др., arXiv:2610.42147v1, CC BY 4.0. Пиковый расход памяти оказался выше: 6,8 GiB на слой у N-LSA против 5,8 GiB у полного внимания. Вклад вносит сохранение выбранных индексов для обратного прохода. Следовательно, ускорение обучения само по себе не означает экономии памяти. Границы применимости результатов LSA уменьшает затраты на поиск ключей, но не устраняет необходимость хранить исходные KV-данные. KV-кэш продолжает линейно расти с контекстом. На рисунке 6 область после 10M — экстраполяция; большие коэффициенты для 100M не были измерены. В приведённых опытах декодирования одного запроса D-LSA Tree также использовал поиск Flat, поэтому нельзя приписывать весь выигрыш обходу дерева. Данные по N-LSA ограничены моделью около 0,5B, контекстом до 128k и поиском Flat. Более крупные модели, длинные контексты и нативное обучение Tree остаются открытыми вопросами. Подвыборки тестов и расширение контекста также ограничивают перенос результатов на реальный сервис с иной конкурентностью запросов, требованиями к задержке и распределением документов. Технический вклад с позиции патентной практики Конкретная задача — устранить узкое место отбора, сохраняющееся после сокращения чтения. Важно сочетание обученного пространства поиска, кластеризации в ограниченных блоках, центроидов и карт исходных позиций, выбора групп по запросу и возврата к исходным ключам и значениям. Sink-токены и недавнее окно дополняют эту цепочку; Tree добавляет иерархическое сужение кандидатов. По сравнению с обобщением последовательных блоков меняется состав группируемых ключей; по сравнению с просмотром всех групп — путь поиска. Дистиллированная и нативная схемы по-разному связывают устройство с обучением. Техническая оценка должна соотносить эти решения с эффектами и издержками: ускорением на сверхдлинном контексте, снижением точности Tree, накладными расходами короткого контекста и увеличением памяти N-LSA. Один коэффициент ускорения не описывает весь вклад. Сохранены исходные обозначения и формы; содержание раскрыто в тексте. Рассмотренная работа: Latent Sparse Attention v1 Обсудите с IPLEX техническую структуру ИИ и вопросы её патентной охраны. Опыт патентного поверенного Ким Ёндока в области ИИ Прочитать корейский оригинал Материал отражает ситуацию на дату публикации. Обратитесь в IPLEX, чтобы обсудить обстоятельства вашего дела. Обсудить этот вопрос ↗ Все статьи НА ЭТОЙ СТРАНИЦЕ Статья и рассматриваемая версия Почему разреженное внимание тоже бывает дорогим Представители групп помогают вернуться к исходным данным Чему обучается D-LSA N-LSA обучается предсказывать следующий токен Задачи оценки и расширение контекста Точность зависит от модели и поиска Ускорение слоя и задержка всего сервиса Скорость нативного обучения и затраты памяти Границы применимости результатов Технический вклад с позиции патентной практики ОБРАТИТЕСЬ В IPLEX Обсудите с нами вопросы интеллектуальной собственности Мы рассматриваем ваши технологические и бизнес-потребности вместе. ↗ Связаться с нами Новее Пределы охраны объёмного знака в форме мармеладного мишки ↗ Ранее Клинические исследования сами по себе не дают права на продление патента ↗ Материалы по теме Искусственный интеллект 2026.11.19 Эмбеддинги Matryoshka для поиска изображений: отбор по префиксу и ранжирование по полному вектору Разбираем Matryoshka Representation Learning: обучение вложенных представлений и результаты поиска на ImageNet-1K из NeurIPS 2022. ↗ Читать статью Искусственный интеллект 2026.11.18 Патент ByteDance на субтитры: распознавание отдельных дорожек и устранение наложения по времени Разбираем US11837234B2: выбор аудиодорожек и изменение времени субтитров, отдельно от публичных инструкций CapCut. ↗ Читать статью Искусственный интеллект 2026.11.17 Распознанный текст Apple: от номера или URL к подходящему действию US12001642B2 связывает распознанный текст, координаты, тип данных и ввод пользователя с контекстными меню и действиями. ↗ Читать статью

- https://www.iplexlaw.co.kr/ru
- https://www.iplexlaw.co.kr/ru/blog/category/ai
- https://arxiv.org/abs/2610.42147v1
- https://www.iplexlaw.co.kr/ru/ai-patents
- https://www.iplexlaw.co.kr/ko/blog/latent-sparse-attention
- https://www.iplexlaw.co.kr/ru/contact
- https://www.iplexlaw.co.kr/ru/blog
- https://www.iplexlaw.co.kr/ru/blog/latent-sparse-attention#article-1923-en-0
- https://www.iplexlaw.co.kr/ru/blog/latent-sparse-attention#article-1923-en-1
- https://www.iplexlaw.co.kr/ru/blog/latent-sparse-attention#article-1923-en-2
- https://www.iplexlaw.co.kr/ru/blog/latent-sparse-attention#article-1923-en-3
- https://www.iplexlaw.co.kr/ru/blog/latent-sparse-attention#article-1923-en-4
- https://www.iplexlaw.co.kr/ru/blog/latent-sparse-attention#article-1923-en-5
- https://www.iplexlaw.co.kr/ru/blog/latent-sparse-attention#article-1923-en-6
- https://www.iplexlaw.co.kr/ru/blog/latent-sparse-attention#article-1923-en-7
- https://www.iplexlaw.co.kr/ru/blog/latent-sparse-attention#article-1923-en-8
- https://www.iplexlaw.co.kr/ru/blog/latent-sparse-attention#article-1923-en-9
- https://www.iplexlaw.co.kr/ru/blog/latent-sparse-attention#article-1923-en-10
- https://www.iplexlaw.co.kr/ru/contact
- https://www.iplexlaw.co.kr/ru/blog/brunch-case-1924
- https://www.iplexlaw.co.kr/ru/blog/brunch-case-1922
- https://www.iplexlaw.co.kr/ru/blog/matryoshka-prefix-vector-image-retrieval
- https://www.iplexlaw.co.kr/ru/blog/matryoshka-prefix-vector-image-retrieval
- https://www.iplexlaw.co.kr/ru/blog/bytedance-track-based-caption-timing
- https://www.iplexlaw.co.kr/ru/blog/bytedance-track-based-caption-timing
- https://www.iplexlaw.co.kr/ru/blog/apple-recognized-text-contextual-actions
- https://www.iplexlaw.co.kr/ru/blog/apple-recognized-text-contextual-actions
