# PaTH Attention: кодирование пути между токенами

Разбор зависящих от входа преобразований Хаусхолдера, отслеживания состояний и экспериментальных возможностей и ограничений PaTH.

Source: https://www.iplexlaw.co.kr/ru/blog/path-attention-householder-transformations

ГЛАВНАЯ / Новости и аналитика Новости и аналитика PaTH Attention: кодирование пути между токенами Разбор зависящих от входа преобразований Хаусхолдера, отслеживания состояний и экспериментальных возможностей и ограничений PaTH. ИИ 2026.10.15 Опубликовано IPLEX Время чтения: 12 мин. Статья и техническая задача Патентный поверенный Yongdeok Kim анализирует работу PaTH Attention: Position Encoding via Accumulating Householder Transformations. Авторы — Songlin Yang, Yikang Shen, Kaiyue Wen, Shawn Tan, Mayank Mishra, Liliang Ren, Rameswar Panda и Yoon Kim; организации — MIT, MIT–IBM Watson AI Lab, Stanford и Microsoft. Работа NeurIPS 2025 впервые опубликована 22 мая 2025 года; здесь рассматривается arXiv 2505.16381v2 от 3 февраля 2026 года с лицензией CC0 1.0. Основной вопрос — как внимание может отслеживать последовательные изменения состояния, например присваивания переменной, а не только вспоминать прежний токен. От фиксированного вращения к пути, зависящему от данных Запросы и ключи RoPE уже зависят от содержания. Рассматриваемое ограничение относится к правилу позиционного вращения: оно определяется расстоянием, а не промежуточным входом. PaTH вводит преобразования промежуточных токенов в оценку k_jᵀ(H_{j+1}…H_i)q_i. Упорядоченное произведение различает пути одинаковой длины с разными изменениями состояния; умножение матриц в общем случае некоммутативно. Softmax и взвешивание значений сохраняются. Это не линейное внимание, сжимающее всю историю в одно состояние фиксированного размера. Преобразования Хаусхолдера и вентиль забывания Каждый шаг задается H = I − βwwᵀ. Небольшая линейная проекция и короткая свертка ширины 3 формируют L2-нормированный w; β определяется удвоенной сигмоидой в диапазоне от 0 до 2. При β = 2 это отражение Хаусхолдера, но общий вариант включает и сжатие, поэтому сохранение нормы не гарантируется всегда. PaTH-FoX добавляет вентиль забывания, ослабляющий ранние вклады. Изменение направления вдоль пути и затухание амплитуды выполняют разные функции. Синтетические задачи: результаты вместе с условиями В задаче flip-flop при одном слое, двух головах и размерности 64 ошибка внутри распределения составила 6,9 % для RoPE и 0 % для PaTH. Вне распределения, при 98 % игнорируемых команд, значения были 40,3 % и 0,0001 %. Это контролируемые синтетические тесты, а не гарантия безошибочных приложений. MQRAR-N на рисунке 2 использовал два слоя, размерность 256, две головы, 32 пары ключ–значение и длину 768: при N меньше 4 PaTH был силен, но при N = 4 точность снижалась. Для перестановок A5 измеряли минимальное число слоев, достигающее 90 %. Теоретическая выразительность не гарантирует обучаемость любой задачи. Рисунок 2: эксперименты отслеживания состояний MQRAR и A5 Языковые модели: масштаб и сопоставимые условия Основной эксперимент обучал модели на 760 млн параметров и 50 млрд токенов FineWeb-Edu с токенизатором Mistral и длиной 4096, на восьми H100 примерно два–три дня. В таблице 2 перплексия WikiText равна 19,01 для RoPE, 18,03 для PaTH и 17,35 для PaTH-FoX; LAMBADA — 19,77, 16,79 и 16,23. Средняя точность шести задач составила 52,7, 54,2 и 54,2 при 53,1 у FoX. Прирост PaTH к RoPE — 1,5 процентного пункта, а не всеобщая победа: FoX лучше PaTH в PIQA и WinoGrande. Таблица 2: перплексия и здравый смысл моделей 760M Длинный контекст: перплексия и поиск — разные проверки На рисунке 3 PaTH-FoX и FoX сохраняют стабильность до 64K токенов на проверенных корпусах; PaTH отдельно — примерно до 32K, после чего ухудшается, особенно на коде. Таблица 3 прямо проверяет поиск и состояния: RULER при 8K дает 1,3 для RoPE, 29,5 для FoX, 34,8 для PaTH и 34,0 для PaTH-FoX; при 16K последние два — 18,7 и 22,6. В PhoneBook PaTH и PaTH-FoX дают 20,8 против 93,8 при 4K и 0 против 66,6 при 8K. PaTH лидирует на двух коротких интервалах LongBench-E. BABILONG добавляет рассуждения в повествовании. Хорошая перплексия длинного текста не доказывает надежного извлечения сведений. Рисунок 3: экстраполяция длины на трех корпусах Таблица 3: оценки RULER, BABILONG, PhoneBook и LongBench-E Преобразование обученной модели: важны рецепт и исходная точка Сначала преобразование использует MSE-дистилляцию выходов внимания на 100 млн токенов, затем KL-дивергенцию выходных распределений на 3 млрд. Контрольная точка SmolLM2-1.7B до этапа качественных математических и кодовых данных дополнительно обучается на 21 млрд токенов текста/кода/математики в пропорции 1:1:1. PaTH получает 25,6 против 23,1 RoPE в HumanEval и 51,3 против 47,1 в MBPP+. В таблице 5 Qwen2.5-7B-Instruct преобразуется без такого дополнительного этапа: GSM8K растет с 80,29 до 80,67, но MATH падает с 69,10 до 65,38, HumanEval — с 82,32 до 77,44. Улучшение не гарантировано. Таблица 5: улучшения и ухудшения при преобразовании Qwen2.5-7B-Instruct Параллельное выполнение и сохраняющиеся затраты Компактное низкоранговое представление произведения позволяет выполнять блочную подготовку Q/K, сканирование и online softmax по схеме FlashAttention. Отказ от хранения полной матрицы внимания уменьшает обмен с памятью, но сложность по длине последовательности остается квадратичной. При декодировании сохраняется кеш ключей и значений, а новое преобразование применяется к прошлым ключам. На рисунке 1 сравниваются Triton-реализации на одной H100, batch 32, 32 головах и размерности головы 64: PaTH медленнее RoPE/FlashAttention, но быстрее FoX. Это не доказывает универсального ускорения или ненужности кеша. Рисунок 1: время выполнения Triton на H100 Ограничения и взгляд патентного специалиста При β около 2 вычисления BF16 могут терять устойчивость и требовать ограничения параметра. Скоростной тест использует размерность головы 64; более крупные головы могут повысить вычислительные затраты и расход памяти. Одно семейство преобразований типа Хаусхолдера не включает все вращения RoPE. Суть вклада — сочетание зависящего от входа пути, отслеживания состояний и исполнимого параллельного алгоритма с эффектами в определенных условиях. Эти отличия сами по себе не доказывают патентоспособность или нарушение прав. Следует совместно оценивать PaTH и PaTH-FoX, улучшения и ухудшения, точность и стоимость. Связанная практика: патенты в области ИИ Статья PaTH Attention, версия 2 Прочитать корейский оригинал Материал отражает ситуацию на дату публикации. Обратитесь в IPLEX, чтобы обсудить обстоятельства вашего дела. Обсудить этот вопрос ↗ Все статьи НА ЭТОЙ СТРАНИЦЕ Статья и техническая задача От фиксированного вращения к пути, зависящему от данных Преобразования Хаусхолдера и вентиль забывания Синтетические задачи: результаты вместе с условиями Языковые модели: масштаб и сопоставимые условия Длинный контекст: перплексия и поиск — разные проверки Преобразование обученной модели: важны рецепт и исходная точка Параллельное выполнение и сохраняющиеся затраты Ограничения и взгляд патентного специалиста ОБРАТИТЕСЬ В IPLEX Обсудите с нами вопросы интеллектуальной собственности Мы рассматриваем ваши технологические и бизнес-потребности вместе. ↗ Связаться с нами Новее Изобретательский уровень сплавов: почему различия чисел недостаточно ↗ Ранее Регистрация товарного знака в Турции: подача, возражения и использование ↗ Материалы по теме ИИ 2026.10.14 Huawei Pangu Weather: как связать модели с разными интервалами прогноза Разбор публикации US20250258318A1: выбор временных шагов, передача прогнозных состояний и объединение метеоданных. ↗ Читать статью ИИ 2026.10.13 LaCT: обновление временной памяти ИИ крупными блоками Технический разбор быстрых весов, загрузки GPU, причинного порядка обработки и экспериментальных ограничений LaCT. ↗ Читать статью ИИ 2026.10.12 Патент Adobe на ИИ-редактирование: исходное изображение и варианты в отдельных слоях Разбор US12462456B2: входная маска, маска объекта и генеративные слои, сохраняющие варианты и данные для последующего редактирования. ↗ Читать статью

- https://www.iplexlaw.co.kr/ru
- https://www.iplexlaw.co.kr/ru/blog/category/ai
- https://www.iplexlaw.co.kr/ru/ai-patents
- https://arxiv.org/abs/2505.16381v2
- https://www.iplexlaw.co.kr/ko/blog/path-attention-householder-transformations
- https://www.iplexlaw.co.kr/ru/contact
- https://www.iplexlaw.co.kr/ru/blog
- https://www.iplexlaw.co.kr/ru/blog/path-attention-householder-transformations#case-1837-en-0
- https://www.iplexlaw.co.kr/ru/blog/path-attention-householder-transformations#case-1837-en-1
- https://www.iplexlaw.co.kr/ru/blog/path-attention-householder-transformations#case-1837-en-2
- https://www.iplexlaw.co.kr/ru/blog/path-attention-householder-transformations#case-1837-en-3
- https://www.iplexlaw.co.kr/ru/blog/path-attention-householder-transformations#case-1837-en-4
- https://www.iplexlaw.co.kr/ru/blog/path-attention-householder-transformations#case-1837-en-5
- https://www.iplexlaw.co.kr/ru/blog/path-attention-householder-transformations#case-1837-en-6
- https://www.iplexlaw.co.kr/ru/blog/path-attention-householder-transformations#case-1837-en-7
- https://www.iplexlaw.co.kr/ru/blog/path-attention-householder-transformations#case-1837-en-8
- https://www.iplexlaw.co.kr/ru/contact
- https://www.iplexlaw.co.kr/ru/blog/brunch-case-1838
- https://www.iplexlaw.co.kr/ru/blog/turkiye-trademark-filing-guide
- https://www.iplexlaw.co.kr/ru/blog/huawei-pangu-weather-time-interval-models
- https://www.iplexlaw.co.kr/ru/blog/huawei-pangu-weather-time-interval-models
- https://www.iplexlaw.co.kr/ru/blog/lact-large-chunk-test-time-training
- https://www.iplexlaw.co.kr/ru/blog/lact-large-chunk-test-time-training
- https://www.iplexlaw.co.kr/ru/blog/adobe-non-destructive-generative-editing
- https://www.iplexlaw.co.kr/ru/blog/adobe-non-destructive-generative-editing