# PaTH Attention：将词元之间的路径编码为位置信息

解析输入依赖的Householder型变换累积机制，以及状态跟踪、长上下文实验的收益与限制。

Source: https://www.iplexlaw.co.kr/zh/blog/path-attention-householder-transformations

首页 / 新闻与洞见 新闻与洞见 PaTH Attention：将词元之间的路径编码为位置信息 解析输入依赖的Householder型变换累积机制，以及状态跟踪、长上下文实验的收益与限制。 人工智能 2026.10.15 已出版 IPLEX 阅读约12分钟 论文及其技术问题 本文为专利代理师金容德的技术评论，解析Songlin Yang、Yikang Shen、Kaiyue Wen、Shawn Tan、Mayank Mishra、Liliang Ren、Rameswar Panda、Yoon Kim的论文“PaTH Attention: Position Encoding via Accumulating Householder Transformations”，作者所属机构包括MIT、MIT–IBM Watson AI Lab、Stanford和Microsoft。该NeurIPS 2025论文首次发表于2025年5月22日，本文采用2026年2月3日的arXiv 2505.16381v2，许可为CC0 1.0。核心问题是在回忆先前词元之外，注意力机制如何跟踪变量连续赋值等状态变化。 从固定位置旋转到输入依赖路径 RoPE的查询和键本来就依赖内容；这里的局限是位置旋转规则取决于相对位置，而非中间输入。PaTH把中间词元生成的变换加入查询—键评分：k_jᵀ(H_{j+1}…H_i)q_i。矩阵乘法通常不满足交换律，因此距离相同、状态变化顺序不同的路径也能被区分。模型保留softmax注意力及对值向量的加权，并不是将全部历史压入单一固定大小状态的线性注意力。 Householder型步骤与遗忘门 每步采用H = I − βwwᵀ。小型线性投影与宽度为3的短卷积生成经L2归一化的w，β由两倍sigmoid控制在0到2之间。β = 2时是Householder反射，但一般设置还包含收缩，不能笼统称为始终保持范数。PaTH-FoX将沿路径的方向变换与衰减较早贡献的遗忘门结合，分别处理路径依赖方向与幅度衰减。 合成状态跟踪：同时看分数与条件 flip-flop任务采用1层、2个头、64维设置，分布内错误率从RoPE的6.9%降至PaTH的0%；在98%忽略指令的分布外条件下，分别为40.3%与0.0001%。这是受控合成任务结果，不是实际应用零错误承诺。图2的MQRAR-N使用2层、256维、2个头、32组键值对及长度768；PaTH在N小于4时较强，但N = 4也下降。A5置换任务比较达到90%准确率所需的最小层数。理论表达能力说明可表示性，不等于任何任务都能自动学会。 论文图2：MQRAR与A5状态跟踪实验 语言模型：同条件比较与规模限制 主要语言模型实验使用760M参数、50B FineWeb-Edu词元、Mistral分词器及4096长度，在8块H100上训练约2～3天。表2的WikiText困惑度为RoPE 19.01、PaTH 18.03、PaTH-FoX 17.35；LAMBADA分别为19.77、16.79、16.23。六项任务平均准确率为52.7、54.2、54.2，FoX为53.1。PaTH相对RoPE提高1.5个百分点，不代表全面胜出：FoX在PIQA和WinoGrande上优于PaTH。 论文表2：760M模型困惑度与常识推理 长上下文：困惑度不等于检索能力 图3显示PaTH-FoX与FoX在所测语料上可稳定到64K词元，PaTH单独使用约到32K，随后恶化，代码场景尤为明显。表3直接测试检索及状态跟踪。8K RULER分数为RoPE 1.3、FoX 29.5、PaTH 34.8、PaTH-FoX 34.0；16K时后两者为18.7与22.6。PhoneBook中PaTH与PaTH-FoX在4K为20.8对93.8，8K为0对66.6。PaTH在LongBench-E两个较短区间领先。BABILONG还测试叙事推理和状态跟踪。长文困惑度较好，不能直接推定检索可靠。 论文图3：三个语料的长度外推 论文表3：RULER、BABILONG、PhoneBook及LongBench-E得分 转换预训练模型：训练方案与起点很重要 转换先用100M词元对注意力输出进行MSE蒸馏，再用3B词元对输出分布进行KL散度训练。对尚未进入高质量数学、代码阶段的SmolLM2-1.7B检查点，再以文本/代码/数学1:1:1混合继续训练21B词元。HumanEval上PaTH为25.6、RoPE为23.1，MBPP+为51.3对47.1。收益与继续训练有关。表5的Qwen2.5-7B-Instruct则没有该额外数学、代码训练阶段：GSM8K从80.29升至80.67，但MATH从69.10降至65.38，HumanEval从82.32降至77.44。转换不保证升级。 论文表5：Qwen2.5-7B-Instruct转换后的改善与下降 并行执行与仍然存在的成本 变换乘积的紧凑低秩表示支持分块Q/K预处理、扫描和在线softmax，形成FlashAttention式算法。不显式生成完整注意力矩阵可减少内存流量，但计算量随序列长度仍按平方增长。解码仍保存K/V缓存，并将新变换应用到过去的键。图1在单块H100、batch 32、32个头、头维度64的Triton实现上比较：PaTH慢于RoPE/FlashAttention，快于FoX。这不能证明普遍速度优势，也不意味着取消缓存。 论文图1：H100上Triton实现的运行时间 局限与专利分析视角 β接近2时，BF16可能出现数值不稳定，需要裁剪等控制。速度测试采用64维头，更大的头可能增加计算和内存成本；单个Householder型变换族也不包含完整RoPE旋转族。技术贡献在于将输入条件化路径变换、状态跟踪与可执行的并行算法结合，并在限定条件下展示效果。这些差异本身不能直接得出专利性或侵权结论。应同时考察PaTH和PaTH-FoX、改善与退步、数值精度与成本。 相关业务：人工智能专利 PaTH Attention论文第2版 查看韩文原文 本文基于发表时的情况撰写。如需就具体事项咨询，请联系IPLEX。 咨询相关业务 ↗ 全部文章 本页目录 论文及其技术问题 从固定位置旋转到输入依赖路径 Householder型步骤与遗忘门 合成状态跟踪：同时看分数与条件 语言模型：同条件比较与规模限制 长上下文：困惑度不等于检索能力 转换预训练模型：训练方案与起点很重要 并行执行与仍然存在的成本 局限与专利分析视角 咨询IPLEX 与我们讨论您的需求 保护、维权与管理。 我们将与您共同分析技术与业务需求。 ↗ 联系我们 较新文章 合金专利创造性：数值差异为何未必足够 ↗ 较早文章 土耳其商标注册：申请、异议与使用管理 ↗ 相关解读 人工智能 2026.10.14 华为盘古气象：如何串联不同时间间隔的预测模型 结合公开申请US20250258318A1，解析预测步长选择、中间状态传递及气象数据融合。 ↗ 阅读全文 人工智能 2026.10.13 LaCT：以大分块更新人工智能的临时记忆 从快速权重、GPU利用率和因果处理顺序，解析LaCT的技术结构、实验条件及适用边界。 ↗ 阅读全文 人工智能 2026.10.12 Adobe AI图像编辑专利：用图层保留原图、生成候选与编辑信息 解读美国专利US12462456B2，说明输入蒙版、目标对象蒙版及生成式图层如何支持后续修改。 ↗ 阅读全文

- https://www.iplexlaw.co.kr/zh
- https://www.iplexlaw.co.kr/zh/blog/category/ai
- https://www.iplexlaw.co.kr/zh/ai-patents
- https://arxiv.org/abs/2505.16381v2
- https://www.iplexlaw.co.kr/ko/blog/path-attention-householder-transformations
- https://www.iplexlaw.co.kr/zh/contact
- https://www.iplexlaw.co.kr/zh/blog
- https://www.iplexlaw.co.kr/zh/blog/path-attention-householder-transformations#case-1837-en-0
- https://www.iplexlaw.co.kr/zh/blog/path-attention-householder-transformations#case-1837-en-1
- https://www.iplexlaw.co.kr/zh/blog/path-attention-householder-transformations#case-1837-en-2
- https://www.iplexlaw.co.kr/zh/blog/path-attention-householder-transformations#case-1837-en-3
- https://www.iplexlaw.co.kr/zh/blog/path-attention-householder-transformations#case-1837-en-4
- https://www.iplexlaw.co.kr/zh/blog/path-attention-householder-transformations#case-1837-en-5
- https://www.iplexlaw.co.kr/zh/blog/path-attention-householder-transformations#case-1837-en-6
- https://www.iplexlaw.co.kr/zh/blog/path-attention-householder-transformations#case-1837-en-7
- https://www.iplexlaw.co.kr/zh/blog/path-attention-householder-transformations#case-1837-en-8
- https://www.iplexlaw.co.kr/zh/contact
- https://www.iplexlaw.co.kr/zh/blog/brunch-case-1838
- https://www.iplexlaw.co.kr/zh/blog/turkiye-trademark-filing-guide
- https://www.iplexlaw.co.kr/zh/blog/huawei-pangu-weather-time-interval-models
- https://www.iplexlaw.co.kr/zh/blog/huawei-pangu-weather-time-interval-models
- https://www.iplexlaw.co.kr/zh/blog/lact-large-chunk-test-time-training
- https://www.iplexlaw.co.kr/zh/blog/lact-large-chunk-test-time-training
- https://www.iplexlaw.co.kr/zh/blog/adobe-non-destructive-generative-editing
- https://www.iplexlaw.co.kr/zh/blog/adobe-non-destructive-generative-editing