# PaTH Attention――トークン間の経路を位置表現に組み込む

入力依存のHouseholder型変換を累積する仕組みと、状態追跡・長文評価で確認された効果及び限界を解説します。

Source: https://www.iplexlaw.co.kr/ja/blog/path-attention-householder-transformations

ホーム / ニュース・知財情報 ニュース・知財情報 PaTH Attention――トークン間の経路を位置表現に組み込む 入力依存のHouseholder型変換を累積する仕組みと、状態追跡・長文評価で確認された効果及び限界を解説します。 人工知能(AI) 2026.10.15 公開 IPLEX 約12分で読めます 対象論文と技術的課題 本稿は弁理士・金容徳による論文解説です。対象はSonglin Yang、Yikang Shen、Kaiyue Wen、Shawn Tan、Mayank Mishra、Liliang Ren、Rameswar Panda、Yoon Kimによる「PaTH Attention: Position Encoding via Accumulating Householder Transformations」で、所属はMIT、MIT–IBM Watson AI Lab、Stanford、Microsoftです。NeurIPS 2025論文の初公開は2025年5月22日。本稿では2026年2月3日付arXiv 2505.16381v2（CC0 1.0）を参照します。単に過去のトークンを思い出すだけでなく、変数への代入等、順次起こる状態変化をどう追うかが中心課題です。 固定的な位置回転から入力依存の経路へ RoPEのQueryとKeyも内容に依存します。本論文で問題とするのは、位置の回転規則が相対距離で決まり、途中の入力内容を反映しない点です。PaTHはk_jᵀ(H_{j+1}…H_i)q_iのように、中間トークンが生成する変換をQueryとKeyの間に挿入します。行列積は一般に可換でないため、同じ距離でも状態変化の順序が異なれば別の経路として扱えます。softmaxとValueの重み付き和は維持され、過去全体を一つの固定長状態へ圧縮する線形Attentionではありません。 Householder型変換と忘却ゲート 各段階はH = I − βwwᵀです。小さな線形射影と幅3の短い畳み込みからL2正規化したwを生成し、βはsigmoidの2倍により0～2の範囲で制御します。β = 2ではHouseholder反射ですが、一般の場合は収縮も含むため、常にノルム保存と説明するのは正確ではありません。PaTH-FoXは、この経路に沿う方向変換に、過去の寄与を弱める忘却ゲートを組み合わせます。方向の変化と振幅の減衰は異なる役割を担います。 合成課題――数値と実験条件を併せて読む flip-flop課題の1層・2ヘッド・64次元の設定では、分布内誤り率がRoPEの6.9％からPaTHの0％へ、98％を無視する分布外設定では40.3％から0.0001％へ低下しました。制御された合成課題の結果であり、実サービスの無誤りを保証しません。図2のMQRAR-Nは2層、次元256、2ヘッド、32組のKey–Value、長さ768で、PaTHもN = 4では精度が下がります。A5置換課題は精度90％に達する最小層数の比較です。表現力の理論は構成可能性を示すもので、すべての課題で容易に学習できるという意味ではありません。 論文図2：MQRARとA5の状態追跡実験 言語モデル――同条件での比較と規模 主要実験は760MモデルをFineWeb-Eduの50Bトークンで学習し、Mistral tokenizer、長さ4096、H100を8基、約2～3日という設定です。表2のWikiText perplexityはRoPE 19.01、PaTH 18.03、PaTH-FoX 17.35、LAMBADAは19.77、16.79、16.23でした。6課題の平均精度は52.7、54.2、54.2で、FoXは53.1です。PaTHのRoPEに対する差は1.5ポイントであり、すべての比較で優位というわけではありません。PIQAとWinoGrandeではFoXがPaTHを上回りました。 論文表2：760Mモデルのperplexityと常識推論 長文――perplexityと検索精度は別の指標 図3ではPaTH-FoXとFoXが対象コーパスで64Kまで安定し、PaTH単独は約32Kを超えると、とくにコードで悪化します。表3は検索・状態追跡を直接評価します。RULERの8KはRoPE 1.3、FoX 29.5、PaTH 34.8、PaTH-FoX 34.0で、16Kでは後二者が18.7、22.6です。PhoneBookのPaTH対PaTH-FoXは4Kで20.8対93.8、8Kで0対66.6と大きく異なります。LongBench-Eの短い二つの区間ではPaTHが優位でした。BABILONGは物語中の推論と状態追跡を扱います。長文のperplexityが良いことと、情報を確実に取り出せることは同義ではありません。 論文図3：3コーパスでの長さ外挿評価 論文表3：RULER・BABILONG・PhoneBook・LongBench-Eの成績 既存モデルの変換――手順と出発点が重要 変換ではまず100MトークンでAttention出力のMSEを最小化し、続いて3Bトークンで出力分布のKL divergenceを用います。高品質な数学・コード学習前のSmolLM2-1.7B checkpointに対し、その後text/code/mathを1:1:1で21Bトークン追加学習します。HumanEvalはRoPE 23.1に対しPaTH 25.6、MBPP+は47.1に対し51.3でした。一方、表5のQwen2.5-7B-Instructは同じ追加数学・コード学習なしの変換です。GSM8Kは80.29から80.67へ上がりますが、MATHは69.10から65.38、HumanEvalは82.32から77.44へ低下します。変換すれば必ず改善するとはいえません。 論文表5：Qwen2.5-7B-Instruct変換後の改善と低下 並列化しても残る計算・キャッシュのコスト 変換積の低ランク表現を利用し、Q/Kのブロック前処理、scan、online softmaxをFlashAttention型アルゴリズムに組み込みます。Attention行列全体を実体化しないことでメモリアクセスを抑えますが、系列長に対する計算量は二次のままです。生成時にもK/Vキャッシュを保持し、新しい変換を過去のKeyへ適用します。図1はH100を1基、batch 32、32ヘッド、ヘッド次元64とするTriton実装の比較で、PaTHはRoPE/FlashAttentionより遅くFoXより速い結果でした。普遍的な高速化やキャッシュの不要化を示してはいません。 論文図1：H100上のTriton実装の実行時間 限界と特許実務からの読み方 βが2に近い場合、BF16では数値不安定性が生じ得るため、clip等の制御が必要です。速度評価はヘッド次元64であり、大きなヘッドでは計算・メモリ負担が増え得ます。また単一のHouseholder型変換の族がRoPEの回転全体を含むわけではありません。入力依存の経路変換、状態追跡、実行可能な並列アルゴリズムを結び付け、特定条件で効果を示した点が技術的な中心です。その違いが直ちに特許性や侵害を意味するわけではありません。PaTH単独とPaTH-FoX、改善と悪化、精度とコストを併せて評価する必要があります。 関連業務・AI特許 PaTH Attention論文・第2版 韓国語原文を読む この記事は公表時点の情報に基づいています。個別の事情については、当事務所にご相談ください。 この分野について相談 ↗ 記事一覧 このページの内容 対象論文と技術的課題 固定的な位置回転から入力依存の経路へ Householder型変換と忘却ゲート 合成課題――数値と実験条件を併せて読む 言語モデル――同条件での比較と規模 長文――perplexityと検索精度は別の指標 既存モデルの変換――手順と出発点が重要 並列化しても残る計算・キャッシュのコスト 限界と特許実務からの読み方 IPLEXに相談 知的財産の課題を、 ご相談ください。 技術の内容と事業上のご要望を踏まえ、対応方針を共に検討します。 ↗ お問い合わせ 新しい記事 合金発明の進歩性――数値の違いを技術的意義につなげる ↗ 前の記事 トルコの商標登録――出願・異議申立て・使用管理 ↗ 関連インサイト 人工知能(AI) 2026.10.14 Huawei Pangu Weather：時間間隔の異なるモデルをつないで予報する仕組み 公開出願US20250258318A1をもとに、予測時間の選択、中間予測の受渡し、気象データの結合を解説します。 ↗ 記事を読む 人工知能(AI) 2026.10.13 LaCT：大きなチャンクで更新するAIの一時記憶 LaCTの高速重み、GPU効率、因果関係を守る更新順序と実験結果の適用範囲を技術的に解説します。 ↗ 記事を読む 人工知能(AI) 2026.10.12 AdobeのAI画像編集特許――原画像と生成候補をレイヤーで保持する仕組み 米国特許US12462456B2を読み解き、入力マスク、対象マスク、生成レイヤーが再編集を支える仕組みを解説します。 ↗ 記事を読む

- https://www.iplexlaw.co.kr/ja
- https://www.iplexlaw.co.kr/ja/blog/category/ai
- https://www.iplexlaw.co.kr/ja/ai-patents
- https://arxiv.org/abs/2505.16381v2
- https://www.iplexlaw.co.kr/ko/blog/path-attention-householder-transformations
- https://www.iplexlaw.co.kr/ja/contact
- https://www.iplexlaw.co.kr/ja/blog
- https://www.iplexlaw.co.kr/ja/blog/path-attention-householder-transformations#case-1837-en-0
- https://www.iplexlaw.co.kr/ja/blog/path-attention-householder-transformations#case-1837-en-1
- https://www.iplexlaw.co.kr/ja/blog/path-attention-householder-transformations#case-1837-en-2
- https://www.iplexlaw.co.kr/ja/blog/path-attention-householder-transformations#case-1837-en-3
- https://www.iplexlaw.co.kr/ja/blog/path-attention-householder-transformations#case-1837-en-4
- https://www.iplexlaw.co.kr/ja/blog/path-attention-householder-transformations#case-1837-en-5
- https://www.iplexlaw.co.kr/ja/blog/path-attention-householder-transformations#case-1837-en-6
- https://www.iplexlaw.co.kr/ja/blog/path-attention-householder-transformations#case-1837-en-7
- https://www.iplexlaw.co.kr/ja/blog/path-attention-householder-transformations#case-1837-en-8
- https://www.iplexlaw.co.kr/ja/contact
- https://www.iplexlaw.co.kr/ja/blog/brunch-case-1838
- https://www.iplexlaw.co.kr/ja/blog/turkiye-trademark-filing-guide
- https://www.iplexlaw.co.kr/ja/blog/huawei-pangu-weather-time-interval-models
- https://www.iplexlaw.co.kr/ja/blog/huawei-pangu-weather-time-interval-models
- https://www.iplexlaw.co.kr/ja/blog/lact-large-chunk-test-time-training
- https://www.iplexlaw.co.kr/ja/blog/lact-large-chunk-test-time-training
- https://www.iplexlaw.co.kr/ja/blog/adobe-non-destructive-generative-editing
- https://www.iplexlaw.co.kr/ja/blog/adobe-non-destructive-generative-editing