# 거리에서 경로로, PaTH Attention

PaTH Attention의 입력 의존 Householder형 변환과 상태 추적 원리, 장문·모델 전환 실험의 효과와 한계를 분석합니다.

Source: https://www.iplexlaw.co.kr/ko/blog/path-attention-householder-transformations

HOME / NEWS & INSIGHTS NEWS & INSIGHTS 거리에서 경로로, PaTH Attention PaTH Attention의 입력 의존 Householder형 변환과 상태 추적 원리, 장문·모델 전환 실험의 효과와 한계를 분석합니다. 인공지능 2026.10.15 게시 IPLEX 12분 읽기 인공지능 특허 전문 변리사의 논문 분석 작성자: 김용덕 변리사 안녕하세요. 아이피렉스 특허법률사무소, 김용덕 변리사입니다. 긴 문서를 읽는 인공지능에게 필요한 것은 단순히 앞부분을 기억하는 능력만이 아닙니다. 같은 변수의 값이 여러 번 바뀌거나, 물건의 소유자가 순서대로 달라졌다면 그 변화의 경로까지 따라가야 합니다. 오늘은 위치 정보를 입력 내용에 따라 바꾸는 PaTH Attention 논문을 분석합니다. 한 문장으로 정리하면, PaTH는 두 토큰의 관계를 계산할 때 그 사이의 토큰들이 만든 변환을 순서대로 누적해, 위치 표현 자체에 상태 변화의 경로를 반영하는 방법입니다. 1. 논문 기본 정보 논문명: PaTH Attention: Position Encoding via Accumulating Householder Transformations 논문 저자: Songlin Yang, Yikang Shen, Kaiyue Wen, Shawn Tan, Mayank Mishra, Liliang Ren, Rameswar Panda, Yoon Kim 소속: MIT, MIT-IBM Watson AI Lab, Stanford University, Microsoft. 이 글의 작성자는 논문의 연구진이 아니라 기술 해설자입니다. 발표: NeurIPS 2025. arXiv 최초 공개는 2025년 5월 22일이며, 이 글은 2026년 2월 3일 개정된 v2 원문을 기준으로 합니다. 식별자 arXiv:2505.16381, DOI:10.48550/arXiv.2505.16381. arXiv에 표시된 원문 이용 조건은 CC0 1.0입니다. 2. 기술적 배경: 거리가 같아도 의미는 다르다 일반적인 어텐션은 현재 질문에 해당하는 Query와 과거 정보의 Key를 비교하고, 그 점수로 Value를 모읍니다. 여기에 토큰 순서를 알려 주는 위치 표현이 필요합니다. 널리 쓰이는 RoPE는 위치에 따른 회전을 적용해 상대적 거리가 비교 점수에 반영되도록 합니다. RoPE를 사용하는 모델도 Query와 Key를 통해 내용 정보를 처리합니다. 논문이 문제 삼는 것은 모델 전체가 내용을 무시한다는 뜻이 아니라, 위치를 만드는 회전 규칙 자체가 중간에 어떤 내용이 등장했는지에 따라 달라지지 않는다는 점입니다. 예를 들어 “A의 값은 1이다 → A의 값은 5이다 → A의 값은 9이다”라는 기록에서 현재 값과 두 번 전 값을 묻는 질문은 다릅니다. 두 지점 사이의 토큰 수만으로는 그 사이에 몇 번의 유효한 상태 변경이 있었는지를 충분히 표현하기 어렵습니다. PaTH는 이 지점을 위치 표현의 설계 문제로 다룹니다. 3. 핵심 원리: 토큰마다 작은 변환을 만들고 누적한다 Householder 계열 변환을 쉽게 이해하기 공간의 한 방향을 기준으로 벡터를 뒤집는 반사를 떠올리면 출발점을 이해하기 쉽습니다. PaTH는 이 아이디어를 확장해 각 토큰에서 H = I − βwwᵀ 형태의 변환을 만듭니다. w는 입력에서 계산한 단위 방향 벡터이고, β는 입력에 따라 정해지는 변환 강도입니다. 원문의 구현에서는 저차원 선형 투영과 크기 3의 짧은 합성곱을 거쳐 w를 만들고 L2 정규화합니다. β는 시그모이드 함수에 2를 곱해 정합니다. β가 2일 때는 정통 Householder 반사이며, 실제 학습에서 쓰는 0과 2 사이의 값은 반사와 수축을 포함하는 더 일반적인 변환입니다. 모든 변환을 길이를 보존하는 순수 반사라고 이해하면 정확하지 않습니다. 점수에 들어가는 것은 거리 하나가 아니라 변환의 곱 과거 토큰 j와 현재 토큰 i의 관계는 kⱼᵀ(Hⱼ₊₁ ··· Hᵢ)qᵢ라는 점수를 통해 계산됩니다. 그 사이에 놓인 토큰마다 변환이 하나씩 들어가고, 그 곱이 Query와 Key 사이의 관계를 바꿉니다. 이후에는 기존과 같이 softmax로 가중치를 정하고 Value를 합칩니다. 변환을 곱하는 순서를 바꾸면 일반적으로 결과도 달라집니다. 그래서 “상태를 바꾼 뒤 되돌리기”와 “되돌린 뒤 상태를 바꾸기”처럼 사건의 순서가 중요한 패턴을 담을 여지가 생깁니다. 이는 경로를 거치며 방향이 달라지는 길 안내와 비슷하지만, 실제 구현은 토큰별 행렬 연산입니다. 4. 실제 처리 과정과 PaTH-FoX의 차이 처리는 네 단계로 볼 수 있습니다. 첫째, 입력으로부터 Query·Key·Value와 변환 방향 w, 강도 β를 구합니다. 둘째, 두 위치 사이의 변환을 순서대로 결합합니다. 셋째, 그 변환을 반영한 비교 점수에 softmax를 적용합니다. 넷째, 얻은 가중치로 Value를 모아 다음 표현을 만듭니다. PaTH-FoX는 여기에 Forgetting Transformer의 망각 게이트를 결합합니다. 망각 게이트가 이전 정보의 영향력을 얼마나 줄일지 조절한다면, PaTH의 행렬 변환은 비교에 쓰이는 방향과 관계를 바꿉니다. 정보의 세기를 줄이는 기능과 상태 변화의 경로를 표현하는 기능을 함께 사용하는 구성입니다. PaTH는 softmax 어텐션을 유지합니다. 이름에 누적 연산이 들어간다고 해서 전체 계산을 선형 시간으로 바꾼 선형 어텐션이거나, 과거 정보를 하나의 고정 크기 상태로만 저장하는 구조는 아닙니다. 5. 상태 추적 실험: 최신 값과 과거 이력을 구별하는가 연구진은 읽기·쓰기·무시 명령으로 구성한 flip-flop 과제로 상태 추적을 점검했습니다. 1층·2헤드·64차원 모델의 오류율은 학습 분포와 같은 조건에서 RoPE 6.9%, PaTH 0%였습니다. 무시 명령이 98%인 희소한 분포 밖 조건에서는 각각 40.3%, 0.0001%였습니다. 이는 통제된 합성 과제의 결과이며, 실제 문서에서 오류가 없다는 뜻은 아닙니다. 논문 그림 2: MQRAR와 A5 상태 추적 실험 원문 Figure 2. 위는 N번째 과거 대입값을 회수하는 과제의 정확도, 아래는 A₅ 순열 과제에서 정확도 90%를 넘기기 위한 최소 층 수입니다. 위 그래프의 MQRAR-N은 변수의 가장 최근 값만 찾는 과제보다 까다롭습니다. N이 2나 3이면 최근 변경을 지나 그보다 앞선 값을 구분해야 합니다. 2층·은닉 차원 256·2헤드, 32개 Key-Value 쌍과 길이 768의 조건에서 PaTH는 N<4에 대해 높은 정확도를 보였고, N=4에서는 성능이 떨어졌습니다. 임의로 긴 변경 이력을 완벽히 추적했다는 결과는 아닙니다. 아래 그래프는 순열 연산을 순서대로 적용한 결과를 판별하는 과제입니다. PaTH는 비교 방법보다 적은 층으로 목표 정확도에 도달했습니다. 논문에는 특정 상태 추적 문제를 표현할 수 있다는 이론도 제시되지만, 표현 가능성에 대한 증명과 실제 데이터로 학습에 성공하는 것은 구분해야 합니다. 6. 언어모델 성능: 같은 학습 조건에서의 비교 언어모델 실험은 약 7억 6천만 개 파라미터, FineWeb-Edu 500억 토큰, Mistral 토크나이저, 학습 문맥 길이 4,096으로 진행됐습니다. 부록에 따르면 각 모델은 H100 8개로 2~3일 학습했습니다. 아래 수치는 이 규모와 학습 조건에서 얻은 결과입니다. 논문 표 2: 760M 모델의 perplexity와 상식 추론 평가 원문 Table 2. ppl은 낮을수록 좋은 perplexity, acc 계열은 높을수록 좋은 정확도입니다. Avg.는 표의 6개 정확도 지표 평균입니다. Wikitext perplexity는 RoPE 19.01에서 PaTH 18.03, PaTH-FoX 17.35로 낮아졌습니다. LAMBADA perplexity도 19.77에서 각각 16.79, 16.23으로 낮아졌습니다. 다음 토큰을 예측할 때의 불확실성이 줄어든 것으로 해석할 수 있습니다. 정확도 지표 평균은 RoPE 52.7, FoX 53.1, PaTH와 PaTH-FoX가 각각 54.2입니다. RoPE 대비 개선 폭은 1.5%포인트입니다. 다만 PaTH가 FoX보다 모든 개별 지표에서 높지는 않습니다. PIQA와 WinoGrande 등에서는 FoX가 더 높고, PaTH와 PaTH-FoX 사이에도 지표별 차이가 있습니다. 7. 긴 문맥: 길이 확장과 실제 정보 활용은 별개다 논문 그림 3: 세 코퍼스의 길이 외삽 평가 원문 Figure 3. 학습 길이 4,096을 넘어 코드·책·서사형 자료에서 토큰 위치별 perplexity를 비교한 결과입니다. 세로축은 낮을수록 좋습니다. PaTH-FoX와 FoX는 이 평가에서 64K 토큰까지 비교적 안정적으로 확장했고, PaTH-FoX가 더 낮은 perplexity를 보였습니다. PaTH 단독은 약 32K까지 상대적으로 안정적이지만 이후, 특히 코드 자료에서 악화되는 양상이 나타납니다. 따라서 PaTH 단독과 망각 게이트를 결합한 변형의 길이 확장 결과를 섞어 소개하면 안 됩니다. 길어진 입력에서 언어모델 손실이 안정적이라는 사실만으로 필요한 정보를 정확히 찾아낸다고 결론 내릴 수는 없습니다. 이를 확인하려면 검색·변수 추적·질의응답 과제를 따로 봐야 합니다. 논문 표 3: RULER, BABILONG, PhoneBook, LongBench-E 점수 원문 Table 3. 학습 길이 4,096인 760M 모델의 장문 과제 점수입니다. LongBench-E의 4K·8K·16K 열은 각각 0~4K·4~8K·8~16K 길이 구간입니다. RULER 8K 점수는 RoPE 1.3, FoX 29.5, PaTH 34.8, PaTH-FoX 34.0입니다. 16K에서는 PaTH 18.7, PaTH-FoX 22.6으로 낮아집니다. 기준 모델보다 개선됐지만 긴 입력에서의 어려움이 해소된 것은 아닙니다. PhoneBook 4K에서는 PaTH 20.8에 비해 PaTH-FoX가 93.8로 높았고, 8K에서도 각각 0.0과 66.6이었습니다. 반면 LongBench-E의 짧은 두 구간은 PaTH 단독이 더 높았습니다. 어떤 구성의 결합이 유리한지는 과제의 검색 방식과 문맥 길이에 따라 달라집니다. 8. 기존 모델 전환: 교체만으로 성능이 오르지는 않는다 연구진은 RoPE 기반 모델을 PaTH로 바꾸는 방법도 실험했습니다. 먼저 어텐션 층 출력의 평균제곱오차를 맞추는 단계에 1억 토큰, 다음으로 출력 분포의 KL 발산을 줄이는 단계에 30억 토큰을 사용했습니다. 단순한 설정 변경이 아니라 별도의 증류 학습을 수반하는 과정입니다. 고품질 수학·코드 데이터에 노출되기 전의 SmolLM2-1.7B 체크포인트를 전환한 뒤, 텍스트·코드·수학을 1:1:1로 섞은 210억 토큰으로 계속 사전학습한 결과도 제시합니다. 이 조건에서 PaTH의 HumanEval은 25.6으로 RoPE 23.1보다 높았고, MBPP+는 51.3 대 47.1이었습니다. 이는 전환과 후속 학습이 포함된 비교입니다. 논문 표 5: Qwen2.5-7B-Instruct 전환의 개선과 저하 원문 Table 5. 추가 수학·코드 사전학습 없이 Qwen2.5-7B-Instruct를 증류한 결과입니다. 교사 모델과 PaTH 학생 모델을 비교합니다. 반면 이미 폭넓게 학습된 Qwen2.5-7B-Instruct에서는 결과가 혼재합니다. GSM8K는 80.29에서 80.67로 올랐지만, MATH는 69.10에서 65.38, HumanEval은 82.32에서 77.44로 낮아졌습니다. 기존 대형 모델의 위치 표현만 바꾸면 모든 성능이 향상된다는 근거로 이 논문을 읽을 수는 없습니다. 9. 계산 비용과 구현의 한계 블록 처리로 누적 변환의 비용을 줄인다 각 토큰 쌍마다 긴 행렬 곱을 다시 계산하면 비용이 커집니다. 연구진은 변환의 저랭크 구조를 이용해 블록 단위로 Query와 Key를 전처리하고, 블록을 이동할 때 누적 변환과 온라인 softmax 통계를 갱신하는 FlashAttention 계열 알고리즘을 설계했습니다. 전체 어텐션 행렬을 메모리에 모두 펼치지 않는 방식입니다. 논문 그림 1: H100에서의 Triton 구현 실행시간 원문 Figure 1. 단일 H100, 배치 32, 헤드 32개, 헤드 차원 64의 Triton 구현 실행시간 비교입니다. 세로축은 밀리초이며 낮을수록 빠릅니다. 이 조건에서 PaTH는 일반 RoPE/FlashAttention 구현보다 느리고 FoX 구현보다 빠릅니다. 따라서 정확도 개선과 연산 비용의 교환을 함께 검토해야 합니다. 전체 계산은 여전히 문맥 길이에 대해 대체로 이차적으로 증가하며, 해당 그림을 전체 서비스 처리량이나 모든 GPU에서의 성능으로 확대할 수 없습니다. 추론 때는 새 토큰의 변환으로 과거 Key 캐시를 직접 갱신해 변환 벡터를 별도로 누적 저장하는 부담을 줄입니다. 이후 기존 softmax 디코딩 커널과 연결할 수 있도록 설계됐지만, 과거 Key·Value를 보관하는 캐시 자체가 없어지는 것은 아닙니다. 정밀도와 헤드 크기의 제약 원문은 BF16에서 누적 곱이 불안정해질 수 있다고 명시합니다. β가 2에 너무 가까워질 때 반올림 오차로 발산할 수 있어 클리핑이 필요합니다. 또한 속도 비교는 헤드 차원 64에 한정되며, 더 큰 헤드에서는 계산과 메모리 부담이 늘어납니다. 단일 반사 계열 변환이 RoPE의 회전 구조를 그대로 포함하지 않는 점도 한계입니다. 10. 변리사 관점의 기술 분석 기술적 과제 검토할 과제는 입력에서 발생한 상태 변경의 순서를 토큰 관계에 반영하면서, 기존 softmax 어텐션의 정보 회수 능력과 병렬 학습 가능성을 유지하는 것입니다. “더 긴 입력을 받는다”는 목표만으로는 구체적인 해결 구조를 설명하기 어렵습니다. 해결 수단과 구성의 결합 해결 수단은 입력 의존적인 방향 벡터·강도 생성, Householder 계열의 저랭크 변환, 두 위치 사이 변환의 순차적 곱, 그 결과를 반영한 어텐션 점수 계산입니다. 여기에 블록 단위 전처리·스캔·온라인 softmax를 결합해 계산 가능성을 확보합니다. PaTH-FoX에서는 망각 게이트가 추가돼 경로 표현과 영향력 감쇠가 서로 다른 역할을 담당합니다. 기존 접근과 구별되는 내용 고정된 거리 규칙을 사용하는 위치 표현과 비교하면, PaTH는 중간 토큰의 내용과 순서가 변환을 직접 바꾼다는 점에서 구별됩니다. 단순히 계산이 끝난 점수에 편향을 더하는 방식과도 구조가 다릅니다. 기술 분석에서는 “행렬을 썼다”는 개별 요소보다 입력별 변환 생성부터 누적·점수 계산·블록 실행으로 이어지는 연결 관계를 살펴볼 필요가 있습니다. 입증된 효과와 해석의 범위 연구진이 보고한 효과는 합성 상태 추적 오류 감소, 같은 사전학습 조건에서의 언어모델 지표 개선, 일부 장문 과제의 성능 향상입니다. 이를 상태 변경 경로를 위치 표현에 통합한 구조의 장점으로 해석할 수 있습니다. 다만 개별 구성의 기여를 모든 응용에 동일하게 일반화하거나, 기술적 차별성을 곧바로 특허성·침해 판단으로 연결할 수는 없습니다. 11. 마무리 PaTH Attention의 의미는 위치 정보를 고정된 좌표로만 다루지 않고, 입력을 통과하며 누적되는 상태 변화의 경로로 확장했다는 데 있습니다. Query와 Key 사이에 내용 의존적인 변환을 넣고 이를 효율적으로 실행하는 알고리즘까지 연결했다는 점이 이 논문의 중심입니다. 실험은 상태 추적과 긴 문맥 활용에서 이 접근의 가능성을 보여 줍니다. 동시에 PaTH 단독과 PaTH-FoX의 차이, 기존 모델 전환 시의 성능 저하, 수치 정밀도와 비용의 한계를 함께 읽어야 합니다. 기술의 가치는 유리한 수치 하나보다 어떤 과제를 어떤 구성으로 해결했고, 어느 조건까지 효과가 확인됐는지를 연결할 때 더 분명해집니다. 관련 업무 · 인공지능 특허 PaTH Attention 논문 v2 이 글은 표시된 게시일을 기준으로 작성된 자료입니다. 개별 사안에 대한 검토는 상담을 통해 안내합니다. 관련 업무 상담 ↗ 전체 글 보기 ON THIS PAGE 1. 논문 기본 정보 2. 기술적 배경: 거리가 같아도 의미는 다르다 3. 핵심 원리: 토큰마다 작은 변환을 만들고 누적한다 4. 실제 처리 과정과 PaTH-FoX의 차이 5. 상태 추적 실험: 최신 값과 과거 이력을 구별하는가 6. 언어모델 성능: 같은 학습 조건에서의 비교 7. 긴 문맥: 길이 확장과 실제 정보 활용은 별개다 8. 기존 모델 전환: 교체만으로 성능이 오르지는 않는다 9. 계산 비용과 구현의 한계 10. 변리사 관점의 기술 분석 11. 마무리 TALK TO IPLEX 우리 기업에 맞는 IP 전략이 필요하다면 기술과 사업의 상황에 맞춰 필요한 업무를 함께 살펴봅니다. ↗ 상담 문의 최근 글 합금 특허 진보성, 수치가 다르면 될까요 ↗ 이전 글 튀르키예 상표출원 핵심 가이드 ↗ 함께 읽을 인사이트 인공지능 2026.10.14 화웨이 Pangu Weather AI 특허 쉽게 읽기: 시간 간격별 모델로 예보를 이어 가는 원리 화웨이 공개출원 US20250258318A1의 시간 간격별 모델 선택, 예측 상태 전달과 기상 데이터 결합 원리를 분석합니다. ↗ 본문 읽기 인공지능 2026.10.13 큰 묶음으로 갱신하는 AI의 기억, LaCT LaCT 논문의 큰 청크 갱신, 비선형 빠른 가중치, 윈도 어텐션 및 실험 조건과 한계를 분석합니다. ↗ 본문 읽기 인공지능 2026.10.12 Adobe AI 특허 쉽게 읽기: 원본과 생성 후보를 레이어로 보존하는 이미지 편집 원리 Adobe의 미국 특허 US12462456B2를 통해 입력·대상 마스크와 생성 레이어, 원본·후보를 보존하는 AI 이미지 편집 구조를 살펴봅니다. ↗ 본문 읽기

- https://www.iplexlaw.co.kr/
- https://www.iplexlaw.co.kr/%EC%9D%B8%EC%82%AC%EC%9D%B4%ED%8A%B8-%EB%B0%8F-%EB%89%B4%EC%8A%A4/category/ai
- https://www.iplexlaw.co.kr/ko/ai-patents
- https://arxiv.org/abs/2505.16381v2
- https://www.iplexlaw.co.kr/%EC%97%B0%EB%9D%BD%ED%95%98%EA%B8%B0
- https://www.iplexlaw.co.kr/%EC%9D%B8%EC%82%AC%EC%9D%B4%ED%8A%B8-%EB%B0%8F-%EB%89%B4%EC%8A%A4
- https://www.iplexlaw.co.kr/ko/blog/path-attention-householder-transformations#case-1837-ko-0
- https://www.iplexlaw.co.kr/ko/blog/path-attention-householder-transformations#case-1837-ko-1
- https://www.iplexlaw.co.kr/ko/blog/path-attention-householder-transformations#case-1837-ko-2
- https://www.iplexlaw.co.kr/ko/blog/path-attention-householder-transformations#case-1837-ko-3
- https://www.iplexlaw.co.kr/ko/blog/path-attention-householder-transformations#case-1837-ko-4
- https://www.iplexlaw.co.kr/ko/blog/path-attention-householder-transformations#case-1837-ko-5
- https://www.iplexlaw.co.kr/ko/blog/path-attention-householder-transformations#case-1837-ko-6
- https://www.iplexlaw.co.kr/ko/blog/path-attention-householder-transformations#case-1837-ko-7
- https://www.iplexlaw.co.kr/ko/blog/path-attention-householder-transformations#case-1837-ko-8
- https://www.iplexlaw.co.kr/ko/blog/path-attention-householder-transformations#case-1837-ko-9
- https://www.iplexlaw.co.kr/ko/blog/path-attention-householder-transformations#case-1837-ko-10
- https://www.iplexlaw.co.kr/%EC%97%B0%EB%9D%BD%ED%95%98%EA%B8%B0
- https://www.iplexlaw.co.kr/ko/blog/brunch-case-1838
- https://www.iplexlaw.co.kr/ko/blog/turkiye-trademark-filing-guide
- https://www.iplexlaw.co.kr/ko/blog/huawei-pangu-weather-time-interval-models
- https://www.iplexlaw.co.kr/ko/blog/huawei-pangu-weather-time-interval-models
- https://www.iplexlaw.co.kr/ko/blog/lact-large-chunk-test-time-training
- https://www.iplexlaw.co.kr/ko/blog/lact-large-chunk-test-time-training
- https://www.iplexlaw.co.kr/ko/blog/adobe-non-destructive-generative-editing
- https://www.iplexlaw.co.kr/ko/blog/adobe-non-destructive-generative-editing