# 인공지능 전문 변리사의 PPO 클리핑의 한계를 넘은 TROLL 논문 분석: 토큰별 신뢰영역으로 LLM 강화학습을 더 안정적으로 만드는 방법

대규모 언어모델의 추론 능력을 강화하기 위해 보상 기반 강화학습을 적용하는 사례가 빠르게 늘고 있습니다. 이때 자주 등장하는 방식이 PPO 계열의 정책 최적화입니다. GRPO, Dr.GRPO, GSPO, REINFORCE++처럼 장점 추정이나 정규화 방식을 개선한 방법들도 정책이 한 번에 너무 크게 바뀌지…

Source: https://www.iplexlaw.co.kr/forum/view/1533996

HOME / NEWS & INSIGHTS NEWS & INSIGHTS 인공지능 전문 변리사의 PPO 클리핑의 한계를 넘은 TROLL 논문 분석: 토큰별 신뢰영역으로 LLM 강화학습을 더 안정적으로 만드는 방법 대규모 언어모델의 추론 능력을 강화하기 위해 보상 기반 강화학습을 적용하는 사례가 빠르게 늘고 있습니다. 이때 자주 등장하는 방식이 PPO 계열의 정책 최적화입니다. GRPO, Dr.GRPO, GSPO, REINFORCE++처럼 장점 추정이나 정규화 방식을 개선한 방법들도 정책이 한 번에 너무 크게 바뀌지… 인공지능 2026.09.08 게시 IPLEX 23분 읽기 작성자: 아이피렉스 특허법률사무소 김용덕 변리사 대규모 언어모델의 추론 능력을 강화하기 위해 보상 기반 강화학습을 적용하는 사례가 빠르게 늘고 있습니다. 이때 자주 등장하는 방식이 PPO 계열의 정책 최적화입니다. GRPO, Dr.GRPO, GSPO, REINFORCE++처럼 장점 추정이나 정규화 방식을 개선한 방법들도 정책이 한 번에 너무 크게 바뀌지 않도록 막는 장치로는 대체로 PPO식 클리핑을 사용합니다. TROLL 논문은 바로 이 지점을 정면으로 다룹니다. 새로운 보상함수를 제안하거나 장점 추정기를 다시 설계하는 대신, 오랫동안 관성적으로 사용해 온 클리핑을 토큰별 KL 신뢰영역 투영으로 바꿉니다. 쉽게 말하면 “범위를 넘은 업데이트를 잘라 버리는 방식”에서 “허용 범위 안에서 가장 가까운 확률분포로 되돌려 놓는 방식”으로 전환한 것입니다. 이 글의 한 문장 결론TROLL은 PPO식 클리핑을 미분 가능한 토큰별 신뢰영역 투영으로 대체하고, 실제로 중요한 소수의 토큰 확률만 희소하게 처리함으로써 LLM 강화학습의 안정성과 학습 속도, 최종 성공률을 함께 개선하려는 방법입니다. 논문 기본 정보 논문명은 ‘TROLL: Trust Regions Improve Reinforcement Learning for Large Language Models’이며, ICLR 2026 게재 논문입니다. 저자는 Philipp Becker, Niklas Freymuth, Serge Thilges, Fabian Otto, Gerhard Neumann이고, 소속은 Karlsruhe Institute of Technology와 Microsoft Research입니다. 핵심 주제는 PPO식 클리핑을 미분 가능한 이산 신뢰영역 투영으로 대체하는 것이며, 수학 추론과 코드 생성, 여러 모델 계열 및 장점 추정 방식에 걸쳐 적용 범위를 검증합니다. 1. 논문이 던지는 질문: PPO 클리핑은 왜 다시 봐야 하는가 LLM의 강화학습 후학습에서는 모델이 만든 응답을 평가해 보상을 주고, 높은 보상을 받은 응답이 앞으로 더 자주 나오도록 정책을 업데이트합니다. 문제는 업데이트 폭이 너무 크면 모델의 출력분포가 갑자기 무너질 수 있다는 점입니다. 학습 데이터가 조금만 바뀌어도 응답 길이가 급증하거나, 특정 패턴만 반복하거나, 탐색 다양성이 빠르게 사라질 수 있습니다. PPO는 이런 급격한 변화를 막기 위해 새 정책과 이전 정책의 확률비가 일정 범위를 벗어나지 않도록 클리핑합니다. 구현이 간단하고 대규모 학습에 적용하기 쉬워 널리 쓰였지만, 논문 저자들은 이 방식이 원래의 신뢰영역 개념을 거칠게 근사한 것이라고 지적합니다. 특히 확률비가 임계범위를 벗어난 토큰에서는 기울기가 잘리기 때문에, 잘못된 방향으로 움직인 정책을 “어떻게 다시 안전한 범위로 돌려놓을지”에 관한 정보가 충분히 남지 않을 수 있습니다. 클리핑을 자동차에 비유하면 클리핑은 제한속도를 넘으면 가속페달 입력을 갑자기 끊는 장치와 비슷합니다. 속도가 너무 빨라지는 것은 막을 수 있지만, 차량을 어느 방향으로 얼마나 부드럽게 감속해야 하는지는 알려주지 않습니다. 반면 신뢰영역 투영은 현재 위치에서 허용구역 안에 있는 가장 가까운 지점을 계산해 차량을 그곳으로 옮기는 방식에 가깝습니다. 제어 대상의 상태를 명시적으로 안전영역 안에 배치한다는 차이가 있습니다. PPO식 클리핑과 TROLL의 차이를 정리하면 다음과 같습니다. PPO식 클리핑은 샘플 토큰의 정책 비율을 임계범위에서 자르는 방식이고, 범위를 벗어나면 목적함수와 기울기가 잘릴 수 있습니다. 이론적으로는 신뢰영역을 휴리스틱하게 근사하는 방식이며 별도의 분포 투영은 수행하지 않습니다. 반면 TROLL은 토큰 위치별 전체 확률분포를 KL 범위 안으로 투영하고, 경계를 벗어난 경우 허용영역 안에서 현재 분포와 가장 가까운 분포를 계산합니다. 이는 명시적인 KL 제약을 갖는 볼록 최적화에 가깝고, 대규모 어휘에서는 희소 토큰 분포를 사용해 비용을 억제합니다. 두 방식 모두 추론 단계에서는 추가 비용이 없습니다. 중요한 구분TROLL은 PPO, GRPO, Dr.GRPO, GSPO 등에서 “장점 값을 어떻게 계산할지”를 대체하지 않습니다. 계산된 장점을 이용해 정책을 실제로 업데이트할 때 사용하는 클리핑 메커니즘을 대체합니다. 2. 먼저 알아둘 개념: 정책, 장점, KL 신뢰영역 2.1 정책은 다음 토큰의 확률분포다 언어모델에서 정책은 현재 문맥을 보고 다음 토큰 각각에 부여하는 확률분포입니다. 예를 들어 같은 문맥에서 “정답”, “따라서”, “하지만” 등의 토큰에 서로 다른 확률이 배정됩니다. 강화학습은 좋은 응답에 포함된 토큰의 확률은 높이고, 나쁜 응답에 포함된 토큰의 확률은 낮추는 방향으로 모델 파라미터를 조정합니다. 2.2 장점은 이번 선택이 평균보다 얼마나 좋았는지 나타낸다 장점은 해당 응답이나 토큰 선택이 기준 행동보다 얼마나 나았는지를 나타내는 신호입니다. PPO는 별도의 가치모델을 사용할 수 있고, GRPO는 같은 질문에서 여러 응답을 뽑은 뒤 집단 내 상대 보상으로 장점을 계산합니다. TROLL은 이 장점 계산 방식을 특정하지 않기 때문에 여러 알고리즘과 결합할 수 있습니다. 2.3 KL 발산은 두 확률분포가 얼마나 달라졌는지 측정한다 KL 발산은 새 정책의 토큰 확률분포가 이전 정책의 분포에서 얼마나 멀어졌는지를 재는 척도입니다. TROLL은 각 출력 위치에서 새 정책과 이전 정책 사이의 KL 발산이 미리 정한 경계값 ε을 넘지 않도록 제한합니다. 이때 제한은 단순히 샘플된 토큰 하나의 비율만 보는 것이 아니라, 해당 위치에서 고려되는 토큰 분포 자체에 적용됩니다. 2.4 신뢰영역은 한 번의 업데이트에서 허용되는 변화의 반경이다 신뢰영역은 “이번 학습 단계에서는 정책이 이 정도 이상 멀어지지 않게 하자”라는 안전반경입니다. 경계가 너무 작으면 학습이 느려지고, 너무 크면 정책이 과도하게 움직여 불안정해질 수 있습니다. 논문 역시 ε이 지나치게 보수적이면 속도가 느려지고, 지나치게 크면 최종 성공률이 나빠지는 경향을 확인합니다. 수식 없이 기억할 핵심TROLL의 목표는 새 정책을 이전 정책과 똑같이 만드는 것이 아닙니다. 보상을 따라 충분히 움직이되, 한 번에 허용된 KL 반경을 넘은 경우에만 가장 가까운 안전한 분포로 조정하는 것입니다. 3. TROLL의 핵심 아이디어: 자르지 말고 투영한다 그림 1. 논문 Figure 1. 왼쪽은 세 토큰 분포에서 이전 정책, 새 정책, 투영된 정책의 관계를 보여주고, 오른쪽은 수학 및 코드 평가에서 TROLL과 Clip의 학습 속도를 비교합니다. 출처: Becker et al., ICLR 2026, 원문 2쪽. 그림의 왼쪽을 쉽게 읽는 법 삼각형의 세 꼭짓점은 고양이, 트롤, 햄스터라는 세 토큰에 확률을 모두 몰아준 극단적인 경우를 뜻합니다. 빨간 점은 데이터를 수집할 때 사용한 이전 정책, 파란 점은 현재 파라미터 업데이트로 만들어진 새 정책입니다. 새 정책이 햄스터 쪽으로 너무 멀리 이동해 신뢰영역을 벗어나면, TROLL은 파란 점에서 원 안쪽의 가장 가까운 녹색 점으로 확률분포를 옮깁니다. 중요한 점은 무조건 이전 정책으로 되돌리는 것이 아니라는 사실입니다. 새 정책이 신뢰영역 안에 있으면 그대로 두고, 밖에 있을 때만 최소한으로 수정합니다. 따라서 보상에 따라 학습하는 방향은 유지하면서도 한 번의 업데이트가 지나치게 커지는 것을 막습니다. 그림의 오른쪽이 말하는 것 Qwen3-14B를 GRPO로 학습한 실험에서 실선인 TROLL이 점선인 Clip보다 더 빠르게 높은 성공률에 도달합니다. 특히 코드 생성에서는 같은 벽시계 시간 기준으로 격차가 크게 나타납니다. 이 결과는 단순히 최종 점수만 높아진 것이 아니라, 학습 시간 대비 효율도 좋아졌다는 논문의 주장을 뒷받침합니다. 핵심 포인트클리핑은 범위를 넘은 업데이트의 기울기를 약화하거나 끊을 수 있지만, TROLL은 투영 결과를 통해 제약된 업데이트에도 미분 정보를 유지합니다. 이것이 안정성뿐 아니라 학습 효율 개선으로 이어진다는 것이 논문의 중심 가설입니다. 4. TROLL의 실제 처리 흐름 그림 2. 논문 Figure 2. 현재 LLM의 확률분포와 롤아웃 버퍼에 저장된 이전 정책의 확률분포를 희소화한 뒤, KL 신뢰영역 투영을 거쳐 학습에 사용할 분포를 계산합니다. 출처: Becker et al., ICLR 2026, 원문 4쪽. 1단계. 이전 정책을 저장한다 응답을 생성할 때 사용한 정책의 토큰 확률을 롤아웃 버퍼에 저장합니다. 이것이 새 정책이 얼마나 달라졌는지 판단하는 기준점이 됩니다. 2단계. 현재 정책의 확률분포를 다시 계산한다 같은 응답 데이터를 이용해 업데이트 중인 현재 모델의 토큰 확률을 계산합니다. 3단계. 두 분포를 희소화한다 전체 어휘를 모두 저장하지 않고, 대부분의 확률질량을 차지하는 상위 토큰만 남깁니다. 4단계. KL 경계를 검사한다 현재 분포가 이전 분포에서 ε 이상 멀어졌는지 확인합니다. 경계 안이면 투영하지 않습니다. 5단계. 경계를 넘은 분포만 투영한다 경계를 넘은 경우, 현재 분포와 가장 가깝고 동시에 이전 정책 주변의 신뢰영역 안에 있는 분포를 계산합니다. 6단계. 투영된 분포로 정책을 업데이트한다 투영된 분포를 정책비 계산에 사용하고, 원래 모델 출력이 투영 결과를 따라가도록 회귀항도 추가합니다. 왜 회귀항이 필요한가투영된 분포만 정책비에 사용하면 실제 LLM이 출력하는 미투영 분포는 계속 신뢰영역 밖에 머물 수 있습니다. 논문은 투영 결과를 정답처럼 두고 원래 출력이 그쪽으로 가까워지도록 회귀항을 추가해 다음 업데이트도 안정적으로 이어지게 합니다. 5. 수학을 빼고 이해하는 신뢰영역 투영 5.1 현재 정책과 이전 정책 사이의 가장 가까운 타협점 TROLL이 푸는 문제는 간단히 말해 두 조건을 동시에 만족하는 확률분포를 찾는 것입니다. 첫째, 현재 모델이 만들고 싶어 하는 새 분포와 최대한 가까워야 합니다. 둘째, 데이터 수집에 사용한 이전 정책에서 KL 경계 ε보다 멀어지면 안 됩니다. 이 문제는 볼록 최적화 형태로 정리되며, 해는 현재 정책과 이전 정책의 로그확률을 기하적으로 보간한 형태로 나타납니다. 5.2 투영 강도는 토큰 위치마다 자동으로 달라진다 현재 분포가 이미 안전영역 안에 있으면 투영 강도는 0이 되어 아무것도 바꾸지 않습니다. 반대로 경계를 크게 벗어났다면 이전 정책 쪽으로 더 많이 끌어옵니다. 이 강도를 결정하는 값은 하나의 스칼라 최적화 문제로 바뀌기 때문에, 전체 고차원 최적화를 직접 푸는 것보다 훨씬 효율적으로 계산할 수 있습니다. 5.3 미분 가능한 투영이 중요한 이유 강화학습에서는 최종 손실에서 모델 파라미터까지 기울기가 이어져야 합니다. TROLL은 투영 과정 안에 수치 최적화가 들어가지만, KKT 조건과 암시적 미분을 이용해 최적 투영 강도가 모델 출력에 따라 어떻게 변하는지 계산합니다. 덕분에 투영 자체를 학습 그래프 안의 하나의 층처럼 다룰 수 있습니다. 가상의 예를 들면, 정답 후보 토큰의 확률이 이전 정책에서 0.45였는데 현재 정책에서 0.60으로 높아졌다면 TROLL은 보상 방향을 살리되 KL 경계 안에 있는 경우 그 변화를 유지합니다. 다른 유력 토큰이 0.35에서 0.15로 크게 낮아졌다면 변화가 과한 경우 일부를 복원하고, 나머지 토큰이 0.20에서 0.25로 변한 경우에는 전체 확률분포가 유효하도록 함께 정규화합니다. 오해하기 쉬운 점TROLL은 각 토큰의 확률을 개별적으로 상한·하한에 맞추는 단순한 잘라내기가 아닙니다. 확률의 합이 1인 전체 범주형 분포를 대상으로, KL 제약을 만족하는 하나의 유효한 분포를 구합니다. 6. 15만 개가 넘는 토큰 후보를 어떻게 다루나 원칙대로라면 매 응답 토큰마다 전체 어휘의 확률분포를 저장하고 KL 투영을 수행해야 합니다. 논문이 예로 든 Qwen3 토크나이저는 토큰 후보가 151,936개입니다. 긴 응답과 대규모 배치를 고려하면 전체 로짓을 그대로 저장하는 방식은 메모리와 계산량 측면에서 현실적이지 않습니다. 6.1 확률질량의 대부분은 몇 개 토큰에 몰려 있다 언어모델의 다음 토큰 분포는 대체로 매우 뾰족합니다. 가능한 토큰은 많아도 실제로 높은 확률을 받는 후보는 소수입니다. 논문은 최대 K개 토큰을 후보로 잡고, 누적 확률질량이 1-δ에 도달할 때까지만 남기는 방식을 사용합니다. 기본 설정 K=64, δ=10⁻⁵에서는 평균 5~10개 토큰만으로 99.999% 이상의 확률질량을 보존했다고 보고합니다. 6.2 실제로 선택된 토큰은 반드시 남긴다 상위 확률 토큰만 남기면 낮은 확률로 샘플된 실제 응답 토큰이 빠질 수 있습니다. 그런데 강화학습의 정책비와 기울기는 실제로 생성된 토큰에 직접 의존합니다. 그래서 TROLL은 모델이 선택한 토큰을 확률순위와 무관하게 희소 집합에 포함시킵니다. 6.3 버린 토큰을 완전히 0으로 만들지는 않는다 희소화에서 제외된 토큰에 확률 0을 주면 KL 발산 계산이 불안정해질 수 있습니다. 논문은 제외된 토큰에 작은 기본 확률을 부여하고, 남겨 둔 토큰과 함께 다시 정규화합니다. 또한 긴 시퀀스에서 메모리 피크가 커지지 않도록 청크 단위로 희소화를 수행합니다. 희소화는 네 가지 장치가 함께 작동합니다. 먼저 상위 K 제한은 고엔트로피 상황에서 저장할 토큰 수의 상한을 두는 장치로, 논문의 기본값은 K=64입니다. 누적 확률질량 기준은 중요한 확률을 충분히 보존한 시점에서 선택을 중단하는 방식이며 기본값은 δ=10⁻⁵입니다. 실제로 샘플된 토큰은 정책비와 기울기 계산에 필요하므로 항상 희소 집합에 포함합니다. 또한 제외된 토큰을 완전한 0으로 만들지 않기 위해 pd>0인 기본 미소 확률을 부여합니다. 특허 실무에서 주목할 결합관계희소화 자체보다 “토큰별 신뢰영역 투영을 가능하게 하는 희소 표현”이라는 목적과, 확률질량 기준·상위 K·실제 샘플 토큰 강제 포함·재정규화가 어떤 순서로 결합되는지가 기술적 특징으로 보입니다. 7. 실험은 어떻게 설계되었나 논문은 수학 추론과 코드 생성에 대한 RLVR 환경에서 TROLL과 기존 Clip을 비교합니다. 특정 모델이나 특정 장점 추정기에만 맞춘 결과가 아니라는 점을 확인하기 위해 모델 계열, 파라미터 규모, 데이터셋, 강화학습 알고리즘을 폭넓게 바꿔 실험했습니다. 실험 데이터와 모델 구성을 보면, 수학 분야에서는 DAPO-Math와 MATH500·AMC·AIME·OMNIMATH·OlympiadBench·Minerva로 구성된 MATH 평가군, GSM8K, Eurus-Math를 사용했고, 코드 분야에서는 Eurus-2-RL-Code를 사용했습니다. Qwen 계열은 Qwen3 0.6B·1.7B·4B·8B·14B와 Qwen2.5 0.5B·1.5B·3B·7B를 포함하며, 그 밖에도 Llama 3.1·3.2, SmolLM3, Apertus, FineMath-Llama를 비교했습니다. 정책 최적화 방식은 GRPO, PPO, Dr.GRPO, GSPO, REINFORCE++를 다뤘고, 추가로 적응형 클리핑 BAPO와 비클리핑 방식 GPG와의 결합 가능성도 검토했습니다. 이 실험의 핵심 질문TROLL이 점수를 조금 올리는가만 보는 것이 아닙니다. 더 빨리 학습하는지, 학습 중 붕괴를 줄이는지, 다른 알고리즘과 모델에서도 반복되는지, 그리고 그 대가로 계산비용이 얼마나 늘어나는지를 함께 검증합니다. 8. Qwen 모델에서 나타난 성능 변화 그림 3. 논문 Figure 3. Qwen3 600M부터 14B까지 TROLL은 실선, Clip은 점선으로 표시되었습니다. DAPO 훈련·평가, MATH 평가, Eurus-Code 훈련·평가에서 전반적으로 TROLL 곡선이 더 빠르고 높게 상승합니다. 출처: Becker et al., ICLR 2026, 원문 7쪽. 8.1 수학 추론에서는 3~10%포인트 개선 논문은 DAPO-Math 기반 실험에서 TROLL이 Clip보다 대체로 3~10%포인트, 상대값으로는 약 5~15% 높은 결과를 보였다고 정리합니다. 작은 모델부터 14B 모델까지 같은 방향의 개선이 나타났고, 훈련셋뿐 아니라 DAPO 평가와 MATH 평가에서도 차이가 이어졌습니다. 8.2 코드 생성에서는 격차가 더 크게 나타났다 Eurus-Code에서는 7~18%포인트, 상대값으로 약 18~30%의 개선이 보고되었습니다. 논문은 Qwen3-1.7B TROLL 모델이 Qwen3-4B Clip 모델보다 높은 결과를 보인 사례를 제시합니다. 모델 크기를 키우는 것보다 업데이트 방식의 안정성을 개선하는 편이 더 큰 효과를 낼 수 있음을 보여주는 결과입니다. 8.3 작은 TROLL 모델이 큰 Clip 모델에 근접한 사례 수학 실험에서 Qwen3-4B TROLL 모델은 Qwen3-14B Clip 모델에 거의 근접하는 성능을 보였습니다. 물론 이 결과 하나만으로 작은 모델이 큰 모델을 대체한다고 일반화할 수는 없습니다. 다만 후학습 알고리즘의 선택이 파라미터 규모 못지않게 중요한 성능 변수라는 점은 분명하게 보여줍니다. 9. 장점 추정 방식이 달라도 효과가 유지되는가 표 1. 논문 Table 1. Qwen3-8B와 Qwen2.5-7B-Instruct에서 GRPO, Dr.GRPO, PPO, GSPO, REINFORCE++의 Clip 버전과 TROLL 버전을 비교합니다. 출처: Becker et al., ICLR 2026, 원문 8쪽. 표에서 가장 눈에 띄는 부분은 GSPO입니다. Qwen3-8B에서 GSPO와 Clip을 결합한 경우 성공률이 사실상 0으로 붕괴했지만, TROLL을 사용하면 DAPO 평가 0.706을 기록했습니다. Qwen2.5-7B-Instruct에서도 GSPO Clip은 낮은 결과를 보인 반면 TROLL은 학습을 안정화했습니다. 다른 알고리즘에서도 TROLL은 대체로 성공률을 높였습니다. 논문은 실험한 범위에서 장점 추정 방식을 바꾸는 것보다 Clip을 TROLL로 바꾸는 편이 더 큰 이득을 주는 경우가 많았다고 설명합니다. 이는 TROLL이 특정 장점 계산법의 보조 기법이라기보다, 정책 업데이트 층에서 공통으로 사용할 수 있는 안정화 장치라는 점을 보여줍니다. Qwen3-8B의 DAPO 평가를 구체적으로 보면, GRPO에서는 Clip 0.640에서 TROLL 0.691로 0.051 상승했고, PPO에서는 0.602에서 0.715로 0.113 상승했습니다. GSPO는 Clip에서 0.000으로 학습이 붕괴했지만 TROLL에서는 0.706을 기록해 학습을 회복했습니다. REINFORCE++ 역시 Clip 0.626에서 TROLL 0.728로 0.102 상승했습니다. 해석의 포인트 TROLL은 “더 좋은 장점 추정기”가 아니라 “장점 추정 결과를 정책에 반영하는 더 원칙적인 제한 방식”입니다. 그래서 서로 다른 장점 추정 방식에 걸쳐 효과가 반복되는지가 중요합니다. 10. 모델 계열이 바뀌어도 효과가 유지되는가 그림 4. 논문 Figure 4. Llama, SmolLM3, Apertus 등 다양한 모델과 GSM8K·DAPO 조합에서 TROLL과 Clip의 최종 성능과 학습곡선을 비교합니다. 출처: Becker et al., ICLR 2026, 원문 9쪽. TROLL의 장점은 Qwen 계열에만 머물지 않았습니다. 특히 기존 Clip으로 학습 신호가 거의 나타나지 않던 모델에서 차이가 크게 나타났습니다. Llama3.1-8B의 GSM8K 결과는 Clip 0.000에서 TROLL 0.759로, Apertus-8B는 0.156에서 0.697로 개선되었습니다. Apertus-8B-Instruct도 0.688에서 0.824로 상승했습니다. 학습곡선을 보면 일부 Llama 모델은 Clip에서 상당한 시간이 지나야 성능이 오르기 시작하지만, TROLL에서는 더 일찍 학습 신호가 나타납니다. 논문이 강조하는 “빠른 학습”과 “안정적인 업데이트”가 모델 계열을 바꾸어도 관찰된다는 의미입니다. 다만 모든 조합에서 무조건 좋아진 것은 아닙니다. FineMath-Llama-3B의 GSM8K 결과는 Clip 0.750, TROLL 0.746으로 거의 같거나 소폭 낮았습니다. 이 예외는 TROLL이 항상 성능을 보장하는 만능 공식이 아니라, 기존 클리핑의 불안정성이 큰 환경에서 특히 가치가 커지는 방법임을 보여줍니다. 신뢰할 만한 논문 읽기의 기준좋은 결과만 골라 보는 대신 개선 폭이 작은 사례와 예외도 함께 봐야 합니다. 이 논문의 설득력은 모든 셀에서 승리했다는 데 있지 않고, 다양한 모델과 알고리즘에서 학습 안정성 개선이 반복적으로 관찰된다는 데 있습니다. 11. 하이퍼파라미터, 엔트로피, 계산비용 분석 그림 5. 논문 Figure 5. 왼쪽은 KL 경계와 희소화 토큰 수에 따른 성능, 오른쪽 위는 메모리·실행시간, 오른쪽 아래는 학습 중 엔트로피 변화를 보여줍니다. 출처: Becker et al., ICLR 2026, 원문 10쪽. 11.1 KL 경계 ε ε이 너무 작으면 업데이트가 지나치게 보수적이어서 학습이 느려집니다. 반대로 너무 크면 정책이 한 번에 많이 움직일 수 있어 최종 성능이 나빠집니다. 다만 논문은 적절하게 작고 보수적인 범위에서는 수렴 성능이 비교적 안정적이라고 설명합니다. 11.2 희소화 상한 K K=16은 전체 분포를 충분히 근사하지 못해 성능이 떨어졌습니다. K=256은 계산비용을 늘리지만 기본값 K=64보다 뚜렷한 성능 이득이 없었습니다. 즉, 중요한 토큰을 충분히 남기되 불필요하게 많은 토큰을 보존하지 않는 균형점이 필요합니다. 11.3 엔트로피 보존 Clip은 학습이 진행되면서 토큰 분포의 엔트로피가 빠르게 낮아지는 경향을 보였습니다. 이는 모델이 이미 알고 있는 소수 패턴에 확률을 집중하는 현상으로 해석할 수 있습니다. TROLL은 더 높은 엔트로피를 유지하면서 성공률도 높였습니다. 코드 생성 실험에서는 엔트로피 보존과 성능 개선 사이의 상관관계도 관찰되었습니다. 11.4 통제 환경에서 측정한 추가 비용 통제 환경에서 측정한 추가 비용을 보면, VRAM 사용량은 Clip 34.574 GiB에서 TROLL 36.157 GiB로 증가해 약 4.6%의 추가 메모리가 필요했습니다. 실행시간은 Clip 85.133초에서 TROLL 92.906초로 늘어 약 9.1% 증가했습니다. 훈련 단계에서 추가 비용이 전혀 없는 것은 아닙니다. 다만 논문은 희소 분포를 사용해 증가 폭을 제한했고, 이 비용이 모델 파라미터 수가 아니라 주로 어휘 크기에 따라 결정되므로 모델이 커질수록 전체 훈련비용에서 차지하는 비중이 줄어든다고 설명합니다. 추론 시에는 TROLL 투영을 사용하지 않으므로 추가 비용이 없습니다. 12. 논문 결과를 해석할 때 주의할 점 12.1 TROLL은 추론 구조를 바꾸는 방법이 아니다 TROLL은 후학습 단계의 정책 업데이트 방식입니다. 모델 아키텍처를 바꾸거나 추론 시 새로운 모듈을 추가하는 방식이 아닙니다. 따라서 학습이 끝난 모델의 추론 동작과 지연시간은 기존과 동일하게 유지된다는 것이 논문의 장점입니다. 12.2 보상 설계 문제까지 해결하는 것은 아니다 보상함수가 잘못 설계되거나 검증기가 허술하면 모델은 잘못된 목표를 안정적으로 최적화할 수도 있습니다. TROLL은 정책이 급격히 변하지 않도록 만드는 장치이지, 무엇이 좋은 응답인지 정의하는 보상 자체를 고쳐 주지는 않습니다. 12.3 실험 범위는 수학과 코드 RLVR에 집중되어 있다 논문은 여러 모델 계열과 알고리즘을 다뤘지만 과제는 주로 정답 검증이 가능한 수학 추론과 코드 생성입니다. 사람의 선호가 복잡하게 작용하는 일반 RLHF, 장기 대화, 도구 사용 에이전트, 비전-언어 모델에서도 같은 효과가 나타나는지는 추가 검증이 필요합니다. 12.4 최대 14B 밀집 모델까지 검증되었다 저자들은 최대 14B 규모의 밀집 모델을 실험했습니다. 더 큰 모델과 MoE 구조에서는 어휘분포, 병렬화, 통신비용, 희소화 오차가 다르게 나타날 수 있습니다. 저자들도 이를 후속 연구 과제로 제시합니다. 12.5 희소 확률분포가 잘 맞는다는 가정이 중요하다 TROLL의 실용성은 소수 토큰이 대부분의 확률질량을 차지한다는 성질에 기대고 있습니다. 고엔트로피 출력이 빈번한 특수 과제나 멀티모달 토큰 분포에서는 평균 5~10개 토큰만으로 충분하지 않을 수 있습니다. 이 경우 K와 δ를 조정하거나 다른 희소화 전략이 필요합니다. 균형 잡힌 평가TROLL은 “클리핑보다 언제나 우수하다”는 단순한 구호보다, 클리핑이 불안정하거나 기울기 손실이 큰 상황에서 명시적 신뢰영역 투영이 유리할 수 있음을 폭넓은 실험으로 보여준 연구로 읽는 편이 정확합니다. 13. 인공지능 특허 전문 변리사 관점의 기술 분석 아래 평가는 논문에 공개된 내용만을 기준으로 한 잠정적 기술 분석입니다. 실제 신규성·진보성 또는 권리범위 판단에는 별도의 선행기술조사와 출원 경과 확인이 필요합니다. 13.1 기술적 과제와 해결수단의 대응 기술적 과제와 해결수단의 대응을 보면, PPO 클리핑의 휴리스틱 제약과 기울기 손실 문제에는 범주형 토큰 분포에 대한 토큰별 KL 신뢰영역 투영을 적용해 업데이트 폭을 명시적으로 제한하면서 제약된 영역에서도 기울기를 유지합니다. 전체 어휘분포를 투영할 때 생기는 메모리·계산 부담에는 확률질량 기준과 상위 K를 결합한 희소 분포를 사용해 현대 LLM의 어휘 크기에서도 투영을 실용적인 비용으로 수행할 수 있게 합니다. 수치 최적화가 학습 그래프를 끊는 문제에는 KKT 조건 기반 암시적 미분과 미분 가능한 투영을 적용해 정책 손실에서 모델 파라미터까지 종단간 학습이 가능하도록 합니다. 또한 투영 분포와 실제 LLM 출력 사이의 괴리에는 투영 결과를 목표로 하는 회귀항을 사용해 후속 업데이트에서 미투영 정책도 신뢰영역에 가까워지도록 유도합니다. 특정 장점 추정 방식에 종속되는 문제에는 장점 계산 방식을 가정하지 않는 정책 업데이트 구조를 사용해 PPO·GRPO·Dr.GRPO·GSPO 등과의 호환성을 확보합니다. 13.2 차별성은 개별 요소보다 결합에 있을 가능성이 크다 신뢰영역과 KL 제약은 TRPO 계열에서 오래된 개념이고, 투영 기반 강화학습, 범주형 분포, 상위 토큰 희소화, OptNet식 미분 가능 최적화도 각각 선행 연구가 존재합니다. 따라서 논문에서 상대적으로 강하게 보이는 부분은 이 요소들을 LLM의 토큰 단위 정책 업데이트에 맞게 연결한 구체적인 조합입니다. 특히 이전 정책과 현재 정책의 희소 토큰 확률을 저장·정렬·재정규화하고, 경계 위반 토큰 위치만 선별해 1차원 쌍대문제를 풀며, 투영 분포를 정책비와 회귀 목표에 함께 사용하는 흐름은 단순한 “KL 페널티 추가”와 구별되는 구현 구조입니다. 13.3 기술적 효과를 뒷받침하는 실험자료가 중요하다 이 분야에서는 수학적 구성만큼이나 학습 붕괴 방지, 엔트로피 보존, 벽시계 시간, 메모리 증가 폭, 여러 알고리즘에 대한 재현성이 중요합니다. 명세서나 기술문서에서도 정확도 향상만 제시하기보다, Clip이 실패한 조건에서의 안정화, 희소화 오차, 투영 발생 비율, 경계값 변화에 따른 수렴 특성을 함께 제시하는 편이 설득력을 높입니다. 14. 마무리: TROLL이 보여주는 후학습의 다음 과제 TROLL의 메시지는 명확합니다. LLM 강화학습에서 성능을 높이기 위해 보상 모델, 데이터, 장점 추정기만 개선할 것이 아니라, 정책을 실제로 움직이는 마지막 업데이트 규칙도 다시 살펴봐야 한다는 것입니다. PPO 클리핑은 편리하고 검증된 선택이지만, 원래의 신뢰영역 원리를 거칠게 근사하는 과정에서 불안정성과 기울기 손실을 만들 수 있습니다. TROLL은 이 문제를 토큰별 범주형 확률분포에 대한 미분 가능한 KL 투영으로 풀고, 대규모 어휘에서 발생하는 비용은 희소화로 줄였습니다. 수학 추론과 코드 생성에서 여러 모델과 알고리즘에 걸쳐 더 빠른 학습, 더 높은 최종 성공률, 학습 붕괴 완화, 엔트로피 보존을 보여주었다는 점이 강점입니다. 특허 관점에서는 신뢰영역이나 희소화라는 개별 단어보다, LLM 토큰분포의 저장과 축약, 경계 위반 판정, 쌍대문제 기반 투영, 암시적 미분, 정책비와 회귀항의 결합이라는 전체 처리 흐름을 보는 것이 중요합니다. 동시에 선행 요소가 많은 분야이므로 실제 권리화 가능성은 구체적 결합관계와 효과 입증자료를 중심으로 판단해야 합니다. 향후에는 더 큰 모델과 MoE, 일반적인 선호학습, 도구 사용 에이전트, 멀티모달 모델에서 같은 원리가 얼마나 유지되는지가 중요한 검증 과제가 될 것입니다. 그럼에도 이 논문은 “클리핑이 당연한 기본값인가”라는 질문을 던지고, 원칙적인 신뢰영역 기법을 현대 LLM 규모에서 구현할 수 있는 현실적인 경로를 제시했다는 점에서 의미가 있습니다. 최종 요약TROLL은 정책 업데이트를 단순히 잘라 내지 않고, 확률분포를 허용된 KL 신뢰영역 안으로 최소한만 투영합니다. 여기에 희소 로짓과 미분 가능한 솔버를 결합해 현대 LLM에도 적용 가능한 비용으로 구현했고, 다양한 수학·코드 실험에서 Clip보다 안정적이고 빠른 학습을 보였습니다. 출처 및 이용 안내 원문: https://arxiv.org/pdf/2510.03817 논문 인용: Philipp Becker, Niklas Freymuth, Serge Thilges, Fabian Otto, Gerhard Neumann, “TROLL: Trust Regions Improve Reinforcement Learning for Large Language Models,” ICLR 2026. 이 문서는 첨부 논문을 이해하기 쉽게 정리한 기술 해설입니다. 구체적인 법률 판단이나 특허성 판단을 위한 법률의견이 아니며, 실제 검토에는 관련 출원문서와 선행기술에 대한 별도 조사가 필요합니다. 이 글은 표시된 게시일을 기준으로 작성된 자료입니다. 개별 사안에 대한 검토는 상담을 통해 안내합니다. 관련 업무 상담 ↗ 전체 글 보기 TALK TO IPLEX 우리 기업에 맞는 IP 전략이 필요하다면 기술과 사업의 상황에 맞춰 필요한 업무를 함께 살펴봅니다. ↗ 상담 문의 최근 글 상표 등록이 거절되는 이유! 대응방법은? ↗ 이전 글 러시아 상표 출원 절차 총정리｜상표등록과 주요 제도 ↗ 함께 읽을 인사이트 인공지능 2026.10.15 거리에서 경로로, PaTH Attention PaTH Attention의 입력 의존 Householder형 변환과 상태 추적 원리, 장문·모델 전환 실험의 효과와 한계를 분석합니다. ↗ 본문 읽기 인공지능 2026.10.14 화웨이 Pangu Weather AI 특허 쉽게 읽기: 시간 간격별 모델로 예보를 이어 가는 원리 화웨이 공개출원 US20250258318A1의 시간 간격별 모델 선택, 예측 상태 전달과 기상 데이터 결합 원리를 분석합니다. ↗ 본문 읽기 인공지능 2026.10.13 큰 묶음으로 갱신하는 AI의 기억, LaCT LaCT 논문의 큰 청크 갱신, 비선형 빠른 가중치, 윈도 어텐션 및 실험 조건과 한계를 분석합니다. ↗ 본문 읽기

- https://www.iplexlaw.co.kr/
- https://www.iplexlaw.co.kr/%EC%9D%B8%EC%82%AC%EC%9D%B4%ED%8A%B8-%EB%B0%8F-%EB%89%B4%EC%8A%A4/category/ai
- https://www.iplexlaw.co.kr/%EC%97%B0%EB%9D%BD%ED%95%98%EA%B8%B0
- https://www.iplexlaw.co.kr/%EC%9D%B8%EC%82%AC%EC%9D%B4%ED%8A%B8-%EB%B0%8F-%EB%89%B4%EC%8A%A4
- https://www.iplexlaw.co.kr/%EC%97%B0%EB%9D%BD%ED%95%98%EA%B8%B0
- https://www.iplexlaw.co.kr/forum/view/1535508
- https://www.iplexlaw.co.kr/forum/view/1533936
- https://www.iplexlaw.co.kr/ko/blog/path-attention-householder-transformations
- https://www.iplexlaw.co.kr/ko/blog/path-attention-householder-transformations
- https://www.iplexlaw.co.kr/ko/blog/huawei-pangu-weather-time-interval-models
- https://www.iplexlaw.co.kr/ko/blog/huawei-pangu-weather-time-interval-models
- https://www.iplexlaw.co.kr/ko/blog/lact-large-chunk-test-time-training
- https://www.iplexlaw.co.kr/ko/blog/lact-large-chunk-test-time-training