US20260236763A1은 2026년 8월 13일 공개된 특허출원 문헌입니다. A1은 등록특허를 뜻하지 않습니다. 본문은 공개 기술의 분석이며, NVIDIA NIM이 모든 청구항을 실제 구현한다거나 특허등록이 완료됐다고 단정하지 않습니다.
답변 후보를 고르고 모델이 채택한 부분부터 이어 쓰는 과정을 그린 개념 이미지입니다.
AI가 답변을 한 조각씩 만들 때에는 다음 조각을 계산하는 과정이 반복됩니다. NVIDIA의 미국 공개특허출원 US20260236763A1은 앞으로 이어질 답변 후보 중에서 채택 가능성과 추가 처리 시간을 고려해 계산할 후보를 고르는 방법을 설명합니다. 배송 문의 챗봇이라는 가상 예시로 이 원리를 살펴보고, NVIDIA NIM의 추측 디코딩 기능과 추론 서비스 개발에서 생각할 점을 쉽게 풀어 드리겠습니다.
1. 챗봇 답변은 왜 한 조각씩 나타날까요?
온라인 쇼핑몰에서 “제 주문은 언제 도착하나요?”라고 물었을 때, 챗봇의 문장이 화면에 조금씩 나타나는 모습을 떠올려 보세요. 대규모 언어 모델, 즉 LLM은 앞에 놓인 문맥을 바탕으로 뒤에 이어질 작은 조각을 계산합니다. 그 결과를 문맥에 붙이고 다시 다음 조각을 계산하는 일을 반복하면서 답변을 완성합니다.
이때의 질문은 단순합니다. “앞으로 나올 내용을 미리 준비해서 한 번에 여러 조각을 받아들일 수 없을까요?” 미리 만든 후보가 본래 모델의 판단과 잘 맞으면 계산을 반복하는 횟수를 줄일 수 있습니다. 반대로 후보가 자주 틀리면 결국 버릴 내용을 계산하는 데 시간과 메모리를 쓰게 됩니다.
NVIDIA의 미국 공개특허출원 US20260236763A1은 후보의 길이와 처리 비용을 함께 살피는 기술을 다룹니다. 긴 후보를 무조건 많이 준비하는 대신, 추가 계산으로 얻을 만한 이익이 있는 후보를 선택하는 접근입니다. 여기서 이익은 매출을 뜻하는 말이 아니라, 답변 생성에서 추가로 채택될 것으로 기대되는 조각을 뜻합니다.
2. 토큰과 답변 후보, 추측 디코딩의 뜻
토큰은 모델이 문장을 처리하는 작은 단위입니다. 단어 하나일 수도 있고 단어의 일부나 문장부호일 수도 있으므로, 화면에 보이는 한 단어와 항상 일치하지는 않습니다. 아래 배송 예시에서는 이해를 돕기 위해 실제 토큰 구분 대신 읽기 쉬운 문장 조각을 사용하겠습니다.
답변 후보는 앞으로 이어질 내용의 초안입니다. 초안을 만드는 쪽을 드래프터, 최종적으로 후보를 판단하는 쪽을 타깃 모델이라고 부릅니다. 드래프터가 반드시 별도의 작은 모델일 필요는 없습니다. 이 공개출원가 설명하는 방식에서는 별도 처리 과정이 후보를 만들 수도 있고, 같은 모델 안의 구성이 역할을 나누어 맡을 수도 있습니다.
추측 디코딩은 이런 초안을 먼저 준비한 뒤 타깃 모델이 여러 후보 위치를 묶어 계산하고, 사용할 수 있는 부분을 채택하는 생성 방식입니다. 디코딩은 모델의 계산 결과를 실제 답변으로 만들어 가는 과정입니다. 후보를 채택한다는 말은 모델의 생성 기준에 맞는다는 뜻이며, 배송 일정이나 답변 내용의 사실 여부를 별도로 확인해 준다는 뜻은 아닙니다.
3. 모델이 채택한 부분부터 이어 쓰는 원리
가령 드래프터가 “주문하신 상품은”, “주문하신 상품은 오늘”, “주문하신 상품은 오늘 출고됩니다”처럼 길이가 다른 후보를 준비했다고 생각해 보세요. 타깃 모델은 선택된 후보들을 묶어 처리하면서 자신의 계산 결과와 맞는 부분을 판단합니다. 처음부터 이어지는 부분이 맞으면 그 부분을 다음 문맥에 붙일 수 있습니다.
중간에서 판단이 어긋나면 그 뒤에 붙은 후보를 그대로 계속 사용하지 않습니다. 채택한 앞부분을 유지하고 타깃 모델의 결과를 이용해 이어 갑니다. 앞선 예시에서 “오늘”까지는 맞지만 뒤의 표현이 맞지 않는다면, 뒤쪽 초안을 버리고 모델이 선택한 내용부터 다음 생성을 진행하는 식입니다. 실제 배송 정보는 서비스가 제공하는 주문 데이터와 별도의 업무 처리로 연결해야 합니다.
원문 FIG. 5. 드래프터가 만든 후보를 선택한 뒤 타깃 모델이 병렬로 처리하는 흐름입니다. 그림의 나무 예시에서는 앞부분이 채택되지만 뒤쪽 후보는 달라집니다.
그림을 아래에서 위로 읽어 보시면 이해가 쉽습니다. 후보 생성, 후보 선택, 타깃 모델의 처리, 채택 결과가 차례로 이어집니다. 채택한 내용은 다음 생성의 출발점이 됩니다. 잘 맞는 긴 후보를 채택하면 한 조각씩 반복하던 일을 줄일 여지가 있지만, 긴 후보가 자주 버려진다면 준비와 처리에 쓴 계산이 늘어납니다.
4. 모든 후보를 계산하지 않고 고르는 방법
이 기술의 중심에는 후보 선택기가 있습니다. 선택기는 후보를 길게 확장했을 때 추가로 채택될 가능성과 추가 처리 시간을 살펴봅니다. 이전 실행에서 어느 위치까지 후보가 채택되었는지, 후보를 더 많이 처리했을 때 시간이 얼마나 늘었는지 기록해 두면 다음 선택에 참고할 수 있습니다.
이때 추가 이익은 후보를 한 단계 더 확장해서 얻을 것으로 기대되는 채택의 증가분입니다. 추가 비용은 그만큼 더 처리할 때 늘어나는 시간입니다. 긴 후보의 전체 길이만 보는 것이 아니라, 길이를 더 늘리는 일이 실제로 얼마나 도움이 되는지 살피는 것입니다. 짧은 후보 뒤에 자주 버려지는 내용을 길게 붙이면 추가 비용에 비해 얻는 이익이 작을 수 있습니다.
원문 FIG. 10. 추가 이익이 가장 큰 후보를 묶음에 넣고, 추가 이익과 처리 시간의 비율을 기준값과 비교해 선택을 계속할지 판단하는 절차입니다.
FIG. 10의 흐름에서는 먼저 남은 후보 가운데 추가 이익이 가장 큰 후보를 골라 처리할 묶음에 넣습니다. 이어 그 후보의 추가 이익을 추가 비용으로 나눈 비율을 기준값과 비교해, 다음 후보까지 선택할지 결정합니다. 이 과정을 계속하거나 멈춘 뒤 선택한 묶음을 타깃 모델에 보냅니다. 기준값은 사용할 수 있는 계산 자원이나 메모리 등을 고려해 조정할 수 있습니다.
따라서 “가장 긴 후보를 고른다”거나 “비율이 높은 순서로 모두 정렬한다”는 설명만으로는 이 흐름을 담기 어렵습니다. 어떤 후보가 유용할지 판단하는 일과, 후보를 더 처리할 가치가 있는지 결정하는 일이 함께 들어 있습니다. 후보를 만드는 기술에 더해 이번 계산에 넣을 후보의 양을 조절한다는 점이 눈여겨볼 부분입니다.
5. 배송 문의 예시로 보는 기록과 선택의 순환
배송 문의 챗봇을 운영하는 가상 상황으로 돌아가 보겠습니다. 같은 질문이라도 주문 상태와 앞선 대화가 다르면 다음 표현도 달라집니다. “주문하신 상품은” 뒤에 짧은 후보와 긴 후보를 준비하고, 선택기가 과거의 처리 시간과 채택 기록을 참고해 이번에 계산할 묶음을 정합니다.
직접 제작한 가상 배송 문의 예시입니다. 읽기 쉬운 문장 조각으로 후보 생성 → 선택 → 모델의 일부 채택 → 답변 이어 쓰기를 표현하며, 실제 서비스 화면이나 토큰 구분을 재현한 그림은 아닙니다.
타깃 모델이 앞부분을 채택하면 그 결과로 다음 문맥을 만들고, 실제 처리 시간과 채택된 길이를 기록합니다. 다음 차례에는 이 기록을 참고해 다시 후보를 고릅니다. 후보를 선택하고, 실행하고, 기록을 갱신하는 흐름이 답변 생성과 함께 반복됩니다. 여기서 실행 기록을 갱신하는 일은 모델의 가중치를 다시 학습하는 일과는 구분됩니다.
예를 들어 긴 후보의 뒷부분이 자주 바뀌는 요청에서는 긴 후보를 무조건 많이 계산할 이유가 줄어듭니다. 반대로 일정한 표현이 잘 이어지는 요청에서는 더 긴 부분을 미리 준비할 여지가 있습니다. 다만 요청의 내용과 장치의 상태가 달라지면 처리 시간도 달라질 수 있으므로, 실제 실행에서 얻은 기록을 이용하는 과정이 중요해집니다.
6. NVIDIA NIM에서 이해하는 추론 서비스
NVIDIA NIM은 AI 모델을 서비스로 배포하고 실행하기 위한 추론 마이크로서비스입니다. 마이크로서비스는 정해진 기능을 별도 서비스로 실행하고 다른 프로그램이 호출해 사용할 수 있게 하는 구성입니다. 챗봇을 예로 들면, 주문 화면이나 상담 프로그램이 모델 실행 서비스를 호출해 답변을 받아 사용하는 모습을 생각하시면 됩니다.
NIM for Large Language Models 2.0.10의 공식 문서는 vLLM 백엔드에서 사용할 수 있는 추측 디코딩 기능을 설명합니다. 빠르게 만든 초안을 타깃 모델이 처리하는 기본 원리와 함께, 별도 초안 모델을 쓰는 EAGLE3, 모델 내부의 추가 예측 구성을 쓰는 MTP, 입력 문맥에서 반복되는 부분을 찾아 후보를 만드는 n-gram 방식 등을 안내합니다. 사용할 방식과 모델의 조건은 서로 다릅니다.
제품의 기능을 이해할 때에는 초안을 어떻게 만드는가와 초안을 얼마나 처리하는가를 나누어 생각하면 좋습니다. 앞서 읽은 공개출원의 후보 선택기는 뒤의 질문을 이해하는 데 유용합니다. 추측 디코딩을 사용하는 서비스에서는 후보를 많이 준비하는 것만으로 끝나지 않고, 후보의 채택 결과와 계산 부담을 함께 살펴야 합니다.
7. 개발팀이 살펴볼 응답 시간과 계산 효율
챗봇 사용자가 느끼는 응답 시간과 서버가 일정 시간 동안 처리하는 전체 처리량은 서로 다른 지표입니다. 요청이 적고 계산 자원이 남아 있을 때에는 후보를 함께 처리해 답변을 빨리 이어 갈 여지가 있습니다. 반면 GPU가 이미 많은 요청을 처리하는 상황에서는 초안을 위한 추가 계산과 메모리 사용 때문에 전체 처리량이 늘지 않을 수도 있습니다.
따라서 개발팀은 실제 요청의 길이와 동시 이용자 수, 후보가 채택되는 정도, 추가 메모리와 처리 시간을 함께 측정하는 편이 좋습니다. 특정 질문 몇 개에서 답변이 빨리 나왔다는 결과만으로 전체 상담 서비스에 맞는 설정을 결정하기는 어렵습니다. 후보 선택의 기준도 운영 환경과 요청 특성에 맞춰 생각해야 합니다.
이 공개출원 기술에서 얻을 수 있는 개발 아이디어는 미리 계산할 분량을 실행 기록에 따라 조절한다는 것입니다. 초안을 잘 만드는 구성, 유용한 후보를 고르는 구성, 채택 결과를 다음 문맥과 기록으로 이어 주는 구성을 나누어 설계할 수 있습니다. AI 서비스의 속도를 개선할 때, 모델의 크기와 하드웨어 성능뿐 아니라 계산 순서와 선택 과정도 함께 살펴보시기 바랍니다.
기술을 더 읽어 볼 참고 자료 USPTO · US20260236763A1 특허 원문 — 후보 선택의 기술 설명과 원문 FIG. 5·10을 함께 읽어 보실 수 있습니다. NVIDIA · NIM for LLMs 2.0.10 추측 디코딩 공식 문서 NVIDIA · 기업 및 본사 안내
함께 읽으면 좋은 글 추론 중 가중치를 바꾸는 LLM: In-Place Test-Time Training 논문·특허 분석Attention Residuals 논문 쉽게 읽기: AI 정보 선택 원리와 특허 검토 포인트인공지능 특허 변리사 김용덕 · 아이피렉스 업무 소개
우리 제품의 기술 차이를 구체적으로 정리해 보세요 아이피렉스 특허법률사무소는 AI·소프트웨어의 처리 흐름과 구성별 차이를 살펴 특허 출원과 권리 설계를 지원합니다. 상담하실 때에는 공개 가능한 범위의 시스템 흐름도, 후보를 생성하고 선택하는 기준, 기존 방식과 비교한 처리 시간 및 평가 조건을 준비해 주시면 구체적인 기술 검토에 도움이 됩니다. 김용덕 변리사의 AI 분야 프로젝트·저서와 상담 안내 보기
우리 제품의 기술 차이를 구체적으로 정리해 보세요
아이피렉스 특허법률사무소는 AI·소프트웨어의 처리 흐름과 구성별 차이를 살펴 특허 출원과 권리 설계를 지원합니다. 상담하실 때에는 공개 가능한 범위의 시스템 흐름도, 후보를 생성하고 선택하는 기준, 기존 방식과 비교한 처리 시간 및 평가 조건을 준비해 주시면 구체적인 기술 검토에 도움이 됩니다.