# NVIDIAの候補トークン選択：何を検証するかでLLM推論を効率化する

公開出願US20260236763A1を題材に、投機的デコーディングの追加的な利得と処理コストを解説します。

Source: https://www.iplexlaw.co.kr/ja/blog/nvidia-speculative-decoding-draft-selection

ホーム / ニュース・知財情報 ニュース・知財情報 NVIDIAの候補トークン選択：何を検証するかでLLM推論を効率化する 公開出願US20260236763A1を題材に、投機的デコーディングの追加的な利得と処理コストを解説します。 AI・ソフトウェア 2026.10.05 公開 IPLEX 約10分で読めます ドラフトを選び受理済みトークンから生成を続ける概念図 公開出願が扱う技術的な問い NVIDIAのUS20260236763A1は2026年8月13日公開の特許出願公報です。登録特許の存在を示すものではありません。処理時間と受理トークン数の情報に基づくドラフト集合の選択を扱い、本稿はその仕組みに注目します。NIMが全ての請求項を実装するとの認定ではありません。 言語モデルは通常、次のトークンを計算して文脈に加える処理を繰り返します。複数の続き候補を先に用意し、ターゲットモデルが受理できれば逐次処理を減らせます。一方、長い候補が繰り返し破棄されれば時間とメモリを消費します。どこまで先行計算する価値があるかが問題です。 トークン、ドラフト、ターゲットモデル トークンは単語だけでなく単語の一部や句読点にも対応する処理単位です。ドラフターが続きを提案し、ターゲットモデルが選択された候補位置をまとめて検証します。ドラフターは必ずしも独立した小型モデルではなく、別処理や同一モデル内の構成でも担えます。 受理された先頭部分を次の文脈に加え、不一致となった位置以降の候補をそのまま使うことはしません。図5は候補生成、選択、並列検証の流れを示します。受理とは生成基準との整合であり、配送予定日など回答内容の事実確認を意味しません。 公開公報の図5：ドラフター、候補集合の選択とターゲットによる並列検証 長い候補を選ぶだけでは不十分 選択器は、候補を延ばすことで増えると期待される受理トークンと、追加処理時間を検討します。ここでの利得は売上ではなく生成上の増分です。過去の受理状況と時間記録を推定に用い、候補全体の長さだけで判断しません。 図10では、残る候補から限界利得が最大の集合を選んで推論グループに追加し、その利得と限界コストの比を閾値と比較します。候補が残り条件を満たす場合に選択を続け、決まったグループをモデルへ送ります。単なる比率順の並べ替えや最長候補の選択とは異なり、計算資源やメモリに応じた閾値も関係します。 公開公報の図10：限界利得の大きい候補を追加し、費用対効果の閾値を判定 配送問い合わせを使った仮想例 「ご注文の商品は」「ご注文の商品は本日」「ご注文の商品は本日発送されます」という候補を考えます。これは説明用の文節で、実際のトークン境界ではありません。前半だけが受理された場合は、破棄された末尾を残さず、モデルの結果から生成を続けます。実際の配送状況は注文データと業務処理に結び付ける必要があります。 処理時間と受理長を記録し、次の選択に反映します。末尾が頻繁に拒否される要求では短い候補が合理的な場合があり、予測しやすい表現では長い候補が有効な場合があります。実行記録の更新は重みの再学習とは別です。この配送図は導入事例でも性能測定結果でもありません。 仮想の配送問い合わせ例。実際のトークン分割、サービス画面、測定結果ではありません NIMを製品上の文脈として読む NVIDIA NIMはアプリケーションから呼び出してモデルを実行する推論マイクロサービスです。NIM for Large Language Models 2.0.10の文書はvLLMバックエンドでの投機的デコーディングを説明し、EAGLE3、モデル内のマルチトークン予測（MTP）、入力を参照するn-gram方式等を示します。モデル条件とメモリ需要は方式ごとに異なります。 ドラフトをどう作るかと、ターゲットにどれだけ処理させるかは別の設計問題です。公開出願の選択器は後者を理解する材料となります。製品が投機的デコーディングを備えるだけでは、この出願の特定の請求項が実装されたことの証明にはなりません。 レイテンシとスループットを分けて評価する 一つの応答の待ち時間とサーバ全体の処理量は異なる指標です。GPUに余裕がある低・中程度の同時実行では候補の並列検証が有効でも、飽和時には追加計算やメモリ負荷で効果がなくなり、処理量が下がる場合もあります。数件の高速な回答だけでは全体の改善を判断できません。 実際の要求長、同時実行数、受理率・受理長、メモリ、処理時間と比較条件を記録します。生成、選択、結果のフィードバックを分けて説明できる構成は、技術改善の評価にも公開文献との比較にも役立ちます。 IPLEXへの技術相談に備える資料 AI・ソフトウェアの特許検討では、公開可能なシステムフロー、候補生成・選択規則、評価条件付きの時間比較を整理してください。差異はモデル規模やハードウェアだけでなく、計算の順序と選択方法にも現れます。 IPLEXは具体的な処理上の違いを検討し、出願と権利設計を支援します。本稿は侵害、特許登録、一定の高速化を認定するものではなく、実装と請求項は個別に評価する必要があります。 Tistoryの原文 AI特許業務 関連記事：テスト時の重み更新 関連記事：Attention Residualsの分析 韓国語原文を読む この記事は公表時点の情報に基づいています。個別の事情については、当事務所にご相談ください。 この分野について相談 ↗ 記事一覧 このページの内容 公開出願が扱う技術的な問い トークン、ドラフト、ターゲットモデル 長い候補を選ぶだけでは不十分 配送問い合わせを使った仮想例 NIMを製品上の文脈として読む レイテンシとスループットを分けて評価する IPLEXへの技術相談に備える資料 IPLEXに相談 知的財産の課題を、 ご相談ください。 技術の内容と事業上のご要望を踏まえ、対応方針を共に検討します。 ↗ お問い合わせ 新しい記事 「コベント・ガーデン」の知名度と商標としての認識は別問題 ↗ 前の記事 応援ライトの特許侵害―同じ色で点灯しても「グループ」とはいえない場合 ↗ 関連インサイト 人工知能(AI) 2026.10.15 PaTH Attention――トークン間の経路を位置表現に組み込む 入力依存のHouseholder型変換を累積する仕組みと、状態追跡・長文評価で確認された効果及び限界を解説します。 ↗ 記事を読む 人工知能(AI) 2026.10.14 Huawei Pangu Weather：時間間隔の異なるモデルをつないで予報する仕組み 公開出願US20250258318A1をもとに、予測時間の選択、中間予測の受渡し、気象データの結合を解説します。 ↗ 記事を読む 人工知能(AI) 2026.10.13 LaCT：大きなチャンクで更新するAIの一時記憶 LaCTの高速重み、GPU効率、因果関係を守る更新順序と実験結果の適用範囲を技術的に解説します。 ↗ 記事を読む

- https://www.iplexlaw.co.kr/ja
- https://www.iplexlaw.co.kr/ja/blog/category/ai
- https://iplexlaw.tistory.com/5
- https://www.iplexlaw.co.kr/ja/ai-patents
- https://www.iplexlaw.co.kr/ja/blog/1525199
- https://www.iplexlaw.co.kr/ja/blog/attention-residuals-ai-patent-analysis
- https://www.iplexlaw.co.kr/ko/blog/nvidia-speculative-decoding-draft-selection
- https://www.iplexlaw.co.kr/ja/contact
- https://www.iplexlaw.co.kr/ja/blog
- https://www.iplexlaw.co.kr/ja/blog/nvidia-speculative-decoding-draft-selection#case-nvidia-en-0
- https://www.iplexlaw.co.kr/ja/blog/nvidia-speculative-decoding-draft-selection#case-nvidia-en-1
- https://www.iplexlaw.co.kr/ja/blog/nvidia-speculative-decoding-draft-selection#case-nvidia-en-2
- https://www.iplexlaw.co.kr/ja/blog/nvidia-speculative-decoding-draft-selection#case-nvidia-en-3
- https://www.iplexlaw.co.kr/ja/blog/nvidia-speculative-decoding-draft-selection#case-nvidia-en-4
- https://www.iplexlaw.co.kr/ja/blog/nvidia-speculative-decoding-draft-selection#case-nvidia-en-5
- https://www.iplexlaw.co.kr/ja/blog/nvidia-speculative-decoding-draft-selection#case-nvidia-en-6
- https://www.iplexlaw.co.kr/ja/contact
- https://www.iplexlaw.co.kr/ja/blog/brunch-case-1798
- https://www.iplexlaw.co.kr/ja/blog/brunch-case-1797
- https://www.iplexlaw.co.kr/ja/blog/path-attention-householder-transformations
- https://www.iplexlaw.co.kr/ja/blog/path-attention-householder-transformations
- https://www.iplexlaw.co.kr/ja/blog/huawei-pangu-weather-time-interval-models
- https://www.iplexlaw.co.kr/ja/blog/huawei-pangu-weather-time-interval-models
- https://www.iplexlaw.co.kr/ja/blog/lact-large-chunk-test-time-training
- https://www.iplexlaw.co.kr/ja/blog/lact-large-chunk-test-time-training