# 投機的デコーディング論文を読む：小さなモデルのドラフトでLLMの応答を速める仕組み

ICML 2023論文のドラフト生成、並列評価、確率の補正を解説し、T5-XXL実験の数値と実サービスでの適用条件を整理します。

Source: https://www.iplexlaw.co.kr/ja/blog/speculative-decoding-draft-parallel-verification

ホーム / ニュース・知財情報 ニュース・知財情報 投機的デコーディング論文を読む：小さなモデルのドラフトでLLMの応答を速める仕組み ICML 2023論文のドラフト生成、並列評価、確率の補正を解説し、T5-XXL実験の数値と実サービスでの適用条件を整理します。 人工知能 2026.11.08 公開 IPLEX 約6分で読めます 小さなモデルによるドラフト生成と、対象モデルによる並列評価を示す概念図です。 自己回帰型言語モデルでは、次のトークンを選ぶたびに大きなモデルの計算を待つことになります。投機的デコーディングは、小さなモデルが複数の候補を先に作り、対象モデルが各位置の確率を並列に計算することで、一回の反復で複数のトークンを確定できるようにします。架空の相談チャットボットとT5-XXL実験を通じ、出力分布を維持する仕組みと速度を左右する条件を読み解きます。 対象はYaniv Leviathan、Matan Kalman、Yossi MatiasによるFast Inference from Transformers via Speculative Decodingです。2022年11月30日にarXivで初公開されました。本稿の技術説明と実験値はICML 2023のPMLR最終版に基づきます。 1. 応答が一つずつのトークンとして現れる理由 相談チャットボットの回答は、一度に完成形が表示されるのではなく、少しずつ現れることがあります。言語モデルは確定済みの文章を読み、次の断片の確率を計算して一つを選びます。その結果を文脈に加え、次の予測へ進みます。 この断片がトークンです。一語全体の場合も、一語を分割した一部分の場合もあります。次の選択の前提となる文章をプレフィックスと呼び、チャットボットではユーザーの入力と生成済みのトークンがその文脈になります。 大きなモデルが毎回計算する間、ユーザーは待つことになります。そこで、小さなモデルに先の数トークンを書かせ、大きなモデルがまとめて評価する方法を考えます。 2. ドラフトを用意し、対象モデルで並列に評価する 小さなモデルがドラフトモデル、大きなモデルが本来回答生成に使う対象モデルです。ドラフトモデルは現在のプレフィックスから自己回帰的に短い候補列を作ります。 架空のチャットボットがA、B、Cの三つの候補トークンを受け取ったとします。対象モデルは、元のプレフィックス、Aを加えたもの、AとBを加えたもの、A・B・Cを加えたものについて、次トークンの確率を並列に計算します。ドラフトがあるため、四つの入力をあらかじめ用意できます。 採択はAから順番に判定します。AとBを採択しCを棄却した場合、AとBを確定し、Cの位置では補正した分布から一つを抽出します。それより後の計算結果は使いません。全候補を採択し生成を続ける場合は、対象モデルの次の分布からさらに一トークンを抽出します。 この手順と条件は、論文2.3節とアルゴリズム1に示されています。 3. 採択と補正で対象モデルの分布を維持する 二つのモデルは、同じ候補に異なる確率を与えることがあります。採択確率は、1と「対象モデルの確率÷ドラフトモデルの確率」の小さい方です。対象側の確率が同じか大きければ必ず採択し、小さければ比率に応じて採択します。 二候補だけの仮想例で考えます。ドラフト側がAに80%、Bに20%、対象側がAに60%、Bに40%を与えるとします。Aが提案された場合の採択率は60÷80＝75%なので、全試行のうちAが確定する割合は80%×75%＝60%です。 Bの提案はすべて採択されます。Aが棄却される全試行の20%では、残った対象確率がBにあるためBへ補正します。最初からBだった20%と補正による20%を合わせ、対象側と同じ40%になります。 維持されるのは同じ条件下での出力の確率分布です。確率的に抽出するため、反復実行で同じ文章が必ず出るという意味ではありません。また採択は対象モデルの生成規則に従う判断であり、回答内容の事実確認ではありません。 論文の付録A.1は、候補の採択と補正分布からの抽出を合わせると、対象モデルの分布が再現されることを示しています。 4. T5-XXLの時間短縮結果を条件とともに読む 実験では既存のT5 v1.1チェックポイントを使い、対象を110億パラメータのT5-XXL、下表のドラフトを7,700万パラメータのT5-smallとしました。単一のTPU v4、バッチサイズ1で、同じ対象モデルを標準T5X方式で実行した所要時間と比較しています。 標準T5Xに対する実測所要時間の短縮比率 タスク ドラフト長 確率的選択・温度1 最大確率選択・温度0 WMT英語→ドイツ語翻訳 7トークン 2.6× 3.4× CNN/Daily Mail要約 5トークン 2.3× 3.1× 翻訳の2.6倍とは、標準方式の所要時間を投機的デコーディングの時間で割った比率です。温度1の確率的サンプリングと温度0の最大確率選択では値が異なります。要旨の約2～3倍という表現も、これらの個別結果と合わせて読む必要があります。 モデル規模と数値は、ICML最終版4.1節および表2に基づきます。 5. 実サービスの速度を左右する条件 ドラフトの先頭から長く採択できるほど、対象モデルを逐次待つ回数が減ります。反対に早い位置で棄却されると、後続位置の事前計算が使われません。ドラフトを生成する時間も一反復の費用に含まれます。 並列処理の余力があれば、演算総量が増えても待ち時間を短縮できる場合があります。ドラフト長とモデルの組合せは別々に検討すべき条件です。実験では大きいドラフトモデルほど採択率が高かった一方、実測の短縮比率はT5-smallが最大でした。 入力長と同時リクエスト数をそろえて比較し、最初のトークンまでの時間、その後のトークン間隔、単位時間当たりの処理件数を分けて見ると、どの待ち時間が変化したかが明確になります。翻訳・要約の報告値は、試験したモデルと装置の結果です。 6. 開発と特許検討で実装上の差を記録する 開発記録では、ドラフト長、最初に棄却された位置、補正に使った確率、計算時間を区別できます。同じドラフトモデルでも、リクエストに応じた候補長の決め方や、棄却後の計算結果・キャッシュの扱いによって実装が変わります。 IPLEXの特許検討の観点では、投機的デコーディングを使うという説明だけでは、既存論文と新たな実装の境界が明らかになりません。解消するボトルネック、その検出入力、候補長や評価単位を変える条件、変更後に変わった測定値を結び付けて記録します。これは論文の実験結果とは区別した実務上の視点です。 原図の表記と形状を保持しています。資料の内容は本文で説明しています。 チャットボットと二候補の説明は仮想例です。所要時間の数値は論文のT5実験の結果であり、一般的な性能保証ではありません。確率分布の維持は、内容が事実であることの保証でもありません。 ICML 2023・PMLR論文情報 ICML最終論文・PDF arXiv 2211.17192・初期公開記録 Google Research・著者による解説 FlashAttention-2を読む：長い文脈のアテンションをGPUで効率化する仕組み PagedAttention入門：vLLMのKVキャッシュとGPUメモリー管理 実装の動作と技術的な特徴を整理する際は、IPLEXのAI業務と相談準備資料をご覧ください。 AI・特許業務のご案内 Tistory原文 韓国語原文を読む この記事は公表時点の情報に基づいています。個別の事情については、当事務所にご相談ください。 この分野について相談 ↗ 記事一覧 このページの内容 1. 応答が一つずつのトークンとして現れる理由 2. ドラフトを用意し、対象モデルで並列に評価する 3. 採択と補正で対象モデルの分布を維持する 4. T5-XXLの時間短縮結果を条件とともに読む 5. 実サービスの速度を左右する条件 6. 開発と特許検討で実装上の差を記録する IPLEXに相談 知的財産の課題を、 ご相談ください。 技術の内容と事業上のご要望を踏まえ、対応方針を共に検討します。 ↗ お問い合わせ 新しい記事 意匠権侵害の損害賠償と消滅時効――販売行為ごとの起算点 ↗ 前の記事 商標権者の破産と専用使用権の設定登録請求 ↗ 関連インサイト 人工知能 2026.11.19 Matryoshka埋め込みによる画像検索：短い先頭部分で候補を選び、全体で再順位付け NeurIPS 2022のMatryoshka Representation Learningを、複数の長さを学習する仕組みとImageNet-1Kの検索実験から解説します。 ↗ 記事を読む 人工知能 2026.11.18 ByteDanceの自動字幕特許：トラック別の文字起こしと表示時間の重なり調整 US11837234B2の音声トラック選択と字幕の時刻調整を、CapCutの公開操作案内と区別して読み解きます。 ↗ 記事を読む 人工知能 2026.11.17 Appleの文字認識特許：写真の電話番号やURLを操作につなぐ US12001642B2の認識文字、画像座標、文字種別、ユーザー入力から操作メニューまでの流れを解説します。 ↗ 記事を読む

- https://www.iplexlaw.co.kr/ja
- https://www.iplexlaw.co.kr/ja/blog/category/ai
- https://proceedings.mlr.press/v202/leviathan23a.html
- https://proceedings.mlr.press/v202/leviathan23a/leviathan23a.pdf
- https://arxiv.org/abs/2211.17192
- https://research.google/blog/looking-back-at-speculative-decoding/
- https://www.iplexlaw.co.kr/ja/blog/flashattention-2-gpu-work-partitioning
- https://www.iplexlaw.co.kr/ja/blog/pagedattention-vllm-kv-cache
- https://www.iplexlaw.co.kr/ja/ai-patents
- https://iplexlaw.tistory.com/19
- https://www.iplexlaw.co.kr/ko/blog/speculative-decoding-draft-parallel-verification
- https://www.iplexlaw.co.kr/ja/contact
- https://www.iplexlaw.co.kr/ja/blog
- https://www.iplexlaw.co.kr/ja/blog/speculative-decoding-draft-parallel-verification#article-19-en-0
- https://www.iplexlaw.co.kr/ja/blog/speculative-decoding-draft-parallel-verification#article-19-en-1
- https://www.iplexlaw.co.kr/ja/blog/speculative-decoding-draft-parallel-verification#article-19-en-2
- https://www.iplexlaw.co.kr/ja/blog/speculative-decoding-draft-parallel-verification#article-19-en-3
- https://www.iplexlaw.co.kr/ja/blog/speculative-decoding-draft-parallel-verification#article-19-en-4
- https://www.iplexlaw.co.kr/ja/blog/speculative-decoding-draft-parallel-verification#article-19-en-5
- https://www.iplexlaw.co.kr/ja/contact
- https://www.iplexlaw.co.kr/ja/blog/brunch-case-1932
- https://www.iplexlaw.co.kr/ja/blog/brunch-case-1931
- https://www.iplexlaw.co.kr/ja/blog/matryoshka-prefix-vector-image-retrieval
- https://www.iplexlaw.co.kr/ja/blog/matryoshka-prefix-vector-image-retrieval
- https://www.iplexlaw.co.kr/ja/blog/bytedance-track-based-caption-timing
- https://www.iplexlaw.co.kr/ja/blog/bytedance-track-based-caption-timing
- https://www.iplexlaw.co.kr/ja/blog/apple-recognized-text-contextual-actions
- https://www.iplexlaw.co.kr/ja/blog/apple-recognized-text-contextual-actions
