
自己回帰型言語モデルでは、次のトークンを選ぶたびに大きなモデルの計算を待つことになります。投機的デコーディングは、小さなモデルが複数の候補を先に作り、対象モデルが各位置の確率を並列に計算することで、一回の反復で複数のトークンを確定できるようにします。架空の相談チャットボットとT5-XXL実験を通じ、出力分布を維持する仕組みと速度を左右する条件を読み解きます。
対象はYaniv Leviathan、Matan Kalman、Yossi MatiasによるFast Inference from Transformers via Speculative Decodingです。2022年11月30日にarXivで初公開されました。本稿の技術説明と実験値はICML 2023のPMLR最終版に基づきます。
1. 応答が一つずつのトークンとして現れる理由
相談チャットボットの回答は、一度に完成形が表示されるのではなく、少しずつ現れることがあります。言語モデルは確定済みの文章を読み、次の断片の確率を計算して一つを選びます。その結果を文脈に加え、次の予測へ進みます。
この断片がトークンです。一語全体の場合も、一語を分割した一部分の場合もあります。次の選択の前提となる文章をプレフィックスと呼び、チャットボットではユーザーの入力と生成済みのトークンがその文脈になります。
大きなモデルが毎回計算する間、ユーザーは待つことになります。そこで、小さなモデルに先の数トークンを書かせ、大きなモデルがまとめて評価する方法を考えます。
2. ドラフトを用意し、対象モデルで並列に評価する
小さなモデルがドラフトモデル、大きなモデルが本来回答生成に使う対象モデルです。ドラフトモデルは現在のプレフィックスから自己回帰的に短い候補列を作ります。
架空のチャットボットがA、B、Cの三つの候補トークンを受け取ったとします。対象モデルは、元のプレフィックス、Aを加えたもの、AとBを加えたもの、A・B・Cを加えたものについて、次トークンの確率を並列に計算します。ドラフトがあるため、四つの入力をあらかじめ用意できます。
採択はAから順番に判定します。AとBを採択しCを棄却した場合、AとBを確定し、Cの位置では補正した分布から一つを抽出します。それより後の計算結果は使いません。全候補を採択し生成を続ける場合は、対象モデルの次の分布からさらに一トークンを抽出します。
この手順と条件は、論文2.3節とアルゴリズム1に示されています。
3. 採択と補正で対象モデルの分布を維持する
二つのモデルは、同じ候補に異なる確率を与えることがあります。採択確率は、1と「対象モデルの確率÷ドラフトモデルの確率」の小さい方です。対象側の確率が同じか大きければ必ず採択し、小さければ比率に応じて採択します。
二候補だけの仮想例で考えます。ドラフト側がAに80%、Bに20%、対象側がAに60%、Bに40%を与えるとします。Aが提案された場合の採択率は60÷80=75%なので、全試行のうちAが確定する割合は80%×75%=60%です。
Bの提案はすべて採択されます。Aが棄却される全試行の20%では、残った対象確率がBにあるためBへ補正します。最初からBだった20%と補正による20%を合わせ、対象側と同じ40%になります。
維持されるのは同じ条件下での出力の確率分布です。確率的に抽出するため、反復実行で同じ文章が必ず出るという意味ではありません。また採択は対象モデルの生成規則に従う判断であり、回答内容の事実確認ではありません。
論文の付録A.1は、候補の採択と補正分布からの抽出を合わせると、対象モデルの分布が再現されることを示しています。
4. T5-XXLの時間短縮結果を条件とともに読む
実験では既存のT5 v1.1チェックポイントを使い、対象を110億パラメータのT5-XXL、下表のドラフトを7,700万パラメータのT5-smallとしました。単一のTPU v4、バッチサイズ1で、同じ対象モデルを標準T5X方式で実行した所要時間と比較しています。
| タスク | ドラフト長 | 確率的選択・温度1 | 最大確率選択・温度0 |
|---|---|---|---|
| WMT英語→ドイツ語翻訳 | 7トークン | 2.6× | 3.4× |
| CNN/Daily Mail要約 | 5トークン | 2.3× | 3.1× |
翻訳の2.6倍とは、標準方式の所要時間を投機的デコーディングの時間で割った比率です。温度1の確率的サンプリングと温度0の最大確率選択では値が異なります。要旨の約2~3倍という表現も、これらの個別結果と合わせて読む必要があります。
モデル規模と数値は、ICML最終版4.1節および表2に基づきます。
5. 実サービスの速度を左右する条件
ドラフトの先頭から長く採択できるほど、対象モデルを逐次待つ回数が減ります。反対に早い位置で棄却されると、後続位置の事前計算が使われません。ドラフトを生成する時間も一反復の費用に含まれます。
並列処理の余力があれば、演算総量が増えても待ち時間を短縮できる場合があります。ドラフト長とモデルの組合せは別々に検討すべき条件です。実験では大きいドラフトモデルほど採択率が高かった一方、実測の短縮比率はT5-smallが最大でした。
入力長と同時リクエスト数をそろえて比較し、最初のトークンまでの時間、その後のトークン間隔、単位時間当たりの処理件数を分けて見ると、どの待ち時間が変化したかが明確になります。翻訳・要約の報告値は、試験したモデルと装置の結果です。
6. 開発と特許検討で実装上の差を記録する
開発記録では、ドラフト長、最初に棄却された位置、補正に使った確率、計算時間を区別できます。同じドラフトモデルでも、リクエストに応じた候補長の決め方や、棄却後の計算結果・キャッシュの扱いによって実装が変わります。
IPLEXの特許検討の観点では、投機的デコーディングを使うという説明だけでは、既存論文と新たな実装の境界が明らかになりません。解消するボトルネック、その検出入力、候補長や評価単位を変える条件、変更後に変わった測定値を結び付けて記録します。これは論文の実験結果とは区別した実務上の視点です。
原図の表記と形状を保持しています。資料の内容は本文で説明しています。
チャットボットと二候補の説明は仮想例です。所要時間の数値は論文のT5実験の結果であり、一般的な性能保証ではありません。確率分布の維持は、内容が事実であることの保証でもありません。
FlashAttention-2を読む:長い文脈のアテンションをGPUで効率化する仕組み
PagedAttention入門:vLLMのKVキャッシュとGPUメモリー管理
実装の動作と技術的な特徴を整理する際は、IPLEXのAI業務と相談準備資料をご覧ください。
