# DFlare――投機的デコードの情報経路を広げる

層ごとの特徴融合、入力元別KV投影、段階的な損失重み付けが、ブロック拡散型ドラフターの性能にどう関わるかを解説します。

Source: https://www.iplexlaw.co.kr/ja/blog/dflare-block-diffusion-drafting

ホーム / ニュース・知財情報 ニュース・知財情報 DFlare――投機的デコードの情報経路を広げる 層ごとの特徴融合、入力元別KV投影、段階的な損失重み付けが、ブロック拡散型ドラフターの性能にどう関わるかを解説します。 人工知能 2026.10.22 公開 IPLEX 約13分で読めます 論文と技術的課題 対象はJiebin ZhangらのDFlare: Scaling Up Draft Capacity for Block Diffusion Speculative Decoding、arXiv:2606.02091v2（2026年6月2日、初版6月1日）です。北京大学・TencentのチームによるCC BY 4.0のプレプリントであり、推論の高速化を扱います。ドラフトモデルを大きくすれば回答品質も当然に上がる、という主張ではありません。 並列に候補を作り、ターゲットで受理を判定する ブロック拡散型ドラフターは、一回の順伝播でマスク位置を予測し、ブロック内では双方向の注意を用います。ターゲットモデルが候補を確認し、貪欲デコードでは最初の不一致までの接頭部分を受理して次のトークンを補います。確率的デコードで分布を保つには適切な受理手続が必要です。候補が長い、あるいは自然に見えるだけでは高速性や同等性の根拠になりません。 ドラフト層ごとに異なる情報の混合 DFlashはターゲット特徴を全結合層で融合した共通表現を使います。DFlareでは各ドラフト層が複数のターゲット隠れ状態の混合比率を学習し、softmaxで正規化してRMSNormを適用します。7層から9個のターゲット層を参照する場合、混合係数は63個ですが、追加パラメーター全体が63個という意味ではありません。係数を保存しても入力に応じた重み付き表現の計算は残ります。 情報の出所に応じてKV投影を分ける ターゲットの文脈特徴と、ドラフト側の開始トークン・マスク位置の特徴は異なる表現空間にあります。両者に別々のキー・バリュー投影を用い、クエリーはドラフト特徴から作ります。着目すべきは単なる層数の増加ではなく、層別の情報選択と入力元別の変換の結合です。 DFlare v2図2：層別特徴融合とKV投影の分離 先頭を安定させ、後方の学習比重を高める 複数のアンカー位置と制限された注意を用いて学習し、埋込みと言語モデルヘッドは固定・共有します。位置別損失は、早い位置の不一致が後続候補を捨てることを踏まえ、最初は前方を重視し、後方の比重を段階的に上げます。付録では減衰係数γを4.5から開始して各エポックで1増加し、ブロック長8のGPT-OSS-20Bはγ=4で固定しています。一般的なスケジュール説明と実装条件を区別して読みます。 評価条件とデータ規模 Qwen3-4B、Qwen3-8B、GPT-OSS-20Bを主にNVIDIA H20で評価し、通常の自己回帰、EAGLE3、DFlashと比較しました。課題はGSM8K、MATH500、AIME25、HumanEval、MBPP、MT-Benchです。Qwenのドラフト層数・ブロック長・参照層数は7・16・9、GPT-OSSは8・8・7。240万例はNemotron Post-Training Dataset V2、CodeAlpaca、Step3.5-Flash-SFT等から構成し、プロンプトを残して応答をターゲットで再生成しました。6エポック、最大3,072トークンで学習し、32-gram以上の重複を除去しました。Qwen3-8Bの27万・80万・240万例では平均加速倍率3.74・4.97・5.46、受理長4.90・6.59・7.33です。主要結果には構造とデータ双方の差が含まれます。 DFlare v2図1：課題別加速と学習データ規模 平均改善と個別の例外 温度0のDFlash→DFlareの平均加速倍率は、Qwen3-4Bで4.99→5.52、8Bで5.05→5.46、GPT-OSSで3.71→3.91。相対改善は約10.6%、8.1%、5.4%です。受理長は6.47→7.47、6.39→7.33、4.66→4.93でした。温度1では平均が改善しても、4BのAIME25は4.02→3.84、8BのHumanEvalは4.52→4.41に低下しました。全条件で優れるとはいえません。 DFlare v2表1：温度0・1の加速倍率と受理長 構成比較から分かる範囲 DFlashと同じ学習データでドラフト層を5・6・7としたDFlareの倍率は5.12・5.13・5.16、DFlashは4.98・5.07・5.01。DFlareの受理長は6.55・6.72・6.90でした。無制限な拡張を示す実験ではありません。別の3課題の構成比較では全構成が倍率3.37・受理長4.52、softmax除去は3.31・4.47、KV分離除去は3.35・4.48、損失スケジュール除去は3.34・4.47。全結合層追加の受理長4.51も自動的改善ではなく、試行間変動のない小差の解釈には注意が必要です。 DFlare v2構成実験：ターゲット層数とドラフト層数 DFlare v2表2：正規化・KV分離・位置別損失 サービス時の処理量と学習費用 H20上のSGLang・Qwen3-8B、同時実行32では、GSM8Kの毎秒トークン数は自己回帰1,053.7、DFlash1,068.6、DFlare1,809.3、HumanEvalは1,212.0・1,149.9・1,796.9でした。一方、同時実行1のHumanEvalではDFlare554.5がDFlash561.1を下回ります。8Bの学習は32GPUそれぞれ約160時間、合計約5,120GPU時間であり、総計160時間ではありません。費用回収点は定量化されず、さらに大きなデータ規模も資源制約の下では未検証です。 DFlare v2表3：SGLangの同時実行数別処理量 特許実務から見た技術の記述 情報のボトルネックと具体的な混合・投影・損失設定を対応させ、条件付きの実験効果につなげて説明することが重要です。ターゲット内部の隠れ状態へのアクセスが必要なので、任意の閉鎖型APIへそのまま適用できるとは限りません。構造、学習データ、提供環境の寄与を分けて記述します。本稿は技術開示の検討材料であり、新規性・進歩性・特許適格性の結論を示すものではありません。 原図の表記と形状を保持しています。資料の内容は本文で説明しています。 関連業務・AI特許 論文・図表：Zhangら、DFlare v2、2026（CC BY 4.0） · CC BY 4.0 韓国語原文を読む この記事は公表時点の情報に基づいています。個別の事情については、当事務所にご相談ください。 この分野について相談 ↗ 記事一覧 このページの内容 論文と技術的課題 並列に候補を作り、ターゲットで受理を判定する ドラフト層ごとに異なる情報の混合 情報の出所に応じてKV投影を分ける 先頭を安定させ、後方の学習比重を高める 評価条件とデータ規模 平均改善と個別の例外 構成比較から分かる範囲 サービス時の処理量と学習費用 特許実務から見た技術の記述 IPLEXに相談 知的財産の課題を、 ご相談ください。 技術の内容と事業上のご要望を踏まえ、対応方針を共に検討します。 ↗ お問い合わせ 新しい記事 拡大先願とAR画像の生成 ↗ 前の記事 水はねガードの意匠に求められる創作性 ↗ 関連インサイト 人工知能 2026.10.29 文脈に応じて記憶を使い分けるSwiLA 固定サイズの状態に複数の線形回帰モデルを組み込むSwitching Linear Attention。記憶の更新・検索の仕組みと、実験で確認された効果、容量・計算コストの限界を解説します。 ↗ 記事を読む 人工知能 2026.10.28 Microsoftの音声合成特許：音・単語・文構造を組み合わせる仕組み 米国特許US12094447B2を基に、音素・文字情報と単語埋め込み、文法構造を組み合わせて音声を生成する処理を解説します。 ↗ 記事を読む 人工知能 2026.10.27 GBLA：長い推薦履歴を効率よく読み取る仕組み ゲート付き双方向線形アテンションの構成、ハイブリッド化、検索精度と速度の評価範囲を特許実務の視点で解説します。 ↗ 記事を読む

- https://www.iplexlaw.co.kr/ja
- https://www.iplexlaw.co.kr/ja/blog/category/ai
- https://www.iplexlaw.co.kr/ja/ai-patents
- https://arxiv.org/abs/2606.02091v2
- https://creativecommons.org/licenses/by/4.0/
- https://www.iplexlaw.co.kr/ko/blog/dflare-block-diffusion-drafting
- https://www.iplexlaw.co.kr/ja/contact
- https://www.iplexlaw.co.kr/ja/blog
- https://www.iplexlaw.co.kr/ja/blog/dflare-block-diffusion-drafting#article-1866-en-0
- https://www.iplexlaw.co.kr/ja/blog/dflare-block-diffusion-drafting#article-1866-en-1
- https://www.iplexlaw.co.kr/ja/blog/dflare-block-diffusion-drafting#article-1866-en-2
- https://www.iplexlaw.co.kr/ja/blog/dflare-block-diffusion-drafting#article-1866-en-3
- https://www.iplexlaw.co.kr/ja/blog/dflare-block-diffusion-drafting#article-1866-en-4
- https://www.iplexlaw.co.kr/ja/blog/dflare-block-diffusion-drafting#article-1866-en-5
- https://www.iplexlaw.co.kr/ja/blog/dflare-block-diffusion-drafting#article-1866-en-6
- https://www.iplexlaw.co.kr/ja/blog/dflare-block-diffusion-drafting#article-1866-en-7
- https://www.iplexlaw.co.kr/ja/blog/dflare-block-diffusion-drafting#article-1866-en-8
- https://www.iplexlaw.co.kr/ja/blog/dflare-block-diffusion-drafting#article-1866-en-9
- https://www.iplexlaw.co.kr/ja/contact
- https://www.iplexlaw.co.kr/ja/blog/brunch-case-1868
- https://www.iplexlaw.co.kr/ja/blog/brunch-case-1865
- https://www.iplexlaw.co.kr/ja/blog/swila-switching-linear-attention
- https://www.iplexlaw.co.kr/ja/blog/swila-switching-linear-attention
- https://www.iplexlaw.co.kr/ja/blog/microsoft-multilevel-tts
- https://www.iplexlaw.co.kr/ja/blog/microsoft-multilevel-tts
- https://www.iplexlaw.co.kr/ja/blog/gbla-generative-retrieval
- https://www.iplexlaw.co.kr/ja/blog/gbla-generative-retrieval