# DFlare：拓宽推测解码草稿模型的信息通道

逐层特征融合、分来源KV投影与渐进式位置损失，如何共同提升块扩散草稿模型的有效容量。

Source: https://www.iplexlaw.co.kr/zh/blog/dflare-block-diffusion-drafting

首页 / 新闻与洞见 新闻与洞见 DFlare：拓宽推测解码草稿模型的信息通道 逐层特征融合、分来源KV投影与渐进式位置损失，如何共同提升块扩散草稿模型的有效容量。 人工智能 2026.10.22 已出版 IPLEX 阅读约13分钟 论文与问题范围 本文分析Jiebin Zhang等人的DFlare: Scaling Up Draft Capacity for Block Diffusion Speculative Decoding，arXiv:2606.02091v2，日期为2026年6月2日，初版提交于6月1日。北京大学与腾讯团队的预印本采用CC BY 4.0许可，研究推理加速，并非宣称扩大草稿模型就会当然改善回答质量。 并行起草，由目标模型确认 块扩散草稿模型以一次前向传播预测掩码位置，块内使用双向注意力。目标模型检查候选；贪心解码接受首个不一致位置之前的连续前缀，并提供下一词元。随机解码需采用相应接受规则才能维持目标分布。候选块较长或内容看起来合理，本身不等于加速有效或输出分布无损。 每个草稿层分别融合信息 DFlash通过全连接层融合目标特征，向各层提供共同表示。DFlare让每个草稿层学习多个目标隐藏状态的混合比例，经softmax归一化并采用RMSNorm。7个草稿层读取9个目标层时有63个标量混合系数，但这不是全部新增参数量。系数可以缓存，依赖输入的加权表示仍需计算。 按来源区分键值投影 目标上下文特征与草稿起始词元、掩码位置特征来自不同表示空间。DFlare对两类来源分别使用键和值投影，查询则来自草稿特征。技术贡献应从逐层信息路由与分来源转换的配合来理解，不能简化成增加层数。 DFlare v2图2：逐层特征融合及KV投影分离 先稳定前缀，再加强后部位置 训练使用多个锚点与受限注意力，固定并共享嵌入层和语言模型输出头。较早的错误会导致后续候选被舍弃，因此位置加权损失先重视前部，再逐步增加后部权重。附录设置衰减参数γ初值4.5，每个训练轮次增加1；GPT-OSS-20B因块长仅8，固定γ=4。论文的一般调度描述应与具体实现配置结合阅读。 实验条件与训练数据规模 实验主要在NVIDIA H20上评估Qwen3-4B、Qwen3-8B和GPT-OSS-20B，与普通自回归、EAGLE3及DFlash比较，涵盖GSM8K、MATH500、AIME25、HumanEval、MBPP和MT-Bench。Qwen的草稿层数、块长、目标层数为7、16、9，GPT-OSS为8、8、7。240万样本来自Nemotron Post-Training Dataset V2、CodeAlpaca、Step3.5-Flash-SFT等，保留提示词并由各目标模型重新生成答案。训练6轮、最长3,072词元，并去除与测试集32-gram以上重合的样本。Qwen3-8B采用27万、80万和240万样本时，平均加速比为3.74、4.97、5.46，接受长度为4.90、6.59、7.33。因此主要结果同时包含架构和数据规模的作用。 DFlare v2图1：任务加速比与训练数据规模 平均改善不代表所有任务领先 温度0下，DFlash至DFlare相对自回归的平均加速比分别为：Qwen3-4B 4.99→5.52，8B 5.05→5.46，GPT-OSS 3.71→3.91，相对提升约10.6%、8.1%、5.4%。接受长度为6.47→7.47、6.39→7.33、4.66→4.93。温度1时平均值改善，但4B的AIME25从4.02降至3.84，8B的HumanEval从4.52降至4.41，不能据平均值宣称全面占优。 DFlare v2表1：温度0与1的加速比及接受长度 消融实验支持的边界 采用相同DFlash训练数据时，DFlare在5、6、7个草稿层的加速比为5.12、5.13、5.16，对照DFlash为4.98、5.07、5.01；DFlare接受长度为6.55、6.72、6.90。这并未证明无限扩层有效。另一组三项任务的组件消融中，完整方案加速比/接受长度为3.37/4.52，去除softmax、KV分离或渐进损失后分别为3.31/4.47、3.35/4.48、3.34/4.47。额外全连接层的接受长度为4.51，也不当然更好；缺少多次运行波动资料时，不宜夸大小差异。 DFlare v2消融：目标层与草稿层数量 DFlare v2表2：归一化、KV分离与位置损失 服务吞吐与计算代价 H20上的SGLang运行Qwen3-8B，并发32时，GSM8K的自回归、DFlash、DFlare吞吐依次为1,053.7、1,068.6、1,809.3词元/秒，HumanEval为1,212.0、1,149.9、1,796.9。然而并发1的HumanEval中，DFlare554.5低于DFlash561.1。8B训练在32块GPU上每块约160小时，合计约5,120 GPU小时，而非总计160。论文未量化成本回收点，更大数据规模也受资源限制尚未检验。 DFlare v2表3：SGLang不同并发量的吞吐 从专利实务看技术贡献 技术说明应将信息瓶颈、具体融合、投影及损失调度与有条件的实验效果对应起来。该方案需要目标模型内部隐藏状态，不能当然视为适用于任意封闭API。架构、数据和服务配置的贡献应分别说明。本分析提供技术披露与评价的思路，并不据此认定新颖性、创造性或专利适格性。 图中保留原始标注与形态，相关内容在正文中说明。 相关业务：人工智能专利 论文与图表：Zhang等，DFlare v2，2026（CC BY 4.0） · CC BY 4.0 查看韩文原文 本文基于发表时的情况撰写。如需就具体事项咨询，请联系IPLEX。 咨询相关业务 ↗ 全部文章 本页目录 论文与问题范围 并行起草，由目标模型确认 每个草稿层分别融合信息 按来源区分键值投影 先稳定前缀，再加强后部位置 实验条件与训练数据规模 平均改善不代表所有任务领先 消融实验支持的边界 服务吞吐与计算代价 从专利实务看技术贡献 咨询IPLEX 与我们讨论您的需求 保护、维权与管理。 我们将与您共同分析技术与业务需求。 ↗ 联系我们 较新文章 在先申请与AR图像生成 ↗ 较早文章 挡水条外观设计的创造性边界 ↗ 相关解读 人工智能 2026.10.29 SwiLA：按上下文组织记忆 Switching Linear Attention如何在固定状态中组合多个线性回归模型？本文解读其记忆更新与检索机制、实验结果，以及仍然存在的容量和计算成本限制。 ↗ 阅读全文 人工智能 2026.10.28 微软语音合成专利：如何结合音素、词语与句子结构 结合美国专利US12094447B2，解析音素或字符信息、词嵌入与语法结构如何对齐、融合并生成语音。 ↗ 阅读全文 人工智能 2026.10.27 GBLA：如何高效读取长推荐历史 从技术与专利实务角度分析门控双向线性注意力、混合编码器，以及检索精度和速度数据的适用边界。 ↗ 阅读全文

- https://www.iplexlaw.co.kr/zh
- https://www.iplexlaw.co.kr/zh/blog/category/ai
- https://www.iplexlaw.co.kr/zh/ai-patents
- https://arxiv.org/abs/2606.02091v2
- https://creativecommons.org/licenses/by/4.0/
- https://www.iplexlaw.co.kr/ko/blog/dflare-block-diffusion-drafting
- https://www.iplexlaw.co.kr/zh/contact
- https://www.iplexlaw.co.kr/zh/blog
- https://www.iplexlaw.co.kr/zh/blog/dflare-block-diffusion-drafting#article-1866-en-0
- https://www.iplexlaw.co.kr/zh/blog/dflare-block-diffusion-drafting#article-1866-en-1
- https://www.iplexlaw.co.kr/zh/blog/dflare-block-diffusion-drafting#article-1866-en-2
- https://www.iplexlaw.co.kr/zh/blog/dflare-block-diffusion-drafting#article-1866-en-3
- https://www.iplexlaw.co.kr/zh/blog/dflare-block-diffusion-drafting#article-1866-en-4
- https://www.iplexlaw.co.kr/zh/blog/dflare-block-diffusion-drafting#article-1866-en-5
- https://www.iplexlaw.co.kr/zh/blog/dflare-block-diffusion-drafting#article-1866-en-6
- https://www.iplexlaw.co.kr/zh/blog/dflare-block-diffusion-drafting#article-1866-en-7
- https://www.iplexlaw.co.kr/zh/blog/dflare-block-diffusion-drafting#article-1866-en-8
- https://www.iplexlaw.co.kr/zh/blog/dflare-block-diffusion-drafting#article-1866-en-9
- https://www.iplexlaw.co.kr/zh/contact
- https://www.iplexlaw.co.kr/zh/blog/brunch-case-1868
- https://www.iplexlaw.co.kr/zh/blog/brunch-case-1865
- https://www.iplexlaw.co.kr/zh/blog/swila-switching-linear-attention
- https://www.iplexlaw.co.kr/zh/blog/swila-switching-linear-attention
- https://www.iplexlaw.co.kr/zh/blog/microsoft-multilevel-tts
- https://www.iplexlaw.co.kr/zh/blog/microsoft-multilevel-tts
- https://www.iplexlaw.co.kr/zh/blog/gbla-generative-retrieval
- https://www.iplexlaw.co.kr/zh/blog/gbla-generative-retrieval