论文与问题范围
本文分析Jiebin Zhang等人的DFlare: Scaling Up Draft Capacity for Block Diffusion Speculative Decoding，arXiv:2606.02091v2，日期为2026年6月2日，初版提交于6月1日。北京大学与腾讯团队的预印本采用CC BY 4.0许可，研究推理加速，并非宣称扩大草稿模型就会当然改善回答质量。
并行起草，由目标模型确认
块扩散草稿模型以一次前向传播预测掩码位置，块内使用双向注意力。目标模型检查候选；贪心解码接受首个不一致位置之前的连续前缀，并提供下一词元。随机解码需采用相应接受规则才能维持目标分布。候选块较长或内容看起来合理，本身不等于加速有效或输出分布无损。
每个草稿层分别融合信息
DFlash通过全连接层融合目标特征，向各层提供共同表示。DFlare让每个草稿层学习多个目标隐藏状态的混合比例，经softmax归一化并采用RMSNorm。7个草稿层读取9个目标层时有63个标量混合系数，但这不是全部新增参数量。系数可以缓存，依赖输入的加权表示仍需计算。
按来源区分键值投影
目标上下文特征与草稿起始词元、掩码位置特征来自不同表示空间。DFlare对两类来源分别使用键和值投影，查询则来自草稿特征。技术贡献应从逐层信息路由与分来源转换的配合来理解，不能简化成增加层数。
先稳定前缀，再加强后部位置
训练使用多个锚点与受限注意力，固定并共享嵌入层和语言模型输出头。较早的错误会导致后续候选被舍弃，因此位置加权损失先重视前部，再逐步增加后部权重。附录设置衰减参数γ初值4.5，每个训练轮次增加1；GPT-OSS-20B因块长仅8，固定γ=4。论文的一般调度描述应与具体实现配置结合阅读。
实验条件与训练数据规模
实验主要在NVIDIA H20上评估Qwen3-4B、Qwen3-8B和GPT-OSS-20B，与普通自回归、EAGLE3及DFlash比较，涵盖GSM8K、MATH500、AIME25、HumanEval、MBPP和MT-Bench。Qwen的草稿层数、块长、目标层数为7、16、9，GPT-OSS为8、8、7。240万样本来自Nemotron Post-Training Dataset V2、CodeAlpaca、Step3.5-Flash-SFT等，保留提示词并由各目标模型重新生成答案。训练6轮、最长3,072词元，并去除与测试集32-gram以上重合的样本。Qwen3-8B采用27万、80万和240万样本时，平均加速比为3.74、4.97、5.46，接受长度为4.90、6.59、7.33。因此主要结果同时包含架构和数据规模的作用。
平均改善不代表所有任务领先
温度0下，DFlash至DFlare相对自回归的平均加速比分别为：Qwen3-4B 4.99→5.52，8B 5.05→5.46，GPT-OSS 3.71→3.91，相对提升约10.6%、8.1%、5.4%。接受长度为6.47→7.47、6.39→7.33、4.66→4.93。温度1时平均值改善，但4B的AIME25从4.02降至3.84，8B的HumanEval从4.52降至4.41，不能据平均值宣称全面占优。
消融实验支持的边界
采用相同DFlash训练数据时，DFlare在5、6、7个草稿层的加速比为5.12、5.13、5.16，对照DFlash为4.98、5.07、5.01；DFlare接受长度为6.55、6.72、6.90。这并未证明无限扩层有效。另一组三项任务的组件消融中，完整方案加速比/接受长度为3.37/4.52，去除softmax、KV分离或渐进损失后分别为3.31/4.47、3.35/4.48、3.34/4.47。额外全连接层的接受长度为4.51，也不当然更好；缺少多次运行波动资料时，不宜夸大小差异。
服务吞吐与计算代价
H20上的SGLang运行Qwen3-8B，并发32时，GSM8K的自回归、DFlash、DFlare吞吐依次为1,053.7、1,068.6、1,809.3词元/秒，HumanEval为1,212.0、1,149.9、1,796.9。然而并发1的HumanEval中，DFlare554.5低于DFlash561.1。8B训练在32块GPU上每块约160小时，合计约5,120 GPU小时，而非总计160。论文未量化成本回收点，更大数据规模也受资源限制尚未检验。
从专利实务看技术贡献
技术说明应将信息瓶颈、具体融合、投影及损失调度与有条件的实验效果对应起来。该方案需要目标模型内部隐藏状态，不能当然视为适用于任意封闭API。架构、数据和服务配置的贡献应分别说明。本分析提供技术披露与评价的思路，并不据此认定新颖性、创造性或专利适格性。
图中保留原始标注与形态，相关内容在正文中说明。
论文与图表：Zhang等，DFlare v2，2026（CC BY 4.0） · CC BY 4.0