# 读懂推测解码论文：用小模型草稿加快大语言模型响应

解析ICML 2023推测解码论文中的草稿生成、并行验证与概率修正，结合T5-XXL实验说明加速效果及实际应用条件。

Source: https://www.iplexlaw.co.kr/zh/blog/speculative-decoding-draft-parallel-verification

首页 / 新闻与洞见 新闻与洞见 读懂推测解码论文：用小模型草稿加快大语言模型响应 解析ICML 2023推测解码论文中的草稿生成、并行验证与概率修正，结合T5-XXL实验说明加速效果及实际应用条件。 人工智能 2026.11.08 已出版 IPLEX 阅读约6分钟 概念图：小模型生成草稿，由目标模型进行并行评估。 自回归语言模型通常每选择一个新词元，就要等待大模型完成一次计算。推测解码让较小的模型先提出多个候选词元，再由目标模型并行计算各位置的下一词元概率，从而在一轮中确定多个词元。本文结合虚构的咨询聊天机器人和T5-XXL实验，说明如何保持输出分布，以及实际速度为何受运行条件影响。 本文研读Yaniv Leviathan、Matan Kalman和Yossi Matias的Fast Inference from Transformers via Speculative Decoding。该研究于2022年11月30日首次发布于arXiv；技术解释与实验数字以ICML 2023的PMLR最终版本为依据。 1. 为什么自回归回答逐个词元出现 咨询聊天机器人的回答常常逐渐显示。语言模型先读取已确定的文字，计算下一个片段的概率并选出一个，再把选择结果加入上下文，继续预测后续片段。 这些片段称为词元，一个词元可能是完整单词，也可能只是单词的一部分。下一次选择之前的文字称为前缀。用户输入和已经生成的词元，共同构成聊天机器人的预测上下文。 大模型每次计算都会带来等待。如果先让小模型写出后面几个片段，再让大模型一起查看，能否缩短这个过程？ 2. 先生成草稿，再由目标模型并行计算 较小的模型是草稿模型，较大的目标模型则是原本负责生成回答的模型。草稿模型从当前前缀出发，以自回归方式生成一小段候选序列。 假设虚构的聊天机器人得到A、B、C三个草稿词元。目标模型可同时处理四种输入：原前缀、前缀加A、前缀加A和B、前缀加A、B和C，并分别计算下一词元概率。有了草稿，这些输入就能提前构造。 接受判断从A开始依次进行。如果A、B被接受，而C被拒绝，就确定A和B，并在C的位置按修正后的分布重新抽取一个词元。之后位置的计算结果不再使用。如果草稿全部被接受且生成继续，则从目标模型的下一位置分布中再抽取一个词元。 论文第2.3节和算法1给出了这一顺序及相应条件。 3. 用接受规则和修正保持目标分布 两个模型可能给同一候选不同的概率。接受概率取1与“目标概率除以草稿概率”中的较小值。目标概率不低于草稿概率时始终接受，否则按两者的比例接受。 用只有两个候选的假设例子说明：草稿模型给A 80%、B 20%，目标模型给A 60%、B 40%。提出A时，接受概率为60÷80＝75%。因此全部尝试中确定A的比例为80%×75%＝60%。 提出B时始终接受。A被拒绝的20%尝试中，目标分布剩余的概率属于B，因此修正为B。最初提出B的20%与修正得到B的20%相加，正好达到目标模型的40%。 保持的是相同条件下的输出概率分布，并不意味着多次随机采样必然生成完全相同的句子。接受规则遵循目标模型的生成分布，也不等于核实聊天机器人说出的内容是否属实。 论文附录A.1证明，接受草稿与从修正分布采样这两部分合在一起，会还原目标模型的分布。 4. 结合条件阅读T5-XXL实验结果 研究使用已有的T5 v1.1检查点，目标模型为110亿参数的T5-XXL，下表采用的草稿模型为7700万参数的T5-small。实验在单个TPU v4上以批量大小1运行，并与相同目标模型的标准T5X执行时间比较。 相对于标准T5X的实测耗时加速比 任务 草稿长度 概率采样·温度1 最高概率选择·温度0 WMT英语→德语翻译 7个词元 2.6× 3.4× CNN/Daily Mail摘要 5个词元 2.3× 3.1× 翻译任务的2.6倍，是标准方式耗时除以推测解码耗时所得的比值。温度1的概率采样与温度0的最高概率选择得到不同结果。摘要中的约2至3倍是对这些实验结果的概括，应结合具体设置理解。 模型规模和数值均依据ICML最终版本第4.1节与表2整理。 5. 哪些条件会改变实际服务的加速效果 草稿从开头连续被接受的部分越长，等待目标模型串行运行的次数就越少。若经常在很早的位置拒绝，后面提前计算的结果就会浪费。草稿模型生成候选所需的时间，也属于每轮开销。 设备有足够并行计算余量时，即使总运算量增加，等待时间仍可能缩短。因此草稿长度和模型组合需要分别比较。实验中，更大的草稿模型取得更高接受率，但实测加速比最高的是T5-small。 比较服务时应控制输入长度和并发请求数量，分别观察首词元延迟、后续词元间隔和单位时间处理请求数，判断究竟减少了哪种等待。翻译与摘要的实验比值仅对应所测试的模型和硬件。 6. 为开发与专利分析记录具体实现差异 开发记录可以分别保存草稿长度、首个拒绝位置、修正使用的概率与计算时间。即使采用同一个草稿模型，根据请求选择前瞻长度的方法，以及拒绝后处理计算结果与缓存的方式，也会形成实现差异。 从IPLEX的专利分析角度看，仅说明使用了推测解码，难以划清已发表方法与新实现的界限。可将待解决的瓶颈、识别瓶颈的输入、改变草稿长度或验证单元的条件，以及修改后变化的测量指标联系起来。这属于实务分析，与论文报告的实验结果相区分。 图中保留原始标注与形态，相关内容在正文中说明。 聊天机器人与双候选场景均为假设示例。耗时数字属于论文的特定T5实验，并非普遍性能承诺。保持采样分布也不代表保证内容符合事实。 ICML 2023·PMLR论文记录 ICML最终论文·PDF arXiv 2211.17192·首次预印本记录 Google Research·作者解读 读懂FlashAttention-2：让长上下文注意力更高效地运行在GPU上 读懂PagedAttention：vLLM的KV缓存与GPU显存管理 如需梳理具体实现的运行方式与技术特点，可参阅IPLEX的AI业务和咨询准备资料。 了解金容德专利代理师的AI专业经验 Tistory原文 查看韩文原文 本文基于发表时的情况撰写。如需就具体事项咨询，请联系IPLEX。 咨询相关业务 ↗ 全部文章 本页目录 1. 为什么自回归回答逐个词元出现 2. 先生成草稿，再由目标模型并行计算 3. 用接受规则和修正保持目标分布 4. 结合条件阅读T5-XXL实验结果 5. 哪些条件会改变实际服务的加速效果 6. 为开发与专利分析记录具体实现差异 咨询IPLEX 与我们讨论您的需求 保护、维权与管理。 我们将与您共同分析技术与业务需求。 ↗ 联系我们 较新文章 外观设计侵权赔偿：连续销售中诉讼时效如何起算 ↗ 较早文章 商标权人破产后，独占使用权登记请求应如何行使 ↗ 相关解读 人工智能 2026.11.19 Matryoshka嵌入与图像检索：用向量前缀筛选，再用完整向量重排 解读NeurIPS 2022的Matryoshka Representation Learning、不同长度的联合训练及ImageNet-1K检索实验。 ↗ 阅读全文 人工智能 2026.11.18 字节跳动自动字幕专利：分轨识别语音，再调整字幕重叠时间 解读US11837234B2的音轨选择与字幕时间调整，并区分专利公开内容和CapCut的公开操作说明。 ↗ 阅读全文 人工智能 2026.11.17 苹果文字识别专利：把照片中的电话号码与网址连接到操作 解析US12001642B2中识别文本、图像坐标、文本类型和用户输入如何共同决定菜单与操作。 ↗ 阅读全文

- https://www.iplexlaw.co.kr/zh
- https://www.iplexlaw.co.kr/zh/blog/category/ai
- https://proceedings.mlr.press/v202/leviathan23a.html
- https://proceedings.mlr.press/v202/leviathan23a/leviathan23a.pdf
- https://arxiv.org/abs/2211.17192
- https://research.google/blog/looking-back-at-speculative-decoding/
- https://www.iplexlaw.co.kr/zh/blog/flashattention-2-gpu-work-partitioning
- https://www.iplexlaw.co.kr/zh/blog/pagedattention-vllm-kv-cache
- https://www.iplexlaw.co.kr/zh/ai-patents
- https://iplexlaw.tistory.com/19
- https://www.iplexlaw.co.kr/ko/blog/speculative-decoding-draft-parallel-verification
- https://www.iplexlaw.co.kr/zh/contact
- https://www.iplexlaw.co.kr/zh/blog
- https://www.iplexlaw.co.kr/zh/blog/speculative-decoding-draft-parallel-verification#article-19-en-0
- https://www.iplexlaw.co.kr/zh/blog/speculative-decoding-draft-parallel-verification#article-19-en-1
- https://www.iplexlaw.co.kr/zh/blog/speculative-decoding-draft-parallel-verification#article-19-en-2
- https://www.iplexlaw.co.kr/zh/blog/speculative-decoding-draft-parallel-verification#article-19-en-3
- https://www.iplexlaw.co.kr/zh/blog/speculative-decoding-draft-parallel-verification#article-19-en-4
- https://www.iplexlaw.co.kr/zh/blog/speculative-decoding-draft-parallel-verification#article-19-en-5
- https://www.iplexlaw.co.kr/zh/contact
- https://www.iplexlaw.co.kr/zh/blog/brunch-case-1932
- https://www.iplexlaw.co.kr/zh/blog/brunch-case-1931
- https://www.iplexlaw.co.kr/zh/blog/matryoshka-prefix-vector-image-retrieval
- https://www.iplexlaw.co.kr/zh/blog/matryoshka-prefix-vector-image-retrieval
- https://www.iplexlaw.co.kr/zh/blog/bytedance-track-based-caption-timing
- https://www.iplexlaw.co.kr/zh/blog/bytedance-track-based-caption-timing
- https://www.iplexlaw.co.kr/zh/blog/apple-recognized-text-contextual-actions
- https://www.iplexlaw.co.kr/zh/blog/apple-recognized-text-contextual-actions
