新闻与洞见

读懂推测解码论文:用小模型草稿加快大语言模型响应

解析ICML 2023推测解码论文中的草稿生成、并行验证与概率修正,结合T5-XXL实验说明加速效果及实际应用条件。

小型草稿模型提出候选词元,大型目标模型并行评估候选的概念图
概念图:小模型生成草稿,由目标模型进行并行评估。

自回归语言模型通常每选择一个新词元,就要等待大模型完成一次计算。推测解码让较小的模型先提出多个候选词元,再由目标模型并行计算各位置的下一词元概率,从而在一轮中确定多个词元。本文结合虚构的咨询聊天机器人和T5-XXL实验,说明如何保持输出分布,以及实际速度为何受运行条件影响。

本文研读Yaniv Leviathan、Matan Kalman和Yossi Matias的Fast Inference from Transformers via Speculative Decoding。该研究于2022年11月30日首次发布于arXiv;技术解释与实验数字以ICML 2023的PMLR最终版本为依据。

1. 为什么自回归回答逐个词元出现

咨询聊天机器人的回答常常逐渐显示。语言模型先读取已确定的文字,计算下一个片段的概率并选出一个,再把选择结果加入上下文,继续预测后续片段。

这些片段称为词元,一个词元可能是完整单词,也可能只是单词的一部分。下一次选择之前的文字称为前缀。用户输入和已经生成的词元,共同构成聊天机器人的预测上下文。

大模型每次计算都会带来等待。如果先让小模型写出后面几个片段,再让大模型一起查看,能否缩短这个过程?

2. 先生成草稿,再由目标模型并行计算

较小的模型是草稿模型,较大的目标模型则是原本负责生成回答的模型。草稿模型从当前前缀出发,以自回归方式生成一小段候选序列。

假设虚构的聊天机器人得到A、B、C三个草稿词元。目标模型可同时处理四种输入:原前缀、前缀加A、前缀加A和B、前缀加A、B和C,并分别计算下一词元概率。有了草稿,这些输入就能提前构造。

接受判断从A开始依次进行。如果A、B被接受,而C被拒绝,就确定A和B,并在C的位置按修正后的分布重新抽取一个词元。之后位置的计算结果不再使用。如果草稿全部被接受且生成继续,则从目标模型的下一位置分布中再抽取一个词元。

论文第2.3节和算法1给出了这一顺序及相应条件。

3. 用接受规则和修正保持目标分布

两个模型可能给同一候选不同的概率。接受概率取1与“目标概率除以草稿概率”中的较小值。目标概率不低于草稿概率时始终接受,否则按两者的比例接受。

用只有两个候选的假设例子说明:草稿模型给A 80%、B 20%,目标模型给A 60%、B 40%。提出A时,接受概率为60÷80=75%。因此全部尝试中确定A的比例为80%×75%=60%。

提出B时始终接受。A被拒绝的20%尝试中,目标分布剩余的概率属于B,因此修正为B。最初提出B的20%与修正得到B的20%相加,正好达到目标模型的40%。

保持的是相同条件下的输出概率分布,并不意味着多次随机采样必然生成完全相同的句子。接受规则遵循目标模型的生成分布,也不等于核实聊天机器人说出的内容是否属实。

论文附录A.1证明,接受草稿与从修正分布采样这两部分合在一起,会还原目标模型的分布。

4. 结合条件阅读T5-XXL实验结果

研究使用已有的T5 v1.1检查点,目标模型为110亿参数的T5-XXL,下表采用的草稿模型为7700万参数的T5-small。实验在单个TPU v4上以批量大小1运行,并与相同目标模型的标准T5X执行时间比较。

相对于标准T5X的实测耗时加速比
任务草稿长度概率采样·温度1最高概率选择·温度0
WMT英语→德语翻译7个词元2.6×3.4×
CNN/Daily Mail摘要5个词元2.3×3.1×

翻译任务的2.6倍,是标准方式耗时除以推测解码耗时所得的比值。温度1的概率采样与温度0的最高概率选择得到不同结果。摘要中的约2至3倍是对这些实验结果的概括,应结合具体设置理解。

模型规模和数值均依据ICML最终版本第4.1节与表2整理。

5. 哪些条件会改变实际服务的加速效果

草稿从开头连续被接受的部分越长,等待目标模型串行运行的次数就越少。若经常在很早的位置拒绝,后面提前计算的结果就会浪费。草稿模型生成候选所需的时间,也属于每轮开销。

设备有足够并行计算余量时,即使总运算量增加,等待时间仍可能缩短。因此草稿长度和模型组合需要分别比较。实验中,更大的草稿模型取得更高接受率,但实测加速比最高的是T5-small。

比较服务时应控制输入长度和并发请求数量,分别观察首词元延迟、后续词元间隔和单位时间处理请求数,判断究竟减少了哪种等待。翻译与摘要的实验比值仅对应所测试的模型和硬件。

6. 为开发与专利分析记录具体实现差异

开发记录可以分别保存草稿长度、首个拒绝位置、修正使用的概率与计算时间。即使采用同一个草稿模型,根据请求选择前瞻长度的方法,以及拒绝后处理计算结果与缓存的方式,也会形成实现差异。

从IPLEX的专利分析角度看,仅说明使用了推测解码,难以划清已发表方法与新实现的界限。可将待解决的瓶颈、识别瓶颈的输入、改变草稿长度或验证单元的条件,以及修改后变化的测量指标联系起来。这属于实务分析,与论文报告的实验结果相区分。

图中保留原始标注与形态,相关内容在正文中说明。

聊天机器人与双候选场景均为假设示例。耗时数字属于论文的特定T5实验,并非普遍性能承诺。保持采样分布也不代表保证内容符合事实。

ICML 2023·PMLR论文记录

ICML最终论文·PDF

arXiv 2211.17192·首次预印本记录

Google Research·作者解读

读懂FlashAttention-2:让长上下文注意力更高效地运行在GPU上

读懂PagedAttention:vLLM的KV缓存与GPU显存管理

如需梳理具体实现的运行方式与技术特点,可参阅IPLEX的AI业务和咨询准备资料。

了解金容德专利代理师的AI专业经验

Tistory原文

查看韩文原文

本文基于发表时的情况撰写。如需就具体事项咨询,请联系IPLEX。
咨询相关业务 ↗全部文章

与IPLEX探讨技术保护与知识产权布局的下一步。