# NVIDIA候选词元选择：通过决定验证哪些草稿加快LLM推理

解析公开申请US20260236763A1中的推测解码、边际收益与处理成本，并以假设配送客服说明其运行方式。

Source: https://www.iplexlaw.co.kr/zh/blog/nvidia-speculative-decoding-draft-selection

首页 / 新闻与洞见 新闻与洞见 NVIDIA候选词元选择：通过决定验证哪些草稿加快LLM推理 解析公开申请US20260236763A1中的推测解码、边际收益与处理成本，并以假设配送客服说明其运行方式。 人工智能与软件 2026.10.05 已出版 IPLEX 阅读约10分钟 选择草稿并从已接受词元继续生成的概念图 公开申请及其技术问题 NVIDIA的US20260236763A1于2026年8月13日公开，是专利申请公开文件，并非专利已获授权的证明。其说明根据处理时间及已接受词元数量选择草稿集合的技术。本篇聚焦该选择机制，不据此断言NIM实现了全部权利要求。 语言模型通常逐步计算下一个词元并加入上下文。预先准备多个续写候选，若目标模型接受，就可能减少串行步骤；但长候选反复被丢弃，也会浪费时间和内存。因此，问题在于值得提前计算多少内容。 词元、草稿与目标模型 词元可能对应完整单词、词的一部分或标点，并不总与可见文字单位一致。草稿生成器提出续写，目标模型对选中的候选位置进行批量验证。草稿生成器不一定是独立的小模型，也可以是其他处理过程或同一模型内的组成部分。 可接受的连续前缀被加入下一轮上下文；中途不一致后，不能将其余候选直接沿用。图5展示生成、选择及并行验证的流程。接受候选仅意味着符合模型生成规则，不意味着配送日期等陈述已经过事实核验。 公开文件图5：草稿生成、集合选择与目标模型并行验证 候选越长并不一定越有效 选择器考虑延长候选后预期增加的已接受词元，以及相应的额外处理时间。这里的收益是生成增量，而不是销售收入。以往的接受情况与耗时记录用于估计两者，不能仅依据候选总长度作出判断。 图10先从剩余集合中选择边际收益最大的候选加入推理组，再将收益与边际成本的比率同阈值比较，以决定是否继续选择；候选耗尽或停止后，将选定组交给模型。因此，它不等于简单按比率排序，也不等于总选最长候选。阈值还可结合计算资源和内存约束调整。 公开文件图10：加入边际收益大的候选，再比较收益与成本的阈值 假设配送客服中的循环 可以设想从“您的订单”延伸为“您的订单将于”和“您的订单将于今天发出”的不同草稿。这些是便于理解的语句片段，不是实际分词结果。若目标模型只接受前缀，就丢弃不合适的后缀，从模型结果继续生成。真实物流状态仍须由订单数据及业务逻辑提供。 系统记录处理时间与接受长度，再用于下一轮选择。结尾经常改变的请求未必适合长草稿，而可预测的表达可能适合提前准备更长内容。更新运行记录与重新训练权重是不同操作。配送示意属于假设场景，并非客户实施案例或性能实验。 假设配送客服示意，不是实际分词、服务画面或实验结果 以NIM理解产品背景 NVIDIA NIM提供可供应用调用的推理微服务。NIM for Large Language Models 2.0.10文档介绍其vLLM后端的推测解码，包括EAGLE3草稿、模型内多词元预测MTP及从输入查找重复片段的n-gram方式。模型条件和内存需求因方式而异。 应区分两个设计问题：如何生成草稿，以及让目标模型处理多少草稿。该公开申请的选择器主要有助于理解后者。产品具备推测解码功能，并不能单独证明采用了这组具体的公开权利要求。 区分延迟与吞吐量 单次回答的等待时间与服务器总体吞吐量不是同一指标。并发较低或中等、GPU尚有余量时，并行验证可能有益；负载饱和时，额外计算和内存开销可能抵消收益，甚至降低吞吐量。几个回答更快，不能代表整项服务得到改善。 应记录真实请求长度、并发量、接受率与接受长度、内存使用、处理时间及对照条件。将候选生成、选择和反馈分别设计并说明，既有助于工程评估，也方便与公开技术内容进行比对。 向IPLEX说明技术方案时可准备什么 开展AI及软件专利评估时，可整理允许公开的系统流程、候选生成与选择规则，以及注明评价条件的耗时对比。技术差异不仅可能在模型规模或硬件，也可能在计算顺序和选择过程。 IPLEX结合这些具体处理差异支持申请撰写与权利布局。本篇不作侵权、专利授权或必然加速的结论；具体实现及有关权利要求仍需单独分析。 Tistory原文 相关AI专利业务 延伸阅读：测试时更新权重 延伸阅读：Attention Residuals分析 查看韩文原文 本文基于发表时的情况撰写。如需就具体事项咨询，请联系IPLEX。 咨询相关业务 ↗ 全部文章 本页目录 公开申请及其技术问题 词元、草稿与目标模型 候选越长并不一定越有效 假设配送客服中的循环 以NIM理解产品背景 区分延迟与吞吐量 向IPLEX说明技术方案时可准备什么 咨询IPLEX 与我们讨论您的需求 保护、维权与管理。 我们将与您共同分析技术与业务需求。 ↗ 联系我们 较新文章 Covent Garden地名商标案：景点知名度不等于商业来源认知 ↗ 较早文章 演唱会应援灯专利：相同灯光效果为何不等于具备“预设组” ↗ 相关解读 人工智能 2026.10.15 PaTH Attention：将词元之间的路径编码为位置信息 解析输入依赖的Householder型变换累积机制，以及状态跟踪、长上下文实验的收益与限制。 ↗ 阅读全文 人工智能 2026.10.14 华为盘古气象：如何串联不同时间间隔的预测模型 结合公开申请US20250258318A1，解析预测步长选择、中间状态传递及气象数据融合。 ↗ 阅读全文 人工智能 2026.10.13 LaCT：以大分块更新人工智能的临时记忆 从快速权重、GPU利用率和因果处理顺序，解析LaCT的技术结构、实验条件及适用边界。 ↗ 阅读全文

- https://www.iplexlaw.co.kr/zh
- https://www.iplexlaw.co.kr/zh/blog/category/ai
- https://iplexlaw.tistory.com/5
- https://www.iplexlaw.co.kr/zh/ai-patents
- https://www.iplexlaw.co.kr/zh/blog/1525199
- https://www.iplexlaw.co.kr/zh/blog/attention-residuals-ai-patent-analysis
- https://www.iplexlaw.co.kr/ko/blog/nvidia-speculative-decoding-draft-selection
- https://www.iplexlaw.co.kr/zh/contact
- https://www.iplexlaw.co.kr/zh/blog
- https://www.iplexlaw.co.kr/zh/blog/nvidia-speculative-decoding-draft-selection#case-nvidia-en-0
- https://www.iplexlaw.co.kr/zh/blog/nvidia-speculative-decoding-draft-selection#case-nvidia-en-1
- https://www.iplexlaw.co.kr/zh/blog/nvidia-speculative-decoding-draft-selection#case-nvidia-en-2
- https://www.iplexlaw.co.kr/zh/blog/nvidia-speculative-decoding-draft-selection#case-nvidia-en-3
- https://www.iplexlaw.co.kr/zh/blog/nvidia-speculative-decoding-draft-selection#case-nvidia-en-4
- https://www.iplexlaw.co.kr/zh/blog/nvidia-speculative-decoding-draft-selection#case-nvidia-en-5
- https://www.iplexlaw.co.kr/zh/blog/nvidia-speculative-decoding-draft-selection#case-nvidia-en-6
- https://www.iplexlaw.co.kr/zh/contact
- https://www.iplexlaw.co.kr/zh/blog/brunch-case-1798
- https://www.iplexlaw.co.kr/zh/blog/brunch-case-1797
- https://www.iplexlaw.co.kr/zh/blog/path-attention-householder-transformations
- https://www.iplexlaw.co.kr/zh/blog/path-attention-householder-transformations
- https://www.iplexlaw.co.kr/zh/blog/huawei-pangu-weather-time-interval-models
- https://www.iplexlaw.co.kr/zh/blog/huawei-pangu-weather-time-interval-models
- https://www.iplexlaw.co.kr/zh/blog/lact-large-chunk-test-time-training
- https://www.iplexlaw.co.kr/zh/blog/lact-large-chunk-test-time-training