# 读懂PagedAttention：vLLM的KV缓存与GPU显存管理

解释KV逻辑块与物理块、写时复制共享，以及原始聊天机器人实验结论的适用边界。

Source: https://www.iplexlaw.co.kr/zh/blog/pagedattention-vllm-kv-cache

首页 / 新闻与洞见 新闻与洞见 读懂PagedAttention：vLLM的KV缓存与GPU显存管理 解释KV逻辑块与物理块、写时复制共享，以及原始聊天机器人实验结论的适用边界。 人工智能 2026.10.19 已出版 IPLEX 阅读约7分钟 生成过程为何需要缓存 本文分析Woosuk Kwon、Zhuohan Li等人于2023年9月12日提交的《Efficient Memory Management for Large Language Model Serving with PagedAttention》arXiv第一版。自回归模型逐词元生成，KV缓存保存已计算的注意力键和值，而不是原样储存用户文本的文档。序列越长，缓存越大。为每个请求预留大块连续显存会产生未用空间，长度差异还会造成碎片。PagedAttention解决分配与共享问题，并不重新训练模型。 两个回答候选共享输入KV块的假想示意 分离逻辑顺序与实际存储位置 每个块保存固定数量词元的KV信息，块表将请求中的逻辑顺序映射到GPU物理块，并记录已填位置。逻辑相邻的块不必物理连续。先为输入分配所需块，后续词元写入末块空位，填满后才增加新块。注意力按映射读取，词元顺序保持不变。多个请求可使用同一显存池，但各自保有映射，并不是把不同客户的对话合并。 同一提示生成两个回答的假想例子 设想咨询工具根据完全相同的提示和指令生成A、B两个候选回答。两张块表可指向同一组输入物理块，分叉后的生成部分则需独立保存。同一个词也不保证KV相同，因为上下文和位置会影响计算。若共享的输入末块仍有空位，且还有其他引用，写入新词元前需写时复制。已填满的共同块继续共享，仅复制需要分离的块，或分配新块；不再被引用的块可回收。示意图为假想原理图，并非产品界面或测量结果。 如何理解约两倍的实验结果 论文6.5节报告，在聊天机器人实验中，vLLM可承受约为三个Orca基线两倍的请求到达率。这是在所测延迟表现下的吞吐能力，不是回答准确率翻倍，也不表示每个回答都用一半时间完成。实验使用合成的请求到达时刻，且没有在对话轮次之间保留KV缓存。它不是上述假想咨询服务的实测，收益还受输入输出长度、GPU容量和流量模式影响。 存储管理与实现差异记录 分块不是只检索部分历史、丢弃低重要性词元，也不会自动扩展模型上下文窗口。较小块减少尾部空闲，但需考虑映射管理开销。FlashAttention-2侧重注意力计算顺序和并行工作，PagedAttention侧重持续增长KV数据的放置与共享。开发及知识产权咨询可记录分配时机、映射结构、共享条件、复制和回收流程，并结合输入输出长度、并发请求数等测量。这些实务建议应与论文实验分开，明确改变的处理步骤，而不只宣称“节省显存”。 图中保留原始标注与形态，相关内容在正文中说明。 相关业务：人工智能专利 PagedAttention论文第一版 Tistory技术分析原文 查看韩文原文 本文基于发表时的情况撰写。如需就具体事项咨询，请联系IPLEX。 咨询相关业务 ↗ 全部文章 本页目录 生成过程为何需要缓存 分离逻辑顺序与实际存储位置 同一提示生成两个回答的假想例子 如何理解约两倍的实验结果 存储管理与实现差异记录 咨询IPLEX 与我们讨论您的需求 保护、维权与管理。 我们将与您共同分析技术与业务需求。 ↗ 联系我们 较新文章 专利保护范围确认程序中，如何明确被确认发明 ↗ 较早文章 已知部件的组合与外观设计创造性 ↗ 相关解读 人工智能 2026.10.29 SwiLA：按上下文组织记忆 Switching Linear Attention如何在固定状态中组合多个线性回归模型？本文解读其记忆更新与检索机制、实验结果，以及仍然存在的容量和计算成本限制。 ↗ 阅读全文 人工智能 2026.10.28 微软语音合成专利：如何结合音素、词语与句子结构 结合美国专利US12094447B2，解析音素或字符信息、词嵌入与语法结构如何对齐、融合并生成语音。 ↗ 阅读全文 人工智能 2026.10.27 GBLA：如何高效读取长推荐历史 从技术与专利实务角度分析门控双向线性注意力、混合编码器，以及检索精度和速度数据的适用边界。 ↗ 阅读全文

- https://www.iplexlaw.co.kr/zh
- https://www.iplexlaw.co.kr/zh/blog/category/ai
- https://www.iplexlaw.co.kr/zh/ai-patents
- https://arxiv.org/abs/2309.06180v1
- https://iplexlaw.tistory.com/11
- https://www.iplexlaw.co.kr/ko/blog/pagedattention-vllm-kv-cache
- https://www.iplexlaw.co.kr/zh/contact
- https://www.iplexlaw.co.kr/zh/blog
- https://www.iplexlaw.co.kr/zh/blog/pagedattention-vllm-kv-cache#article-tistory11-en-0
- https://www.iplexlaw.co.kr/zh/blog/pagedattention-vllm-kv-cache#article-tistory11-en-1
- https://www.iplexlaw.co.kr/zh/blog/pagedattention-vllm-kv-cache#article-tistory11-en-2
- https://www.iplexlaw.co.kr/zh/blog/pagedattention-vllm-kv-cache#article-tistory11-en-3
- https://www.iplexlaw.co.kr/zh/blog/pagedattention-vllm-kv-cache#article-tistory11-en-4
- https://www.iplexlaw.co.kr/zh/contact
- https://www.iplexlaw.co.kr/zh/blog/brunch-case-1853
- https://www.iplexlaw.co.kr/zh/blog/brunch-case-1852
- https://www.iplexlaw.co.kr/zh/blog/swila-switching-linear-attention
- https://www.iplexlaw.co.kr/zh/blog/swila-switching-linear-attention
- https://www.iplexlaw.co.kr/zh/blog/microsoft-multilevel-tts
- https://www.iplexlaw.co.kr/zh/blog/microsoft-multilevel-tts
- https://www.iplexlaw.co.kr/zh/blog/gbla-generative-retrieval
- https://www.iplexlaw.co.kr/zh/blog/gbla-generative-retrieval