# 读懂LoRA论文：用小规模权重更新让AI适应业务

LoRA如何冻结预训练模型、只训练小矩阵？结合GPT-2原论文实验，区分可训练参数、训练与推理成本，以及专利实务中的技术差异。

Source: https://www.iplexlaw.co.kr/zh/blog/lora-low-rank-adaptation

首页 / 新闻与洞见 新闻与洞见 读懂LoRA论文：用小规模权重更新让AI适应业务 LoRA如何冻结预训练模型、只训练小矩阵？结合GPT-2原论文实验，区分可训练参数、训练与推理成本，以及专利实务中的技术差异。 人工智能 2026.11.02 已出版 IPLEX 阅读约8分钟 原文章自行制作的概念图，区分冻结的原有计算与需要训练的补偿路径；并非论文原图，也不是实际产品截图。 LoRA保留并冻结已经训练好的AI模型权重，只学习由两个小矩阵表示的变化量。其目的，是减轻企业为不同业务调整和保存整套模型的负担。下面通过一个假设的网店客服场景和原论文实验，说明哪些部分变小了，哪些资源仍然不可缺少。 本文分析Edward J. Hu、Yelong Shen等研究者的《LoRA: Low-Rank Adaptation of Large Language Models》，以arXiv v2为依据。该论文于2021年6月17日首次公开，v2修订日期为2021年10月16日。 1. 为不同业务调整模型，负担从何而来 同一个语言模型用于客户咨询和商品介绍时，输出要求并不相同。客服可能需要按顺序清楚解释办理步骤，商品介绍则需要以统一格式呈现特点。利用这些业务示例继续训练，就是微调。问题在于，每次适配都必须更新模型中的全部权重吗？ 权重是模型内部影响信息如何进入下一步计算的数值。全量微调将原有权重广泛纳入训练范围。对于大模型，除了待更新的数值，还需要管理梯度和优化器状态；如果为每项业务分别保存完整模型，存储负担也会增加。 LoRA的出发点是保留预训练模型，把适应新业务所需的变化用更少的可训练数值表示。它并非删除原模型，也不是换成一个更小的模型，而是在既有计算旁增加一条小规模的可训练补偿路径。 2. 保留原计算，只训练权重的变化量 可以把模型中的一次计算看成一个由数值组成的矩阵。设原权重矩阵为W₀，LoRA用两个小矩阵A和B的乘积表示需要加入的变化量。同一个输入分别经过W₀和A→B两条路径，再将两路输出相加。 关键是冻结W₀，只训练A和B。论文将计算写成W₀x + BAx，并用α/r对补偿量进行缩放。x表示输入，r是两个小矩阵之间的中间维度。冻结并不意味着停止原路径的计算，而是继续使用这些权重，同时不通过训练更新其数值。 低秩限制的是表示变化量所能使用的独立方向数量。与逐个训练大矩阵的所有元素不同，两张小矩阵通过较窄的中间维度构成更新。r越小，可训练数值越少，但能够表达的变化也受到约束。这不是挑出不重要的词语或文档并将其丢弃的方法。 如果原权重矩阵为d行k列，它有d×k个元素。A的形状为r×k，B为d×r，两者共有r×k + d×r个可训练元素。增加适用的层数或权重类型，整体训练量也会增加，因此不能仅凭r判断整个模型的训练成本。 3. 网店客服示例与小矩阵的参数数量 假设一家网店整理了客服人员编写的答复示例，将“怎样申请换货？”与按步骤说明办理流程的回答配对用于训练。基础模型的权重保持不变，LoRA的小矩阵则朝着缩小模型输出与训练示例之间差异的方向调整。 若另有商品介绍的训练示例，也可以为同一个基础模型学习并保存另一组补偿参数。使用时选择对应业务的适配器即可。这里的适配器，是指训练得到的补偿参数集合。建立两个适配器不会自动融合两种能力，也不意味着它们能直接用于不同的基础模型。 以一个假设计算说明数量差异：一张4,096行、4,096列的权重矩阵共有16,777,216个元素，若全部更新，这些元素都属于训练对象。采用r=8的LoRA时，A为8×4,096，B为4,096×8，合计65,536个可训练元素。 原文章自行制作的单个权重矩阵假设计算图，比较两个小矩阵中的可训练元素数量；并非整体模型大小、内存用量或处理速度的测量结果，原W₀仍然必需。 这说明了业务专属补偿参数为何可以较小。不过，实际客服除了合适的表达方式，还需要最新的换货政策和订单信息。示例中的事实有误，也会影响训练。模型适配与准确、及时地提供业务信息，需要一起设计。 4. 如何理解原论文的实验数字 arXiv v2表3比较了GPT-2 Medium在E2E NLG Challenge上的表现。该任务根据给定的餐厅属性及其取值生成介绍文字，属于从结构化数据生成文本。下表仅摘录同一比较中的两行。 GPT-2 Medium：E2E文本生成任务 方法 可训练参数 BLEU 全量微调 354.92M 68.2 LoRA 0.35M 70.4 ± 0.1 M表示百万，表中统计的是可训练参数，而非整个模型的参数总量。BLEU衡量生成文本与参考文本在表达上的重合程度，不是客服回答正确的概率，也不是事实准确率的百分比。在这一实验中，LoRA显著减少了训练对象，同时报告了高于所选基准的BLEU分数。 LoRA对注意力中的查询和值投影权重分别采用r=4。附录D.3及表11说明，训练遍历完整数据集5次，即5个epoch，生成时的束搜索宽度为10。作者使用三个随机种子，分别选取各次运行中最佳epoch的结果，再计算平均值。±0.1是表中报告的置信区间表示；全量微调一行则引用了先前研究的基准结果。 因此，不能将这些数字理解为所有企业的客服回答都会改善。餐厅介绍与网店咨询的输入和目标不同，需要用目标业务的独立评估数据，同时考察信息遗漏、事实错误和输出格式。 5. 训练成本与推理成本需要分别考虑 LoRA减少了参与训练的变量，却不会消除加载基础模型和处理输入所需的资源。训练内存还受到模型规模、输入长度、批量大小和数值精度影响。仅凭适配器文件很小，不能断言它一定能在某种显存容量的GPU上完成训练。 训练完成后，可以将两个矩阵的乘积按比例缩放后加到原权重中，形成合并后的权重。使用合并权重推理时，无须单独执行补偿路径。合并是部署选项，也可以保留独立适配器并按需切换。不能一概声称所有未合并的服务都不会产生额外延迟。 Hugging Face PEFT官方文档介绍了LoRA配置和权重合并。但使用merge_and_unload得到普通模型后，结果模型不再保留禁用或切换适配器等PEFT专用功能。需要权衡管理多个业务小文件的便利性与运行合并模型的便利性，确定实际部署方式。 r更大也不一定带来更好的结果。如果训练数据或应用位置不合适，增加成本未必能够获得预期质量。使用同一套业务评估数据比较设置，有助于说明究竟是哪项调整带来了改善。 6. 开发记录与专利实务中的技术差异 开发团队宜记录基础模型及版本、训练数据的组成、LoRA的应用位置和r，以及部署时是否合并权重。把适配器与训练时所用的基础模型关联管理，有助于减少错误组合。比较质量时，也应保留评估数据和生成设置。 以下是为技术咨询做准备的独立专利实务视角，并非论文实验的结论。说明自主开发内容时，不宜只写“通过LoRA降低成本”，而应按处理顺序讲清楚：依据哪些输入选择补偿参数，如何组织业务训练数据，以及如何管理适配器与基础模型的对应关系。 例如，若开发解决了业务切换时误接适配器的问题，技术说明的重点就是用于识别的信息、选择和应用的时点，以及防止错误的处理流程。这不代表出现了一项新的授权专利，也不保证能够获得授权。将已知的LoRA结构与团队增加的具体处理分开，有助于讨论真正的技术差异。 延伸阅读中的PagedAttention处理推理期间KV缓存的存储问题，FlashAttention-2处理注意力计算的任务分配问题，LoRA则关注适配模型时哪些参数参与训练。先分清业务瓶颈在训练还是推理，有助于明确采用每项技术的目的。 图中保留原始标注与形态，相关内容在正文中说明。 相关业务：人工智能专利 IPLEX协助梳理AI开发中的具体技术差异。欢迎了解我们的AI项目、相关著作和咨询服务。 了解IPLEX的AI专业经验 Tistory原文 LoRA论文：Low-Rank Adaptation of Large Language Models Hugging Face PEFT官方文档 LoRA论文PDF：第4.1节、表3、附录D.3及表11 Microsoft LoRA官方实现与实验资料 Hugging Face PEFT：合并模型的保存及功能差异 读懂PagedAttention：vLLM的KV缓存与GPU显存管理 读懂FlashAttention-2：让长上下文注意力更高效地运行在GPU上 查看韩文原文 本文基于发表时的情况撰写。如需就具体事项咨询，请联系IPLEX。 咨询相关业务 ↗ 全部文章 本页目录 1. 为不同业务调整模型，负担从何而来 2. 保留原计算，只训练权重的变化量 3. 网店客服示例与小矩阵的参数数量 4. 如何理解原论文的实验数字 5. 训练成本与推理成本需要分别考虑 6. 开发记录与专利实务中的技术差异 咨询IPLEX 与我们讨论您的需求 保护、维权与管理。 我们将与您共同分析技术与业务需求。 ↗ 联系我们 较新文章 卡塔尔商标申请指南：马德里指定与海合会商标制度 ↗ 较早文章 公开宽限期能否覆盖第三人设计：韩国部分外观设计案 ↗ 相关解读 人工智能 2026.11.19 Matryoshka嵌入与图像检索：用向量前缀筛选，再用完整向量重排 解读NeurIPS 2022的Matryoshka Representation Learning、不同长度的联合训练及ImageNet-1K检索实验。 ↗ 阅读全文 人工智能 2026.11.18 字节跳动自动字幕专利：分轨识别语音，再调整字幕重叠时间 解读US11837234B2的音轨选择与字幕时间调整，并区分专利公开内容和CapCut的公开操作说明。 ↗ 阅读全文 人工智能 2026.11.17 苹果文字识别专利：把照片中的电话号码与网址连接到操作 解析US12001642B2中识别文本、图像坐标、文本类型和用户输入如何共同决定菜单与操作。 ↗ 阅读全文

- https://www.iplexlaw.co.kr/zh
- https://www.iplexlaw.co.kr/zh/blog/category/ai
- https://www.iplexlaw.co.kr/zh/ai-patents
- https://www.iplexlaw.co.kr/zh/ai-patents
- https://iplexlaw.tistory.com/15
- https://arxiv.org/abs/2106.09685v2
- https://huggingface.co/docs/peft/main/en/conceptual_guides/lora
- https://arxiv.org/pdf/2106.09685v2
- https://github.com/microsoft/LoRA
- https://huggingface.co/docs/peft/main/en/developer_guides/checkpoint#merge-the-weights
- https://www.iplexlaw.co.kr/zh/blog/pagedattention-vllm-kv-cache
- https://www.iplexlaw.co.kr/zh/blog/flashattention-2-gpu-work-partitioning
- https://www.iplexlaw.co.kr/ko/blog/lora-low-rank-adaptation
- https://www.iplexlaw.co.kr/zh/contact
- https://www.iplexlaw.co.kr/zh/blog
- https://www.iplexlaw.co.kr/zh/blog/lora-low-rank-adaptation#article-15-en-0
- https://www.iplexlaw.co.kr/zh/blog/lora-low-rank-adaptation#article-15-en-1
- https://www.iplexlaw.co.kr/zh/blog/lora-low-rank-adaptation#article-15-en-2
- https://www.iplexlaw.co.kr/zh/blog/lora-low-rank-adaptation#article-15-en-3
- https://www.iplexlaw.co.kr/zh/blog/lora-low-rank-adaptation#article-15-en-4
- https://www.iplexlaw.co.kr/zh/blog/lora-low-rank-adaptation#article-15-en-5
- https://www.iplexlaw.co.kr/zh/contact
- https://www.iplexlaw.co.kr/zh/blog/qatar-trademark-filing-guide
- https://www.iplexlaw.co.kr/zh/blog/brunch-case-1907
- https://www.iplexlaw.co.kr/zh/blog/matryoshka-prefix-vector-image-retrieval
- https://www.iplexlaw.co.kr/zh/blog/matryoshka-prefix-vector-image-retrieval
- https://www.iplexlaw.co.kr/zh/blog/bytedance-track-based-caption-timing
- https://www.iplexlaw.co.kr/zh/blog/bytedance-track-based-caption-timing
- https://www.iplexlaw.co.kr/zh/blog/apple-recognized-text-contextual-actions
- https://www.iplexlaw.co.kr/zh/blog/apple-recognized-text-contextual-actions
