新闻与洞见

英伟达早期剪枝:何时可以确定更小的网络结构

从US12792915B2及CVPR 2022的EPI方法,区分节点重要性与训练过程中的剪枝时机。

剪枝时机需要超出单次重要性排名的依据。
剪枝时机需要超出单次重要性排名的依据。

训练完成之前缩小网络,可以减少后续处理规模。但训练初期重要性低,不代表节点以后仍然无用。英伟达专利通过候选子网络结构的稳定性,辅助决定何时剪枝并继续训练。

1. 剪什么与何时剪是两个问题

神经网络包含多层计算节点和学习得到的权重。结构化剪枝删除节点等结构,使后续训练处理更小的模型。

重要性指标可基于权重幅值或梯度敏感度,用于筛选候选节点;时机判断则关注候选结构是否已经足够稳定。

英伟达US12792915B2于2021年3月15日申请、2026年11月10日授权,描述节点重要性、候选子网络、结构稳定性与早期剪枝之间的联系。

2. 当前重要性仍可能变化

初期排名较低的节点以后可能变得有用。过早移除节点,可能在容量分配尚未稳定时限制学习。

因此,该方法在训练过程中观察候选子网络,而非把第一次重要性排序当成最终结论。

选择保留哪些节点与决定何时执行该选择应分别说明,两类判断条件都需要记录。

3. EPI究竟比较什么

同一作者团队的CVPR 2022论文提出Early Pruning Indicator,即EPI。先按重要性选择节点,再用每层保留节点的数量表示候选结构。

EPI对当前结构与此前若干训练轮次的结构相似度取平均。算法2要求分数达到阈值,且不低于前五次各自的分数,然后在下一轮进入剪枝阶段。

各层数量接近不等于保留了同一批节点,也不意味着权重不再变化。该指标反映结构分配稳定性,并不保证训练完成或准确率。

4. 假设的采购文档分类器

设想采购部门分类订单、送货单和发票。训练早期,浅层与深层中重要节点的数量分布可能明显变化。

当分布满足稳定标准后,删除排名较低的节点,并继续训练缩小后的网络。这里删除的是模型结构,不是文档类别或训练样本。

配图只是流程示例,并非该分类器的实测节省结果。仍需用未参与训练的数据评价相似文档之间的区分能力。

5. 与预训练模型剪枝区分

NVIDIA Model Optimizer中的Minitron从预训练检查点出发,根据校准数据得到的重要性信息,缩减网络宽度或深度。

候选结构稳定后剪枝,再继续训练缩小后的分类器。
候选结构稳定后剪枝,再继续训练缩小后的分类器。

随后通过继续训练或知识蒸馏恢复性能。这与在原始训练过程中决定剪枝时机具有不同起点。

两者都涉及模型压缩,但可用信息和训练成本统计范围不同。不能仅凭工具名称认定其实现了专利中的机制。

6. 技术整理与效果测量

应保留重要性标准、各层节点数、稳定性历史、阈值和剪枝轮次,在相近条件下比较完整稠密训练与早期剪枝。

训练资源节省与目标设备上的实际推理速度应分别测量。结构更小并不能直接确定某种实现的延迟。

技术交底应把节点选择、时机判断、后续训练与质量结果连成完整流程,并区分实际观察和仅根据模型规模作出的推测。

图中保留原始标注与形态,相关内容在正文中说明。

文档分类器为假设示例;EPI是结构稳定性指标,不是准确率或产品实施情况的保证。

USPTO专利文档US12792915B2

USPTO授权公报

CVPR 2022论文When to Prune

NVIDIA Model Optimizer剪枝文档

Nota的AI模型压缩专利:保存中间输入输出,再训练缩小后的层组

Socra AI个性化学习专利:同一道错题为何推荐不同的下一题

可通过IPLEX的AI项目及咨询准备资料,了解模型压缩与训练控制技术的整理。

了解金容德专利代理师的AI专业经验

Tistory原文

查看韩文原文

本文基于发表时的情况撰写。如需就具体事项咨询,请联系IPLEX。
咨询相关业务 ↗全部文章

与IPLEX探讨技术保护与知识产权布局的下一步。