新闻与洞见

Nota的AI模型压缩专利:保存中间输入输出,再训练缩小后的层组

解析US12361264B2的层组选择、特征保存与局部压缩再训练,并区分权利要求中的大语言模型配置和用于说明原理的检测相机示例。

压缩中间层组并利用保存的原始输入输出特征进行再训练的概念图
概念图:缩小所选层组后,利用原始输入输出数据对重新调整。

在边缘设备上运行AI时,可能需要根据设备的内存与处理能力缩小已训练模型。Nota的美国专利US12361264B2描述了选择模型中的部分层、保存原始输入输出,再用这些记录训练压缩部分的方法。本文借助虚构的检测相机场景,说明压缩范围、调整依据以及部署前应比较的结果。

1. 从开发服务器转移到现场设备,会遇到什么问题

设想工厂用相机检查传送带上的包装箱。在开发服务器上运行顺畅的模型,移到生产线旁的小型设备后,可能占用过多内存或无法及时完成判断。它需要在下一只箱子到来前处理图像并传出结果,因此必须关注实际设备上的速度和稳定性。

模型压缩通过减少计算或存储的数值,使已训练模型更适合资源有限的环境。不同压缩位置会改变传给后续层的数值,也可能影响最终判断。

由此产生的问题是:缩减一段较重的计算后,如何恢复这段计算原本传递的信息?该专利描述的思路,是预先记录所选层组的输入与输出,再用这些数据训练压缩后的层组。

2. 选择需要局部压缩的层组

神经网络的一层接收数值输入,进行计算,再向后传递结果。示意图中的1、2、3号模块代表相连的计算阶段。层组是压缩和再训练共同处理的范围,一个图示模块在实际模型中可以包含多个层。

专利具体讨论了由Transformer模块构成的大语言模型。残差连接向后传递模块输入,并将其与模块计算结果相加。所述选择方法通过比较残差输入与相加后的数值,评价模块的相对重要性。

其中一种指标是余弦相似度。把两组数值看作箭头,它衡量的是方向有多接近。在所述示例中,相似度越高,相对重要性越低。选择候选层组、压缩其计算以及重新调整输出,是不同的处理阶段。

3. 成对保存原始层组的输入和输出

先将示例数据送入预训练模型,记录进入所选层组第一层的数值,以及同一示例从最后一层输出的数值。这样便能保留一组组相对应的原始输入与输出。

这些数值通常是中间特征,而不是原样的照片或句子。前面的计算会把颜色变化、物体形状或语境信息转成后续阶段可用的数值表示。保存的是实际经过所选范围入口与出口的特征。

概念图中的两张卡片表示这一数据对。输入卡片提供压缩层组重新接收的数据,输出卡片记录原始层组曾产生的结果。二者共同确定再训练所需的输入与目标。

4. 以保存的输出为目标,重新训练压缩层组

说明书列举了剪枝、滤波器分解及层移除等压缩方式。如果移除操作会使层组内不再剩下可训练的层,可以把前一层或后一层纳入该组。明确压缩范围,也就明确了后续训练对象。

把保存的输入特征送入缩小后的层组,会得到新的输出。再训练调整该层组的权重,使新输出接近原始层组保存的输出。说明书允许使用保存数据的全部或一部分,作为再训练的输入和目标。

调整后的层组占据原始层组的位置,接收前面各层送来的特征,并把输出交给后面的层。“局部”在这里指的是把压缩与再训练集中在模型内部的一定范围。

5. 用虚构的检测相机比较中间结果

将包装检查简化为三个阶段:首先提取边缘和表面变化,中间阶段表达胶带与箱面之间的关系,最后依据特征给出检查结果。假设开发团队希望缩减中间阶段的计算。

团队先让原始模型处理正常包装箱和胶带折叠的包装箱照片,成对保存进入中间阶段和离开该阶段的特征。缩小中间模块后,再输入相同特征,使其输出通过训练接近原始模块的记录。

虚构包装检测相机的原始与压缩中间阶段,以及虚线表示的再训练目标
虚构的检测相机示例。虚线表示压缩部分在再训练中需要接近的原始输出特征。

图的上方是原始处理流程,下方是压缩后的流程,虚线输出表示训练目标。如果识别折叠胶带所需的特征丢失,可以比较保存目标与新输出来分析变化。最终还要运行完整模型,比较实际检查判断。

6. NetsPresso展示的开发、优化与设备测试流程

Nota的NetsPresso官方介绍区分了模型开发、面向硬件的优化以及真实设备测试。开发阶段的Compressor提供结构化剪枝等压缩功能;优化阶段则包括计算图优化、量化和模型格式转换。

产品资料也介绍了在实际设备上评价性能的工具。不同设备支持的运算与内存结构不同,因此除了文件大小和准确率,还需要观察目标设备上的延迟及能否正常执行,才能将压缩结果用于部署决策。

在检测相机示例中,团队可以确定要减少的计算,并在同一设备上使用相同图片集比较压缩前后的模型。专利中的中间输入输出记录解释了再训练依据,而产品的开发、优化、实机测试流程帮助理解如何在使用环境中评估模型。

7. 在开发记录中写明改变与比较条件

先记录压缩位置及其选择理由,包括保留哪些层、改变哪些计算、输入数据覆盖哪些情况,以及哪些输出用作训练目标。将正常样本与少见缺陷样本分开记录,也有助于解释结果。

中间输出是否接近原始值,与最终任务准确率是否保持,是两个不同指标。前者说明局部再训练,后者反映完整模型的任务性能。在一致条件下记录准确率、处理时间和内存占用,才能看清收益与仍需调整的方面。

技术说明应连接选择依据、保存的输入输出、再训练范围及部署后的比较顺序,而不只是宣称模型变小。具体说明修改了哪个部分、试图解决什么问题,是表达技术特点的起点。

图中保留原始标注与形态,相关内容在正文中说明。

检测相机仅为解释原理的虚构示例,并非实际实施或性能测试。独立权利要求1和7包含参数不少于10亿的大语言模型,以及基于指定相似性选择Transformer模块的配置;余弦相似度见从属权利要求4和10。产品介绍不能证明NetsPresso实施了权利要求的全部要素。

USPTO专利原文 · US12361264B2

Nota官方 · NetsPresso产品介绍

DEEPX DX-M1与边缘AI:让部署端评价反馈到模型训练

读懂LoRA论文:用小规模权重更新让AI适应业务

如需整理模型修改方式及其技术特点,可参阅IPLEX的AI业务与咨询准备资料。

了解金容德专利代理师的AI专业经验

Tistory原文

查看韩文原文

本文基于发表时的情况撰写。如需就具体事项咨询,请联系IPLEX。
咨询相关业务 ↗全部文章

与IPLEX探讨技术保护与知识产权布局的下一步。