提升深度学习性能：Mixup训练与标签平滑

本文介绍深度学习模型训练中的两项技术：混合训练（Mixup training）与标签平滑（Label smoothing）。

如果点击图像,可以看到全文。

1)混合培训和2) 本文描述的Lable平滑可以改善深度学习的性能，而不会改变深度学习架构。. 

Mixup Training随机从多个学习数据中提取两个样本数据,以创建新的学习数据. 与数据增强有关的技术没错 

猫和狗的图像分类任务例如,更具体地说,见下文。 

用于学习的猫的图像数据是"这个图像是猫的"标签(ex. [0,1]附图,训练中的狗影像数据为"这个影像是狗"标签(ex. [1,0],但以这种方式给学习数据贴标签是常见的. 

给学习数据贴标签的通用方法

混合培训采用上述方法, 如何捆绑两个样本学习没错

在将每只狗和猫的学习数据混合成对后,是一种混合训练,以混杂数据作为实际的学习数据.

在进行混音训练时,不仅会混合两个图像,而且会混合标签.贡举志五种 上. 这里。 lamda 是两个图像混合的值 。没错 羊肉值设定为0.5的概率较低,可以配置学习数据,这样特定的图像一般占据更大的比例. lamda值由β分布随机使用.贡举志五种 上. 

混合培训

从以上的例子中可以看出,两个学习图像混合成一半,这可能会显得有些尴尬. 然而,在狗眼中,这个形象被贴上"猫和狗"的标签(ex. [0.5,0.5]学习. 避免过于适应你可以做到这一点。 不只是数据方面。 随着学习数据的数量增加,表现也随之增加.

标签平滑是一种用于平滑标签的技术,可以提高通化性能. 与Mixup训练的大区别在于它只平滑标签而不改变训练图像. 

具体来说,我们假设有多个图像数据表和三个类.

如果图像数据是狗所摄取的图像数据,常见的做法是让狗类的概率值为1,其余的概率值为0,这被称为硬标签方法.

另一方面,如果图像数据是狗拍摄的图像数据,那么狗类不给出1,其余的0级. 给正确类以外的类给出一定的概率值.这叫做软标签. 

标签的平滑方法允许图像在给一个图像时,在不使其过度自信的情况下,享受一个归一化的效果.此外,由于数据标签通常由一个人自己进行,因此可能会有数据被一个人错误地贴上标签. 在这种情况下,对某一类特定数据给予高度信任可造成各种问题。 此边. 标签平滑软化训练标签,提高通俗化程度.没错