# 딥러닝 성능 개선 관련 논문 분석 - Mixup training과 Label smoothing 기술 설명 본 포스팅에서는 딥러닝 모델 학습 시 사용될 수 있는 두 가지 기술(1. Mixup training과 2. Lable smoothing)이 적힌 논문을 설명하고자 한다. Source: https://www.iplexlaw.co.kr/forum/view/875313 HOME / NEWS & INSIGHTS NEWS & INSIGHTS 딥러닝 성능 개선 관련 논문 분석 - Mixup training과 Label smoothing 기술 설명 본 포스팅에서는 딥러닝 모델 학습 시 사용될 수 있는 두 가지 기술(1. Mixup training과 2. Lable smoothing)이 적힌 논문을 설명하고자 한다. 인공지능 2023.06.30 게시 IPLEX 4분 읽기 본 포스팅에서는 딥러닝 모델 학습 시 사용될 수 있는 두 가지 기술(1. Mixup training과 2. Lable smoothing)이 적힌 논문을 설명하고자 한다. 이미지를 클릭하면 논문 전문을 확인할 수 있다. 본 논문에서 설명하고 있는 1) Mixup training과 2) Lable smoothing을 이용하게 되면 딥러닝 architecture를 바꾸지 않으면서도 딥러닝의 성능을 개선할 수 있다 . [Mixup Training] Mixup Training은 학습을 진행할 때 복수의 학습용 데이터 중에서 랜덤하게 두 개의 샘플 데이터를 뽑아서 새로운 학습 데이터를 만드는 데이터 증강(data augmentation)과 관련된 기술 이다. 고양이와 개를 분류하는 이미지 분류 태스크 를 예를 들어 좀 더 자세히 설명해보면 아래와 같다. 학습용 데이터 중 고양이 이미지 데이터에는 "이 이미지는 고양이다"라고 label(ex. [0,1])을 붙여주게 되고, 학습용 데이터 중 개 이미지 데이터에는 "이 이미지는 개다"라고 label(ex. [1, 0])을 붙여주게 되는데 학습용 데이터에 이런 식으로 label을 붙이는 것이 일반적입니다. 학습용 데이터에 label을 붙이는 일반적인 방법 Mixup Training 은 위에서 설명한 일반적인 방법을 이용해서 학습을 진행하는 것과 더불어, 2개의 sample을 묶어서 학습을 진행하는 방법 이다. 개와 고양이 각각의 학습용 데이터를 쌍으로 mixup 한 뒤에 mixup 한 데이터를 실제 학습 데이터로 사용하는 것이 mixup training이다. mixup training을 수행할 때, 2개의 이미지를 섞는 것뿐만 아니라 label도 mixing 하게 된다. 여기서, lamda는 2개의 이미지를 어떤 비율로 섞는지에 대한 값 이다. lamda 값은 0.5로 설정될 가능성은 낮고 일반적으로 특정 이미지가 더욱 많은 비율을 차지하도록 학습 데이터가 구성될 수 있다. lamda 값은 beta distribution을 통해 랜덤하게 뽑아서 사용 하게 된다. Mixup training 위의 예시처럼 2개의 학습용 이미지가 절반씩 섞인 것을 보면 다소 어색해 보일 수 있다. 하지만, 눈으로 보면 고양이기도 하면서 개이기도 한 이미지가 생성되기 때문에 이 이미지에 "고양이면서 개다"라고 라벨링(ex. [0.5, 0.5])을 해서 학습 데이터로 이용하면 overfitting을 방지 할 수 있게 된다. 뿐만 아니라, data augmentation 측면에서 학습용 데이터의 수가 증가하여 성능도 더 좋아진다. [Label Smoothing] Label Smoothing은 일반화 성능을 높이기 위해 label을 smoothing 하는 기술이다. Mixup training 과의 큰 차이점은 학습용 이미지를 변화시키지 않고 레이블(label)만 스무딩(smoothing) 한다는 것이다. 구체적으로, 여러 장의 이미지 데이터가 존재하고 3개의 class가 존재한다고 가정해보자. 만약에 이미지 데이터가 개가 촬영된 이미지 데이터인 경우, 개 class에 1이라는 확률 값을 부여하고 나머지 class에 0이라는 확률 값을 부여하는 것이 일반적인데 이와 같은 one hot vector로 표현하는 방식을 hard label 방식이라고 한다. 개 고양이 새 이미지 데이터 1 1 0 0 이미지 데이터 2 0 1 0 이미지 데이터 3 1 0 0 한편, 이미지 데이터가 개가 촬영된 이미지 데이터인 경우, 개 class에 1,나머지 class에 0을 부여하지 않고 레이블을 스무딩 해서 정답 클래스가 아닌 다른 클래스에 대해서도 어느 정도 확률 값을 부여하는 것 이 label smoothing인데 이러한 방식을 soft label이라고도 한다. 개 고양이 새 이미지 데이터 1 0.9 0.05 0.05 이미지 데이터 2 0.05 0.9 0.05 이미지 데이터 3 0.9 0.05 0.05 label smoothing은 어느 이미지가 주어졌을 때 그 이미지는 확실히 특정 class라고 overconfident 하게 만들지 않아 정규화 효과를 누릴 수 있게 한다. 또한, 데이터 라벨링은 사람이 직접 해주는 것이 일반적이므로 사람이 잘못 라벨링 한 데이터가 존재할 수 있다. 이런 경우, 특정 데이터에 대해 특정 클래스에 높은 confidence를 부여하는 것은 다양한 문제를 야기할 수 있다. 이런 측면에서 label을 smooth 하게 만들어줘서 일반화(generalization) 성능을 높이는 것이 label smooth 기술 이다. Mixup training과 Label smoothing이 유사한 점은 모델이 overconfident 하지 않도록 만드는 것이다. 이 글은 표시된 게시일을 기준으로 작성된 자료입니다. 개별 사안에 대한 검토는 상담을 통해 안내합니다. 관련 업무 상담 ↗ 전체 글 보기 TALK TO IPLEX 우리 기업에 맞는 IP 전략이 필요하다면 기술과 사업의 상황에 맞춰 필요한 업무를 함께 살펴봅니다. ↗ 상담 문의 최근 글 ResNet: Deep Residual Learning for Image Recognition 논문 분석 ↗ 이전 글 페이스북 AI 논문 분석 - 이미지에서 물체를 쉽게 인식하는 기술. DETR. end to end object detection with transformers ↗ 함께 읽을 인사이트 인공지능 2026.10.01 AI가 잊는 방식까지 세밀하게, FiX 김용덕 변리사가 FiX의 특징별 망각 게이트, 수치 안정성과 캐시 설계, 실험 결과 및 적용 한계를 분석합니다. ↗ 본문 읽기 인공지능 2026.09.30 층의 정보를 다르게 읽는 MHAR 김용덕 변리사가 MHAR의 깊이 정보 선택 구조, 논문 실험 결과와 구현 비용을 살펴보고 기술적 구성과 효과를 분석합니다. ↗ 본문 읽기 인공지능 2026.09.28 [기고 소식] 클로드 Computer Use 특허 분석, AI는 어떻게 컴퓨터 사용법을 배울까? 김용덕 대표변리사의 클로드 Computer Use·AI 에이전트 특허 분석 칼럼이 인공지능신문(AI Times)에 게재되었습니다. ↗ 본문 읽기 - https://www.iplexlaw.co.kr/ - https://www.iplexlaw.co.kr/%EC%9D%B8%EC%82%AC%EC%9D%B4%ED%8A%B8-%EB%B0%8F-%EB%89%B4%EC%8A%A4/category/ai - https://drive.google.com/file/d/1i_WOe3vVLlK1SmPPkpT1jeede0iBBIgx/view - https://www.iplexlaw.co.kr/%EC%97%B0%EB%9D%BD%ED%95%98%EA%B8%B0 - https://www.iplexlaw.co.kr/%EC%9D%B8%EC%82%AC%EC%9D%B4%ED%8A%B8-%EB%B0%8F-%EB%89%B4%EC%8A%A4 - https://www.iplexlaw.co.kr/%EC%97%B0%EB%9D%BD%ED%95%98%EA%B8%B0 - https://www.iplexlaw.co.kr/forum/view/876621 - https://www.iplexlaw.co.kr/forum/view/873032 - https://www.iplexlaw.co.kr/ko/blog/fix-fine-grained-forgetting-attention - https://www.iplexlaw.co.kr/ko/blog/fix-fine-grained-forgetting-attention - https://www.iplexlaw.co.kr/ko/blog/mhar-multi-head-attention-residuals - https://www.iplexlaw.co.kr/ko/blog/mhar-multi-head-attention-residuals - https://www.iplexlaw.co.kr/forum/view/1546549 - https://www.iplexlaw.co.kr/forum/view/1546549