
AI 모델을 가볍게 만들려면 어떤 계산 단위를 줄일지와 함께 언제 줄일지도 정해야 합니다. 엔비디아의 미국 특허 US12792915B2는 학습 중 노드 중요도를 계산하고, 남길 부분망의 안정성이 정해 둔 기준을 넘으면 중요도가 낮은 노드를 제거하는 방법을 설명합니다. 가상의 문서 분류 모델을 따라가며 줄일 대상과 시점을 구분하고, 작은 모델로 남은 학습을 이어가는 흐름을 살펴봅니다.
학습 중인 신경망에서 일부 노드를 가지치기하고 남은 구조로 학습을 이어가는 과정을 그린 개념도입니다.
1. 모델을 줄이는 시점이 왜 중요할까요?
기업의 구매팀이 발주서, 납품서, 청구서를 자동으로 분류하는 AI를 개발한다고 생각해 보겠습니다. 여러 협력사가 보내는 문서의 형태가 달라 처음에는 충분한 크기의 신경망으로 학습을 시작합니다. 운영 단계에서는 제한된 장비에서도 문서를 꾸준히 처리할 수 있도록 모델의 크기를 줄이고 싶습니다. 그렇다면 큰 모델을 끝까지 학습한 다음에야 줄일 수 있을까요?
학습 전에 계산 단위를 너무 일찍 줄이면 아직 어떤 단서가 분류에 도움이 되는지 드러나지 않은 상태에서 구조를 정하게 됩니다. 반대로 학습을 마친 다음에 줄이면 처음부터 끝까지 큰 구조를 학습하는 계산은 이미 수행한 뒤입니다. 학습 중간에 남길 구조를 판단할 수 있다면, 이후 예정된 학습을 더 작은 구조로 이어가는 선택지가 생깁니다.
엔비디아는 이 기술을 2021년 3월 15일 미국에 출원했고, 2026년 11월 10일 US12792915B2로 등록됐습니다. 이 특허가 설명하는 핵심은 덜 중요한 노드를 찾아내는 데서 멈추지 않고, 남길 구조가 얼마나 안정적인지 살펴 학습 도중 가지치기를 결정하는 것입니다.
2. 노드 중요도와 남길 부분망을 이해합니다
신경망의 노드는 입력에서 받은 값을 조합해 다음 층으로 보내는 계산 단위입니다. 층은 이런 노드가 같은 단계에서 계산하는 묶음입니다. 연결에 붙은 가중치는 어떤 입력을 얼마나 반영할지 정하는 수치이며, 학습이 진행되는 동안 갱신됩니다. 가지치기는 학습 자료를 지우는 일이 아니라 신경망 안에서 일부 계산 단위를 덜어 내는 작업입니다.
특허는 여러 노드에 중요도 점수를 매기고, 중요도 기준에 맞는 노드로 이루어진 부분망을 찾습니다. 부분망은 전체 신경망 안에서 남길 후보로 고른 작은 구조입니다. 점수를 정하는 단서로는 가중치의 크기나 학습 오차가 가중치 변화에 얼마나 민감한지 등이 쓰일 수 있습니다. 후보를 고르는 단계에서 낮은 점수의 노드를 바로 제거하지는 않습니다. 학습을 더 진행하고 점수를 다시 매기면 후보가 달라질 수 있기 때문입니다.
여기서 중요도는 어느 노드를 남기거나 제거할지 고르는 단서이고, 안정성은 그 선택을 실제로 적용할 시점을 판단하는 단서입니다. 지금 중요도가 낮다고 해서 앞으로도 낮다는 뜻은 아닙니다. 특허는 후보 부분망의 노드가 이후 학습에서 얼마나 바뀔 수 있는지 가늠하는 값도 계산합니다.
3. 구조가 안정되는 시점을 살핍니다
특허에서 학습을 수행하는 프로세서는 모델의 가중치를 갱신합니다. 가지치기 처리부는 중요도를 계산하고 후보 부분망을 고른 뒤 구조의 안정성을 판단합니다. 미리 정한 기준을 넘으면 학습을 모두 마치기 전에 중요도가 낮은 일부 노드를 제거합니다. 이후 학습 단계에서는 남은 구조의 가중치를 계속 갱신할 수 있습니다.
같은 연구진의 CVPR 2022 논문은 구조가 안정되는 시점을 찾는 한 방법으로 조기 가지치기 지표(Early Pruning Indicator, EPI)를 제시합니다. 학습 회차는 학습 데이터를 한 바퀴 사용하는 단위로, 에포크라고도 부릅니다. 논문은 각 회차에서 중요도가 높은 노드를 고르고, 그렇게 고른 노드가 층마다 몇 개씩 있는지 기록합니다. 남긴 노드의 전체 수가 같아도 첫 층에 많이 남은 구조와 마지막 층에 많이 남은 구조는 다르기 때문입니다.
EPI는 현재 후보의 층별 노드 수 분포를 여러 과거 회차의 분포와 비교하고, 유사도를 평균해 나타냅니다. 논문의 알고리즘은 점수가 기준에 도달하고 최근 다섯 회차의 점수보다 낮지 않을 때 다음 회차에서 가지치기를 진행합니다. 층별 개수 배치가 비슷하다는 뜻이지, 개별 노드가 모두 같거나 가중치가 고정됐다는 뜻은 아닙니다.
4. 가상 문서 분류 모델의 학습을 따라갑니다
구매팀 모델이 학습 초기에는 문서의 제목과 서식이 다른 경우에 어떻게 분류할지 익히고 있다고 가정하겠습니다. 한 회차에서는 앞쪽 층에 중요한 노드가 많이 남고, 다음 회차에서는 뒤쪽 층의 노드가 더 많이 남을 수 있습니다. 이런 변화가 계속되면 아직 어느 정도 크기의 계산을 각 층에 남겨야 할지 판단하기 어렵습니다.

가상의 문서 분류 모델에서 여러 학습 회차의 부분망을 비교한 뒤 안정성 기준을 충족하면 중요도가 낮은 노드를 제거하는 예시입니다.
다른 서식의 문서를 더 학습한 뒤에는 남길 후보의 층별 구성이 최근 회차들과 비슷해질 수 있습니다. 가상의 안정성 기준을 충족하면 개발팀은 그 시점의 중요도에 따라 일부 낮은 점수의 노드를 제거하고, 남은 구조로 발주서와 납품서, 청구서를 구별하는 학습을 이어갑니다. 문서를 분류하는 기준이나 학습 자료의 개수가 줄어드는 것이 아니라, 모델이 분류를 위해 사용하는 계산 구조가 바뀝니다.
예를 들어 문서 제목에 같은 단어가 들어 있어 발주서와 청구서를 혼동하는 사례가 있다면, 작은 구조로도 그런 문서를 계속 구별할 수 있는지 확인할 수 있습니다. 층별 구성이 안정적이라는 판단만으로 그 문서의 정답이 보장되지는 않으므로, 학습에 쓰지 않은 문서로 최종 분류 품질을 따로 살펴보는 편이 좋습니다.
5. ModelOpt는 학습된 모델에서 시작합니다
이미 학습된 모델을 배포할 때도 구조를 줄일 필요가 있습니다. NVIDIA Model Optimizer(ModelOpt)의 Minitron 예제는 학습된 모델의 저장 지점인 체크포인트를 불러와, 목표 크기나 모델 구조에 맞게 줄이는 방법을 안내합니다. 층의 수를 줄이거나, 같은 층 안에서 한 번에 계산하는 너비를 줄이는 선택지를 제공하는 식입니다.
공식 예제에서는 보정용 데이터로 모델을 실행해 계산 요소의 중요도를 구하고, 목표에 맞춰 구조를 줄이는 흐름을 보여 줍니다. 줄인 뒤에는 큰 모델의 출력을 작은 모델이 배우도록 하는 지식 증류나 추가 학습으로 품질을 보완합니다. 이미 있는 모델을 업무 환경에 맞춰 압축하려는 팀이 참고할 수 있는 절차입니다.
이 글의 특허는 모델을 학습하는 도중 남길 구조가 안정되는 시점을 찾아, 아직 남아 있는 학습에 작은 구조를 쓰는 문제를 다룹니다. Minitron 예제는 학습된 모델을 출발점으로 삼습니다. 둘 다 중요도를 고려해 구조를 줄이지만, 이 차이에 따라 개발팀이 계산 비용을 줄이려는 구간과 비교할 기준이 달라집니다.
6. 작은 모델을 만들 때 비교할 세 가지
첫째, 어떤 계산 단위를 줄일지와 얼마나 줄일지 정합니다. 목표는 단순히 작은 숫자를 만드는 데 있지 않습니다. 구매 문서를 다루는 팀이라면 드물게 들어오는 서식이나 분류가 비슷한 문서를 별도로 살펴, 작은 모델이 놓치는 사례가 없는지 비교할 수 있습니다.
둘째, 가지치기 시점을 설명할 수 있는 기록을 남깁니다. 회차마다 중요도 기준, 후보 부분망의 층별 노드 수, 안정성 값, 실제로 줄인 시점을 함께 기록하면 두 실험이 왜 다른 결과를 냈는지 추적하기 쉽습니다. 같은 기준에서 학습이 끝날 때까지 기다린 경우와 중간에 줄인 경우를 나란히 비교하면, 어느 구간에서 계산량이 달라졌는지 살펴볼 수 있습니다.
셋째, 목표에 맞는 결과를 따로 봅니다. 학습을 더 적은 자원으로 끝내고 싶다면 학습 시간과 메모리 사용량을, 현장 문서를 빠르게 처리하고 싶다면 실제 장비에서의 분류 시간과 품질을 비교합니다. 모델을 줄이는 선택이 학습과 배포 중 어느 문제를 해결하려는 것인지 먼저 정하면, 중요도와 안정성이라는 두 기준을 더 알맞게 사용할 수 있습니다.
문서 분류 사례는 가상입니다. EPI는 구조 안정성 지표이며 정확도나 특정 제품의 청구항 실시를 보장하지 않습니다.
NVIDIA Model Optimizer 가지치기 문서
노타 AI 모델 압축 특허: 일부 층의 입출력을 저장해 작은 모델을 다시 맞추는 원리
소크라 AI 맞춤 학습 특허|같은 문제를 틀려도 다음 문제가 달라지는 이유
모델 압축과 학습 제어 기술을 정리하려면 아이피렉스의 AI 프로젝트와 상담 준비 자료를 살펴보세요.
