# 노타 AI 모델 압축 특허: 일부 층의 입출력을 저장해 작은 모델을 다시 맞추는 원리

노타 US12361264B2의 층 묶음 선택, 입출력 특징 저장, 국부 압축·재학습을 살펴보고 청구항의 LLM 구성과 가상 검사 카메라 예시를 구별합니다.

Source: https://www.iplexlaw.co.kr/ko/blog/nota-local-model-compression-cached-features

HOME / NEWS & INSIGHTS NEWS & INSIGHTS 노타 AI 모델 압축 특허: 일부 층의 입출력을 저장해 작은 모델을 다시 맞추는 원리 노타 US12361264B2의 층 묶음 선택, 입출력 특징 저장, 국부 압축·재학습을 살펴보고 청구항의 LLM 구성과 가상 검사 카메라 예시를 구별합니다. 인공지능 2026.11.09 게시 IPLEX 7분 읽기 현장 장치에서 AI를 쓰려면 학습이 끝난 모델을 장치의 메모리와 처리 속도에 맞춰 줄이는 일이 필요할 수 있습니다. 노타의 미국 특허 US12361264B2는 모델의 일부 층을 골라 원래 입출력을 저장하고, 압축한 구간을 그 자료로 다시 학습하는 방법을 설명합니다. 가상의 검사 카메라 사례를 통해 어느 부분을 줄이고 무엇을 기준으로 다시 맞추는지, 배포할 때 어떤 결과를 비교해야 하는지 살펴봅니다. 선택한 구간을 줄이고 기존 입출력으로 다시 맞추는 과정을 그린 개념 그림입니다. 1. 현장 장치에 모델을 옮길 때 무엇이 달라질까요? 제품 상자가 컨베이어를 지나갈 때 카메라가 포장 상태를 살피는 공장을 떠올려 보세요. 개발 서버에서는 여유 있게 동작한 검사 모델도 생산라인 옆의 작은 장치로 옮기면 메모리를 더 많이 쓰거나 판정이 늦어질 수 있습니다. 다음 상자가 들어오기 전에 사진을 읽고 결과를 넘겨야 하므로, 실제 장치에서 얼마나 빠르고 안정적으로 실행되는지도 살펴야 합니다. 이럴 때 검토하는 방법이 모델 압축입니다. 모델이 수행하는 계산이나 저장하는 값을 줄여 작은 환경에서도 쓰기 쉬운 형태를 만드는 작업입니다. 이미 학습된 모델에서 어떤 부분을 줄이느냐에 따라, 이후 단계에 들어가는 값이 달라지고 최종 판정에도 영향을 줄 수 있습니다. 그래서 질문이 생깁니다. 계산이 무거운 곳을 일부 줄인 뒤, 그곳에서 전달하던 정보를 되살리려면 어떻게 해야 할까요? 노타의 미국 특허는 모델 내부에서 특정 구간의 입력과 출력을 먼저 기록하고, 그 자료로 압축한 구간을 다시 학습하는 접근을 설명합니다. 2. 모델의 층과 압축할 구간을 구분합니다 신경망의 층은 입력을 받아 숫자를 계산하고, 결과를 다음 단계에 넘기는 단위입니다. 그림에서 1번, 2번, 3번 블록이 이어진 것처럼 여러 계산 단계가 연결됩니다. 층 묶음은 이 과정에서 압축과 재학습을 함께 다룰 구간입니다. 예를 들어 가운데 2번 블록을 하나의 묶음으로 표시할 수 있고, 실제 묶음에는 여러 층이 들어갈 수 있습니다. 특허가 구체적으로 드는 사례는 트랜스포머 블록이 이어진 대규모 언어 모델입니다. 각 블록에는 입력을 전달하는 잔차 경로가 있으며, 블록의 계산 결과가 그 입력에 더해집니다. 특허는 입력을 그대로 전달하는 값과 계산 결과를 더한 값이 얼마나 비슷한 방향인지 비교하여 블록의 상대적 중요도를 판단하는 예를 설명합니다. 그때 사용하는 지표의 예가 코사인 유사도입니다. 두 숫자 묶음을 화살표로 생각하면 방향이 얼마나 비슷한지 보는 값입니다. 원문에서는 이 유사도가 높을수록 상대적 중요도를 낮게 매겨 압축 후보를 고릅니다. 후보를 정한 뒤에는 선택한 구간을 어떤 방법으로 줄이고, 줄인 뒤의 결과를 어떻게 맞출지 따로 다룹니다. 3. 압축 전에 원래 구간의 입력과 출력을 기록합니다 먼저 학습을 마친 원래 모델에 예시 데이터를 넣습니다. 계산이 선택 구간의 첫 층으로 들어갈 때의 값을 저장하고, 같은 입력에서 그 구간의 마지막 층이 내보낸 값도 함께 저장합니다. 이렇게 하면 각 예시에서 어떤 값이 들어왔고 어떤 값이 나갔는지 짝을 지어 남길 수 있습니다. 구간을 거치는 값은 보통 사진이나 문장 그대로의 형태와 다릅니다. 앞쪽 계산이 색의 변화나 물체의 형태, 문맥의 일부처럼 다음 단계에서 쓸 정보를 숫자로 바꿔 전달합니다. 이 중간 숫자 묶음을 특징이라고 부릅니다. 기록하는 것은 선택 구간의 입구와 출구에서 실제로 흐르는 특징입니다. 그림 가운데의 두 카드는 이 짝을 뜻합니다. 입력 카드는 작은 구간에 다시 넣을 자료이고, 출력 카드는 원래 구간이 내보낸 값을 가리킵니다. 출구에서 무엇을 전달해야 했는지 알 수 있으므로, 압축 뒤의 재학습에서 비교할 목표를 준비할 수 있습니다. 4. 작아진 구간을 기록한 자료로 다시 학습합니다 다음은 선택한 구간의 계산을 줄이는 단계입니다. 원문은 일부 계산을 덜어내는 가지치기, 필터의 계산을 나누는 분해, 특정 층 제거 등을 예로 듭니다. 층 하나를 없애는 경우에는 재학습할 층이 남도록 앞이나 뒤의 층을 묶음에 포함할 수 있습니다. 어느 방식이든 먼저 압축할 범위를 정해 두면 이후의 학습 대상이 분명해집니다. 작아진 구간에 앞서 기록한 입력 특징을 넣으면 새 출력이 나옵니다. 학습 과정은 이 값이 원래 구간의 저장 출력에 가까워지도록 압축된 구간의 가중치를 조정합니다. 같은 입력에 대한 원래 출력이 학습의 기준이 됩니다. 원문에는 저장한 데이터 전체 또는 일부를 학습에 사용하는 예가 나옵니다. 그렇게 조정한 구간은 모델에서 원래 구간이 맡던 자리에 들어갑니다. 앞쪽 층은 입력 특징을 보내고 뒤쪽 층은 조정된 구간이 전달한 특징을 받습니다. 특허의 설명은 압축된 묶음에 재학습을 집중하는 데 초점을 둡니다. 국부 압축에서 ‘국부’는 이러한 모델 내부의 범위를 뜻합니다. 5. 가상의 검사 카메라에서 중간 결과를 비교해 봅니다 상자 포장 상태를 읽는 모델을 세 단계로 단순화해 보겠습니다. 첫 단계는 사진에서 모서리와 표면의 변화를 뽑고, 가운데 단계는 테이프와 상자 면의 관계를 정리하며, 마지막 단계는 앞서 받은 특징을 이용해 검사 결과를 냅니다. 이 예에서는 가운데 단계의 계산을 줄여 보고 싶다고 가정합니다. 처음에는 정상적인 상자와 테이프가 접힌 상자 사진을 원래 모델에 넣어, 가운데 단계에 들어간 특징과 그 단계가 내보낸 특징을 짝으로 보관합니다. 가운데 블록을 작게 만든 다음 같은 입력 특징을 주고, 줄이기 전 가운데 블록이 만들어 냈던 출력에 가까워지도록 학습합니다. 가상의 검사 카메라 예시입니다. 점선은 줄인 구간이 학습에서 가까워지도록 맞추는 기존 출력 특징을 가리킵니다. 그림의 위쪽은 원래 구간의 흐름이고 아래쪽은 작아진 구간의 흐름입니다. 점선으로 표시한 출력은 재학습의 목표입니다. 예를 들어 접힌 테이프 사진에서 중요한 특징이 사라졌다면, 저장한 목표와 새 출력을 비교해 어느 부분이 달라졌는지 살펴볼 수 있습니다. 마지막에는 전체 모델을 실행해 실제 판정도 함께 비교합니다. 6. NetsPresso는 모델을 장치에 맞추는 과정을 지원합니다 노타의 NetsPresso 공식 소개에는 모델 개발, 장치에 맞춘 모델 최적화, 실제 기기에서의 성능 확인이 나뉘어 있습니다. 개발 단계의 Compressor는 구조적 가지치기 같은 모델 압축 기능을 제공합니다. 최적화 단계에는 계산 흐름을 다루는 그래프 최적화, 수치 표현을 줄이는 양자화, 모델 형식 변환 기능이 소개되어 있습니다. 제품 문서는 실제 기기에서 성능을 확인하는 도구도 안내합니다. 같은 모델을 줄이더라도 배포 장치가 지원하는 계산 형식과 메모리 구성이 다를 수 있습니다. 모델 파일 크기와 정확도를 먼저 살핀 뒤, 목표 기기에서 지연 시간과 실행 가능 여부를 확인하면 압축 결과를 배포 결정에 연결하기 쉽습니다. 앞의 검사 카메라 상황이라면 개발팀은 어떤 층의 계산을 줄일지 정하고, 압축 전후의 모델을 같은 장치에서 같은 사진 묶음으로 실행해 볼 수 있습니다. 특허가 설명하는 중간 입출력 기록은 재학습 과정의 기준을 보여 주고, 제품의 개발·최적화·기기 테스트 흐름은 준비한 모델을 실제 환경에서 비교하는 업무를 이해하는 데 도움이 됩니다. 7. 개발 기록에는 압축 전후의 비교 기준을 남깁니다 개발팀에서 먼저 정리할 것은 줄인 구간의 위치와 선택 이유입니다. 어떤 층을 남기고 어떤 계산을 바꿨는지, 비교한 입력 자료가 어떤 상황을 포함하는지, 저장한 출력 중 무엇을 학습 목표로 삼았는지를 기록하면 이후의 결과를 설명하기 쉬워집니다. 예시 사진의 정상 상태와 드물게 발생하는 불량 상태를 구분해 두면 결과를 살필 때도 도움이 됩니다. 중간 출력이 원래 값에 가까워졌는지와 최종 판정이 잘 유지되는지는 서로 다른 확인 항목입니다. 앞의 것은 압축한 구간의 학습을 설명하고, 뒤의 것은 전체 모델이 수행하는 업무의 성능을 보여 줍니다. 최종 판정의 정확도에 더해 장치에서의 처리 시간과 메모리 사용량까지 같은 조건으로 적어 두면, 무엇을 얻었고 어디에 조정이 더 필요한지 파악할 수 있습니다. 기술을 문서로 정리할 때도 작은 모델을 만들었다는 결과만 적기보다 선택 기준, 저장하는 입출력, 재학습 범위, 배포 뒤의 비교 순서를 연결해 보세요. 어떤 구간을 고쳐 어떤 문제를 줄이려 했는지가 구체적인 기술 설명의 출발점이 됩니다. 검사 카메라는 원리를 설명하는 가상 예시이며 실제 구현이나 성능 측정이 아닙니다. 독립 청구항 1·7은 10억 개 이상 파라미터를 가진 LLM과 정해진 유사도에 따른 트랜스포머 블록 선택을 포함하며, 코사인 유사도는 종속 청구항 4·10에 명시되어 있습니다. 제품 소개만으로 NetsPresso가 청구항의 모든 구성을 실시한다고 단정하지 않습니다. USPTO 특허 US12361264B2 원문 노타 NetsPresso 공식 제품 소개 DEEPX DX-M1과 AI 반도체 특허: 학습과 현장 추론을 잇는 방법 LoRA 논문 쉽게 읽기: 작은 보정 행렬로 AI를 업무에 맞추는 원리 AI 모델의 변경 방식과 기술적 특징을 정리하시려면 아이피렉스의 AI 프로젝트와 상담 준비 자료를 살펴보세요. AI 기술·특허 업무 살펴보기 티스토리 원문 이 글은 표시된 게시일을 기준으로 작성된 자료입니다. 개별 사안에 대한 검토는 상담을 통해 안내합니다. 관련 업무 상담 ↗ 전체 글 보기 ON THIS PAGE 1. 현장 장치에 모델을 옮길 때 무엇이 달라질까요? 2. 모델의 층과 압축할 구간을 구분합니다 3. 압축 전에 원래 구간의 입력과 출력을 기록합니다 4. 작아진 구간을 기록한 자료로 다시 학습합니다 5. 가상의 검사 카메라에서 중간 결과를 비교해 봅니다 6. NetsPresso는 모델을 장치에 맞추는 과정을 지원합니다 7. 개발 기록에는 압축 전후의 비교 기준을 남깁니다 TALK TO IPLEX 우리 기업에 맞는 IP 전략이 필요하다면 기술과 사업의 상황에 맞춰 필요한 업무를 함께 살펴봅니다. ↗ 상담 문의 최근 글 해외 쇼핑몰 판매 제안과 특허침해 ↗ 이전 글 디자인 사용 허락과 권리 양도 ↗ 함께 읽을 인사이트 인공지능 2026.11.19 마트료시카 임베딩 논문 쉽게 읽기｜벡터 앞부분으로 찾고 전체로 다시 비교하는 이미지 검색 NeurIPS 2022 마트료시카 표현 학습의 여러 길이 공동 학습과 단계별 이미지 검색, ImageNet-1K 실험의 정확도·계산량을 살펴봅니다. ↗ 본문 읽기 인공지능 2026.11.18 바이트댄스 AI 자동 자막 특허｜오디오 트랙별로 받아쓰고 겹치는 자막을 정리하는 원리 바이트댄스 US11837234B2의 트랙별 음성인식과 자막 시간 조정 원리를 살펴보고 CapCut의 공개 편집 절차와 구별합니다. ↗ 본문 읽기 인공지능 2026.11.17 애플 AI 문자 인식 특허｜사진 속 전화번호와 웹 주소를 선택하는 원리 Apple US12001642B2의 문자 위치·유형 감지와 선택 동작을 분석하고 Live Text 및 VisionKit의 공개 설명과 구별합니다. ↗ 본문 읽기

- https://www.iplexlaw.co.kr/
- https://www.iplexlaw.co.kr/%EC%9D%B8%EC%82%AC%EC%9D%B4%ED%8A%B8-%EB%B0%8F-%EB%89%B4%EC%8A%A4/category/ai
- https://image-ppubs.uspto.gov/dirsearch-public/print/downloadPdf/12361264
- https://www.nota.ai/netspresso
- https://www.iplexlaw.co.kr/ko/blog/deepx-heterogeneous-processors-edge-ai
- https://www.iplexlaw.co.kr/ko/blog/lora-low-rank-adaptation
- https://www.iplexlaw.co.kr/ko/ai-patents
- https://iplexlaw.tistory.com/20
- https://www.iplexlaw.co.kr/%EC%97%B0%EB%9D%BD%ED%95%98%EA%B8%B0
- https://www.iplexlaw.co.kr/%EC%9D%B8%EC%82%AC%EC%9D%B4%ED%8A%B8-%EB%B0%8F-%EB%89%B4%EC%8A%A4
- https://www.iplexlaw.co.kr/ko/blog/nota-local-model-compression-cached-features#article-20-ko-0
- https://www.iplexlaw.co.kr/ko/blog/nota-local-model-compression-cached-features#article-20-ko-1
- https://www.iplexlaw.co.kr/ko/blog/nota-local-model-compression-cached-features#article-20-ko-2
- https://www.iplexlaw.co.kr/ko/blog/nota-local-model-compression-cached-features#article-20-ko-3
- https://www.iplexlaw.co.kr/ko/blog/nota-local-model-compression-cached-features#article-20-ko-4
- https://www.iplexlaw.co.kr/ko/blog/nota-local-model-compression-cached-features#article-20-ko-5
- https://www.iplexlaw.co.kr/ko/blog/nota-local-model-compression-cached-features#article-20-ko-6
- https://www.iplexlaw.co.kr/%EC%97%B0%EB%9D%BD%ED%95%98%EA%B8%B0
- https://www.iplexlaw.co.kr/ko/blog/brunch-case-1936
- https://www.iplexlaw.co.kr/ko/blog/brunch-case-1935
- https://www.iplexlaw.co.kr/ko/blog/matryoshka-prefix-vector-image-retrieval
- https://www.iplexlaw.co.kr/ko/blog/matryoshka-prefix-vector-image-retrieval
- https://www.iplexlaw.co.kr/ko/blog/bytedance-track-based-caption-timing
- https://www.iplexlaw.co.kr/ko/blog/bytedance-track-based-caption-timing
- https://www.iplexlaw.co.kr/ko/blog/apple-recognized-text-contextual-actions
- https://www.iplexlaw.co.kr/ko/blog/apple-recognized-text-contextual-actions
