# LoRA 논문 쉽게 읽기: 작은 보정 행렬로 AI를 업무에 맞추는 원리

기존 가중치를 고정하고 작은 두 행렬만 학습하는 LoRA의 원리와 GPT-2 실험 수치, 학습·실행 비용의 차이 및 특허 실무의 정리 관점을 살펴봅니다.

Source: https://www.iplexlaw.co.kr/ko/blog/lora-low-rank-adaptation

HOME / NEWS & INSIGHTS NEWS & INSIGHTS LoRA 논문 쉽게 읽기: 작은 보정 행렬로 AI를 업무에 맞추는 원리 기존 가중치를 고정하고 작은 두 행렬만 학습하는 LoRA의 원리와 GPT-2 실험 수치, 학습·실행 비용의 차이 및 특허 실무의 정리 관점을 살펴봅니다. 인공지능 2026.11.02 게시 IPLEX 8분 읽기 LoRA는 이미 학습된 AI 모델의 가중치를 고정하고, 작은 두 행렬로 표현한 변화만 학습하는 방법입니다. 기업마다 모델 전체를 다시 조정하고 보관하는 부담을 줄이면서 업무에 맞는 문장 생성 방식을 학습하도록 설계했습니다. 가상의 쇼핑몰 안내 업무와 원문 실험을 통해 무엇이 작아지고 무엇은 그대로 필요한지 살펴보겠습니다. 기존 계산과 학습하는 보정 경로를 구별한 직접 제작 개념 그림입니다. 원문 그림이나 실제 제품 화면이 아닙니다. 분석 대상: Edward J. Hu, Yelong Shen 외 연구진의 LoRA: Low-Rank Adaptation of Large Language Models · 2021년 6월 17일 최초 공개, 2021년 10월 16일 수정된 arXiv v2 기준 1. 기업별 AI를 만들 때 왜 학습 부담이 커질까요? 같은 언어모델을 쓰더라도 고객 안내와 상품 설명이 요구하는 문장은 다릅니다. 고객에게는 처리 순서를 차분하게 설명하고, 상품 소개에서는 특징을 일정한 형식으로 전달하고 싶을 수 있습니다. 이러한 업무별 예시를 학습시키는 것을 미세조정, 파인튜닝이라고 합니다. 그렇다면 AI가 가진 수많은 숫자를 매번 모두 바꿔야 할까요? 가중치는 입력 정보를 다음 계산으로 전달할 때 영향을 주는 모델 내부의 숫자입니다. 전체 미세조정은 기존 가중치 전반을 학습 대상으로 삼습니다. 큰 모델에서는 업데이트할 값뿐 아니라 학습에 필요한 기울기와 최적화용 상태도 관리해야 합니다. 업무별 모델을 여러 벌 보관하면 저장 부담도 생깁니다. LoRA의 출발점은 이미 학습한 모델을 활용하되, 업무에 맞추는 변화는 더 적은 수의 값으로 표현할 수 있는지에 있습니다. 원래 모델을 삭제하거나 작은 모델로 교체하는 접근은 아닙니다. 기존 모델이 수행하는 계산에 작은 보정 경로를 붙여 그 경로를 학습합니다. 2. 기존 계산은 두고 작은 변화만 학습합니다 모델 안의 한 계산을 숫자표인 행렬로 생각해 보겠습니다. 기존 가중치 행렬을 W₀라고 할 때, LoRA는 여기에 더할 변화량을 작은 행렬 A와 B의 곱으로 표현합니다. 같은 입력은 기존 경로 W₀와 보정 경로 A→B를 각각 거치고, 두 결과가 더해집니다. 핵심은 W₀는 고정하고 A와 B만 학습한다는 점입니다. 논문의 표현은 W₀x + BAx이며, 실제 보정값에는 α/r이라는 크기 조절 계수도 사용합니다. 여기서 x는 입력, r은 두 작은 행렬 사이를 잇는 폭입니다. 기존 경로가 멈추는 것이 아니라, 계산에는 계속 쓰이면서 학습으로 그 값이 바뀌지 않습니다. 저랭크는 변화량을 표현하는 독립적인 방향의 수를 제한한다는 뜻입니다. 큰 표의 모든 칸을 따로 학습하는 대신, 좁은 중간 통로를 거치는 두 표로 변화를 구성합니다. r이 작으면 학습할 값이 줄지만 표현할 수 있는 변화에도 제약이 생깁니다. 중요도가 낮은 단어나 문서를 골라 버리는 방법은 아닙니다. 한 가중치가 d행 k열이면 원래 표에는 d×k개의 값이 있습니다. LoRA의 A는 r행 k열, B는 d행 r열이므로 두 표의 학습 대상은 r×k + d×r개입니다. 적용할 층과 가중치의 종류를 늘리면 전체 학습량도 늘어납니다. r 하나만으로 모델 전체의 학습 비용을 판단할 수는 없습니다. 3. 쇼핑몰 안내 예시와 작은 행렬의 크기 업무에 맞는 예시로 보정 경로를 학습합니다 가상의 쇼핑몰이 상담원들이 작성한 안내 예시를 정리했다고 해 보겠습니다. “교환은 어떻게 신청하나요?”라는 입력에 필요한 절차를 순서대로 설명하는 답변을 짝지어 학습합니다. 기반 모델의 가중치는 고정하고, 학습 예시와 모델 출력의 차이를 줄이는 방향으로 LoRA의 작은 행렬을 조정합니다. 상품 설명용 예시가 따로 있다면 같은 기반 모델에 사용할 다른 보정값을 학습해 보관할 수 있습니다. 사용할 때는 업무에 맞는 어댑터를 선택합니다. 여기서 어댑터는 학습한 보정 파라미터 묶음을 뜻합니다. 두 어댑터를 만들었다고 고객 안내와 상품 설명 능력이 자동으로 합쳐지거나, 서로 다른 기반 모델에도 그대로 맞는 것은 아닙니다. 한 행렬의 학습 대상 수를 가정해 보면 원리를 보기 위한 가상 계산으로, 4,096행 4,096열인 한 가중치를 생각해 보겠습니다. 전체 값을 조정하면 16,777,216개가 학습 대상입니다. r을 8로 둔 LoRA에서는 8×4,096인 A와 4,096×8인 B를 학습하므로 합계는 65,536개입니다. 직접 제작한 한 행렬의 가상 계산 예시입니다. 두 작은 행렬에 포함된 학습 변수의 수를 비교한 것이며, 전체 모델의 크기·메모리 사용량·처리 속도를 측정한 결과가 아닙니다. 기존 W₀도 계속 필요합니다. 이 차이는 업무마다 저장할 보정값을 작게 구성할 수 있는 이유를 보여 줍니다. 다만 실제 고객 안내에는 문장 형식 외에도 최신 교환 정책과 주문 정보가 필요합니다. 예시의 사실이 틀리면 학습도 영향을 받습니다. LoRA를 적용하는 일과 최신 업무 정보를 정확하게 공급하는 일은 함께 설계해야 합니다. 4. 원문 실험의 숫자는 어떻게 읽어야 할까요? 원문 v2의 표 3은 GPT-2 Medium을 E2E NLG Challenge에서 비교합니다. 음식점의 속성과 값이 주어지면 자연어 소개문을 만드는 데이터 기반 문장 생성 과제입니다. 아래는 같은 표에서 두 행만 옮겨 정리한 것입니다. GPT-2 Medium · E2E 문장 생성 과제 방법 학습 대상 파라미터 BLEU 전체 미세조정 354.92M 68.2 LoRA 0.35M 70.4 ± 0.1 M은 백만 개를 뜻하며, 표의 수는 모델 전체가 아니라 학습 대상인 파라미터 수입니다. BLEU는 생성문과 기준 문장의 표현이 얼마나 겹치는지 살펴보는 평가 지표입니다. 고객 안내가 맞을 확률이나 사실 정확도의 백분율이 아닙니다. 이 실험에서는 학습 대상을 크게 줄이면서도 해당 지표에서 비교 기준보다 높은 값을 보고했습니다. LoRA는 어텐션의 질의·값 변환 가중치에 각각 r=4를 적용했습니다. 부록 D.3과 표 11에 따르면 학습 데이터 전체를 5번 통과하도록 학습했고(5에포크), 생성 시 빔 크기는 10이었습니다. 저자들은 세 개의 무작위 시드에서 각 실행의 최적 학습 시점을 골라 평균을 냈습니다. ±0.1은 표가 제시한 신뢰구간 표기이며, 전체 미세조정 값은 선행연구에서 인용한 기준입니다. 따라서 이를 모든 회사의 상담 답변이 개선된다는 약속으로 읽기는 어렵습니다. 음식점 소개문 실험과 쇼핑몰 상담은 입력과 목표가 다릅니다. 도입할 업무의 별도 평가 자료로 내용 누락, 잘못된 사실과 문장 형식을 함께 살펴야 합니다. 5. 학습 비용과 실행 비용은 구별해야 합니다 LoRA는 학습할 변수를 줄이지만 기반 모델을 불러오고 입력을 계산하는 데 필요한 자원까지 없애지는 않습니다. 학습 메모리는 모델 크기, 입력 길이, 한 번에 처리하는 자료 수와 수치 정밀도에도 영향을 받습니다. 작은 어댑터 파일만 보고 특정 용량의 GPU에서 반드시 학습된다고 판단할 수 없습니다. 학습이 끝나면 두 행렬의 곱과 크기 조절을 기존 가중치에 더해 병합할 수 있습니다. 이렇게 만든 가중치로 계산하면 보정 경로를 따로 실행하지 않아도 됩니다. 병합은 배포 선택지이며, 분리한 채 어댑터를 바꾸어 쓰는 구성도 가능합니다. 분리 상태의 모든 서비스에 추가 지연이 전혀 없다고 일반화해서는 안 됩니다. Hugging Face PEFT 공식 문서도 LoRA 설정과 병합 기능을 설명합니다. 다만 merge_and_unload로 일반 모델을 만들면 그 결과에서 어댑터를 끄거나 교체하는 PEFT 기능을 그대로 사용할 수 없습니다. 여러 업무의 작은 파일을 관리하는 편의와 병합한 모델을 실행하는 편의 사이에서 운영 방식을 정해야 합니다. r을 크게 잡는다고 항상 결과가 좋아지는 것도 아닙니다. 학습 자료와 적용 위치가 맞지 않으면 비용이 늘어도 원하는 품질을 얻기 어렵습니다. 같은 업무의 평가 자료를 유지하면서 설정을 비교하면, 무엇을 바꿔 개선했는지 설명하기 쉽습니다. 6. 개발과 특허 실무에서 정리할 기술적 차이 개발팀은 기반 모델과 버전, 학습 자료의 구성, LoRA를 붙인 위치와 r, 배포 시 병합 여부를 함께 기록해 보세요. 어댑터가 어떤 기반 모델에서 만들어졌는지 연결해 두어야 잘못된 파일을 조합하는 일을 줄일 수 있습니다. 품질 비교에는 사용한 평가 자료와 생성 설정도 남겨 두는 것이 좋습니다. 논문 결과와 구별되는 특허 실무의 정리 관점 다음은 원문 실험의 결론이 아니라 기술 상담을 준비하는 별도의 관점입니다. 자체 개발한 부분을 설명할 때 “LoRA로 비용을 줄였다”는 결과만 적기보다 어떤 입력을 보고 보정값을 선택하는지, 업무별 학습 자료를 어떻게 구성하는지, 어댑터와 기반 모델의 조합을 어떻게 관리하는지를 처리 순서로 정리해 보시면 좋습니다. 예를 들어 업무 전환 중 잘못된 어댑터가 연결되는 문제를 해결했다면, 구별에 쓰는 정보와 선택·적용 시점, 오류를 막는 흐름이 기술 설명의 중심이 됩니다. 이는 새로운 등록특허가 있다는 뜻이나 등록을 보장하는 설명이 아닙니다. 이미 알려진 LoRA의 구조와 개발팀이 추가한 구체적 처리를 나누어 적어야 차이를 논의하기 쉽습니다. 함께 읽을 PagedAttention은 실행 중 KV 캐시의 저장을, FlashAttention-2는 어텐션 계산의 작업 배분을 다룹니다. LoRA는 업무에 맞춰 모델을 조정하는 학습 대상에 초점을 맞춥니다. 제품이 겪는 부담이 학습인지 실행인지 먼저 나누면 각 기술을 검토할 목적도 분명해집니다. 관련 업무 · 인공지능 특허 AI 기술의 차이를 구체적으로 정리해 드립니다. 아이피렉스의 AI 분야 프로젝트와 관련 저서, 상담 안내를 확인해 보세요. 김용덕 변리사 AI 전문성 확인하기 티스토리 원문 LoRA 논문: Low-Rank Adaptation of Large Language Models Hugging Face PEFT 공식 문서 LoRA 원문 PDF: 4.1절·표 3·부록 D.3·표 11 Microsoft LoRA 공식 구현과 실험 자료 Hugging Face PEFT: 병합한 모델의 저장과 기능 차이 PagedAttention 논문 쉽게 읽기: vLLM의 KV 캐시와 GPU 메모리 관리 원리 FlashAttention-2 논문 쉽게 읽기: 긴 글의 어텐션을 GPU에서 빠르게 계산하는 원리 이 글은 표시된 게시일을 기준으로 작성된 자료입니다. 개별 사안에 대한 검토는 상담을 통해 안내합니다. 관련 업무 상담 ↗ 전체 글 보기 ON THIS PAGE 1. 기업별 AI를 만들 때 왜 학습 부담이 커질까요? 2. 기존 계산은 두고 작은 변화만 학습합니다 3. 쇼핑몰 안내 예시와 작은 행렬의 크기 업무에 맞는 예시로 보정 경로를 학습합니다 한 행렬의 학습 대상 수를 가정해 보면 4. 원문 실험의 숫자는 어떻게 읽어야 할까요? 5. 학습 비용과 실행 비용은 구별해야 합니다 6. 개발과 특허 실무에서 정리할 기술적 차이 논문 결과와 구별되는 특허 실무의 정리 관점 TALK TO IPLEX 우리 기업에 맞는 IP 전략이 필요하다면 기술과 사업의 상황에 맞춰 필요한 업무를 함께 살펴봅니다. ↗ 상담 문의 최근 글 카타르 상표 출원 가이드｜마드리드 국제출원과 GCC 공동 상표법 ↗ 이전 글 디자인 공지 예외의 범위 ↗ 함께 읽을 인사이트 인공지능 2026.11.19 마트료시카 임베딩 논문 쉽게 읽기｜벡터 앞부분으로 찾고 전체로 다시 비교하는 이미지 검색 NeurIPS 2022 마트료시카 표현 학습의 여러 길이 공동 학습과 단계별 이미지 검색, ImageNet-1K 실험의 정확도·계산량을 살펴봅니다. ↗ 본문 읽기 인공지능 2026.11.18 바이트댄스 AI 자동 자막 특허｜오디오 트랙별로 받아쓰고 겹치는 자막을 정리하는 원리 바이트댄스 US11837234B2의 트랙별 음성인식과 자막 시간 조정 원리를 살펴보고 CapCut의 공개 편집 절차와 구별합니다. ↗ 본문 읽기 인공지능 2026.11.17 애플 AI 문자 인식 특허｜사진 속 전화번호와 웹 주소를 선택하는 원리 Apple US12001642B2의 문자 위치·유형 감지와 선택 동작을 분석하고 Live Text 및 VisionKit의 공개 설명과 구별합니다. ↗ 본문 읽기

- https://www.iplexlaw.co.kr/
- https://www.iplexlaw.co.kr/%EC%9D%B8%EC%82%AC%EC%9D%B4%ED%8A%B8-%EB%B0%8F-%EB%89%B4%EC%8A%A4/category/ai
- https://www.iplexlaw.co.kr/ko/ai-patents
- https://www.iplexlaw.co.kr/ko/ai-patents
- https://iplexlaw.tistory.com/15
- https://arxiv.org/abs/2106.09685v2
- https://huggingface.co/docs/peft/main/en/conceptual_guides/lora
- https://arxiv.org/pdf/2106.09685v2
- https://github.com/microsoft/LoRA
- https://huggingface.co/docs/peft/main/en/developer_guides/checkpoint#merge-the-weights
- https://www.iplexlaw.co.kr/ko/blog/pagedattention-vllm-kv-cache
- https://www.iplexlaw.co.kr/ko/blog/flashattention-2-gpu-work-partitioning
- https://www.iplexlaw.co.kr/%EC%97%B0%EB%9D%BD%ED%95%98%EA%B8%B0
- https://www.iplexlaw.co.kr/%EC%9D%B8%EC%82%AC%EC%9D%B4%ED%8A%B8-%EB%B0%8F-%EB%89%B4%EC%8A%A4
- https://www.iplexlaw.co.kr/ko/blog/lora-low-rank-adaptation#article-15-ko-0
- https://www.iplexlaw.co.kr/ko/blog/lora-low-rank-adaptation#article-15-ko-1
- https://www.iplexlaw.co.kr/ko/blog/lora-low-rank-adaptation#article-15-ko-2
- https://www.iplexlaw.co.kr/ko/blog/lora-low-rank-adaptation#article-15-ko-3
- https://www.iplexlaw.co.kr/ko/blog/lora-low-rank-adaptation#article-15-ko-4
- https://www.iplexlaw.co.kr/ko/blog/lora-low-rank-adaptation#article-15-ko-5
- https://www.iplexlaw.co.kr/ko/blog/lora-low-rank-adaptation#article-15-ko-6
- https://www.iplexlaw.co.kr/ko/blog/lora-low-rank-adaptation#article-15-ko-7
- https://www.iplexlaw.co.kr/ko/blog/lora-low-rank-adaptation#article-15-ko-8
- https://www.iplexlaw.co.kr/%EC%97%B0%EB%9D%BD%ED%95%98%EA%B8%B0
- https://www.iplexlaw.co.kr/ko/blog/qatar-trademark-filing-guide
- https://www.iplexlaw.co.kr/ko/blog/brunch-case-1907
- https://www.iplexlaw.co.kr/ko/blog/matryoshka-prefix-vector-image-retrieval
- https://www.iplexlaw.co.kr/ko/blog/matryoshka-prefix-vector-image-retrieval
- https://www.iplexlaw.co.kr/ko/blog/bytedance-track-based-caption-timing
- https://www.iplexlaw.co.kr/ko/blog/bytedance-track-based-caption-timing
- https://www.iplexlaw.co.kr/ko/blog/apple-recognized-text-contextual-actions
- https://www.iplexlaw.co.kr/ko/blog/apple-recognized-text-contextual-actions
