# FrugalGPT 논문 쉽게 읽기｜답변 점수로 AI 모델 호출 비용을 조절하는 원리

FrugalGPT의 답변 평가 기반 모델 캐스케이드와 2024 TMLR 최종판의 비용 실험을 분석하고 실무 평가 항목을 정리합니다.

Source: https://www.iplexlaw.co.kr/ko/blog/frugalgpt-answer-scoring-model-cascade

HOME / NEWS & INSIGHTS NEWS & INSIGHTS FrugalGPT 논문 쉽게 읽기｜답변 점수로 AI 모델 호출 비용을 조절하는 원리 FrugalGPT의 답변 평가 기반 모델 캐스케이드와 2024 TMLR 최종판의 비용 실험을 분석하고 실무 평가 항목을 정리합니다. 인공지능 2026.11.15 게시 IPLEX 8분 읽기 고객 상담 AI에 들어오는 모든 질문이 같은 수준의 판단을 필요로 하지는 않습니다. FrugalGPT는 먼저 한 모델에서 답변을 받고, 질문과 답변을 평가한 점수가 기준을 넘으면 반환하며 그렇지 않으면 다음 모델을 호출합니다. 가상의 배송 상담과 금융 뉴스 분류 실험을 통해 호출 순서와 판정 기준이 비용에 어떤 차이를 만드는지 살펴보겠습니다. 첫 답변의 판정 점수에 따라 응답을 보내거나 다음 모델에 새 답변을 요청하는 흐름을 그린 개념도입니다. 1. 모든 고객 문의에 같은 모델을 써야 할까요? 온라인 상점의 상담창에 두 문의가 도착했다고 생각해 보겠습니다. 첫 번째 고객은 주문 상세 화면에서 배송 현황을 어디서 확인하는지 묻습니다. 두 번째 고객은 서로 다른 창고에서 나오는 상품을 함께 주문했고, 그중 하나가 이미 출고됐다며 남은 상품의 수령지를 바꿀 수 있는지 묻습니다. 두 질문 모두 배송에 관한 것이지만, 답변에 필요한 규정과 확인해야 할 조건의 수가 다릅니다. 모든 문의를 같은 언어 모델에 맡기면 운영 방식은 단순해집니다. 다만 회사가 외부 API를 사용하면 모델과 서비스에 따라 질문에 넣은 텍스트, 생성한 답변, 호출 횟수에 비용이 붙을 수 있습니다. 안내 문구 한 줄로 답할 수 있는 질문도 복잡한 사례와 똑같이 처리할 필요가 있는지 생각해 볼 수 있습니다. 반대로 낮은 비용을 기준으로 모델 하나를 고정하면 여러 조건을 함께 따져야 하는 답변에서 오류가 늘 수 있습니다. Chen 연구팀은 이런 상황에서 질문을 처리하는 도중에 다음 모델을 호출할지 결정하는 방식을 제안했습니다. 연구팀이 2024년 Transactions on Machine Learning Research에 게재한 FrugalGPT입니다. 여기서 언어 모델의 호출 순서와 답변을 평가하는 기준은 미리 정하고, 실제로 어디까지 호출할지는 개별 질문에서 나온 답변을 보고 결정합니다. 2. 답변을 먼저 만든 뒤 점수로 다음 호출을 정합니다 논문은 여러 모델을 순서대로 배치하고, 앞 단계의 결과에 따라 다음 단계로 넘어가는 구조를 캐스케이드라고 부릅니다. 첫 모델이 질문을 받아 답변 후보를 만듭니다. 별도의 판정 모델은 질문과 답변 후보를 함께 읽고 점수를 매깁니다. 미리 정한 기준을 넘으면 해당 답변을 사용자에게 보내고 호출을 마칩니다. 기준에 못 미치면 다음 모델이 같은 질문에 대해 새 답변을 만듭니다. 예를 들어 ‘어디에서 배송 상태를 확인하나요?’라는 질문에 메뉴의 정확한 경로를 안내한 답변은 높은 점수를 받을 수 있습니다. 반면 ‘배송을 확인해 드리겠습니다’처럼 질문에 필요한 경로를 빠뜨린 답변은 낮게 평가될 수 있습니다. 답변이 길거나 단정적으로 쓰였다는 사실만으로 충분한 안내가 되는 것은 아닙니다. 어떤 답변이 실제로 질문을 해결했는지 표시한 예시가 있어야 판정 모델도 그 차이를 학습할 수 있습니다. 연구팀은 원 실험에서 DistilBERT를 바탕으로 판정 모델을 구성했습니다. API별로 질문과 그 API가 만든 답을 묶고, 답이 맞았는지를 학습용 표시로 사용했습니다. 판정 모델의 점수는 그렇게 배운 기준에 따라 답변을 가려내는 데 쓰입니다. 모델이 자신 있게 말했는지 여부와는 별개이며, 높은 점수만으로 정답이 보장되지는 않습니다. 호출 순서와 각 단계의 기준은 함께 결정합니다. 앞 단계의 기준이 높으면 이후 모델을 더 자주 쓰게 될 수 있고, 기준이 낮으면 첫 답변을 채택하는 비율이 높아질 수 있습니다. 연구팀은 기대하는 답변 성능을 높이면서 여러 질문을 처리하는 평균 비용이 예산을 넘지 않도록 순서와 기준을 찾았습니다. 따라서 평균 비용이 예산 안에 있어도 특정 질문 한 건에는 여러 번의 호출 비용이 들 수 있습니다. 3. 가상의 배송 FAQ에 두 질문을 넣어 봅니다 가상의 상점에는 배송 조회 방법과 출고 뒤 주소 변경 조건을 적은 FAQ가 있다고 가정하겠습니다. 실제 주문 상태는 별도로 확인해야 하고, 이 예시는 고객 계정을 조회하거나 주문을 변경하는 시스템을 다루지 않습니다. 동일한 상담 정책이 주어진 상황에서 어떤 답변을 채택하고 어떤 답변을 한 번 더 만들어 볼지만 살펴보겠습니다. 가상의 배송 FAQ에서 첫 답변의 점수가 기준을 넘으면 반환하고, 예외 조건을 놓치면 다음 모델을 호출하는 예입니다. 배송 조회 위치를 묻는 질문에 첫 모델이 ‘주문 상세 화면에서 배송 현황을 확인하실 수 있습니다’라고 답했다고 해 보겠습니다. 판정 점수가 기준을 넘으면 이 답변을 반환합니다. 두 번째 모델을 호출하지 않으므로 그 모델의 요금은 발생하지 않습니다. 다만 첫 답변을 생성하고 판정하는 데 들어간 작업은 그대로 수행합니다. 일부 상품이 출고된 주문의 주소 변경 문의에는 같은 첫 모델이 ‘주문 전체의 주소를 바꾸실 수 있습니다’라고 답할 수도 있습니다. 정책에 따르면 발송 여부를 상품별로 확인해야 하는데, 이 답변은 그 구분을 빠뜨렸습니다. 판정 점수가 기준보다 낮으면 다음 모델에 질문을 보내 새 답변을 요청합니다. 다음 답변은 ‘아직 출고되지 않은 상품의 변경 가능 여부부터 확인해 주세요’처럼 필요한 조건을 남길 수 있습니다. 이런 예외 문의에서 두 번째 모델도 출고 상태를 알 수 없다면, 회사는 상담원이나 주문 화면에서 확인하도록 연결하는 별도의 운영 규칙을 마련할 수 있습니다. 여기서 고객 문의를 실제로 해결하는 데에는 판정 점수와 함께 회사가 보유한 정보, 그 정보를 조회할 권한, 확인이 필요한 예외를 구분하는 절차가 필요합니다. 4. 금융 뉴스 제목 분류에서 비용 차이는 어땠을까요? 게재 논문 표 2에는 금융 뉴스 제목을 네 종류로 분류하는 HEADLINES 실험이 나옵니다. 연구팀은 2023년 3월에 수집한 API 가격과 당시 모델의 결과를 사용했습니다. 주요 실험은 6개 제공사의 API 14개를 대상으로 했으며, 데이터셋마다 절반은 캐스케이드를 학습하는 데, 절반은 평가하는 데 썼습니다. 질문 하나에 호출할 모델 수의 상한은 세 개였습니다. HEADLINES에서 비교한 단일 모델 중 가장 정확한 GPT-4의 정확도에 도달하는 비용은 표에서 GPT-4 단독 33.1달러, FrugalGPT 0.6달러였습니다. 표에 보고된 절감률은 98.3%입니다. 두 비용은 소수점 한 자리로 표시되어 있으므로, 표시된 금액으로 다시 계산한 값은 논문의 보고 절감률과 조금 다를 수 있습니다. 이 수치는 해당 분류 데이터의 비교 결과로 읽으면 됩니다. 같은 논문은 2024년에 제공된 모델들을 포함한 추가 실험도 제시했습니다. 여기에서는 HEADLINES와 과학 질의응답 SCIQ에 대해 동일한 프롬프트와 생성 온도를 사용하는 조건으로 비교했습니다. 앞에서 든 98.3%는 표 2의 2023년 조건이고, 추가 실험은 모델과 가격이 바뀌어도 캐스케이드의 비용과 성능을 다시 비교하는 데 의미가 있습니다. 5. 비용과 대기 시간, 답변 품질은 따로 살펴야 합니다 판정 점수가 낮아 여러 모델을 순서대로 부르면, 고객은 첫 답변 생성과 판정이 끝난 뒤에야 다음 답변을 기다리게 됩니다. 여러 문의를 합친 평균 비용이 낮아져도 특정 예외 문의의 응답은 길어질 수 있습니다. 표 2의 비용은 논문이 비교한 API 호출 비용이므로, 회사에서는 판정 모델의 실행과 상담원 연결 등 실제 서비스에 들어가는 비용을 따로 더해야 합니다. 또한 분류 과제에서 맞았는지를 표시하는 일과, 여러 정책을 근거로 문장을 만들어야 하는 상담 답변을 평가하는 일에는 차이가 있습니다. 배송 정책의 어느 조항을 적용해야 하는지, 예외 조건을 누락했는지, 주문 상태를 확인한 것처럼 말했는지를 평가 기준에 포함하면 어느 단계에서 답변이 어긋났는지 찾기 쉬워집니다. 새 정책이 도입되거나 문의의 구성 자체가 바뀌면 이전 판정 기준도 다시 시험해야 합니다. 회사에서 비교할 때에는 쉬운 문의와 예외 문의를 나누고, 각 집단의 답변 정확도와 추가 호출 비율을 살펴볼 수 있습니다. 요청 대부분이 빠르게 끝나더라도 가장 오래 걸리는 요청이 사용 경험에 영향을 줄 수 있으므로, 전체 평균과 오래 걸린 문의의 응답 시간도 함께 살펴보면 좋습니다. 6. 개발팀이 시험하고 기록할 수 있는 항목 먼저 동일한 질문 묶음에 모델 하나만 쓰는 방식과 캐스케이드 방식을 각각 적용해 보세요. 질문별로 어떤 모델을 몇 번 호출했는지, 어느 답변이 어떤 기준을 통과했는지, 최종 안내에 필요한 조건이 모두 포함됐는지를 기록하면 결과를 비교할 수 있습니다. 문의 중 어디에서 추가 비용이 발생했고, 다음 모델을 호출한 뒤 어떤 오류가 실제로 줄었는지도 볼 수 있습니다. 질문마다 배치할 모델을 처음부터 결정하는 방식도 비교할 수 있습니다. FrugalGPT의 이 구현에서 두 번째 호출을 좌우하는 신호는 첫 답변을 실제로 평가한 점수입니다. 그 과정은 답을 만들기 전에 문의의 유형만 보고 모델을 배정하는 설계와 다르게, 답변에 드러난 누락을 다음 호출의 판단에 쓸 수 있습니다. 다만 그만큼 답변을 만들고 평가하는 시간이 필요합니다. 서비스를 특허 검토 관점에서 정리한다면 모델 이름의 나열보다 실제 처리 흐름을 먼저 적어 보세요. 판정 모델에 어떤 정책 정보가 들어가는지, 판정이 달라질 때 다음 모델에 보낼 입력이 어떻게 달라지는지, 주문 상태가 빠진 경우에는 어떤 단계로 넘기는지를 기록하는 것입니다. 동일한 질문으로 기준이나 입력만 바꿔 비교한 결과가 있다면, 팀이 구현한 기술과 그 효과를 더 구체적으로 설명할 수 있습니다. 배송 사례는 가상입니다. 비용과 절감률은 논문 당시 실험 조건에 한정되며 현재 서비스의 절감 보장이 아닙니다. TMLR 2024 최종 논문 OpenReview 논문 공개 기록 Stanford FrugalGPT 연구 저장소 Lost in the Middle 논문 쉽게 읽기: 긴 입력에서 근거 문서의 위치가 중요한 이유 추측 디코딩 논문 쉽게 읽기: 작은 모델의 초안으로 LLM 응답을 빠르게 만드는 원리 모델 선택과 답변 품질 평가 기술을 정리하려면 아이피렉스의 AI 프로젝트와 상담 준비 자료를 살펴보세요. AI 기술·특허 업무 살펴보기 티스토리 원문 이 글은 표시된 게시일을 기준으로 작성된 자료입니다. 개별 사안에 대한 검토는 상담을 통해 안내합니다. 관련 업무 상담 ↗ 전체 글 보기 ON THIS PAGE 1. 모든 고객 문의에 같은 모델을 써야 할까요? 2. 답변을 먼저 만든 뒤 점수로 다음 호출을 정합니다 3. 가상의 배송 FAQ에 두 질문을 넣어 봅니다 4. 금융 뉴스 제목 분류에서 비용 차이는 어땠을까요? 5. 비용과 대기 시간, 답변 품질은 따로 살펴야 합니다 6. 개발팀이 시험하고 기록할 수 있는 항목 TALK TO IPLEX 우리 기업에 맞는 IP 전략이 필요하다면 기술과 사업의 상황에 맞춰 필요한 업무를 함께 살펴봅니다. ↗ 상담 문의 최근 글 등록 전 만든 제품, 계속 쓰면 특허침해? ↗ 이전 글 디자인 수정 요청, 공동창작이 될까 ↗ 함께 읽을 인사이트 인공지능 2026.11.19 마트료시카 임베딩 논문 쉽게 읽기｜벡터 앞부분으로 찾고 전체로 다시 비교하는 이미지 검색 NeurIPS 2022 마트료시카 표현 학습의 여러 길이 공동 학습과 단계별 이미지 검색, ImageNet-1K 실험의 정확도·계산량을 살펴봅니다. ↗ 본문 읽기 인공지능 2026.11.18 바이트댄스 AI 자동 자막 특허｜오디오 트랙별로 받아쓰고 겹치는 자막을 정리하는 원리 바이트댄스 US11837234B2의 트랙별 음성인식과 자막 시간 조정 원리를 살펴보고 CapCut의 공개 편집 절차와 구별합니다. ↗ 본문 읽기 인공지능 2026.11.17 애플 AI 문자 인식 특허｜사진 속 전화번호와 웹 주소를 선택하는 원리 Apple US12001642B2의 문자 위치·유형 감지와 선택 동작을 분석하고 Live Text 및 VisionKit의 공개 설명과 구별합니다. ↗ 본문 읽기

- https://www.iplexlaw.co.kr/
- https://www.iplexlaw.co.kr/%EC%9D%B8%EC%82%AC%EC%9D%B4%ED%8A%B8-%EB%B0%8F-%EB%89%B4%EC%8A%A4/category/ai
- https://lchen001.github.io/papers/2024_FrugalGPT_TMLR.pdf
- https://openreview.net/forum?id=cSimKw5p6R
- https://github.com/stanford-futuredata/FrugalGPT
- https://www.iplexlaw.co.kr/ko/blog/lost-in-the-middle-evidence-position
- https://www.iplexlaw.co.kr/ko/blog/speculative-decoding-draft-parallel-verification
- https://www.iplexlaw.co.kr/ko/ai-patents
- https://iplexlaw.tistory.com/27
- https://www.iplexlaw.co.kr/%EC%97%B0%EB%9D%BD%ED%95%98%EA%B8%B0
- https://www.iplexlaw.co.kr/%EC%9D%B8%EC%82%AC%EC%9D%B4%ED%8A%B8-%EB%B0%8F-%EB%89%B4%EC%8A%A4
- https://www.iplexlaw.co.kr/ko/blog/frugalgpt-answer-scoring-model-cascade#article-27-ko-0
- https://www.iplexlaw.co.kr/ko/blog/frugalgpt-answer-scoring-model-cascade#article-27-ko-1
- https://www.iplexlaw.co.kr/ko/blog/frugalgpt-answer-scoring-model-cascade#article-27-ko-2
- https://www.iplexlaw.co.kr/ko/blog/frugalgpt-answer-scoring-model-cascade#article-27-ko-3
- https://www.iplexlaw.co.kr/ko/blog/frugalgpt-answer-scoring-model-cascade#article-27-ko-4
- https://www.iplexlaw.co.kr/ko/blog/frugalgpt-answer-scoring-model-cascade#article-27-ko-5
- https://www.iplexlaw.co.kr/%EC%97%B0%EB%9D%BD%ED%95%98%EA%B8%B0
- https://www.iplexlaw.co.kr/ko/blog/brunch-case-1964
- https://www.iplexlaw.co.kr/ko/blog/brunch-case-1963
- https://www.iplexlaw.co.kr/ko/blog/matryoshka-prefix-vector-image-retrieval
- https://www.iplexlaw.co.kr/ko/blog/matryoshka-prefix-vector-image-retrieval
- https://www.iplexlaw.co.kr/ko/blog/bytedance-track-based-caption-timing
- https://www.iplexlaw.co.kr/ko/blog/bytedance-track-based-caption-timing
- https://www.iplexlaw.co.kr/ko/blog/apple-recognized-text-contextual-actions
- https://www.iplexlaw.co.kr/ko/blog/apple-recognized-text-contextual-actions
