# FrugalGPT：用答案评分决定是否继续调用模型

解析TMLR 2024论文的答案评分级联、历史成本数据，以及用于业务问答时的边界。

Source: https://www.iplexlaw.co.kr/zh/blog/frugalgpt-answer-scoring-model-cascade

首页 / 新闻与洞见 新闻与洞见 FrugalGPT：用答案评分决定是否继续调用模型 解析TMLR 2024论文的答案评分级联、历史成本数据，以及用于业务问答时的边界。 人工智能 2026.11.15 已出版 IPLEX 阅读约8分钟 先评估实际生成的答案，再决定后续调用。 FrugalGPT先学习模型顺序与停止阈值，再根据已经生成的答案决定是否调用下一模型。它利用的是问题和实际答案，而不是仅凭输入提示预先分配模型。 1. 生成答案后再决定是否继续 Lingjiao Chen等人在TMLR 2024最终论文中描述：模型先作答，独立评分器评估答案，再由阈值决定返回结果还是继续级联。 继续时，下一个模型对同一问题生成新的答案。因此实际调用次数取决于运行过程中得到的回答。 模型顺序和阈值在平均预算约束下联合优化，并不保证每一个问题的成本都低于单模型调用。 2. 分数并非正确性的保证 论文实现采用基于DistilBERT的评分器，针对不同API分别训练。输入是问题与该API的答案，训练标签是答案是否正确。 这一分数是外部模型对质量的预测，不是回答模型的自信程度；高分答案仍可能有误。 提高停止阈值通常意味着增加调用和成本，以争取更高的回答质量。顺序与阈值需要作为整体评价。 即使最终选用后一个答案，前面的生成与评分成本也已经发生。优化对象是多个问题上的预期质量和平均支出。 3. 两个假设的配送问题 如果用户只问在哪里查看配送状态，第一个模型可能已给出足够的答案。评分达到阈值后，即可停止，不再调用第二个模型。 节省的是后续调用，而不是首次生成和评分。答案看起来合理，也不意味着系统已经查询了客户订单。 若问题涉及多个仓库、一部分商品已发货以及修改地址，条件就更复杂。第一份答案若只说修改全部商品地址，忽略发货状态差异，就可能触发再次生成。 后续答案应保留需要核实的条件。订单事实仍不明确时，查询订单界面或转人工是另一步骤；多调用语言模型不会自行修改订单。 4. 如何理解论文中的节省比例 主要实验使用6家提供者的14个API，价格及结果采集于2023年3月。数据一半用于训练、一半用于测试，该实验每个问题最多调用3个模型。 简单问题与多条件问题展示不同的停止决策。 在金融新闻标题四分类任务HEADLINES上，表2报告相同准确率下GPT-4成本为33.1美元，FrugalGPT为0.6美元，节省比例为98.3%。这些是经过取整的历史实验数据，不代表现行价格或普遍保证。 最终论文还用2024年的新模型在HEADLINES和SCIQ上进行了比较，并在该组实验内保持相同提示和温度。其模型、价格条件与主要实验不同。 5. 成本下降不等于所有指标改善 串行调用可能降低平均API支出，却增加较慢请求的延迟。实际评估还应计入评分器、人工升级处理和延迟分布。 分类基准上的成功不能直接证明系统能可靠回答复杂配送规则。应检查必要条件、例外情况以及无根据声称已查询客户数据的问题。 规则、查询分布或模型发生变化后，原有评分关系也可能失效。需要在目标业务上重新评价，不能直接沿用过去的节省比例。 6. 技术说明需要保留什么 记录各阶段调用的模型、生成答案、评分、阈值及停止或继续的原因，并明确回答必须覆盖哪些条件。 与只根据问题进行预路由的基线比较，才能说明观察答案后再选择的作用，也应区别于单纯增加调用次数。 技术交底应说明评分器输入、学习得到的决策规则、升级处理和后续输入的修改方式。仅罗列模型品牌不能完整说明产生效果的处理流程。 图中保留原始标注与形态，相关内容在正文中说明。 配送场景为假设示例；成本和比例仅描述论文当时的实验条件。 TMLR 2024最终论文 OpenReview论文记录 Stanford FrugalGPT研究代码库 读懂Lost in the Middle：答案文档放在什么位置也会影响结果 读懂推测解码论文：用小模型草稿加快大语言模型响应 可通过IPLEX的AI项目及咨询准备资料，了解模型选择、质量评分和升级处理的技术整理。 了解金容德专利代理师的AI专业经验 Tistory原文 查看韩文原文 本文基于发表时的情况撰写。如需就具体事项咨询，请联系IPLEX。 咨询相关业务 ↗ 全部文章 本页目录 1. 生成答案后再决定是否继续 2. 分数并非正确性的保证 3. 两个假设的配送问题 4. 如何理解论文中的节省比例 5. 成本下降不等于所有指标改善 6. 技术说明需要保留什么 咨询IPLEX 与我们讨论您的需求 保护、维权与管理。 我们将与您共同分析技术与业务需求。 ↗ 联系我们 较新文章 在专利授权前购买，能否继续商业使用而不侵权？ ↗ 较早文章 客户要求调整位置，是否就成为外观设计共同创作者？ ↗ 相关解读 人工智能 2026.11.19 Matryoshka嵌入与图像检索：用向量前缀筛选，再用完整向量重排 解读NeurIPS 2022的Matryoshka Representation Learning、不同长度的联合训练及ImageNet-1K检索实验。 ↗ 阅读全文 人工智能 2026.11.18 字节跳动自动字幕专利：分轨识别语音，再调整字幕重叠时间 解读US11837234B2的音轨选择与字幕时间调整，并区分专利公开内容和CapCut的公开操作说明。 ↗ 阅读全文 人工智能 2026.11.17 苹果文字识别专利：把照片中的电话号码与网址连接到操作 解析US12001642B2中识别文本、图像坐标、文本类型和用户输入如何共同决定菜单与操作。 ↗ 阅读全文

- https://www.iplexlaw.co.kr/zh
- https://www.iplexlaw.co.kr/zh/blog/category/ai
- https://lchen001.github.io/papers/2024_FrugalGPT_TMLR.pdf
- https://openreview.net/forum?id=cSimKw5p6R
- https://github.com/stanford-futuredata/FrugalGPT
- https://www.iplexlaw.co.kr/zh/blog/lost-in-the-middle-evidence-position
- https://www.iplexlaw.co.kr/zh/blog/speculative-decoding-draft-parallel-verification
- https://www.iplexlaw.co.kr/zh/ai-patents
- https://iplexlaw.tistory.com/27
- https://www.iplexlaw.co.kr/ko/blog/frugalgpt-answer-scoring-model-cascade
- https://www.iplexlaw.co.kr/zh/contact
- https://www.iplexlaw.co.kr/zh/blog
- https://www.iplexlaw.co.kr/zh/blog/frugalgpt-answer-scoring-model-cascade#article-27-en-0
- https://www.iplexlaw.co.kr/zh/blog/frugalgpt-answer-scoring-model-cascade#article-27-en-1
- https://www.iplexlaw.co.kr/zh/blog/frugalgpt-answer-scoring-model-cascade#article-27-en-2
- https://www.iplexlaw.co.kr/zh/blog/frugalgpt-answer-scoring-model-cascade#article-27-en-3
- https://www.iplexlaw.co.kr/zh/blog/frugalgpt-answer-scoring-model-cascade#article-27-en-4
- https://www.iplexlaw.co.kr/zh/blog/frugalgpt-answer-scoring-model-cascade#article-27-en-5
- https://www.iplexlaw.co.kr/zh/contact
- https://www.iplexlaw.co.kr/zh/blog/brunch-case-1964
- https://www.iplexlaw.co.kr/zh/blog/brunch-case-1963
- https://www.iplexlaw.co.kr/zh/blog/matryoshka-prefix-vector-image-retrieval
- https://www.iplexlaw.co.kr/zh/blog/matryoshka-prefix-vector-image-retrieval
- https://www.iplexlaw.co.kr/zh/blog/bytedance-track-based-caption-timing
- https://www.iplexlaw.co.kr/zh/blog/bytedance-track-based-caption-timing
- https://www.iplexlaw.co.kr/zh/blog/apple-recognized-text-contextual-actions
- https://www.iplexlaw.co.kr/zh/blog/apple-recognized-text-contextual-actions
