新闻与洞见

FrugalGPT:用答案评分决定是否继续调用模型

解析TMLR 2024论文的答案评分级联、历史成本数据,以及用于业务问答时的边界。

先评估实际生成的答案,再决定后续调用。
先评估实际生成的答案,再决定后续调用。

FrugalGPT先学习模型顺序与停止阈值,再根据已经生成的答案决定是否调用下一模型。它利用的是问题和实际答案,而不是仅凭输入提示预先分配模型。

1. 生成答案后再决定是否继续

Lingjiao Chen等人在TMLR 2024最终论文中描述:模型先作答,独立评分器评估答案,再由阈值决定返回结果还是继续级联。

继续时,下一个模型对同一问题生成新的答案。因此实际调用次数取决于运行过程中得到的回答。

模型顺序和阈值在平均预算约束下联合优化,并不保证每一个问题的成本都低于单模型调用。

2. 分数并非正确性的保证

论文实现采用基于DistilBERT的评分器,针对不同API分别训练。输入是问题与该API的答案,训练标签是答案是否正确。

这一分数是外部模型对质量的预测,不是回答模型的自信程度;高分答案仍可能有误。

提高停止阈值通常意味着增加调用和成本,以争取更高的回答质量。顺序与阈值需要作为整体评价。

即使最终选用后一个答案,前面的生成与评分成本也已经发生。优化对象是多个问题上的预期质量和平均支出。

3. 两个假设的配送问题

如果用户只问在哪里查看配送状态,第一个模型可能已给出足够的答案。评分达到阈值后,即可停止,不再调用第二个模型。

节省的是后续调用,而不是首次生成和评分。答案看起来合理,也不意味着系统已经查询了客户订单。

若问题涉及多个仓库、一部分商品已发货以及修改地址,条件就更复杂。第一份答案若只说修改全部商品地址,忽略发货状态差异,就可能触发再次生成。

后续答案应保留需要核实的条件。订单事实仍不明确时,查询订单界面或转人工是另一步骤;多调用语言模型不会自行修改订单。

4. 如何理解论文中的节省比例

主要实验使用6家提供者的14个API,价格及结果采集于2023年3月。数据一半用于训练、一半用于测试,该实验每个问题最多调用3个模型。

简单问题与多条件问题展示不同的停止决策。
简单问题与多条件问题展示不同的停止决策。

在金融新闻标题四分类任务HEADLINES上,表2报告相同准确率下GPT-4成本为33.1美元,FrugalGPT为0.6美元,节省比例为98.3%。这些是经过取整的历史实验数据,不代表现行价格或普遍保证。

最终论文还用2024年的新模型在HEADLINES和SCIQ上进行了比较,并在该组实验内保持相同提示和温度。其模型、价格条件与主要实验不同。

5. 成本下降不等于所有指标改善

串行调用可能降低平均API支出,却增加较慢请求的延迟。实际评估还应计入评分器、人工升级处理和延迟分布。

分类基准上的成功不能直接证明系统能可靠回答复杂配送规则。应检查必要条件、例外情况以及无根据声称已查询客户数据的问题。

规则、查询分布或模型发生变化后,原有评分关系也可能失效。需要在目标业务上重新评价,不能直接沿用过去的节省比例。

6. 技术说明需要保留什么

记录各阶段调用的模型、生成答案、评分、阈值及停止或继续的原因,并明确回答必须覆盖哪些条件。

与只根据问题进行预路由的基线比较,才能说明观察答案后再选择的作用,也应区别于单纯增加调用次数。

技术交底应说明评分器输入、学习得到的决策规则、升级处理和后续输入的修改方式。仅罗列模型品牌不能完整说明产生效果的处理流程。

图中保留原始标注与形态,相关内容在正文中说明。

配送场景为假设示例;成本和比例仅描述论文当时的实验条件。

TMLR 2024最终论文

OpenReview论文记录

Stanford FrugalGPT研究代码库

读懂Lost in the Middle:答案文档放在什么位置也会影响结果

读懂推测解码论文:用小模型草稿加快大语言模型响应

可通过IPLEX的AI项目及咨询准备资料,了解模型选择、质量评分和升级处理的技术整理。

了解金容德专利代理师的AI专业经验

Tistory原文

查看韩文原文

本文基于发表时的情况撰写。如需就具体事项咨询,请联系IPLEX。
咨询相关业务 ↗全部文章

与IPLEX探讨技术保护与知识产权布局的下一步。