新闻与洞见

读懂Lost in the Middle:答案文档放在什么位置也会影响结果

解读TACL 2024的文档顺序实验及其历史数据,区分检索到证据与模型实际使用证据,并以虚构差旅报销案例说明评估方法。

将同一答案文档分别放在文档集合开头、中间和末尾的示意图
概念对照:保持文档集合不变,仅移动其中包含答案的一份文档。

即使把正确的公司制度交给AI,模型也可能没有回答到点上。Liu等人在保持问题和文档集合不变的情况下,移动包含答案的文档,发现多个受测模型对中间位置证据的利用较弱。本文以虚构差旅报销问题,说明如何分别评估文档数量与排列顺序。

收到证据不等于使用了证据

假设员工询问报销火车票需要附什么材料。检索返回费用制度、出差审批和会计流程,模型却解释了其他手续。继续增加文档之前,可以先检查实际传给模型的内容。

输入上下文由一次回答所需的指令、问题和参考资料组成。上下文窗口限定可处理的token数量,token是模型划分文本的处理单位。能容纳更多内容,并不自动意味着各位置的证据都能得到同样有效的利用。

本文依据Nelson F. Liu等人的Lost in the Middle最终版本,该论文于2024年发表于Transactions of the Association for Computational Linguistics。

保持证据不变,只改变位置

受控任务使用NaturalQuestions-Open中2,655个可由维基百科段落回答的问题。每组输入包含一份有答案的段落,以及检索得到、与问题相关但不含标注答案的干扰文档。相关干扰项比完全无关的材料更能检验选择证据的能力。

评估位置时,在同一集合中移动答案文档。评估长度时,通过改变干扰文档数量,把总数设为10、20或30份。每个问题所期待的答案保持不变。

准确率以输出是否包含任一标注答案计算。这个指标反映是否提及正确答案,并不等于正确引用了支持该答案的段落;证据归属仍需单独评估。

用虚构报销制度进行对照

假设一家虚构公司要求报销铁路运费时附车票收据。将该证明材料制度与会议室预约、出差审批、会计截止日期和内部通讯录一起提供,只有第一份制度包含所问答案。

分别把答案文档放在开头、中间和末尾,保持问题、指令和其他文档内容不变。预期答案始终是“车票收据”,再用实际服务的模型与设置运行三种输入。

如果中间位置反复产生出差审批流程的回答,就有理由进一步检查位置影响。一次错误不足以证明稳定效应,应在多个问题和证据段落上重复同类对照。

20份文档时的实验结果

图1展示GPT-3.5-Turbo的0613版本接收20份文档、约4,000个token的结果。按图读取的近似准确率是:答案文档在首位时76%,中间附近54~55%,末位63%,呈现先下降再回升的趋势。

表1中,同一模型不接收文档时为56.1%,只接收唯一答案文档时为88.3%。某些中间位置的结果甚至低于无文档基线,因此应分别衡量证据是否送达及是否被有效使用。

这些数值仅对应论文的问题、模型版本和提示条件。在相同10份和20份文档条件下,普通版与16K版的位置曲线相近。这不能直接说明当前所有模型或所有长上下文应用的表现。

键值查找与真实检索

另一项任务让模型从随机生成的标识符配对中,原样输出指定键对应的值,以减少语义理解负担。部分模型表现稳定,另一些则在输入变长或目标位于中间时更容易失误。

真实维基百科检索实验不同于强制包含一份答案文档的受控任务:返回材料可能没有答案,也可能多份包含答案。研究分别统计检索覆盖答案的比例与阅读模型输出正确答案的比例。

增加检索文档提高了答案覆盖,但回答准确率没有按同样幅度持续提高。新增信息、呈现顺序和整体输入长度应分别评估。

企业检索需要保留哪些记录

保存问题、预期证据以及实际送入模型的文档清单和顺序。缺少证据时检查查询处理、索引和排序;证据存在却未使用时,可比较顺序变化或重复段落的影响。

还应包含需要多份文档的问题。一份制度给出期限,另一份给出凭证要求,删去任何一份都可能使回答不完整。除数量和位置准确率外,也要评估证据缺失及引用与原制度是否一致。

从专利角度整理技术时,可记录团队新增的候选排序规则、关联证据分组方式及生成引用与原文的核对流程,并明确输入输出。固定问题和模型,有助于说明哪项处理改动减少了哪类失败。

图中保留原始标注与形态,相关内容在正文中说明。

文中百分比仅指论文当时的实验;图表读数为近似值。公司制度案例为虚构示例。

TACL 2024官方论文页面

最终发表版本PDF

arXiv版本记录与v3

模型回答与检索知识冲突时,百度的RAG方案如何处理

谷歌文档理解专利:结合标题、正文与图像的布局读取文档

如需整理检索、证据排序及回答依据关联的方法,可查看IPLEX的AI项目与咨询准备资料。

了解金容德专利代理师的AI专业经验

Tistory原文

查看韩文原文

本文基于发表时的情况撰写。如需就具体事项咨询,请联系IPLEX。
咨询相关业务 ↗全部文章

与IPLEX探讨技术保护与知识产权布局的下一步。