# 读懂Lost in the Middle：答案文档放在什么位置也会影响结果

解读TACL 2024的文档顺序实验及其历史数据，区分检索到证据与模型实际使用证据，并以虚构差旅报销案例说明评估方法。

Source: https://www.iplexlaw.co.kr/zh/blog/lost-in-the-middle-evidence-position

首页 / 新闻与洞见 新闻与洞见 读懂Lost in the Middle：答案文档放在什么位置也会影响结果 解读TACL 2024的文档顺序实验及其历史数据，区分检索到证据与模型实际使用证据，并以虚构差旅报销案例说明评估方法。 人工智能 2026.11.12 已出版 IPLEX 阅读约7分钟 概念对照：保持文档集合不变，仅移动其中包含答案的一份文档。 即使把正确的公司制度交给AI，模型也可能没有回答到点上。Liu等人在保持问题和文档集合不变的情况下，移动包含答案的文档，发现多个受测模型对中间位置证据的利用较弱。本文以虚构差旅报销问题，说明如何分别评估文档数量与排列顺序。 收到证据不等于使用了证据 假设员工询问报销火车票需要附什么材料。检索返回费用制度、出差审批和会计流程，模型却解释了其他手续。继续增加文档之前，可以先检查实际传给模型的内容。 输入上下文由一次回答所需的指令、问题和参考资料组成。上下文窗口限定可处理的token数量，token是模型划分文本的处理单位。能容纳更多内容，并不自动意味着各位置的证据都能得到同样有效的利用。 本文依据Nelson F. Liu等人的Lost in the Middle最终版本，该论文于2024年发表于Transactions of the Association for Computational Linguistics。 保持证据不变，只改变位置 受控任务使用NaturalQuestions-Open中2,655个可由维基百科段落回答的问题。每组输入包含一份有答案的段落，以及检索得到、与问题相关但不含标注答案的干扰文档。相关干扰项比完全无关的材料更能检验选择证据的能力。 评估位置时，在同一集合中移动答案文档。评估长度时，通过改变干扰文档数量，把总数设为10、20或30份。每个问题所期待的答案保持不变。 准确率以输出是否包含任一标注答案计算。这个指标反映是否提及正确答案，并不等于正确引用了支持该答案的段落；证据归属仍需单独评估。 用虚构报销制度进行对照 假设一家虚构公司要求报销铁路运费时附车票收据。将该证明材料制度与会议室预约、出差审批、会计截止日期和内部通讯录一起提供，只有第一份制度包含所问答案。 分别把答案文档放在开头、中间和末尾，保持问题、指令和其他文档内容不变。预期答案始终是“车票收据”，再用实际服务的模型与设置运行三种输入。 如果中间位置反复产生出差审批流程的回答，就有理由进一步检查位置影响。一次错误不足以证明稳定效应，应在多个问题和证据段落上重复同类对照。 20份文档时的实验结果 图1展示GPT-3.5-Turbo的0613版本接收20份文档、约4,000个token的结果。按图读取的近似准确率是：答案文档在首位时76%，中间附近54～55%，末位63%，呈现先下降再回升的趋势。 表1中，同一模型不接收文档时为56.1%，只接收唯一答案文档时为88.3%。某些中间位置的结果甚至低于无文档基线，因此应分别衡量证据是否送达及是否被有效使用。 这些数值仅对应论文的问题、模型版本和提示条件。在相同10份和20份文档条件下，普通版与16K版的位置曲线相近。这不能直接说明当前所有模型或所有长上下文应用的表现。 键值查找与真实检索 另一项任务让模型从随机生成的标识符配对中，原样输出指定键对应的值，以减少语义理解负担。部分模型表现稳定，另一些则在输入变长或目标位于中间时更容易失误。 真实维基百科检索实验不同于强制包含一份答案文档的受控任务：返回材料可能没有答案，也可能多份包含答案。研究分别统计检索覆盖答案的比例与阅读模型输出正确答案的比例。 增加检索文档提高了答案覆盖，但回答准确率没有按同样幅度持续提高。新增信息、呈现顺序和整体输入长度应分别评估。 企业检索需要保留哪些记录 保存问题、预期证据以及实际送入模型的文档清单和顺序。缺少证据时检查查询处理、索引和排序；证据存在却未使用时，可比较顺序变化或重复段落的影响。 还应包含需要多份文档的问题。一份制度给出期限，另一份给出凭证要求，删去任何一份都可能使回答不完整。除数量和位置准确率外，也要评估证据缺失及引用与原制度是否一致。 从专利角度整理技术时，可记录团队新增的候选排序规则、关联证据分组方式及生成引用与原文的核对流程，并明确输入输出。固定问题和模型，有助于说明哪项处理改动减少了哪类失败。 图中保留原始标注与形态，相关内容在正文中说明。 文中百分比仅指论文当时的实验；图表读数为近似值。公司制度案例为虚构示例。 TACL 2024官方论文页面 最终发表版本PDF arXiv版本记录与v3 模型回答与检索知识冲突时，百度的RAG方案如何处理 谷歌文档理解专利：结合标题、正文与图像的布局读取文档 如需整理检索、证据排序及回答依据关联的方法，可查看IPLEX的AI项目与咨询准备资料。 了解金容德专利代理师的AI专业经验 Tistory原文 查看韩文原文 本文基于发表时的情况撰写。如需就具体事项咨询，请联系IPLEX。 咨询相关业务 ↗ 全部文章 本页目录 收到证据不等于使用了证据 保持证据不变，只改变位置 用虚构报销制度进行对照 20份文档时的实验结果 键值查找与真实检索 企业检索需要保留哪些记录 咨询IPLEX 与我们讨论您的需求 保护、维权与管理。 我们将与您共同分析技术与业务需求。 ↗ 联系我们 较新文章 ActiveLLM：让大语言模型选择需要标注的32个样本 ↗ 较早文章 西班牙商标申请与维护：异议、使用证据及续展 ↗ 相关解读 人工智能 2026.11.19 Matryoshka嵌入与图像检索：用向量前缀筛选，再用完整向量重排 解读NeurIPS 2022的Matryoshka Representation Learning、不同长度的联合训练及ImageNet-1K检索实验。 ↗ 阅读全文 人工智能 2026.11.18 字节跳动自动字幕专利：分轨识别语音，再调整字幕重叠时间 解读US11837234B2的音轨选择与字幕时间调整，并区分专利公开内容和CapCut的公开操作说明。 ↗ 阅读全文 人工智能 2026.11.17 苹果文字识别专利：把照片中的电话号码与网址连接到操作 解析US12001642B2中识别文本、图像坐标、文本类型和用户输入如何共同决定菜单与操作。 ↗ 阅读全文

- https://www.iplexlaw.co.kr/zh
- https://www.iplexlaw.co.kr/zh/blog/category/ai
- https://aclanthology.org/2024.tacl-1.9/
- https://aclanthology.org/2024.tacl-1.9.pdf
- https://arxiv.org/abs/2307.03172v3
- https://www.iplexlaw.co.kr/zh/blog/baidu-rag-knowledge-conflict-resolution
- https://www.iplexlaw.co.kr/zh/blog/google-layout-aware-document-understanding
- https://www.iplexlaw.co.kr/zh/ai-patents
- https://iplexlaw.tistory.com/23
- https://www.iplexlaw.co.kr/ko/blog/lost-in-the-middle-evidence-position
- https://www.iplexlaw.co.kr/zh/contact
- https://www.iplexlaw.co.kr/zh/blog
- https://www.iplexlaw.co.kr/zh/blog/lost-in-the-middle-evidence-position#article-23-en-0
- https://www.iplexlaw.co.kr/zh/blog/lost-in-the-middle-evidence-position#article-23-en-1
- https://www.iplexlaw.co.kr/zh/blog/lost-in-the-middle-evidence-position#article-23-en-2
- https://www.iplexlaw.co.kr/zh/blog/lost-in-the-middle-evidence-position#article-23-en-3
- https://www.iplexlaw.co.kr/zh/blog/lost-in-the-middle-evidence-position#article-23-en-4
- https://www.iplexlaw.co.kr/zh/blog/lost-in-the-middle-evidence-position#article-23-en-5
- https://www.iplexlaw.co.kr/zh/contact
- https://www.iplexlaw.co.kr/zh/blog/activellm-few-shot-example-selection
- https://www.iplexlaw.co.kr/zh/blog/spain-trademark-filing-guide
- https://www.iplexlaw.co.kr/zh/blog/matryoshka-prefix-vector-image-retrieval
- https://www.iplexlaw.co.kr/zh/blog/matryoshka-prefix-vector-image-retrieval
- https://www.iplexlaw.co.kr/zh/blog/bytedance-track-based-caption-timing
- https://www.iplexlaw.co.kr/zh/blog/bytedance-track-based-caption-timing
- https://www.iplexlaw.co.kr/zh/blog/apple-recognized-text-contextual-actions
- https://www.iplexlaw.co.kr/zh/blog/apple-recognized-text-contextual-actions
