# Lost in the Middleを読む：根拠文書を置く位置で回答は変わるか

TACL 2024論文の文書順序実験を確認し、根拠の検索と回答への利用を区別する評価方法を架空の旅費精算例で解説します。

Source: https://www.iplexlaw.co.kr/ja/blog/lost-in-the-middle-evidence-position

ホーム / ニュース・知財情報 ニュース・知財情報 Lost in the Middleを読む：根拠文書を置く位置で回答は変わるか TACL 2024論文の文書順序実験を確認し、根拠の検索と回答への利用を区別する評価方法を架空の旅費精算例で解説します。 人工知能 2026.11.12 公開 IPLEX 約7分で読めます 同じ文書群の中で、正解を含む一つの文書だけを先頭・中央・末尾へ移動する概念図です。 正しい社内規程をAIに渡しても、答えを取り出せないことがあります。Liuらは質問と文書群を固定し、正解を含む文書の位置を変更しました。実験対象の複数モデルでは、中央にある根拠を利用する際の正答率が低下しました。架空の旅費精算の質問を通じ、文書数と順序を別々に評価する方法を考えます。 渡された根拠と回答に使われた根拠 社員が列車運賃の精算に何を添付すべきか質問したとします。検索結果には旅費規程、出張承認、経理手続などが含まれるのに、AIが別の手続を説明します。文書を増やす前に、実際の入力を確認する余地があります。 入力コンテキストは、一つの回答に使う指示、質問、参考資料の組合せです。コンテキストウィンドウは、文章を分割した処理単位であるトークンの最大数に関係します。容量が大きいことだけでは、入力全体の根拠を均等に使えるとはいえません。 本稿はNelson F. LiuらのLost in the Middleについて、2024年にTransactions of the Association for Computational Linguisticsへ掲載された最終版を扱います。 文書群を変えずに位置を動かす 制御実験では、Wikipediaの段落で回答できるNaturalQuestions-Openの質問2,655件を用いました。正解を含む段落一つと、質問には関連するものの注釈付き正解を含まない検索文書を組み合わせています。無関係な文書だけを並べる場合より、正解文書を見分けにくい条件です。 位置の比較では同じ文書群の中で正解文書を移動します。長さの比較では正解を含まない文書数を変え、全体を10件、20件、30件にしました。質問ごとの期待される答えは変えません。 正答率は、注釈付き正解のいずれかが出力に含まれるかで計算しています。これは答えへの言及を測る指標です。正しい根拠箇所を引用できたかは、別に評価する必要があります。 架空の旅費規程で比較する 架空の会社が、列車運賃の精算には乗車券の領収書を求めるとします。その規程と、会議室予約、出張承認、経理締切、社内連絡先の文書を渡します。求める答えがあるのは証憑の規程だけです。 その文書を先頭、中央、末尾に置く三つの入力を作ります。質問、指示、ほかの文書の内容は固定し、期待する答えを常に「乗車券の領収書」とします。利用中のサービスのモデルと設定で回答させます。 中央の場合だけ承認手続を答える現象が繰り返されれば、位置の影響を調べる手掛かりになります。一度の誤答で一般化せず、複数の質問と根拠段落について比較します。 20文書の実験で示された結果 図1はGPT-3.5-Turboの0613版に20文書、約4,000トークンを与えた結果です。グラフから読める概数は、正解文書が先頭で76%、中央付近で54～55%、末尾で63%です。中央で低下し、末尾に向かって回復しています。 表1では同モデルが文書なしで56.1%、正解文書一つだけで88.3%でした。中央に置いた一部条件では、文書なしの基準を下回ります。根拠が入力に存在することと、回答に利用できることを分けて測る理由です。 数値は論文の質問、モデル版、入力条件に限られます。同じ10文書・20文書では通常版と16K版の位置別曲線が似ていましたが、現在のすべてのモデルや長文処理に当てはめることはできません。 キーと値の検索、実際の文書検索 別の課題では、ランダムな識別子の組から指定キーに対応する値をそのまま出力させました。文章の意味解釈の負担を減らした課題でも、モデルによっては長い入力や中央の項目で成績が下がりました。 実際にWikipediaを検索する実験は、正解文書を一つ必ず入れる制御実験とは異なります。検索結果には正解文書がない場合も複数ある場合もあり、検索で答えが見つかる割合とモデルの正答率を別々に測りました。 文書を多く取得すると正解を含む割合は増えましたが、回答の正答率は同じようには伸びませんでした。情報の追加、提示順序、入力全体の長さをそれぞれ評価する必要があります。 社内検索で残すと役立つ記録 質問、期待する根拠、モデルへ渡した正確な文書一覧と順序を残します。根拠がなければ検索語処理、索引、順位を調べ、根拠があるのに使われなければ順序や重複段落の比較を設計できます。 複数文書が必要な質問も含めます。期限が一つの規程に、必要な証憑が別の規程にある場合、片方を削ると不完全な回答になります。文書数や位置別正答率とともに、根拠の欠落や引用の適否を評価します。 特許の観点では、候補の順序付け、関連する根拠段落のまとめ方、生成した引用と原資料の照合など、新たに開発した処理を入力・出力と結び付けて記録します。同じ質問とモデルで比較すれば、どの変更がどの失敗を減らしたか説明しやすくなります。 原図の表記と形状を保持しています。資料の内容は本文で説明しています。 数値は論文当時の実験条件によるもので、グラフからの読み取りは概数です。社内規程の例は架空です。 TACL 2024の公式論文ページ 最終掲載版PDF arXivの版履歴とv3 モデル回答と検索知識が食い違うとき――BaiduのRAG処理を読む Googleの文書理解特許：見出し・本文・画像の配置を併せて読み取る仕組み 検索、根拠文書の順序、回答と資料の対応付けを技術として整理する際は、IPLEXのAIプロジェクトと相談準備資料をご覧ください。 AI・特許業務のご案内 Tistory原文 韓国語原文を読む この記事は公表時点の情報に基づいています。個別の事情については、当事務所にご相談ください。 この分野について相談 ↗ 記事一覧 このページの内容 渡された根拠と回答に使われた根拠 文書群を変えずに位置を動かす 架空の旅費規程で比較する 20文書の実験で示された結果 キーと値の検索、実際の文書検索 社内検索で残すと役立つ記録 IPLEXに相談 知的財産の課題を、 ご相談ください。 技術の内容と事業上のご要望を踏まえ、対応方針を共に検討します。 ↗ お問い合わせ 新しい記事 ActiveLLM：ラベル付けする32例をLLMが選ぶ仕組み ↗ 前の記事 スペインの商標出願と権利維持：異議申立て、使用証明、更新 ↗ 関連インサイト 人工知能 2026.11.19 Matryoshka埋め込みによる画像検索：短い先頭部分で候補を選び、全体で再順位付け NeurIPS 2022のMatryoshka Representation Learningを、複数の長さを学習する仕組みとImageNet-1Kの検索実験から解説します。 ↗ 記事を読む 人工知能 2026.11.18 ByteDanceの自動字幕特許：トラック別の文字起こしと表示時間の重なり調整 US11837234B2の音声トラック選択と字幕の時刻調整を、CapCutの公開操作案内と区別して読み解きます。 ↗ 記事を読む 人工知能 2026.11.17 Appleの文字認識特許：写真の電話番号やURLを操作につなぐ US12001642B2の認識文字、画像座標、文字種別、ユーザー入力から操作メニューまでの流れを解説します。 ↗ 記事を読む

- https://www.iplexlaw.co.kr/ja
- https://www.iplexlaw.co.kr/ja/blog/category/ai
- https://aclanthology.org/2024.tacl-1.9/
- https://aclanthology.org/2024.tacl-1.9.pdf
- https://arxiv.org/abs/2307.03172v3
- https://www.iplexlaw.co.kr/ja/blog/baidu-rag-knowledge-conflict-resolution
- https://www.iplexlaw.co.kr/ja/blog/google-layout-aware-document-understanding
- https://www.iplexlaw.co.kr/ja/ai-patents
- https://iplexlaw.tistory.com/23
- https://www.iplexlaw.co.kr/ko/blog/lost-in-the-middle-evidence-position
- https://www.iplexlaw.co.kr/ja/contact
- https://www.iplexlaw.co.kr/ja/blog
- https://www.iplexlaw.co.kr/ja/blog/lost-in-the-middle-evidence-position#article-23-en-0
- https://www.iplexlaw.co.kr/ja/blog/lost-in-the-middle-evidence-position#article-23-en-1
- https://www.iplexlaw.co.kr/ja/blog/lost-in-the-middle-evidence-position#article-23-en-2
- https://www.iplexlaw.co.kr/ja/blog/lost-in-the-middle-evidence-position#article-23-en-3
- https://www.iplexlaw.co.kr/ja/blog/lost-in-the-middle-evidence-position#article-23-en-4
- https://www.iplexlaw.co.kr/ja/blog/lost-in-the-middle-evidence-position#article-23-en-5
- https://www.iplexlaw.co.kr/ja/contact
- https://www.iplexlaw.co.kr/ja/blog/activellm-few-shot-example-selection
- https://www.iplexlaw.co.kr/ja/blog/spain-trademark-filing-guide
- https://www.iplexlaw.co.kr/ja/blog/matryoshka-prefix-vector-image-retrieval
- https://www.iplexlaw.co.kr/ja/blog/matryoshka-prefix-vector-image-retrieval
- https://www.iplexlaw.co.kr/ja/blog/bytedance-track-based-caption-timing
- https://www.iplexlaw.co.kr/ja/blog/bytedance-track-based-caption-timing
- https://www.iplexlaw.co.kr/ja/blog/apple-recognized-text-contextual-actions
- https://www.iplexlaw.co.kr/ja/blog/apple-recognized-text-contextual-actions
