ニュース・知財情報

Lost in the Middleを読む:根拠文書を置く位置で回答は変わるか

TACL 2024論文の文書順序実験を確認し、根拠の検索と回答への利用を区別する評価方法を架空の旅費精算例で解説します。

同じ正解文書を文書群の先頭、中央、末尾に配置した比較図
同じ文書群の中で、正解を含む一つの文書だけを先頭・中央・末尾へ移動する概念図です。

正しい社内規程をAIに渡しても、答えを取り出せないことがあります。Liuらは質問と文書群を固定し、正解を含む文書の位置を変更しました。実験対象の複数モデルでは、中央にある根拠を利用する際の正答率が低下しました。架空の旅費精算の質問を通じ、文書数と順序を別々に評価する方法を考えます。

渡された根拠と回答に使われた根拠

社員が列車運賃の精算に何を添付すべきか質問したとします。検索結果には旅費規程、出張承認、経理手続などが含まれるのに、AIが別の手続を説明します。文書を増やす前に、実際の入力を確認する余地があります。

入力コンテキストは、一つの回答に使う指示、質問、参考資料の組合せです。コンテキストウィンドウは、文章を分割した処理単位であるトークンの最大数に関係します。容量が大きいことだけでは、入力全体の根拠を均等に使えるとはいえません。

本稿はNelson F. LiuらのLost in the Middleについて、2024年にTransactions of the Association for Computational Linguisticsへ掲載された最終版を扱います。

文書群を変えずに位置を動かす

制御実験では、Wikipediaの段落で回答できるNaturalQuestions-Openの質問2,655件を用いました。正解を含む段落一つと、質問には関連するものの注釈付き正解を含まない検索文書を組み合わせています。無関係な文書だけを並べる場合より、正解文書を見分けにくい条件です。

位置の比較では同じ文書群の中で正解文書を移動します。長さの比較では正解を含まない文書数を変え、全体を10件、20件、30件にしました。質問ごとの期待される答えは変えません。

正答率は、注釈付き正解のいずれかが出力に含まれるかで計算しています。これは答えへの言及を測る指標です。正しい根拠箇所を引用できたかは、別に評価する必要があります。

架空の旅費規程で比較する

架空の会社が、列車運賃の精算には乗車券の領収書を求めるとします。その規程と、会議室予約、出張承認、経理締切、社内連絡先の文書を渡します。求める答えがあるのは証憑の規程だけです。

その文書を先頭、中央、末尾に置く三つの入力を作ります。質問、指示、ほかの文書の内容は固定し、期待する答えを常に「乗車券の領収書」とします。利用中のサービスのモデルと設定で回答させます。

中央の場合だけ承認手続を答える現象が繰り返されれば、位置の影響を調べる手掛かりになります。一度の誤答で一般化せず、複数の質問と根拠段落について比較します。

20文書の実験で示された結果

図1はGPT-3.5-Turboの0613版に20文書、約4,000トークンを与えた結果です。グラフから読める概数は、正解文書が先頭で76%、中央付近で54~55%、末尾で63%です。中央で低下し、末尾に向かって回復しています。

表1では同モデルが文書なしで56.1%、正解文書一つだけで88.3%でした。中央に置いた一部条件では、文書なしの基準を下回ります。根拠が入力に存在することと、回答に利用できることを分けて測る理由です。

数値は論文の質問、モデル版、入力条件に限られます。同じ10文書・20文書では通常版と16K版の位置別曲線が似ていましたが、現在のすべてのモデルや長文処理に当てはめることはできません。

キーと値の検索、実際の文書検索

別の課題では、ランダムな識別子の組から指定キーに対応する値をそのまま出力させました。文章の意味解釈の負担を減らした課題でも、モデルによっては長い入力や中央の項目で成績が下がりました。

実際にWikipediaを検索する実験は、正解文書を一つ必ず入れる制御実験とは異なります。検索結果には正解文書がない場合も複数ある場合もあり、検索で答えが見つかる割合とモデルの正答率を別々に測りました。

文書を多く取得すると正解を含む割合は増えましたが、回答の正答率は同じようには伸びませんでした。情報の追加、提示順序、入力全体の長さをそれぞれ評価する必要があります。

社内検索で残すと役立つ記録

質問、期待する根拠、モデルへ渡した正確な文書一覧と順序を残します。根拠がなければ検索語処理、索引、順位を調べ、根拠があるのに使われなければ順序や重複段落の比較を設計できます。

複数文書が必要な質問も含めます。期限が一つの規程に、必要な証憑が別の規程にある場合、片方を削ると不完全な回答になります。文書数や位置別正答率とともに、根拠の欠落や引用の適否を評価します。

特許の観点では、候補の順序付け、関連する根拠段落のまとめ方、生成した引用と原資料の照合など、新たに開発した処理を入力・出力と結び付けて記録します。同じ質問とモデルで比較すれば、どの変更がどの失敗を減らしたか説明しやすくなります。

原図の表記と形状を保持しています。資料の内容は本文で説明しています。

数値は論文当時の実験条件によるもので、グラフからの読み取りは概数です。社内規程の例は架空です。

TACL 2024の公式論文ページ

最終掲載版PDF

arXivの版履歴とv3

モデル回答と検索知識が食い違うとき――BaiduのRAG処理を読む

Googleの文書理解特許:見出し・本文・画像の配置を併せて読み取る仕組み

検索、根拠文書の順序、回答と資料の対応付けを技術として整理する際は、IPLEXのAIプロジェクトと相談準備資料をご覧ください。

AI・特許業務のご案内

Tistory原文

韓国語原文を読む

この記事は公表時点の情報に基づいています。個別の事情については、当事務所にご相談ください。
この分野について相談 ↗記事一覧

技術と知的財産の次の一歩を、IPLEXと。