# Lost in the Middle: почему важно положение документа с ответом

Разбор статьи TACL 2024: порядок документов, контролируемые эксперименты и различие между поиском нужных сведений и их использованием в ответе.

Source: https://www.iplexlaw.co.kr/ru/blog/lost-in-the-middle-evidence-position

ГЛАВНАЯ / Новости и аналитика Новости и аналитика Lost in the Middle: почему важно положение документа с ответом Разбор статьи TACL 2024: порядок документов, контролируемые эксперименты и различие между поиском нужных сведений и их использованием в ответе. Искусственный интеллект 2026.11.12 Опубликовано IPLEX Время чтения: 7 мин. Условное сравнение: набор документов сохраняется, а документ с ответом перемещается в начало, середину и конец. Ассистент может получить нужное положение компании и всё же не найти ответ. Лю и соавторы меняли позицию документа с ответом при неизменных вопросе и наборе материалов. У нескольких исследованных моделей сведения из середины использовались хуже. Условный пример с командировочными расходами показывает, как отдельно оценивать количество и порядок документов. Полученные сведения и использованные сведения Допустим, сотрудник спрашивает, что приложить для возмещения проезда поездом. Поиск возвращает положение о расходах, правила согласования и бухгалтерские процедуры, но ассистент объясняет другой порядок. Прежде чем добавлять материалы, стоит изучить фактический вход модели. Входной контекст включает инструкции, вопрос и справочные документы. Контекстное окно ограничивает число токенов — единиц обработки текста. Большая вместимость сама по себе не означает одинаково эффективного использования всех частей входа. Здесь рассматривается итоговая версия Lost in the Middle Нельсона Ф. Лю и соавторов, опубликованная в Transactions of the Association for Computational Linguistics в 2024 году. Меняется позиция, но не набор сведений В контролируемой задаче использованы 2 655 вопросов NaturalQuestions-Open, на которые можно ответить по абзацам Wikipedia. Вход включал один фрагмент с ответом и найденные поиском тематически близкие отвлекающие документы без размеченного ответа. Это сложнее, чем окружить нужный текст совершенно посторонними материалами. При оценке позиции документ перемещали внутри одного набора. Для сравнения длины меняли число отвлекающих документов, получая наборы из 10, 20 или 30 материалов. Ожидаемый ответ оставался прежним. Правильность определялась по наличию в выводе хотя бы одного размеченного ответа. Такая метрика показывает упоминание ответа, но не правильность ссылки на подтверждающий фрагмент; цитирование нужно оценивать отдельно. Условный пример с командировочными документами Предположим, вымышленная компания требует квитанцию на железнодорожный билет. Вместе с этим правилом передаются инструкции по бронированию переговорных, согласованию командировок, бухгалтерским срокам и внутренние контакты. Ответ находится только в положении о подтверждающих документах. Расположим нужный документ в начале, середине и конце трёх входов, сохранив вопрос, инструкции и остальные тексты. Во всех случаях ожидается «квитанция на железнодорожный билет». Проверка проводится на модели и настройках реального сервиса. Если при центральной позиции неоднократно появляется ответ о согласовании поездки, записи показывают направление исследования. Один ошибочный ответ не подтверждает устойчивый эффект: сравнение следует провести для разных вопросов и фрагментов. Результаты для двадцати документов На рисунке 1 показан GPT-3.5-Turbo версии 0613 с 20 документами, примерно 4 000 токенов. Приблизительное считывание графика даёт 76% для первого места, 54–55% около середины и 63% для последнего. После снижения показатель вновь растёт. В таблице 1 та же модель дала 56,1% без документов и 88,3% при единственном документе с ответом. Некоторые центральные позиции оказались хуже режима без документов. Передачу нужных сведений и их успешное использование следует измерять раздельно. Числа относятся к вопросам, версиям моделей и условиям статьи. Обычная и 16K-версия имели сходные позиционные кривые при одинаковых наборах из 10 и 20 документов. Эти результаты нельзя автоматически переносить на современные модели и любые длинные контексты. Поиск значения по ключу и реальный поиск документов В отдельной задаче требовалось дословно вернуть значение заданного ключа из случайно сформированных пар идентификаторов. Это уменьшало нагрузку смыслового анализа. Одни модели справлялись устойчиво, другие ошибались чаще при увеличении длины или центральном положении цели. При реальном поиске в Wikipedia не гарантировался ровно один документ с ответом: таких документов могло не быть или быть несколько. Исследователи отдельно измеряли, найден ли ответ поиском и выдан ли он читающей моделью. Дополнительные документы увеличивали охват ответов поиском, но правильность итоговых ответов росла не в той же мере. Поэтому объём новых сведений, порядок предъявления и общую длину входа полезно оценивать отдельно. Какие записи нужны для внутреннего поиска Сохраняйте вопрос, ожидаемый источник ответа, точный список и порядок переданных документов. Если сведения не найдены, исследуйте обработку запроса, индекс и ранжирование. Если они присутствуют, но не использованы, сравнивайте порядок или повторяющиеся фрагменты при одинаковых условиях. Включайте вопросы, которым нужны несколько документов. Срок из одного положения и перечень приложений из другого должны сохраниться при сокращении контекста. Помимо количества и позиции оценивайте пропуски сведений и соответствие цитат исходным правилам. Для технического описания в связи с патентованием фиксируйте новые правила упорядочения кандидатов, объединения зависимых фрагментов и сопоставления сгенерированных ссылок с источниками. Одинаковые вопрос и модель помогают показать, какое изменение уменьшило конкретный сбой. Сохранены исходные обозначения и формы; содержание раскрыто в тексте. Проценты относятся к историческим экспериментам статьи; значения с графика приблизительны. Пример корпоративных правил вымышлен. Официальная страница статьи TACL 2024 PDF окончательной опубликованной версии История версий arXiv и v3 Как Baidu обрабатывает противоречия между ответом модели и найденными знаниями Патент Google на понимание документов: совместный анализ заголовков, текста, изображений и их расположения Материалы об AI-проектах IPLEX помогут подготовить обсуждение поиска, порядка подтверждающих документов и обоснования ответов. Опыт патентного поверенного Ким Ёндока в области ИИ Исходная публикация в Tistory Прочитать корейский оригинал Материал отражает ситуацию на дату публикации. Обратитесь в IPLEX, чтобы обсудить обстоятельства вашего дела. Обсудить этот вопрос ↗ Все статьи НА ЭТОЙ СТРАНИЦЕ Полученные сведения и использованные сведения Меняется позиция, но не набор сведений Условный пример с командировочными документами Результаты для двадцати документов Поиск значения по ключу и реальный поиск документов Какие записи нужны для внутреннего поиска ОБРАТИТЕСЬ В IPLEX Обсудите с нами вопросы интеллектуальной собственности Мы рассматриваем ваши технологические и бизнес-потребности вместе. ↗ Связаться с нами Новее ActiveLLM: языковая модель выбирает 32 примера для разметки ↗ Ранее Товарные знаки в Испании: подача заявки, использование и продление ↗ Материалы по теме Искусственный интеллект 2026.11.19 Эмбеддинги Matryoshka для поиска изображений: отбор по префиксу и ранжирование по полному вектору Разбираем Matryoshka Representation Learning: обучение вложенных представлений и результаты поиска на ImageNet-1K из NeurIPS 2022. ↗ Читать статью Искусственный интеллект 2026.11.18 Патент ByteDance на субтитры: распознавание отдельных дорожек и устранение наложения по времени Разбираем US11837234B2: выбор аудиодорожек и изменение времени субтитров, отдельно от публичных инструкций CapCut. ↗ Читать статью Искусственный интеллект 2026.11.17 Распознанный текст Apple: от номера или URL к подходящему действию US12001642B2 связывает распознанный текст, координаты, тип данных и ввод пользователя с контекстными меню и действиями. ↗ Читать статью

- https://www.iplexlaw.co.kr/ru
- https://www.iplexlaw.co.kr/ru/blog/category/ai
- https://aclanthology.org/2024.tacl-1.9/
- https://aclanthology.org/2024.tacl-1.9.pdf
- https://arxiv.org/abs/2307.03172v3
- https://www.iplexlaw.co.kr/ru/blog/baidu-rag-knowledge-conflict-resolution
- https://www.iplexlaw.co.kr/ru/blog/google-layout-aware-document-understanding
- https://www.iplexlaw.co.kr/ru/ai-patents
- https://iplexlaw.tistory.com/23
- https://www.iplexlaw.co.kr/ko/blog/lost-in-the-middle-evidence-position
- https://www.iplexlaw.co.kr/ru/contact
- https://www.iplexlaw.co.kr/ru/blog
- https://www.iplexlaw.co.kr/ru/blog/lost-in-the-middle-evidence-position#article-23-en-0
- https://www.iplexlaw.co.kr/ru/blog/lost-in-the-middle-evidence-position#article-23-en-1
- https://www.iplexlaw.co.kr/ru/blog/lost-in-the-middle-evidence-position#article-23-en-2
- https://www.iplexlaw.co.kr/ru/blog/lost-in-the-middle-evidence-position#article-23-en-3
- https://www.iplexlaw.co.kr/ru/blog/lost-in-the-middle-evidence-position#article-23-en-4
- https://www.iplexlaw.co.kr/ru/blog/lost-in-the-middle-evidence-position#article-23-en-5
- https://www.iplexlaw.co.kr/ru/contact
- https://www.iplexlaw.co.kr/ru/blog/activellm-few-shot-example-selection
- https://www.iplexlaw.co.kr/ru/blog/spain-trademark-filing-guide
- https://www.iplexlaw.co.kr/ru/blog/matryoshka-prefix-vector-image-retrieval
- https://www.iplexlaw.co.kr/ru/blog/matryoshka-prefix-vector-image-retrieval
- https://www.iplexlaw.co.kr/ru/blog/bytedance-track-based-caption-timing
- https://www.iplexlaw.co.kr/ru/blog/bytedance-track-based-caption-timing
- https://www.iplexlaw.co.kr/ru/blog/apple-recognized-text-contextual-actions
- https://www.iplexlaw.co.kr/ru/blog/apple-recognized-text-contextual-actions
