# MAD-RAG: как сохранить визуальные основания, когда найденный текст отвлекает модель

Разбираем двойное размещение вопроса и смешивание внимания, отделяя общие показатели, исправленные ошибки и ограничения внедрения.

Source: https://www.iplexlaw.co.kr/ru/blog/mad-rag-visual-attention-distraction

ГЛАВНАЯ / Новости и аналитика Новости и аналитика MAD-RAG: как сохранить визуальные основания, когда найденный текст отвлекает модель Разбираем двойное размещение вопроса и смешивание внимания, отделяя общие показатели, исправленные ошибки и ограничения внедрения. ИИ и программное обеспечение 2026.10.06 Опубликовано IPLEX Время чтения: 13 мин. Иллюстрация сохранения визуальных оснований в MAD-RAG Исследование и поставленная задача Рассматривается работа When RAG Hurts: Diagnosing and Mitigating Attention Distraction in Retrieval-Augmented LVLMs. Авторы: Beidi Zhao, Wenlong Deng, Xinting Liao, Yushu Li, Nazim Shaikh, Yao Nie и Xiaoxiao Li; организации включают подразделение электротехники и компьютерной инженерии Университета Британской Колумбии, Vector Institute и Roche Diagnostics. Использована версия ICML 2026 объёмом 19 страниц: PMLR 306, с. 161272–161290, идентификатор pmlr-v306-zhao26g. Конференция проходила 6–11 июля 2026 года; неподтверждённые DOI и номера arXiv не добавляются. Визуально-языковая модель может правильно ответить по изображению и ошибиться после получения полезного найденного текста. MAD-RAG исследует потерю визуальной опоры при объединении информации и сохраняет представления, обусловленные изображением, без дополнительного обучения и замены поискового компонента. Два вида отвлечения внимания Межмодальное отвлечение уменьшает внимание к токенам изображения после добавления текста. Внутри изображения внимание смещается с значимых для вопроса областей на фон или посторонние участки. Пример с породой кошки показывает: полезные сведения в документе ещё не гарантируют правильного определения визуального объекта. На рисунке 3 приведено относительное уменьшение доли внимания к изображению на 12.1–41.1%, а не снижение точности ответов. При анализе карт убирается влияние токенов, концентрирующих внимание, однако сама визуализация не доказывает весь причинный механизм. Рисунок 3 статьи: доля внимания к токенам изображения Порядок входов и два экземпляра вопроса В причинном декодере для упрощённой последовательности [I, Q, C] токены вопроса Q видят предшествующее изображение I, но не последующий найденный контекст C. Генерируемый ответ может использовать все предшествующие входы. Поэтому представление вопроса и доступная при генерации информация — не одно и то же. MAD-RAG повторяет тот же вопрос: [I, QI, C, QC]. Первый экземпляр формирует визуальную опору, второй объединяет её с контекстом. Образ «сначала сохранить наблюдение» служит пояснением: метод не требует отдельного письменного описания увиденного и не меняет формулировку вопроса. Рисунок 4 статьи: два вопроса и смешивание внимания Смешивание внутренних выходов внимания На каждом слое применяется new O(QC) = α O(QI) + (1−α) O(QC), в основных опытах α = 0.5. Это вмешательство во внутренний расчёт при выводе, а не только инструкция внимательнее смотреть на картинку и не обучение весов. Абляция на OK-VQA сравнивает обычный RAG, перенос вопроса, его дублирование и полный MAD-RAG. Для LLaVA-1.5-7B результаты составили 65.46, 68.17, 69.65 и 70.22; для Qwen2.5-VL-7B — 63.80, 61.92, 63.85 и 64.91. Один лишь перенос вопроса способен ухудшить качество. Условия экспериментов LLaVA-1.5-7B/13B и Qwen2.5-VL-3B/7B проверялись на OK-VQA, E-VQA и InfoSeek с 5,046, 3,750 и 4,708 оценочными вопросами. Использовались одна NVIDIA A100, жадное декодирование и seed 0. Сравнение включало CAD, AdaCAD, ALFAR и методы подавления визуальных галлюцинаций; некоторые сочетания с Qwen несовместимы либо создают текстовые артефакты. Основная таблица использует oracle-контексты для контроля качества поиска. Это не всегда идеальные достоверные документы: OK-VQA содержит строки ответов и возможный шум, E-VQA — релевантные документы авторов набора, InfoSeek — проверенные связи изображений с Wikipedia. Такие показатели нельзя без условий переносить на производственную эксплуатацию. Общие оценки и исключения В таблице 1 LLaVA-1.5-7B улучшает OK-VQA с 65.46 до 70.22, E-VQA с 53.89 до 63.09 и InfoSeek с 44.01 до 50.19. Прирост составляет 4.76, 9.20 и 6.18 процентного пункта, а не относительных процента. Для Qwen2.5-VL-7B изменения равны 63.80→64.91, 82.21→83.31 и 45.71→48.43. Метод не лучший в каждой ячейке: CAD получает 65.45 на OK-VQA с Qwen против 64.91 у MAD-RAG. Исходная таблица сохранена для оценки всей картины. Таблица 1 статьи: результаты моделей и тестов с oracle-контекстом К какой группе относится доля исправлений Рисунок 5 выделяет вопросы, на которые модель без поиска ответила правильно, а обычный RAG — неправильно. С LLaVA-1.5-7B исправлены 74.68% из 346 таких случаев OK-VQA, 70.18% из 114 E-VQA и 44.44% из 81 InfoSeek. Это доли внутри выбранных подмножеств, не общая точность тестов. Есть и новые ошибки там, где обычный RAG отвечал правильно: соответственно 4.75%, 6.83% и 9.73%. Вмешательство следует оценивать по исправлениям и потерям вместе, а не представлять как безусловное улучшение каждого ответа. Рисунок 5 статьи: исправления и новые ошибки по подмножествам Реальный поиск и вычислительные затраты Таблица 3 использует CLIP-L на InfoSeek с LLaVA-1.5-7B. Обычный RAG→MAD-RAG даёт 24.21→27.32 для top-1, 15.68→22.81 для top-3 и 9.86→21.20 для top-5. Метод улучшает каждое сравнение, но большее число фрагментов всё равно снижает его оценку относительно top-1. Проблема качества поиска не исчезает. Значение 50.19 в таблице 1 и 51.08 для трёх oracle-фрагментов в таблице 3 приводятся раздельно, без искусственного согласования. В таблице 2 для LLaVA-1.5-13B указаны 0.34, 0.33 и 0.34 секунды на пример и коэффициенты 1.10×, 1.11× и 1.09×. Дополнительные затраты составляют около 9–11%, а не ноль. Округлённые времена не обязательно точно воспроизводят коэффициенты; они также не определяют задержку других систем. Таблица 3 статьи: результаты при разных поисковых методах и числе фрагментов Таблица 2 статьи: время вывода на пример и относительные затраты Границы применимости Полный метод требует доступа к внутренним вычислениям внимания. Повторение вопроса через закрытый коммерческий API не реализует такое вмешательство. Если исходная визуальная опора ошибочна, её смешивание может распространить ошибку, что отражено в разборе неудачных случаев. Работа не подтверждает результат для любых корейских материалов, длинных документов, медицинских задач или действующих приложений. Адаптивный выбор α и более глубокое теоретическое объяснение остаются направлениями исследования. При внедрении следует раздельно оценивать поиск, визуальную опору и внесённые вмешательством ошибки. Взгляд патентного специалиста Проблема может заключаться не в отсутствии документов, а в ослаблении уже имеющегося визуального основания при слиянии информации. Порядок входов и конкретное сочетание промежуточных представлений — технические решения, отличающиеся от настройки выходных логитов или улучшения поиска. При описании разработки полезно указать тип отказа, затронутый поток данных, место вмешательства и измеряемый эффект с условиями. Экспериментальный выигрыш сам по себе не устанавливает новизну, патентоспособность или патентную чистоту. Необходим отдельный анализ прежних публикаций и формулы прав. Как читать вклад работы MAD-RAG показывает, что сохранение визуальных оснований может быть столь же важным, как добавление текста. Одинаковый вопрос до и после контекста и смешивание внутренних выходов дают конкретный способ исследовать их взаимодействие. Следует различать oracle и реальный поиск, общие оценки и выбранные группы ошибок, исправленные и вновь неверные ответы. Указание этих условий позволяет точнее объяснить результат и пределы метода. Иллюстрации и таблицы приведены как фрагменты с сохранением исходного содержания; пояснения и подписи подготовлены для статьи. Права принадлежат авторам работы; источник указан по CC BY 4.0. Zhao et al., ICML 2026 / PMLR 306:161272–161290 · CC BY 4.0 Услуги по патентованию ИИ Прочитать корейский оригинал Материал отражает ситуацию на дату публикации. Обратитесь в IPLEX, чтобы обсудить обстоятельства вашего дела. Обсудить этот вопрос ↗ Все статьи НА ЭТОЙ СТРАНИЦЕ Исследование и поставленная задача Два вида отвлечения внимания Порядок входов и два экземпляра вопроса Смешивание внутренних выходов внимания Условия экспериментов Общие оценки и исключения К какой группе относится доля исправлений Реальный поиск и вычислительные затраты Границы применимости Взгляд патентного специалиста Как читать вклад работы ОБРАТИТЕСЬ В IPLEX Обсудите с нами вопросы интеллектуальной собственности Мы рассматриваем ваши технологические и бизнес-потребности вместе. ↗ Связаться с нами Новее Патент против патента: допустимость установления объёма охраны в Корее ↗ Ранее Изготовление пресс-форм и косвенное нарушение права на промышленный образец ↗ Материалы по теме ИИ 2026.10.15 PaTH Attention: кодирование пути между токенами Разбор зависящих от входа преобразований Хаусхолдера, отслеживания состояний и экспериментальных возможностей и ограничений PaTH. ↗ Читать статью ИИ 2026.10.14 Huawei Pangu Weather: как связать модели с разными интервалами прогноза Разбор публикации US20250258318A1: выбор временных шагов, передача прогнозных состояний и объединение метеоданных. ↗ Читать статью ИИ 2026.10.13 LaCT: обновление временной памяти ИИ крупными блоками Технический разбор быстрых весов, загрузки GPU, причинного порядка обработки и экспериментальных ограничений LaCT. ↗ Читать статью

- https://www.iplexlaw.co.kr/ru
- https://www.iplexlaw.co.kr/ru/blog/category/ai
- https://proceedings.mlr.press/v306/zhao26g.html
- https://creativecommons.org/licenses/by/4.0/
- https://www.iplexlaw.co.kr/ru/ai-patents
- https://www.iplexlaw.co.kr/ko/blog/mad-rag-visual-attention-distraction
- https://www.iplexlaw.co.kr/ru/contact
- https://www.iplexlaw.co.kr/ru/blog
- https://www.iplexlaw.co.kr/ru/blog/mad-rag-visual-attention-distraction#case-1803-en-0
- https://www.iplexlaw.co.kr/ru/blog/mad-rag-visual-attention-distraction#case-1803-en-1
- https://www.iplexlaw.co.kr/ru/blog/mad-rag-visual-attention-distraction#case-1803-en-2
- https://www.iplexlaw.co.kr/ru/blog/mad-rag-visual-attention-distraction#case-1803-en-3
- https://www.iplexlaw.co.kr/ru/blog/mad-rag-visual-attention-distraction#case-1803-en-4
- https://www.iplexlaw.co.kr/ru/blog/mad-rag-visual-attention-distraction#case-1803-en-5
- https://www.iplexlaw.co.kr/ru/blog/mad-rag-visual-attention-distraction#case-1803-en-6
- https://www.iplexlaw.co.kr/ru/blog/mad-rag-visual-attention-distraction#case-1803-en-7
- https://www.iplexlaw.co.kr/ru/blog/mad-rag-visual-attention-distraction#case-1803-en-8
- https://www.iplexlaw.co.kr/ru/blog/mad-rag-visual-attention-distraction#case-1803-en-9
- https://www.iplexlaw.co.kr/ru/blog/mad-rag-visual-attention-distraction#case-1803-en-10
- https://www.iplexlaw.co.kr/ru/contact
- https://www.iplexlaw.co.kr/ru/blog/brunch-case-1804
- https://www.iplexlaw.co.kr/ru/blog/brunch-case-1802
- https://www.iplexlaw.co.kr/ru/blog/path-attention-householder-transformations
- https://www.iplexlaw.co.kr/ru/blog/path-attention-householder-transformations
- https://www.iplexlaw.co.kr/ru/blog/huawei-pangu-weather-time-interval-models
- https://www.iplexlaw.co.kr/ru/blog/huawei-pangu-weather-time-interval-models
- https://www.iplexlaw.co.kr/ru/blog/lact-large-chunk-test-time-training
- https://www.iplexlaw.co.kr/ru/blog/lact-large-chunk-test-time-training