# 이미지 단서를 지키는 MAD-RAG

MAD-RAG 논문의 질문 이중 배치와 어텐션 혼합을 살펴보고, 시각적 근거 보존과 실제 검색·오류 복구·계산 비용의 실험 조건을 구분합니다.

Source: https://www.iplexlaw.co.kr/ko/blog/mad-rag-visual-attention-distraction

HOME / NEWS & INSIGHTS NEWS & INSIGHTS 이미지 단서를 지키는 MAD-RAG MAD-RAG 논문의 질문 이중 배치와 어텐션 혼합을 살펴보고, 시각적 근거 보존과 실제 검색·오류 복구·계산 비용의 실험 조건을 구분합니다. 인공지능 2026.10.06 게시 IPLEX 13분 읽기 MAD-RAG의 시각적 근거 보존을 설명하는 대표 이미지 작성자: 김용덕 변리사 안녕하세요. 아이피렉스 특허법률사무소, 김용덕 변리사입니다. 사진을 보고 질문에 답하는 AI에게 관련 문서까지 건네면 답이 더 정확해질 것 같습니다. 그런데 문서에 유용한 정보가 충분히 들어 있어도, 원래 맞히던 문제를 틀리는 경우가 있습니다. 글을 읽는 동안 사진에서 확인해야 할 대상을 놓칠 수 있기 때문입니다. 이번에 살펴볼 MAD-RAG는 검색 문서가 이미지에 대한 주의 배분을 흔드는 현상을 분석하고, 이미지에서 얻은 단서를 문서와 결합하는 과정에서 보존하는 방법을 제안한 연구입니다. 같은 질문을 두 위치에 배치하고, 두 위치의 어텐션 출력을 섞는 것이 핵심입니다. 1. 논문 기본 정보와 한 문장 요약 논문 제목: When RAG Hurts: Diagnosing and Mitigating Attention Distraction in Retrieval-Augmented LVLMs 실제 논문 저자: Beidi Zhao, Wenlong Deng, Xinting Liao, Yushu Li, Nazim Shaikh, Yao Nie, Xiaoxiao Li. 소속은 브리티시컬럼비아대학교 전기·컴퓨터공학과, Vector Institute, Roche Diagnostics입니다. 이 글은 해당 연구를 읽고 정리한 해설입니다. 게재 정보: ICML 2026 정식 학회 논문집, Proceedings of Machine Learning Research 306권, 161272–161290쪽. 학회 일정은 2026년 7월 6–11일이며, 이 글은 PMLR에 공개된 19쪽 논문집 버전을 기준으로 합니다. 식별자는 pmlr-v306-zhao26g입니다. 공식 게재 페이지에서 별도 DOI나 arXiv 식별자는 확인되지 않아 덧붙이지 않습니다. 논문 도표 이용 조건: CC BY 4.0 한 문장 요약: 검색 문서를 읽기 전에 형성한 이미지 중심의 질문 표현을, 검색 문서를 읽은 뒤의 질문 표현에 섞어 시각적 근거가 사라지는 문제를 줄입니다. 2. 문제 제기: 검색이 잘되어도 답이 나빠지는 이유 RAG는 질문과 관련된 외부 문서를 찾아 AI의 입력에 붙이는 방식입니다. 이미지와 문장을 함께 처리하는 대규모 시각언어모델(LVLM)에서는 사진 속 대상을 알아보는 일과 그 대상에 관한 외부 지식을 활용하는 일이 함께 이루어져야 합니다. 예를 들어 사진 속 고양이의 품종을 묻는다면, 품종 설명문을 읽는 것만으로는 충분하지 않습니다. 설명문 중 어떤 내용이 실제 고양이의 외형과 맞는지 연결해야 합니다. 연구진은 좋은 문서를 제공한 조건에서도 이러한 연결이 흐트러지는 사례를 확인하고, 이를 Attention Distraction, 즉 주의 분산이라고 부릅니다. 논문이 구분한 현상은 두 가지입니다. 첫째, 이미지 전체에 배정되던 어텐션이 검색 텍스트 쪽으로 줄어드는 모달리티 간 주의 분산입니다. 둘째, 이미지 안에서도 질문과 관련된 영역 대신 배경이나 무관한 영역으로 초점이 이동하는 이미지 내부의 주의 분산입니다. 논문 그림 3: 이미지 토큰 어텐션 비중 비교 그림 1. 원문 Figure 3, Zhao 외, ICML 2026 / PMLR 306, CC BY 4.0. OK-VQA에서 마지막 층의 평균 이미지 어텐션 비중을 비교한 결과입니다. 그림의 초록 막대는 외부 문서 없이 답하는 closed-book 조건, 붉은 막대는 일반 RAG 조건입니다. 연구진은 네 모델에서 이미지 어텐션 비중이 상대적으로 12.1–41.1% 감소했다고 보고합니다. 이는 정답률이 그만큼 낮아졌다는 뜻이 아니라, 어텐션 배분의 변화를 나타내는 수치입니다. 3. 기초 개념: 입력 순서가 정보의 접근 범위를 바꿉니다 어텐션은 여러 입력 요소 중 어느 정보를 얼마나 반영할지 계산하는 장치입니다. 이미지 역시 작은 시각 토큰들로 변환되어 문장 토큰들과 함께 처리됩니다. 여기서 토큰은 모델이 계산하는 정보 단위라고 이해하면 됩니다. 이 논문이 다루는 자기회귀 모델은 앞에 놓인 토큰을 볼 수 있지만 뒤에 놓인 토큰은 볼 수 없는 인과적 어텐션을 사용합니다. 따라서 질문을 어디에 놓느냐에 따라 그 질문의 내부 표현에 들어올 수 있는 정보가 달라집니다. 기본 RAG 입력은 설명을 단순화하면 [이미지 I → 질문 Q → 검색 문서 C]입니다. 질문 Q는 이미지에는 접근하지만, 자기 뒤에 있는 문서 C를 읽어 자신의 표현을 만들 수 없습니다. 반면 답을 생성할 때는 이미지·질문·문서가 모두 앞에 놓여 있으므로 문서와 이미지가 함께 어텐션을 얻기 위해 경쟁합니다. 4. 핵심 아이디어: 같은 질문을 두 번 배치합니다 MAD-RAG의 입력은 [이미지 I → 첫 질문 QI → 검색 문서 C → 둘째 질문 QC]입니다. 두 질문의 문구는 같습니다. 서로 다른 질문을 만들어 추론하는 방식이 아니라, 동일한 질문을 서로 다른 정보 접근 위치에 배치합니다. 첫 질문 QI는 뒤의 검색 문서를 볼 수 없으므로 이미지 중심의 표현을 형성합니다. 둘째 질문 QC는 이미지와 첫 질문, 검색 문서를 모두 볼 수 있어 외부 지식과 연결하는 역할을 맡습니다. 연구진은 이를 이중 질문 형식이라고 설명합니다. 논문 그림 4: 질문 이중 배치와 어텐션 혼합 그림 2. 원문 Figure 4, Zhao 외, ICML 2026 / PMLR 306, CC BY 4.0. 이중 질문 배치와 어텐션 혼합의 전체 구조입니다. 비유하면 먼저 사진만 보며 관찰 메모를 만든 뒤, 자료를 읽고 작성한 판단에 그 관찰 메모를 다시 반영하는 구조입니다. 다만 실제 구현에서는 사람이 읽는 관찰 문장을 따로 생성하는 것이 아니라, 모델 내부의 어텐션 출력 표현을 이용합니다. 5. 해결 수단: 두 질문의 어텐션 출력을 혼합합니다 질문을 두 번 적는 것만으로는 긴 문서의 영향이 충분히 줄어들지 않을 수 있습니다. MAD-RAG는 각 층에서 첫 질문에 대응하는 어텐션 출력과 둘째 질문에 대응하는 출력을 가중 결합합니다. 논문 식 (5)의 직관은 다음과 같습니다. 새로운 둘째 질문 출력 = α × 첫 질문 출력 + (1−α) × 기존 둘째 질문 출력 α는 이미지 중심 표현을 어느 정도 반영할지 정하는 혼합 계수입니다. 주요 실험은 α=0.5로 수행했습니다. 이미 계산한 두 질문의 어텐션 출력을 활용하므로, 별도 모델을 다시 학습하거나 검색기를 바꾸지 않고 추론 과정에 개입할 수 있다는 것이 연구진의 설명입니다. 처리 순서는 이미지 토큰 생성, 이중 질문과 검색 문서의 배치, 각 층에서 두 질문의 어텐션 계산, 둘째 질문 출력의 혼합, 최종 답 생성으로 이어집니다. 단순히 이미지 전체의 가중치를 높이는 데 그치지 않고, 검색 문서가 들어오기 전에 질문과 이미지가 맺은 관계를 전달한다는 점이 특징입니다. OK-VQA의 구성요소 제거 실험에서도 차이가 나타납니다. LLaVA-1.5-7B의 점수는 일반 RAG 65.46, 질문을 뒤로 옮긴 형식 68.17, 질문만 두 번 둔 형식 69.65, 혼합까지 적용한 MAD-RAG 70.22였습니다. Qwen2.5-VL-7B는 각각 63.80, 61.92, 63.85, 64.91이었습니다. 질문 위치 변경만으로 안정적인 개선을 보장할 수 없다는 결과입니다. 6. 실험 설계: 어떤 조건에서 비교했을까요? 주요 비교 모델은 LLaVA-1.5의 7B·13B와 Qwen2.5-VL의 3B·7B입니다. 평가 과제는 외부 지식을 필요로 하는 시각 질의응답이며, OK-VQA, Encyclopedic VQA(E-VQA), InfoSeek를 사용했습니다. 논문 Table 5의 테스트 표본 수는 각각 5,046개, 3,750개, 4,708개입니다. 주요 성능표는 oracle context 조건입니다. 검색기의 실패를 최대한 분리하고, 유용한 문서가 주어졌을 때 생성 모델이 이를 어떻게 이용하는지 확인하려는 설정입니다. 실제 운영 검색 결과 전체를 대표하는 숫자로 읽어서는 안 됩니다. oracle의 의미도 데이터셋마다 다릅니다. OK-VQA는 정답 문자열을 포함하는 문서를 긍정 사례로 취급해 잡음이 있을 수 있습니다. E-VQA는 질문 작성의 근거가 된 문서를 활용하며, InfoSeek는 사람이 확인한 이미지·질문과 위키백과 설명의 연결을 사용합니다. 연구진도 oracle을 모든 경우의 완전한 정답 문서와 동일시하지 않습니다. 실험은 탐욕적 디코딩과 시드 0을 사용하며, 주요 실험 환경은 NVIDIA A100 GPU 한 대로 기재되어 있습니다. 비교 대상에는 CAD·AdaCAD·ALFAR 같은 RAG 보정 방법과 시각언어모델의 환각 완화 방법들이 포함됩니다. 일부 기준 방법은 Qwen의 시각 토큰 처리와 호환되지 않거나 출력에 문제가 생겨 표에 별도 표시되어 있습니다. 7. 주요 결과: 전체 점수와 오류 복구율을 나눠 봅니다 논문 표 1: 모델·데이터셋별 oracle 조건의 전체 결과 표 1. 원문 Table 1, Zhao 외, ICML 2026 / PMLR 306, CC BY 4.0. oracle context 조건의 모델별 성능입니다. 표의 OK는 OK-VQA, Info는 InfoSeek를 뜻합니다. LLaVA-1.5-7B에서 일반 RAG와 MAD-RAG의 점수는 OK-VQA 65.46→70.22, E-VQA 53.89→63.09, InfoSeek 44.01→50.19입니다. 각각 4.76, 9.20, 6.18%포인트의 절대 상승입니다. 논문 초록의 대표 개선폭은 이 비교에서 확인됩니다. 개선폭은 모델에 따라 달라집니다. Qwen2.5-VL-7B에서는 OK-VQA 63.80→64.91, E-VQA 82.21→83.31, InfoSeek 45.71→48.43입니다. 또한 OK-VQA의 CAD는 65.45로 MAD-RAG의 64.91보다 높습니다. 따라서 모든 모델·과제에서 모든 비교 방법을 이겼다고 일반화하면 표의 실제 내용과 맞지 않습니다. 논문 그림 5: 오류 부분집합의 회복과 새 오류 그림 3. 원문 Figure 5, Zhao 외, ICML 2026 / PMLR 306, CC BY 4.0. LLaVA-1.5-7B에서 기존 방식의 정오답 상태에 따라 MAD-RAG의 변화를 나눈 결과입니다. 붉은 테두리는 외부 문서 없이 맞혔지만 RAG를 붙이자 틀린 사례입니다. 이 집합에서 MAD-RAG가 맞힌 비율은 OK-VQA 74.68%(346개 집합), E-VQA 70.18%(114개 집합), InfoSeek 44.44%(81개 집합)로 제시됩니다. 74.68%는 전체 문제의 정확도도, 모든 RAG 오류의 해결률도 아닙니다. 오른쪽 영역에는 반대 방향의 변화도 표시됩니다. 일반 RAG가 맞힌 집합에서 MAD-RAG가 일부 정답을 잃는 비율은 각각 4.75%, 6.83%, 9.73%입니다. 전체 평균의 개선과 개별 사례의 퇴행은 동시에 존재할 수 있습니다. 이 그림은 개선 사례만큼 적용 조건을 살펴야 한다는 점도 보여 줍니다. 8. 실제 검색 조건과 계산 비용 논문 표 3: 실제 검색기와 검색 문서 수에 따른 결과 표 2. 원문 Table 3, Zhao 외, ICML 2026 / PMLR 306, CC BY 4.0. InfoSeek·LLaVA-1.5-7B에서 검색기와 문서 수를 바꾼 실험입니다. 실제 검색기를 사용한 CLIP-L 조건에서도 개선이 보고됩니다. 상위 1개 문서에서는 일반 RAG 24.21→MAD-RAG 27.32, 상위 3개에서는 15.68→22.81, 상위 5개에서는 9.86→21.20입니다. 문서를 늘리면 두 방식 모두 상위 1개 조건보다 점수가 낮아지지만, MAD-RAG의 하락 폭이 더 작았습니다. 검색 품질 문제를 완전히 없앤다는 결과는 아닙니다. 원문의 표 사이에는 확인할 차이도 있습니다. Table 1은 InfoSeek의 MAD-RAG를 50.19로 제시하지만, Table 3의 oracle 3개 조건은 51.08입니다. 부록은 주요 InfoSeek 설정에 문서 3개를 사용한다고 설명하므로, 이 수치들은 하나로 합쳐 단정하지 않고 각 표에 기재된 비교로 구분해 읽는 것이 적절합니다. 논문 표 2: 샘플당 추론 시간과 상대 비용 표 3. 원문 Table 2, Zhao 외, ICML 2026 / PMLR 306, CC BY 4.0. LLaVA-1.5-13B의 표본당 평균 추론 시간입니다. Table 2의 MAD-RAG 시간은 OK-VQA 0.34초, E-VQA 0.33초, InfoSeek 0.34초입니다. 표가 제시하는 일반 RAG 대비 배율은 각각 1.10배, 1.11배, 1.09배입니다. 연구진의 “작은 추가 비용”은 이 측정 환경에서 약 9–11% 증가라는 의미로 읽을 수 있습니다. 시간 값은 소수 둘째 자리로 반올림되어 있어 표시된 초 단위를 다시 나누면 표의 배율과 정확히 일치하지 않을 수 있습니다. 추가 비용이 0이라는 뜻은 아니며, 실제 서비스의 지연 시간은 모델·입력 길이·구현·하드웨어 조건에 따라 따로 측정해야 합니다. 9. 적용 범위와 한계 이 방법은 모델 내부의 어텐션 계산에 개입할 수 있는 환경에 적합합니다. 질문을 두 번 쓰는 프롬프트는 쉽게 만들 수 있어도, 논문의 완전한 방법을 적용하려면 각 층의 어텐션 출력을 혼합할 수 있어야 합니다. 내부 계산을 노출하지 않는 폐쇄형 API에 그대로 적용됐다고 설명할 수는 없습니다. 논문도 그런 모델로의 확장을 향후 과제로 제시합니다. 또 하나의 조건은 원래 모델의 시각적 근거가 충분히 유용해야 한다는 점입니다. 부록 J는 이미지 자체를 잘못 보고 있던 사례에서 그 표현을 다시 섞으면 오히려 오류가 생길 수 있다고 분석합니다. 문서만으로 우연히 맞혔던 답에 부정확한 시각 정보가 들어와 정답을 잃는 경우입니다. 어텐션 지도는 내부 동작을 살펴보는 단서이지만, 사람의 시선이나 오류 원인을 완전히 증명하는 자료는 아닙니다. 연구진은 시각화 과정에서 의미 없이 큰 어텐션을 끌어당기는 sink token의 영향을 제거했다고 설명합니다. 본 연구의 설명은 이러한 실험과 분석 조건 안에서 이해할 필요가 있습니다. 주요 결과는 세 가지 지식 기반 시각 질의응답 과제의 결과입니다. 한국어 장문 보고서, 의료 판단, 모든 종류의 멀티모달 서비스로 같은 개선폭이 이어진다는 검증은 이 수치에 포함되지 않습니다. 혼합 계수의 자동 선택과 주의 분산의 더 깊은 이론적 설명도 남은 과제입니다. 10. 변리사 관점의 기술 분석 기술적 과제는 검색 문서를 잘 찾은 뒤에도 이미지의 필요한 근거가 생성 과정에서 약해지는 문제입니다. 검색 정확도만 개선하면 해결된다고 보기 어려운, 서로 다른 정보 유형의 결합 과정에서 생기는 손실을 다루고 있습니다. 해결 수단은 입력 배치와 내부 표현의 결합입니다. 동일한 질문을 문서 앞뒤에 두어 정보 접근 범위를 달리하고, 문서 이전의 이미지 중심 표현을 문서 이후의 표현에 혼합합니다. 위치를 이용해 두 표현의 역할을 나눈 뒤, 그 관계를 각 층에서 계산에 반영하는 구성이 연결되어 있습니다. 기존 접근과 구별되는 부분은 외부 문서를 더 강하게 읽도록 보정하거나 답의 확률을 조절하는 것에 더해, 검색 전의 질문·이미지 관계를 보존한다는 점입니다. 질문 반복만 적용한 실험과 혼합까지 적용한 실험의 차이는 이 결합관계의 기여를 검토하는 근거가 됩니다. 입증된 기술적 효과는 논문이 설정한 모델과 데이터셋에서의 점수 상승, 일부 RAG 유발 오류의 복구, 비교적 작은 추론 시간 증가입니다. 다만 모든 비교 방법보다 항상 우수한 것은 아니며, 원래의 시각적 근거가 약할 때 발생하는 역효과도 함께 확인해야 합니다. 여기서의 차별성은 논문에 나타난 기술 구성과 작동 방식의 차이에 관한 설명입니다. 11. 마무리 MAD-RAG는 더 많은 문서를 제공하는 것만큼, 이미지를 통해 얻은 단서가 문서와 결합되는 동안 유지되는지가 중요하다는 점을 보여 줍니다. 같은 질문을 두 위치에 놓고 그 내부 출력을 섞는 간결한 구성이, 입력 순서와 정보 흐름을 함께 설계하는 방법으로 이어집니다. 이 연구를 읽을 때는 좋은 검색 문서가 제공된 주요 실험, 실제 검색기의 결과, 오류를 복구한 집합, 새로 오류가 생긴 집합을 나누어 보는 것이 좋습니다. 기술의 가치는 이러한 조건을 함께 놓고, 어떤 근거를 보존해 어떤 문제를 줄였는지 설명할 때 더 분명해집니다. 논문 도표는 Zhao 외 저자들의 원본을 보존한 발췌입니다. 설명·캡션은 해당 언어로 작성했습니다. 저작권은 논문 저자들에게 있으며 CC BY 4.0에 따라 출처를 표시합니다. Zhao et al., ICML 2026 / PMLR 306:161272–161290 · CC BY 4.0 관련 AI 특허 업무 이 글은 표시된 게시일을 기준으로 작성된 자료입니다. 개별 사안에 대한 검토는 상담을 통해 안내합니다. 관련 업무 상담 ↗ 전체 글 보기 ON THIS PAGE 1. 논문 기본 정보와 한 문장 요약 2. 문제 제기: 검색이 잘되어도 답이 나빠지는 이유 3. 기초 개념: 입력 순서가 정보의 접근 범위를 바꿉니다 4. 핵심 아이디어: 같은 질문을 두 번 배치합니다 5. 해결 수단: 두 질문의 어텐션 출력을 혼합합니다 6. 실험 설계: 어떤 조건에서 비교했을까요? 7. 주요 결과: 전체 점수와 오류 복구율을 나눠 봅니다 8. 실제 검색 조건과 계산 비용 9. 적용 범위와 한계 10. 변리사 관점의 기술 분석 11. 마무리 TALK TO IPLEX 우리 기업에 맞는 IP 전략이 필요하다면 기술과 사업의 상황에 맞춰 필요한 업무를 함께 살펴봅니다. ↗ 상담 문의 최근 글 특허 대 특허, 심판의 조건 ↗ 이전 글 금형 제작과 디자인권 간접침해 ↗ 함께 읽을 인사이트 인공지능 2026.10.15 거리에서 경로로, PaTH Attention PaTH Attention의 입력 의존 Householder형 변환과 상태 추적 원리, 장문·모델 전환 실험의 효과와 한계를 분석합니다. ↗ 본문 읽기 인공지능 2026.10.14 화웨이 Pangu Weather AI 특허 쉽게 읽기: 시간 간격별 모델로 예보를 이어 가는 원리 화웨이 공개출원 US20250258318A1의 시간 간격별 모델 선택, 예측 상태 전달과 기상 데이터 결합 원리를 분석합니다. ↗ 본문 읽기 인공지능 2026.10.13 큰 묶음으로 갱신하는 AI의 기억, LaCT LaCT 논문의 큰 청크 갱신, 비선형 빠른 가중치, 윈도 어텐션 및 실험 조건과 한계를 분석합니다. ↗ 본문 읽기

- https://www.iplexlaw.co.kr/
- https://www.iplexlaw.co.kr/%EC%9D%B8%EC%82%AC%EC%9D%B4%ED%8A%B8-%EB%B0%8F-%EB%89%B4%EC%8A%A4/category/ai
- https://proceedings.mlr.press/v306/zhao26g.html
- https://creativecommons.org/licenses/by/4.0/
- https://www.iplexlaw.co.kr/ko/ai-patents
- https://www.iplexlaw.co.kr/%EC%97%B0%EB%9D%BD%ED%95%98%EA%B8%B0
- https://www.iplexlaw.co.kr/%EC%9D%B8%EC%82%AC%EC%9D%B4%ED%8A%B8-%EB%B0%8F-%EB%89%B4%EC%8A%A4
- https://www.iplexlaw.co.kr/ko/blog/mad-rag-visual-attention-distraction#case-1803-ko-0
- https://www.iplexlaw.co.kr/ko/blog/mad-rag-visual-attention-distraction#case-1803-ko-1
- https://www.iplexlaw.co.kr/ko/blog/mad-rag-visual-attention-distraction#case-1803-ko-2
- https://www.iplexlaw.co.kr/ko/blog/mad-rag-visual-attention-distraction#case-1803-ko-3
- https://www.iplexlaw.co.kr/ko/blog/mad-rag-visual-attention-distraction#case-1803-ko-4
- https://www.iplexlaw.co.kr/ko/blog/mad-rag-visual-attention-distraction#case-1803-ko-5
- https://www.iplexlaw.co.kr/ko/blog/mad-rag-visual-attention-distraction#case-1803-ko-6
- https://www.iplexlaw.co.kr/ko/blog/mad-rag-visual-attention-distraction#case-1803-ko-7
- https://www.iplexlaw.co.kr/ko/blog/mad-rag-visual-attention-distraction#case-1803-ko-8
- https://www.iplexlaw.co.kr/ko/blog/mad-rag-visual-attention-distraction#case-1803-ko-9
- https://www.iplexlaw.co.kr/ko/blog/mad-rag-visual-attention-distraction#case-1803-ko-10
- https://www.iplexlaw.co.kr/%EC%97%B0%EB%9D%BD%ED%95%98%EA%B8%B0
- https://www.iplexlaw.co.kr/ko/blog/brunch-case-1804
- https://www.iplexlaw.co.kr/ko/blog/brunch-case-1802
- https://www.iplexlaw.co.kr/ko/blog/path-attention-householder-transformations
- https://www.iplexlaw.co.kr/ko/blog/path-attention-householder-transformations
- https://www.iplexlaw.co.kr/ko/blog/huawei-pangu-weather-time-interval-models
- https://www.iplexlaw.co.kr/ko/blog/huawei-pangu-weather-time-interval-models
- https://www.iplexlaw.co.kr/ko/blog/lact-large-chunk-test-time-training
- https://www.iplexlaw.co.kr/ko/blog/lact-large-chunk-test-time-training