# 마트료시카 임베딩 논문 쉽게 읽기｜벡터 앞부분으로 찾고 전체로 다시 비교하는 이미지 검색

NeurIPS 2022 마트료시카 표현 학습의 여러 길이 공동 학습과 단계별 이미지 검색, ImageNet-1K 실험의 정확도·계산량을 살펴봅니다.

Source: https://www.iplexlaw.co.kr/ko/blog/matryoshka-prefix-vector-image-retrieval

HOME / NEWS & INSIGHTS NEWS & INSIGHTS 마트료시카 임베딩 논문 쉽게 읽기｜벡터 앞부분으로 찾고 전체로 다시 비교하는 이미지 검색 NeurIPS 2022 마트료시카 표현 학습의 여러 길이 공동 학습과 단계별 이미지 검색, ImageNet-1K 실험의 정확도·계산량을 살펴봅니다. 인공지능 2026.11.19 게시 IPLEX 7분 읽기 비슷한 상품 사진을 찾을 때 목록에 있는 모든 사진을 처음부터 자세히 비교하면 계산량이 커집니다. 마트료시카 표현 학습은 하나의 이미지 벡터에서 짧은 앞부분만 꺼내도 검색에 쓸 수 있도록, 학습할 때부터 여러 길이를 함께 평가합니다. 가상의 상품 사진 검색과 ImageNet-1K 실험을 통해 짧은 벡터로 후보를 고르고 전체 벡터로 순서를 다시 정하는 방법을 살펴봅니다. 하나의 이미지 벡터에서 짧은 앞부분으로 사진 후보를 고르고, 남은 후보를 더 긴 벡터로 다시 비교하는 과정을 그린 개념도입니다. 1. 사진 검색에서 비교할 숫자는 얼마나 필요할까요? 온라인 상점의 담당자가 제품 사진 한 장을 받았다고 생각해 보겠습니다. 사진에는 손잡이가 달린 파란 컵이 보이지만 파일 이름은 촬영 날짜로만 되어 있습니다. 수천 장의 상품 사진에서 비슷한 컵을 찾으려면 사진에 무엇이 있는지를 비교해야 합니다. 처음부터 모든 사진에서 손잡이 모양과 테두리, 무늬까지 자세히 맞춰 볼 필요가 있을까요? 이미지 검색 모델은 사진을 여러 숫자의 묶음으로 바꿉니다. 이 숫자 묶음을 임베딩이라고 하고, 한 묶음에 숫자가 몇 개 있는지를 차원이라고 합니다. 사진 두 장의 임베딩을 비교해 거리가 가까우면 비슷한 후보로 올릴 수 있습니다. 한 사진을 비교하는 계산을 수많은 상품에 반복하므로, 비교에 쓰는 숫자의 개수도 전체 검색 비용에 영향을 줍니다. Kusupati 연구팀이 NeurIPS 2022에 발표한 마트료시카 표현 학습은 같은 사진의 임베딩에서 어떤 길이를 꺼내 쓰느냐에 주목했습니다. 짧은 벡터로 넓은 목록을 살피고, 자세한 구분이 필요한 후보에는 더 긴 벡터를 적용하는 방식입니다. 2. 하나의 벡터에서 여러 길이를 쓸 수 있게 학습합니다 연구팀은 이미지 모델이 한 사진을 2,048개의 숫자로 바꾸도록 한 뒤, 벡터의 첫 8개, 16개, 32개처럼 여러 길이를 지정했습니다. 길이를 늘릴수록 같은 앞부분을 포함하고 그 뒤의 숫자들이 더해집니다. 예를 들어 16차원 벡터와 32차원 벡터는 모델이 각각 따로 계산한 결과를 뜻하지 않습니다. 하나의 출력에서 첫 16개와 첫 32개를 읽는 것입니다. 학습 때에는 지정한 길이마다 이미지 종류를 예측하게 하고, 정답과 얼마나 어긋났는지를 계산합니다. 연구팀은 이 오차들을 더해 같은 이미지 모델을 업데이트했습니다. 전체 벡터만 평가할 때와 달리 짧은 앞부분에서 낸 예측도 학습에 영향을 줍니다. 앞의 숫자들이 짧은 길이에서도 이미지 구분에 쓰이도록 모델을 훈련하는 방식입니다. 연구팀이 이미지 분류를 설명할 때에는 길이별 분류기를 이용했습니다. 아래의 사진 검색에서는 이렇게 학습한 벡터를 활용해 두 사진 사이의 거리를 비교합니다. 예를 들어 16차원 검색에서는 찾으려는 사진과 검색 대상 사진 모두에서 같은 길이의 앞부분을 꺼내므로 서로 대응하는 숫자들을 비교할 수 있습니다. 3. 상품 사진을 먼저 좁히고 남은 후보를 다시 비교합니다 가상 상품 목록에 물병, 머그컵, 종이컵, 손잡이 없는 컵의 사진이 섞여 있다고 해 보겠습니다. 담당자가 파란 손잡이 컵 사진을 업로드하면 모델이 그 사진의 벡터를 만듭니다. 목록의 사진은 미리 같은 방식으로 벡터로 바꿔 두었다고 가정합니다. 검색의 첫 단계에서 조회 사진과 목록 사진의 짧은 앞부분을 비교해 가까운 사진만 후보로 남깁니다. 남은 후보에는 동일한 벡터의 더 긴 부분을 꺼내 다시 거리를 계산합니다. 처음에는 두 파란 컵이 비슷한 순위에 있을 수 있지만, 좀 더 자세히 비교하면 손잡이 모양이나 전체 형태의 차이가 반영돼 순서가 달라질 수 있습니다. 이는 검색의 흐름을 설명하기 위한 예이며, 특정 차원이 특정 색이나 부품을 담당한다고 가정할 필요는 없습니다. 두 단계의 일은 서로 이어집니다. 첫 단계는 여러 종류가 섞인 전체 목록에서 볼 대상을 줄입니다. 두 번째 단계는 좁혀진 목록을 자세히 비교합니다. 찾으려는 컵이 첫 단계에서 후보에 들지 못하면 두 번째 단계에서 다시 나타날 수 없으므로, 후보 목록을 얼마나 좁힐지는 결과와 계산량을 함께 보고 정할 항목입니다. 4. ImageNet-1K 사진 검색에서 비교한 결과 연구팀은 ResNet50으로 학습한 벡터를 이용해 ImageNet-1K에서 찾으려는 사진과 같은 종류의 사진을 검색했습니다. 1차 검색에서는 첫 16개 숫자로 200장의 후보를 뽑고, 2차에서는 그 후보만 전체 2,048차원 벡터로 다시 배열한 조건을 평가했습니다. 공식 보충자료 표 8과 표 11에는 거리로 가까운 사진을 찾는 정확 탐색의 수치가 실려 있습니다. 같은 MRL 벡터에서 2,048차원으로 한 번에 검색한 경우의 mAP@10은 65.20%, 16차원에서 200개를 뽑아 2,048차원으로 다시 배열한 경우는 65.27%였습니다. mAP@10은 관련 사진이 상위 열 개 안에서 얼마나 앞에 잘 배치됐는지를 여러 검색에 걸쳐 요약한 점수입니다. 두 수치가 가까웠다는 것은 이 실험에서 검색 후보를 좁혀도 상위 열 개의 순위 품질이 비슷했다는 뜻입니다. 같은 두 표의 검색 계산량 열에는 각각 질의당 2,624 MFLOPs와 21 MFLOPs가 표시됩니다. MFLOPs는 백만 단위로 센 부동소수점 연산 횟수입니다. 여기에 적힌 값은 비교에 쓰인 계산량이므로, 고객이 보는 검색 응답 시간은 이미지 벡터 생성이나 저장소 조회 시간까지 포함해 별도로 측정해야 합니다. 5. 후보 수와 벡터 길이는 어떻게 고를까요? 처음 사용하는 벡터가 짧을수록 사진마다 살펴보는 숫자가 줄어듭니다. 대신 비슷한 사진이 많거나 구별할 차이가 작은 목록에서는 필요한 후보가 초기 목록에서 빠질 수 있습니다. 논문의 ImageNet-4K 비교에서는 더 어려운 데이터에 대응하기 위해 1차 검색에 64차원 벡터를 사용한 조건을 제시합니다. 16차원과 후보 200개는 위 실험의 설정입니다. 서비스에서는 사진의 용도마다 확인할 기준도 달라집니다. 상품 종류를 맞히는 검색이라면 다른 색의 같은 컵도 도움이 될 수 있습니다. SKU까지 확인하려는 검색이라면 손잡이와 무늬가 비슷한 다른 컵이 상위에 오르는 경우도 따로 세어야 합니다. 실제 목록에서 무엇을 관련 사진으로 칠지 먼저 정하고 후보 수와 벡터 길이를 비교하면, 어느 위치에서 성능이 떨어지는지를 더 분명히 볼 수 있습니다. 2차 검색에서는 남은 후보의 긴 벡터를 읽을 수 있어야 합니다. 짧은 벡터로 찾는 인덱스를 얼마나 작게 만들지와 긴 벡터를 어디에 보관할지는 실제 검색 설계의 일부입니다. 검색에 들어가는 계산량, 긴 벡터를 읽는 데 걸리는 시간, 저장 공간을 따로 기록하면 어떤 선택이 비용에 영향을 주는지 알 수 있습니다. 6. 검색 기능을 개발할 때 남길 비교 기록 먼저 같은 사진 목록으로 전체 벡터를 한 번에 검색한 결과와 짧은 벡터로 먼저 좁힌 결과를 비교해 보세요. 첫 목록에 정답 후보가 있는지를 기록한 뒤, 다시 순위를 정했을 때 그 후보가 어디까지 올라오는지 확인하면 첫 단계의 누락과 두 번째 단계의 순위 문제를 구분할 수 있습니다. 실제 주문 사진처럼 조명이 바뀌거나 사진의 일부만 잘려 들어온 경우도 비교할 수 있습니다. 사진이 선명한 경우에 가까운 후보가 잘 나오더라도, 같은 상품을 다른 방향에서 촬영하면 결과가 달라질 수 있기 때문입니다. 평균 검색 시간 외에도 오래 걸린 요청이 어떤 조건에서 발생했는지 살펴보면 초기 후보 수를 줄일지, 벡터를 읽는 방식을 바꿀지 결정하는 데 도움이 됩니다. 특허 검토 관점에서는 어떤 길이를 학습 때 평가했는지, 첫 검색에서 남길 후보를 어떻게 선택하는지, 두 번째 비교에서 어느 정보를 다시 사용하는지 이어서 적어 보세요. 팀이 같은 목록에서 조건을 바꿔 얻은 결과까지 있다면, 모델의 표현 방법과 검색 과정의 설계가 각각 어떤 효과를 냈는지 구체적으로 설명할 수 있습니다. 상품 사진 사례는 가상입니다. 정확도와 계산량은 논문의 실험 조건에 한정되며 실제 서비스 성능을 보장하지 않습니다. NeurIPS 2022 공식 논문 페이지 NeurIPS 2022 최종 논문 표 8·표 11을 포함한 공식 보충자료 구글 AI 문서 이해 특허: 제목·본문·이미지의 배치를 함께 읽는 원리 Lost in the Middle 논문 쉽게 읽기: 긴 입력에서 근거 문서의 위치가 중요한 이유 임베딩과 검색 기능의 처리 흐름을 정리하려면 아이피렉스의 AI 프로젝트와 상담 준비 자료를 살펴보세요. AI 기술·특허 업무 살펴보기 티스토리 원문 이 글은 표시된 게시일을 기준으로 작성된 자료입니다. 개별 사안에 대한 검토는 상담을 통해 안내합니다. 관련 업무 상담 ↗ 전체 글 보기 ON THIS PAGE 1. 사진 검색에서 비교할 숫자는 얼마나 필요할까요? 2. 하나의 벡터에서 여러 길이를 쓸 수 있게 학습합니다 3. 상품 사진을 먼저 좁히고 남은 후보를 다시 비교합니다 4. ImageNet-1K 사진 검색에서 비교한 결과 5. 후보 수와 벡터 길이는 어떻게 고를까요? 6. 검색 기능을 개발할 때 남길 비교 기록 TALK TO IPLEX 우리 기업에 맞는 IP 전략이 필요하다면 기술과 사업의 상황에 맞춰 필요한 업무를 함께 살펴봅니다. ↗ 상담 문의 이전 글 운동화 디자인, 재봉선과 밑창의 차이 ↗ 함께 읽을 인사이트 인공지능 2026.11.18 바이트댄스 AI 자동 자막 특허｜오디오 트랙별로 받아쓰고 겹치는 자막을 정리하는 원리 바이트댄스 US11837234B2의 트랙별 음성인식과 자막 시간 조정 원리를 살펴보고 CapCut의 공개 편집 절차와 구별합니다. ↗ 본문 읽기 인공지능 2026.11.17 애플 AI 문자 인식 특허｜사진 속 전화번호와 웹 주소를 선택하는 원리 Apple US12001642B2의 문자 위치·유형 감지와 선택 동작을 분석하고 Live Text 및 VisionKit의 공개 설명과 구별합니다. ↗ 본문 읽기 인공지능 2026.11.16 현대모비스 AI 특허｜승객의 자세와 시선으로 차량 실내를 조절하는 원리 현대모비스 US12233843B2에서 영역별 영상 특징, 자세·시선·물체를 결합해 승객 상태와 실내 제어를 연결하는 방법을 설명합니다. ↗ 본문 읽기

- https://www.iplexlaw.co.kr/
- https://www.iplexlaw.co.kr/%EC%9D%B8%EC%82%AC%EC%9D%B4%ED%8A%B8-%EB%B0%8F-%EB%89%B4%EC%8A%A4/category/ai
- https://proceedings.neurips.cc/paper_files/paper/2022/hash/c32319f4868da7613d78af9993100e42-Abstract-Conference.html
- https://proceedings.neurips.cc/paper_files/paper/2022/file/c32319f4868da7613d78af9993100e42-Paper-Conference.pdf
- https://proceedings.neurips.cc/paper_files/paper/2022/file/c32319f4868da7613d78af9993100e42-Supplemental-Conference.pdf
- https://www.iplexlaw.co.kr/ko/blog/google-layout-aware-document-understanding
- https://www.iplexlaw.co.kr/ko/blog/lost-in-the-middle-evidence-position
- https://www.iplexlaw.co.kr/ko/ai-patents
- https://iplexlaw.tistory.com/31
- https://www.iplexlaw.co.kr/%EC%97%B0%EB%9D%BD%ED%95%98%EA%B8%B0
- https://www.iplexlaw.co.kr/%EC%9D%B8%EC%82%AC%EC%9D%B4%ED%8A%B8-%EB%B0%8F-%EB%89%B4%EC%8A%A4
- https://www.iplexlaw.co.kr/ko/blog/matryoshka-prefix-vector-image-retrieval#article-31-ko-0
- https://www.iplexlaw.co.kr/ko/blog/matryoshka-prefix-vector-image-retrieval#article-31-ko-1
- https://www.iplexlaw.co.kr/ko/blog/matryoshka-prefix-vector-image-retrieval#article-31-ko-2
- https://www.iplexlaw.co.kr/ko/blog/matryoshka-prefix-vector-image-retrieval#article-31-ko-3
- https://www.iplexlaw.co.kr/ko/blog/matryoshka-prefix-vector-image-retrieval#article-31-ko-4
- https://www.iplexlaw.co.kr/ko/blog/matryoshka-prefix-vector-image-retrieval#article-31-ko-5
- https://www.iplexlaw.co.kr/%EC%97%B0%EB%9D%BD%ED%95%98%EA%B8%B0
- https://www.iplexlaw.co.kr/ko/blog/brunch-case-1977
- https://www.iplexlaw.co.kr/ko/blog/bytedance-track-based-caption-timing
- https://www.iplexlaw.co.kr/ko/blog/bytedance-track-based-caption-timing
- https://www.iplexlaw.co.kr/ko/blog/apple-recognized-text-contextual-actions
- https://www.iplexlaw.co.kr/ko/blog/apple-recognized-text-contextual-actions
- https://www.iplexlaw.co.kr/ko/blog/hyundai-mobis-occupant-state-cabin-control
- https://www.iplexlaw.co.kr/ko/blog/hyundai-mobis-occupant-state-cabin-control
