# Эмбеддинги Matryoshka для поиска изображений: отбор по префиксу и ранжирование по полному вектору

Разбираем Matryoshka Representation Learning: обучение вложенных представлений и результаты поиска на ImageNet-1K из NeurIPS 2022.

Source: https://www.iplexlaw.co.kr/ru/blog/matryoshka-prefix-vector-image-retrieval

ГЛАВНАЯ / Новости и аналитика Новости и аналитика Эмбеддинги Matryoshka для поиска изображений: отбор по префиксу и ранжирование по полному вектору Разбираем Matryoshka Representation Learning: обучение вложенных представлений и результаты поиска на ImageNet-1K из NeurIPS 2022. Искусственный интеллект 2026.11.19 Опубликовано IPLEX Время чтения: 7 мин. Схема поиска изображений: отбор по короткому префиксу и повторное сравнение по более длинному вектору. Подробное сравнение каждой фотографии товара со всем каталогом требует вычислений. Matryoshka Representation Learning одновременно обучает несколько длин префикса, чтобы даже короткая начальная часть эмбеддинга подходила для поиска. Условный каталог и эксперимент ImageNet-1K показывают, как сначала отобрать кандидатов, а затем упорядочить их по полным векторам. 1. Сколько чисел нужно для поиска фотографии Представим фотографию синей чашки с ручкой, в имени которой указана только дата. Для поиска среди тысяч товаров нужно сравнивать содержание изображений. Но первичный отбор не обязательно должен подробно учитывать каждую ручку, кромку и узор. Модель преобразует фотографию в числовой вектор — эмбеддинг. Число его компонентов называют размерностью. По расстоянию между векторами можно находить похожие изображения; при большом каталоге размерность влияет на стоимость повторяющихся сравнений. Kusupati и соавторы представили Matryoshka Representation Learning на NeurIPS 2022. Метод позволяет брать префиксы разной длины из одного эмбеддинга: короткий для широкого отбора, длинный для более точного сравнения. 2. Несколько длин внутри одного выхода модели В экспериментах с изображениями модель выдаёт 2 048 компонентов, а обучение охватывает первые 8, 16, 32 и другие количества координат. Векторы размерности 16 и 32 не вычисляются разными запусками: это начальные части одного выхода. При обучении каждая заданная длина используется для предсказания класса и расчёта ошибки относительно правильной метки. Функции потерь объединяются для обновления общей модели. Поэтому качество короткого префикса влияет на обучение с самого начала. Для классификации применяются классификаторы соответствующих размеров. В поиске сравнивают расстояния между обученными представлениями. При размерности 16 и у запроса, и у изображения каталога берут одинаковые первые 16 координат. 3. Сначала сузить список, затем уточнить порядок Пусть условный каталог содержит бутылки, кружки, бумажные стаканы и чашки без ручек. Загруженное фото синей чашки кодируется, а каталог уже обработан той же моделью. На первом этапе сравниваются короткие префиксы и сохраняются близкие кандидаты. На втором этапе расстояния рассчитываются заново по более длинным частям тех же векторов. Две синие чашки могут поменяться местами, когда учитываются более тонкие различия. Пример не предполагает, что отдельная координата отвечает за конкретный цвет или деталь. Первый этап сокращает множество, второй уточняет его ранжирование. Если нужная чашка не попала в список, повторное ранжирование её не вернёт. Поэтому размер списка выбирают с учётом качества и вычислительных затрат. 4. Результаты на ImageNet-1K Исследователи использовали представления ResNet50, чтобы искать изображения того же класса, что и запрос, в ImageNet-1K. В одном варианте первые 16 координат отбирали 200 кандидатов, которые затем упорядочивались по всем 2 048 координатам. Таблицы 8 и 11 официального приложения содержат результаты точного поиска по расстоянию. Для одних и тех же MRL-представлений полный поиск по 2 048 координатам дал mAP@10 65,20 %, а отбор по 16 с последующим полным ранжированием — 65,27 %. Метрика обобщает положение релевантных изображений в первой десятке по нескольким запросам. Близкие значения означают сопоставимое качество именно в этих условиях. Соответствующие затраты на поиск составили 2 624 и 21 MFLOPs на запрос. MFLOPs обозначает миллионы операций с плавающей точкой. Эти значения не равны полной задержке для пользователя: в неё также входят получение эмбеддинга и обращение к хранилищу. 5. Выбор размерности и количества кандидатов Чем короче префикс, тем меньше координат сравнивается для каждой фотографии. Однако при похожих товарах можно потерять нужного кандидата. Для более сложного ImageNet-4K в статье рассматривается первый этап с 64 измерениями. Размерность 16 и список из 200 — параметры конкретного эксперимента. Критерий релевантности зависит от задачи. Для поиска категории может подойти та же чашка другого цвета; при определении SKU нужно отличать другой товар с похожей ручкой или узором. Задав критерий заранее, проще увидеть, где изменение параметров ухудшает результат. Для повторного ранжирования необходим доступ к длинным векторам кандидатов. Размер индекса коротких векторов и размещение полных представлений — разные проектные решения. Вычисления, задержку чтения и объём хранения полезно учитывать отдельно. 6. Какие сравнения сохранять при разработке На одном каталоге сравните поиск по полным векторам с отбором по префиксам. Сначала отметьте, сохранился ли релевантный кандидат, затем — его место после повторного ранжирования. Так можно разделить пропуски первого этапа и ошибки порядка на втором. Добавьте изменение освещения, обрезанные изображения и другие ракурсы. Результаты на чистых фотографиях могут отличаться от пользовательских. Помимо средней задержки, изучите условия медленных запросов, прежде чем менять число кандидатов или способ чтения векторов. Для патентного обсуждения свяжите длины, оцениваемые при обучении, правило отбора и информацию, повторно используемую при втором сравнении. Контролируемые результаты на одном каталоге помогут отдельно объяснить эффект обучения представлений и архитектуры поиска. Сохранены исходные обозначения и формы; содержание раскрыто в тексте. Каталог товаров — условный пример. Показатели качества и вычислений относятся к эксперименту статьи и не гарантируют работу конкретного сервиса. Страница Matryoshka Representation Learning на NeurIPS 2022 Окончательная статья NeurIPS 2022 Официальное приложение с таблицами 8 и 11 Патент Google на понимание документов: совместный анализ заголовков, текста, изображений и их расположения Lost in the Middle: почему важно положение документа с ответом Изучите проекты IPLEX в области ИИ и материалы для обсуждения эмбеддингов и процессов поиска. Опыт патентного поверенного Ким Ёндока в области ИИ Исходная публикация в Tistory Прочитать корейский оригинал Материал отражает ситуацию на дату публикации. Обратитесь в IPLEX, чтобы обсудить обстоятельства вашего дела. Обсудить этот вопрос ↗ Все статьи НА ЭТОЙ СТРАНИЦЕ 1. Сколько чисел нужно для поиска фотографии 2. Несколько длин внутри одного выхода модели 3. Сначала сузить список, затем уточнить порядок 4. Результаты на ImageNet-1K 5. Выбор размерности и количества кандидатов 6. Какие сравнения сохранять при разработке ОБРАТИТЕСЬ В IPLEX Обсудите с нами вопросы интеллектуальной собственности Мы рассматриваем ваши технологические и бизнес-потребности вместе. ↗ Связаться с нами Ранее Дизайн кроссовок: значение швов и рисунка подошвы ↗ Материалы по теме Искусственный интеллект 2026.11.18 Патент ByteDance на субтитры: распознавание отдельных дорожек и устранение наложения по времени Разбираем US11837234B2: выбор аудиодорожек и изменение времени субтитров, отдельно от публичных инструкций CapCut. ↗ Читать статью Искусственный интеллект 2026.11.17 Распознанный текст Apple: от номера или URL к подходящему действию US12001642B2 связывает распознанный текст, координаты, тип данных и ввод пользователя с контекстными меню и действиями. ↗ Читать статью Искусственный интеллект 2026.11.16 Hyundai Mobis: распознать занятие пассажира перед настройкой салона US12233843B2 объединяет признаки областей изображения и связывает состояния пассажира с освещением, сиденьями и регулируемой тонировкой. ↗ Читать статью

- https://www.iplexlaw.co.kr/ru
- https://www.iplexlaw.co.kr/ru/blog/category/ai
- https://proceedings.neurips.cc/paper_files/paper/2022/hash/c32319f4868da7613d78af9993100e42-Abstract-Conference.html
- https://proceedings.neurips.cc/paper_files/paper/2022/file/c32319f4868da7613d78af9993100e42-Paper-Conference.pdf
- https://proceedings.neurips.cc/paper_files/paper/2022/file/c32319f4868da7613d78af9993100e42-Supplemental-Conference.pdf
- https://www.iplexlaw.co.kr/ru/blog/google-layout-aware-document-understanding
- https://www.iplexlaw.co.kr/ru/blog/lost-in-the-middle-evidence-position
- https://www.iplexlaw.co.kr/ru/ai-patents
- https://iplexlaw.tistory.com/31
- https://www.iplexlaw.co.kr/ko/blog/matryoshka-prefix-vector-image-retrieval
- https://www.iplexlaw.co.kr/ru/contact
- https://www.iplexlaw.co.kr/ru/blog
- https://www.iplexlaw.co.kr/ru/blog/matryoshka-prefix-vector-image-retrieval#article-31-en-0
- https://www.iplexlaw.co.kr/ru/blog/matryoshka-prefix-vector-image-retrieval#article-31-en-1
- https://www.iplexlaw.co.kr/ru/blog/matryoshka-prefix-vector-image-retrieval#article-31-en-2
- https://www.iplexlaw.co.kr/ru/blog/matryoshka-prefix-vector-image-retrieval#article-31-en-3
- https://www.iplexlaw.co.kr/ru/blog/matryoshka-prefix-vector-image-retrieval#article-31-en-4
- https://www.iplexlaw.co.kr/ru/blog/matryoshka-prefix-vector-image-retrieval#article-31-en-5
- https://www.iplexlaw.co.kr/ru/contact
- https://www.iplexlaw.co.kr/ru/blog/brunch-case-1977
- https://www.iplexlaw.co.kr/ru/blog/bytedance-track-based-caption-timing
- https://www.iplexlaw.co.kr/ru/blog/bytedance-track-based-caption-timing
- https://www.iplexlaw.co.kr/ru/blog/apple-recognized-text-contextual-actions
- https://www.iplexlaw.co.kr/ru/blog/apple-recognized-text-contextual-actions
- https://www.iplexlaw.co.kr/ru/blog/hyundai-mobis-occupant-state-cabin-control
- https://www.iplexlaw.co.kr/ru/blog/hyundai-mobis-occupant-state-cabin-control
