# Matryoshka嵌入与图像检索：用向量前缀筛选，再用完整向量重排

解读NeurIPS 2022的Matryoshka Representation Learning、不同长度的联合训练及ImageNet-1K检索实验。

Source: https://www.iplexlaw.co.kr/zh/blog/matryoshka-prefix-vector-image-retrieval

首页 / 新闻与洞见 新闻与洞见 Matryoshka嵌入与图像检索：用向量前缀筛选，再用完整向量重排 解读NeurIPS 2022的Matryoshka Representation Learning、不同长度的联合训练及ImageNet-1K检索实验。 人工智能 2026.11.19 已出版 IPLEX 阅读约7分钟 用图像向量的短前缀选择候选，再以较长向量进行比较的概念图。 从一开始就对所有商品照片进行细致比较，会增加计算开销。Matryoshka表示学习在训练时同时评估多个前缀长度，使图像嵌入的较短前部也能用于检索。下面结合虚构商品目录和ImageNet-1K实验，说明先筛选候选、再用完整向量重新排序的过程。 1. 搜索一张照片需要比较多少数字 假设收到一张蓝色带把杯子的照片，文件名只有拍摄日期。要从数千张商品照片中找到相似图片，必须比较图像内容，但初步筛选是否需要详细比较每张照片的杯把、杯沿和花纹？ 图像模型把照片转换成一组数字，称为嵌入向量；数字的个数就是维度。比较向量间距离可以找到相近图片。面对大量商品反复计算时，所用维数也会影响检索成本。 Kusupati等人在NeurIPS 2022提出Matryoshka Representation Learning，重点是同一嵌入可使用不同长度的前缀：用短表示浏览较大范围，再用长表示细分候选。 2. 在同一输出中共同训练多种长度 图像实验中的模型输出2,048个数，并指定前8、16、32维等嵌套长度。16维向量和32维向量不是两次独立生成的结果，而是同一输出的前16项与前32项。 训练时，每个指定长度都预测图像类别并计算与标签的损失，再将这些损失组合起来更新共享模型。因此，短前缀的预测也直接影响训练，而不是训练结束后才随意截短向量。 论文在分类任务中使用不同长度的分类器；检索则比较训练所得表示之间的距离。进行16维检索时，查询图像和目录图像都取前16项，保证所比较的位置对应。 3. 先缩小商品范围，再对候选重排 设想虚构目录中混有水瓶、马克杯、纸杯和无把杯。上传的蓝杯照片被编码成向量，目录照片已由同一模型预先编码。第一阶段比较短前缀，仅保留距离较近的候选。 第二阶段读取这些候选的较长向量部分，重新计算距离。两只蓝杯可能因为更细的差别而改变排名。这只是流程示例，并不假设某一个维度专门表示颜色或某个部件。 第一阶段负责减少比较对象，第二阶段负责细化次序。若目标杯子在初筛时已经被排除，重排就无法把它找回来。因此，候选数要结合检索质量与计算量共同选择。 4. ImageNet-1K实验报告了什么 研究使用ResNet50学习的表示，在ImageNet-1K中检索与查询图像同类别的照片。一项设置先用16维选出200个候选，再以完整2,048维重排。官方补充材料表8和表11报告了基于距离的精确搜索结果。 对同一MRL表示，直接使用2,048维检索的mAP@10为65.20%，先16维筛选再以完整向量重排为65.27%。mAP@10汇总多次查询中相关图片在前十名的排序表现。两者接近说明在该实验条件下，前十名的质量基本相当。 对应的每次查询检索计算量分别为2,624 MFLOPs和21 MFLOPs，即以百万次浮点运算计数。这不直接等于用户看到的端到端响应时间，后者还包括图像编码和存储读取等环节。 5. 如何选择向量长度与候选数量 前缀越短，每张照片比较的数字越少，但在外观相近或差异细微的数据中，也可能丢掉必要候选。论文对更困难的ImageNet-4K给出了首阶段64维的配置。16维、200候选只是上述实验设置，并非通用默认值。 相关图片的定义也取决于用途。类别检索可能接受同款不同色杯子；识别具体SKU则必须区分把手或花纹相似的不同商品。先确定相关性标准，再比较维数和候选数，更容易找出质量下降的位置。 第二阶段必须能读取候选的长向量。短向量索引做多小、完整向量保存在哪里，是不同的设计问题。分别记录计算量、向量读取延迟和存储空间，可以看清各项选择的成本。 6. 开发时值得保留的对比结果 在同一目录上比较完整向量直接检索与前缀初筛。先记录正确候选是否进入名单，再记录重排后的名次，这样可区分初筛遗漏与后续排序问题。 还可以测试光照变化、局部裁剪和不同拍摄角度。清晰标准图像的结果未必适用于用户实际照片。除了平均响应时间，也应记录较慢请求的条件，再判断是否调整候选数或向量读取方式。 为专利讨论整理技术资料时，应串联训练阶段评估的长度、候选选择规则，以及第二阶段复用的信息。同一目录上控制条件所得的结果，有助于区分表示学习与检索流程设计各自的效果。 图中保留原始标注与形态，相关内容在正文中说明。 商品目录为虚构示例。准确率与计算量仅对应论文实验条件，不是对实际服务性能的保证。 NeurIPS 2022官方论文页面 NeurIPS 2022最终论文 含表8和表11的官方补充材料 谷歌文档理解专利：结合标题、正文与图像的布局读取文档 读懂Lost in the Middle：答案文档放在什么位置也会影响结果 如需梳理嵌入模型与检索流程，可查看IPLEX的AI项目和咨询准备资料。 了解金容德专利代理师的AI专业经验 Tistory原文 查看韩文原文 本文基于发表时的情况撰写。如需就具体事项咨询，请联系IPLEX。 咨询相关业务 ↗ 全部文章 本页目录 1. 搜索一张照片需要比较多少数字 2. 在同一输出中共同训练多种长度 3. 先缩小商品范围，再对候选重排 4. ImageNet-1K实验报告了什么 5. 如何选择向量长度与候选数量 6. 开发时值得保留的对比结果 咨询IPLEX 与我们讨论您的需求 保护、维权与管理。 我们将与您共同分析技术与业务需求。 ↗ 联系我们 较早文章 运动鞋外观设计：缝线与鞋底差异如何影响整体判断 ↗ 相关解读 人工智能 2026.11.18 字节跳动自动字幕专利：分轨识别语音，再调整字幕重叠时间 解读US11837234B2的音轨选择与字幕时间调整，并区分专利公开内容和CapCut的公开操作说明。 ↗ 阅读全文 人工智能 2026.11.17 苹果文字识别专利：把照片中的电话号码与网址连接到操作 解析US12001642B2中识别文本、图像坐标、文本类型和用户输入如何共同决定菜单与操作。 ↗ 阅读全文 人工智能 2026.11.16 现代摩比斯：先识别乘客状态，再调节座舱环境 解析US12233843B2如何融合裁剪图像特征，并将阅读等状态连接到灯光、座椅和调光控制。 ↗ 阅读全文

- https://www.iplexlaw.co.kr/zh
- https://www.iplexlaw.co.kr/zh/blog/category/ai
- https://proceedings.neurips.cc/paper_files/paper/2022/hash/c32319f4868da7613d78af9993100e42-Abstract-Conference.html
- https://proceedings.neurips.cc/paper_files/paper/2022/file/c32319f4868da7613d78af9993100e42-Paper-Conference.pdf
- https://proceedings.neurips.cc/paper_files/paper/2022/file/c32319f4868da7613d78af9993100e42-Supplemental-Conference.pdf
- https://www.iplexlaw.co.kr/zh/blog/google-layout-aware-document-understanding
- https://www.iplexlaw.co.kr/zh/blog/lost-in-the-middle-evidence-position
- https://www.iplexlaw.co.kr/zh/ai-patents
- https://iplexlaw.tistory.com/31
- https://www.iplexlaw.co.kr/ko/blog/matryoshka-prefix-vector-image-retrieval
- https://www.iplexlaw.co.kr/zh/contact
- https://www.iplexlaw.co.kr/zh/blog
- https://www.iplexlaw.co.kr/zh/blog/matryoshka-prefix-vector-image-retrieval#article-31-en-0
- https://www.iplexlaw.co.kr/zh/blog/matryoshka-prefix-vector-image-retrieval#article-31-en-1
- https://www.iplexlaw.co.kr/zh/blog/matryoshka-prefix-vector-image-retrieval#article-31-en-2
- https://www.iplexlaw.co.kr/zh/blog/matryoshka-prefix-vector-image-retrieval#article-31-en-3
- https://www.iplexlaw.co.kr/zh/blog/matryoshka-prefix-vector-image-retrieval#article-31-en-4
- https://www.iplexlaw.co.kr/zh/blog/matryoshka-prefix-vector-image-retrieval#article-31-en-5
- https://www.iplexlaw.co.kr/zh/contact
- https://www.iplexlaw.co.kr/zh/blog/brunch-case-1977
- https://www.iplexlaw.co.kr/zh/blog/bytedance-track-based-caption-timing
- https://www.iplexlaw.co.kr/zh/blog/bytedance-track-based-caption-timing
- https://www.iplexlaw.co.kr/zh/blog/apple-recognized-text-contextual-actions
- https://www.iplexlaw.co.kr/zh/blog/apple-recognized-text-contextual-actions
- https://www.iplexlaw.co.kr/zh/blog/hyundai-mobis-occupant-state-cabin-control
- https://www.iplexlaw.co.kr/zh/blog/hyundai-mobis-occupant-state-cabin-control
