# Ранняя обрезка NVIDIA: когда структура меньшей сети достаточно устойчива

US12792915B2 и EPI из CVPR 2022 разделяют важность узлов и выбор момента структурной обрезки во время обучения.

Source: https://www.iplexlaw.co.kr/ru/blog/nvidia-early-structural-pruning-stability

ГЛАВНАЯ / Новости и аналитика Новости и аналитика Ранняя обрезка NVIDIA: когда структура меньшей сети достаточно устойчива US12792915B2 и EPI из CVPR 2022 разделяют важность узлов и выбор момента структурной обрезки во время обучения. Искусственный интеллект 2026.11.13 Опубликовано IPLEX Время чтения: 7 мин. Для выбора момента обрезки недостаточно одного ранжирования узлов. Уменьшение сети до окончания обучения сокращает последующие вычисления. Однако низкая начальная важность не означает, что узел останется ненужным. Патент NVIDIA использует устойчивость структуры подсети-кандидата для выбора момента обрезки. 1. Что удалить и когда это сделать Нейронная сеть состоит из слоёв вычислительных узлов и обучаемых весов. Структурная обрезка удаляет узлы или сопоставимые элементы, уменьшая модель для дальнейшего обучения. Важность может оцениваться по величине весов или чувствительности градиента. Выбор кандидатов отличается от определения устойчивости получающейся структуры. Заявка NVIDIA US12792915B2 подана 15 марта 2021 года, патент выдан 10 ноября 2026 года. Описанная последовательность связывает важность узлов, подсеть, устойчивость и раннюю обрезку. 2. Начальная важность может измениться Узел с низким местом в раннем ранжировании позже способен стать полезным. Немедленное удаление ограничивает обучение до стабилизации распределения ёмкости сети. Поэтому метод наблюдает подсети-кандидаты во время обучения, не считая первое ранжирование окончательным. Следует отдельно фиксировать правило сохранения узлов и условие, при котором этот выбор становится действием. 3. Что измеряет EPI В статье тех же авторов на CVPR 2022 описан Early Pruning Indicator — EPI. Узлы ранжируются, а структура выбранной подсети задаётся числом оставшихся узлов по слоям. EPI усредняет сходство текущей структуры с несколькими предыдущими эпохами. Алгоритм 2 требует достижения порога и значения не ниже каждого из пяти предыдущих показателей, после чего следующая эпоха переходит к обрезке. Сходные количества не означают одинаковых узлов или неизменных весов. Это признак устойчивого распределения структуры, а не завершённого обучения или гарантированной точности. 4. Условная классификация документов Представим отдел закупок, классифицирующий заказы, накладные и счета. В начале обучения распределение важных узлов между ранними и глубокими слоями может заметно меняться. После достижения выбранной устойчивости узлы с низкими оценками удаляют и продолжают обучение меньшей сети. Категории документов и обучающие примеры при этом не удаляются. Иллюстрация показывает процесс, а не измеренную экономию для такого классификатора. Качество различения похожих документов всё равно проверяют на отложенных данных. 5. Отличие от обрезки готовой модели Minitron в NVIDIA Model Optimizer начинает с предобученной контрольной точки и использует оценки важности на калибровочных данных для уменьшения ширины или глубины. Устойчивая структура кандидата позволяет перейти к обрезке и продолжить обучение. Затем нужны дополнительное обучение или дистилляция знаний для восстановления качества. Это иной исходный процесс, чем выбор момента обрезки во время первоначального обучения. Оба подхода уменьшают модель, но различаются доступными данными и учётом затрат. Название инструмента не доказывает применение патентного механизма. 6. Фиксация процесса и эффекта Сохраняйте критерий важности, числа узлов, историю устойчивости, порог и эпоху обрезки. Сравнивайте полное обучение плотной сети с ранней обрезкой при сопоставимых условиях. Расходы обучения и скорость вывода на целевом устройстве измеряют отдельно. Меньшая архитектура сама по себе не задаёт реальную задержку реализации. Техническое описание должно связать отбор и момент действия с дальнейшим обучением и измеренным качеством. Наблюдаемые улучшения нужно отделять от предположений по размеру модели. Сохранены исходные обозначения и формы; содержание раскрыто в тексте. Классификатор условный. EPI отражает устойчивость структуры, но не гарантирует точность или применение в продукте. Патентный документ USPTO US12792915B2 Бюллетень выдачи USPTO Статья CVPR 2022 When to Prune Документация NVIDIA Model Optimizer по обрезке Патент Nota на сжатие модели: дообучение группы слоёв по сохранённым входам и выходам Патент Socra AI на персонализацию обучения: разные ошибки — разные следующие задания Ознакомьтесь с проектами ИИ IPLEX по сжатию моделей и управлению обучением. Опыт патентного поверенного Ким Ёндока в области ИИ Исходная публикация в Tistory Прочитать корейский оригинал Материал отражает ситуацию на дату публикации. Обратитесь в IPLEX, чтобы обсудить обстоятельства вашего дела. Обсудить этот вопрос ↗ Все статьи НА ЭТОЙ СТРАНИЦЕ 1. Что удалить и когда это сделать 2. Начальная важность может измениться 3. Что измеряет EPI 4. Условная классификация документов 5. Отличие от обрезки готовой модели 6. Фиксация процесса и эффекта ОБРАТИТЕСЬ В IPLEX Обсудите с нами вопросы интеллектуальной собственности Мы рассматриваем ваши технологические и бизнес-потребности вместе. ↗ Связаться с нами Новее Патент на лестничное ограждение: почему сварная конструкция была очевидной ↗ Ранее Дизайн упаковки масок: когда сочетание известных элементов недостаточно ↗ Материалы по теме Искусственный интеллект 2026.11.19 Эмбеддинги Matryoshka для поиска изображений: отбор по префиксу и ранжирование по полному вектору Разбираем Matryoshka Representation Learning: обучение вложенных представлений и результаты поиска на ImageNet-1K из NeurIPS 2022. ↗ Читать статью Искусственный интеллект 2026.11.18 Патент ByteDance на субтитры: распознавание отдельных дорожек и устранение наложения по времени Разбираем US11837234B2: выбор аудиодорожек и изменение времени субтитров, отдельно от публичных инструкций CapCut. ↗ Читать статью Искусственный интеллект 2026.11.17 Распознанный текст Apple: от номера или URL к подходящему действию US12001642B2 связывает распознанный текст, координаты, тип данных и ввод пользователя с контекстными меню и действиями. ↗ Читать статью

- https://www.iplexlaw.co.kr/ru
- https://www.iplexlaw.co.kr/ru/blog/category/ai
- https://image-ppubs.uspto.gov/dirsearch-public/print/downloadPdf/12792915
- https://patentsgazette.uspto.gov/week45/OG/html/1552-2/US12792915-20261110.html
- https://openaccess.thecvf.com/content/CVPR2022/html/Shen_When_To_Prune_A_Policy_Towards_Early_Structural_Pruning_CVPR_2022_paper.html
- https://github.com/NVIDIA/Model-Optimizer/blob/main/examples/pruning/README.md
- https://www.iplexlaw.co.kr/ru/blog/nota-local-model-compression-cached-features
- https://www.iplexlaw.co.kr/ru/blog/socra-ai-personalized-learning-distractor-tags
- https://www.iplexlaw.co.kr/ru/ai-patents
- https://iplexlaw.tistory.com/25
- https://www.iplexlaw.co.kr/ko/blog/nvidia-early-structural-pruning-stability
- https://www.iplexlaw.co.kr/ru/contact
- https://www.iplexlaw.co.kr/ru/blog
- https://www.iplexlaw.co.kr/ru/blog/nvidia-early-structural-pruning-stability#article-25-en-0
- https://www.iplexlaw.co.kr/ru/blog/nvidia-early-structural-pruning-stability#article-25-en-1
- https://www.iplexlaw.co.kr/ru/blog/nvidia-early-structural-pruning-stability#article-25-en-2
- https://www.iplexlaw.co.kr/ru/blog/nvidia-early-structural-pruning-stability#article-25-en-3
- https://www.iplexlaw.co.kr/ru/blog/nvidia-early-structural-pruning-stability#article-25-en-4
- https://www.iplexlaw.co.kr/ru/blog/nvidia-early-structural-pruning-stability#article-25-en-5
- https://www.iplexlaw.co.kr/ru/contact
- https://www.iplexlaw.co.kr/ru/blog/brunch-case-1958
- https://www.iplexlaw.co.kr/ru/blog/brunch-case-1957
- https://www.iplexlaw.co.kr/ru/blog/matryoshka-prefix-vector-image-retrieval
- https://www.iplexlaw.co.kr/ru/blog/matryoshka-prefix-vector-image-retrieval
- https://www.iplexlaw.co.kr/ru/blog/bytedance-track-based-caption-timing
- https://www.iplexlaw.co.kr/ru/blog/bytedance-track-based-caption-timing
- https://www.iplexlaw.co.kr/ru/blog/apple-recognized-text-contextual-actions
- https://www.iplexlaw.co.kr/ru/blog/apple-recognized-text-contextual-actions
