Новости и аналитика

Ранняя обрезка NVIDIA: когда структура меньшей сети достаточно устойчива

US12792915B2 и EPI из CVPR 2022 разделяют важность узлов и выбор момента структурной обрезки во время обучения.

Для выбора момента обрезки недостаточно одного ранжирования узлов.
Для выбора момента обрезки недостаточно одного ранжирования узлов.

Уменьшение сети до окончания обучения сокращает последующие вычисления. Однако низкая начальная важность не означает, что узел останется ненужным. Патент NVIDIA использует устойчивость структуры подсети-кандидата для выбора момента обрезки.

1. Что удалить и когда это сделать

Нейронная сеть состоит из слоёв вычислительных узлов и обучаемых весов. Структурная обрезка удаляет узлы или сопоставимые элементы, уменьшая модель для дальнейшего обучения.

Важность может оцениваться по величине весов или чувствительности градиента. Выбор кандидатов отличается от определения устойчивости получающейся структуры.

Заявка NVIDIA US12792915B2 подана 15 марта 2021 года, патент выдан 10 ноября 2026 года. Описанная последовательность связывает важность узлов, подсеть, устойчивость и раннюю обрезку.

2. Начальная важность может измениться

Узел с низким местом в раннем ранжировании позже способен стать полезным. Немедленное удаление ограничивает обучение до стабилизации распределения ёмкости сети.

Поэтому метод наблюдает подсети-кандидаты во время обучения, не считая первое ранжирование окончательным.

Следует отдельно фиксировать правило сохранения узлов и условие, при котором этот выбор становится действием.

3. Что измеряет EPI

В статье тех же авторов на CVPR 2022 описан Early Pruning Indicator — EPI. Узлы ранжируются, а структура выбранной подсети задаётся числом оставшихся узлов по слоям.

EPI усредняет сходство текущей структуры с несколькими предыдущими эпохами. Алгоритм 2 требует достижения порога и значения не ниже каждого из пяти предыдущих показателей, после чего следующая эпоха переходит к обрезке.

Сходные количества не означают одинаковых узлов или неизменных весов. Это признак устойчивого распределения структуры, а не завершённого обучения или гарантированной точности.

4. Условная классификация документов

Представим отдел закупок, классифицирующий заказы, накладные и счета. В начале обучения распределение важных узлов между ранними и глубокими слоями может заметно меняться.

После достижения выбранной устойчивости узлы с низкими оценками удаляют и продолжают обучение меньшей сети. Категории документов и обучающие примеры при этом не удаляются.

Иллюстрация показывает процесс, а не измеренную экономию для такого классификатора. Качество различения похожих документов всё равно проверяют на отложенных данных.

5. Отличие от обрезки готовой модели

Minitron в NVIDIA Model Optimizer начинает с предобученной контрольной точки и использует оценки важности на калибровочных данных для уменьшения ширины или глубины.

Устойчивая структура кандидата позволяет перейти к обрезке и продолжить обучение.
Устойчивая структура кандидата позволяет перейти к обрезке и продолжить обучение.

Затем нужны дополнительное обучение или дистилляция знаний для восстановления качества. Это иной исходный процесс, чем выбор момента обрезки во время первоначального обучения.

Оба подхода уменьшают модель, но различаются доступными данными и учётом затрат. Название инструмента не доказывает применение патентного механизма.

6. Фиксация процесса и эффекта

Сохраняйте критерий важности, числа узлов, историю устойчивости, порог и эпоху обрезки. Сравнивайте полное обучение плотной сети с ранней обрезкой при сопоставимых условиях.

Расходы обучения и скорость вывода на целевом устройстве измеряют отдельно. Меньшая архитектура сама по себе не задаёт реальную задержку реализации.

Техническое описание должно связать отбор и момент действия с дальнейшим обучением и измеренным качеством. Наблюдаемые улучшения нужно отделять от предположений по размеру модели.

Сохранены исходные обозначения и формы; содержание раскрыто в тексте.

Классификатор условный. EPI отражает устойчивость структуры, но не гарантирует точность или применение в продукте.

Патентный документ USPTO US12792915B2

Бюллетень выдачи USPTO

Статья CVPR 2022 When to Prune

Документация NVIDIA Model Optimizer по обрезке

Патент Nota на сжатие модели: дообучение группы слоёв по сохранённым входам и выходам

Патент Socra AI на персонализацию обучения: разные ошибки — разные следующие задания

Ознакомьтесь с проектами ИИ IPLEX по сжатию моделей и управлению обучением.

Опыт патентного поверенного Ким Ёндока в области ИИ

Исходная публикация в Tistory

Прочитать корейский оригинал

Материал отражает ситуацию на дату публикации. Обратитесь в IPLEX, чтобы обсудить обстоятельства вашего дела.
Обсудить этот вопрос ↗Все статьи

Обсудим следующий шаг в защите ваших технологий и интеллектуальной собственности.