
Для работы ИИ на периферийном устройстве иногда требуется сократить потребление памяти и вычислительные затраты уже обученной модели. Патент Nota US12361264B2 описывает выбор части модели, сохранение её исходных входов и выходов и дообучение после сжатия по этим данным. Условная камера контроля упаковки помогает понять, что именно уменьшают, с чем сравнивают результат и какие показатели учитывают перед внедрением.
1. Перенос модели с сервера на устройство у производственной линии
Представим камеру, проверяющую упаковку коробок на конвейере. Модель, свободно работающая на сервере разработчиков, может занимать слишком много памяти или выдавать решение с задержкой на небольшом устройстве рядом с линией. Изображение нужно обработать до появления следующей коробки, поэтому важны скорость и устойчивость работы на реальном оборудовании.
Сжатие модели уменьшает объём вычислений или хранимых значений, облегчая работу при ограниченных ресурсах. Изменение выбранного участка влияет на данные, передаваемые последующим слоям, и может изменить итоговое решение.
Возникает инженерный вопрос: как восстановить информацию, которую передавал вычислительно тяжёлый участок, после его сокращения? В патенте предложено заранее сохранить входы и выходы группы слоёв и использовать их для дообучения сжатой группы.
2. Выбор группы слоёв для локального сжатия
Слой нейросети получает числовой вход, выполняет вычисление и передаёт результат дальше. Блоки 1, 2 и 3 на рисунке обозначают связанные этапы. Группа слоёв задаёт область, совместно рассматриваемую при сжатии и дообучении; одному условному блоку может соответствовать несколько реальных слоёв.
В патенте рассматривается большая языковая модель, состоящая из блоков трансформера. Остаточная связь передаёт вход блока, к которому прибавляется вычисленный блоком результат. Описанный способ выбора оценивает относительную важность по сходству между этим исходным входом и суммой входа с результатом вычисления.
Один из указанных показателей — косинусное сходство. Если представить два набора чисел как стрелки, оно показывает близость их направлений. В данном примере более высокому сходству соответствует меньшая относительная важность. Выбор группы, её сжатие и последующая настройка выхода — отдельные этапы.
3. Сохранение пар входов и выходов исходной группы
Сначала примеры данных пропускают через предварительно обученную модель. Сохраняются значения на входе первого слоя выбранной группы и на выходе её последнего слоя для того же примера. Получаются пары соответствующих исходных входов и выходов.
Обычно это промежуточные признаки, а не неизменённая фотография или предложение. Предыдущие вычисления могут кодировать изменения цвета, форму объектов или языковой контекст в числовых представлениях, нужных следующему этапу. Записываются признаки, фактически проходящие через границы выбранной группы.
Две карточки на схеме обозначают такую пару. Карточка входа содержит данные, которые снова подаются уменьшенной группе, а карточка выхода — результат исходной группы. Тем самым задаются входные данные и ориентир для дообучения.
4. Дообучение сжатой группы по сохранённому выходу
В описании перечислены прунинг, разложение фильтров и удаление слоёв. Если удаляются все слои выбранной группы, в неё можно включить предыдущие или последующие слои, чтобы оставались параметры для дообучения. Заранее определённая группа задаёт область последующей настройки.
Сохранённые входные признаки подаются сжатой группе, которая формирует новый выход. При дообучении её веса изменяются так, чтобы этот выход приблизился к сохранённому выходу исходной группы. В качестве обучающих входов и целевых значений могут использоваться все сохранённые данные либо их часть.
Настроенная группа занимает место исходной: получает признаки от предыдущих слоёв и передаёт свои выходы следующим. Слово «локальное» здесь относится к сосредоточению сжатия и дообучения на определённом участке модели.
5. Сравнение промежуточных результатов на условном примере камеры
Упростим контроль упаковки до трёх этапов: выделение границ и изменений поверхности, представление связи между лентой и гранями коробки, затем принятие решения. Предположим, что требуется сократить вычисления среднего этапа.
Сначала через исходную модель пропускают фотографии обычных коробок и коробок со складкой на упаковочной ленте. Для среднего этапа сохраняют пары входных и выходных признаков. Уменьшенному блоку подают те же входы и обучают его приближать выходы, ранее полученные исходным блоком.

Верхняя часть рисунка показывает исходный путь, нижняя — сжатый. Пунктир обозначает целевой выход для дообучения. Если исчез признак, важный для распознавания складки на ленте, сравнение нового результата с сохранённой целью помогает увидеть изменение. Затем необходимо запустить полную модель и сопоставить фактические решения контроля.
6. Разработка, оптимизация и испытания на устройствах в NetsPresso
Официальное описание Nota разделяет разработку модели, оптимизацию для оборудования и испытания на реальных устройствах. Модуль Compressor на этапе разработки предоставляет сжатие, в том числе структурированный прунинг. На этапе оптимизации предусмотрены оптимизация вычислительного графа, квантование и преобразование форматов модели.
Материалы продукта также описывают инструменты оценки на реальном оборудовании. Устройства различаются поддерживаемыми операциями и организацией памяти. Размер и точность модели следует рассматривать вместе с задержкой и возможностью исполнения на целевом устройстве, чтобы связать результат сжатия с решением о внедрении.
В примере с камерой команда может определить сокращаемые вычисления и сравнить исходную и сжатую модели на одном устройстве с одним набором изображений. Сохранение промежуточных данных объясняет ориентир дообучения в патенте, а продуктовый процесс показывает, как оценивать подготовленную модель в условиях использования.
7. Фиксация изменений и условий сравнения
В разработческой документации стоит указать расположение сжатой группы и причину её выбора: какие слои сохранены, какие вычисления изменены, какие ситуации представлены во входных данных и какие выходы служат целями. Разделение обычных примеров и редких дефектов упрощает дальнейший анализ.
Близость промежуточного выхода к исходному и сохранение точности конечного решения — разные показатели. Первый характеризует локальное дообучение, второй — работу полной модели. Сопоставимые измерения точности, времени обработки и расхода памяти позволяют увидеть выигрыш и оставшиеся компромиссы.
Техническое описание должно связывать критерии выбора, сохраняемые входы и выходы, границы дообучения и сравнения после внедрения. Важно объяснить, какой участок изменён для решения какой задачи, а не ограничиваться утверждением об уменьшении модели.
Сохранены исходные обозначения и формы; содержание раскрыто в тексте.
Камера служит условным пояснением, а не примером реализованного продукта или измеренной производительности. Независимые пункты 1 и 7 формулы включают LLM как минимум с миллиардом параметров и выбор блоков трансформера по указанному сходству; косинусное сходство конкретизировано в зависимых пунктах 4 и 10. Описание продукта не доказывает, что NetsPresso реализует все признаки формулы.
Текст патента USPTO · US12361264B2
Официальное описание NetsPresso от Nota
DEEPX DX-M1 и периферийный ИИ: обратная связь между исполнением модели и обучением
Разбираем LoRA: как небольшие обновления весов адаптируют ИИ к задачам бизнеса
Материалы IPLEX по ИИ и подготовке к консультации помогут систематизировать изменения модели и их техническое значение.
Опыт патентного поверенного Ким Ёндока в области ИИ
