Анализ исследовательской работы: ResNet — глубокое остаточное обучение для распознавания изображений

Эта статья называется «Глубокое остаточное обучение для распознавания изображений».

(Перейти к содержимому)

Статья была опубликована на CVPR 2016 и привлекла большое внимание. Это связано с тем, что ResNet, который был предложен в этой статье на конкурсе Imagenet. 

Основная особенность этой статьи заключается в том, что она использует остаточное обучение для углубления сети. 

Теория заключается в том, что чем глубже сеть, тем более богатые функции могут быть извлечены из данных, тем выше производительность. Однако в типичной сети проблема заключается в том, что слой на самом деле становится слишком глубоким, а не производительностью. Эта статья улучшает эти проблемы с помощью остаточного метода обучения. 

В сверточно-нейронной сети (CNN) каждый из различных фильтров выполняет сверточную операцию для заданного слоя посредством ввода и извлекает карту активации из вывода. Здесь каждый из нескольких фильтров обучен извлекать различные характерные значения.

Например, предположим, что у вас есть входное значение, состоящее из трех каналов. Если вы выполняете операцию свертки, используя в общей сложности пять фильтров (скольжение каждого из пяти фильтров в три входных канала для выполнения операции свертки), пять карт активации (каждая из которых содержит различную характеристическую информацию) извлекаются из выходного слоя. Это эквивалентно количеству фильтров, где ширина и высота карты активации меньше ширины и высоты входного значения. В результате, чем глубже слой, тем больше каналов в выходном слое и тем меньше ширина и высота. Это распространенное явление, при котором высота и ширина уменьшаются, если при выполнении свёрточных операций не прикрепляется накладка на входной слой. 

Между тем, сеть VGG, которая выиграла Imagenet до ResNet, использовала много небольших фильтров (3*3 фильтра свертки), которые увеличили глубину слоя, чтобы хорошо работать. 

Сеть VGG

Эти сети VGG имеют недостаток в увеличении количества параметров, но они воспользовались уровнем свертки. В то время как многие сети используют его в качестве магистральной сети, простое увеличение уровней в сети VGG не делает его лучше. Его также нужно было зафиксировать из-за большого количества параметров. Реснет пришел к решению этих проблем. 

В общем, чем глубже слой, тем выше сложность обучения модели, поэтому ее не так просто оптимизировать, как предполагалось.

Простое построение сверточной нейронной сети на основе сети VGG является ключевой идеей в этой статье, чтобы использовать остаточные блоки, чтобы заставить обучение работать, потому что обучение невозможно. Здесь оставшийся блок выполняет функцию, снижающую сложность оптимизации для одной сети.

В этой статье мы заявляем, что встроенное отображение для фактического обучения - это H(x), и утверждаем, что его трудно выучить сразу. Таким образом, утверждается, что изучение F(x) вместо H(x) немного сложнее путем переопределения отображения как F(x) = H(x) - x. 

* * * * *

Более конкретно, когда x вводится в весовой слой, такой как слой свертки, признак извлекается, и признак подвергается функции активации, такой как relu. Когда сеть настроена, вся сеть выполняет нелинейную операцию. Сеть затем конфигурируется в виде непрерывного слоя свертки.

Поскольку каждый весовой слой здесь отделен, необходимо изучить все весовые значения отдельно для каждого весового слоя. Затем интенсивность увеличивается. Чем глубже этот слой, тем хуже он становится. В результате сложно освоить функцию H(x), которая работает идеально. 

* * * * *

В этой статье предлагается основная идея использования H(x) в качестве функции F(x), которая является более хорошо изученной формой. Конкретного изменения здесь нет, только добавление входного значения (x) к множеству слоев конечного значения (F(x). 

Вот. F(x)+x собирается взять информацию (x), которую мы узнали из предыдущего уровня, и мы собираемся добавить ее к нему, изучив дополнительную информацию, F(x).Я имею в виду. То есть, xЕсли вы принимаете его таким, какой он есть, и вы берете оставшуюся информацию, которую вам все еще нужно узнать, F(x)+x.(Это H(x))Это гораздо проще, чем преподавать. Изменяя сеть таким образом, обучение может быть быстрее и более высокой производительностью. 

Если мы посмотрим на математическую формулу более подробно, мы можем сначала определить функцию F(x) следующим образом:

Когда входное значение x входит, умножьте его на первое весовое значение (W1), запишите вычисление активации (relu) и умножьте результат на второе весовое значение (W2). Именно так определяется функция F(x). Здесь мы добавляем х. Окончательное значение может быть выражено в форме ниже. 

Если вы посмотрите на эту формулу, вы увидите, что значение веса может быть использовано много раз, а не только дважды. Это называется множественными сверточными слоями. Кроме того, мы можем использовать короткое соединение для импорта существующих входных значений и добавления их к нескольким сверточным слоям. Здесь Ws выполняет функцию сопоставления входного измерения с выходным измерением нескольких свёрточных слоев посредством линейной проекции.