Аннотация:В работе предлогается для общепринятой архитектуры Resnet добавление слоев “dropout” и естественным образом, из принципа нормализации выходных значений новых слоёв, включить в функцию потерь слагаемые, содержащие параметры вероятностей разрыва связей. Благодаря появлению параметров слоёв “dropout” в функции потерь, при обычном обучении методом обратного распространения ошибки происходит автоматическая настройка этих параметров.
На базе изображений CIFAR10 студентом были поставлены эксперименты по сравнению динамических слоёв “dropout” с классическими (с фиксированными параметрами разрыва) и без регуляризации. Было продемонстрированно превосходство в точности получаемых моделей и слабая зависимость от начальных значений параметров. Далее студент рассмотрел совмещение динамического параметра с комбинацией групповых разрывов связей CrossMap и DropBlock. Для данного вида регуляризации показано (хоть и незначительное) превосходство над статической версией по точности классификации, но при этом результаты гораздо стабильнее (не зависят от начальных значений параметров).