Аннотация:В последние годы существенно возросла популярность применения методов глубокого обучения. Глубокие нейронные сети показали высокую эффективность в прикладных задачах во многих областях. Однако, оптимизация этих сетей становится все более сложной по мере углубления самих нейронных сетей и увеличения объемов данных, с которыми они работают. Поэтому в последнее время были предложены более совершенные алгоритмы оптимизации. В данной работе рассматриваются широко используемые алгоритмы оптимизации для глубокого обучения. Эти алгоритмы, являющиеся различными модификациями градиентного метода, реализуются для задач обучения с учителем. Нейронные сети обучаются на двух наборах данных для задачи классифика-
ции изображений (MNIST и CIFAR-10) и имеют две архитектуры с различной степенью глубины. Сравнительная характеристика методов оптимизации, сделанная в рамках данной работы, способствует лучшему понимаю преимуществ и недостатков каждого метода в контексте обучения нейронных сетей.