|
ИСТИНА |
Войти в систему Регистрация |
ИПМех РАН |
||
Быстрый метод стохастической оптимизации второго порядка для линейных моделей в машинном обучениистатья
- Авторы: Родоманов А.О., Кропотов Д.А.
- Сборник: Труды 7-й традиционной всероссийской молодежной летней школы "Управление, информация и оптимизация"
- Год издания: 2015
- Аннотация: Рассматривается решение задачи оптимизации, возникающей при обучении линейных моделей классификации и регрессии, для случая большого объёма обучающей выборки. Классические подходы для этой задачи в классе стохастической оптимизации первого порядка обладают лишь линейной скоростью сходимости и могут требовать тонкой настройки параметров пользователем. В работе предлагается метод стохастической оптимизации второго порядка на основе подхода SFO для случая, когда размерность оптимизируемого вектора (количество признаков) является небольшой. Идея метода заключается в рассмотрении общей квадратичной модели для оптимизируемой функции с дальнейшим обновлением в итерациях её отдельных компонент по группам объектов. В линейных моделях машинного обучения гессиан функции потерь имеет единичный ранг. Это свойство используется для эффективного хранения и адаптации аппроксимирующей квадратичной модели. В результате получается метод оптимизации, обладающий суперлинейной скоростью сходимости. Данный результат подтверждается в экспериментах по сравнению предлагаемого метода с набором известных подходов стохастической оптимизации.
- Добавил в систему: Кропотов Дмитрий Александрович