ИСТИНА |
Войти в систему Регистрация |
|
ИПМех РАН |
||
Целью проекта является разработка методов и масштабируемых параллельных алгоритмов для автоматического построения и оптимизации глубоких нейронных сетей на высокопроизводительных вычислительных системах. Важным аспектом рассматриваемых в проекте постановок задач является требование масштабируемости предлагаемых решений, как в отношении разрабатываемых параллельных алгоритмов, так и в отношении аппаратных платформ – высокопроизводительных вычислительных систем, включая системы рекордной производительности. Актуальность темы проекта связана с необходимостью построения систем интеллектуального анализа данных большого объема различной природы с возможностью использования для этих целей высокопроизводительных параллельных вычислительных систем (HPC систем), которые традиционно использовались в различных задачах математического моделирования.
The aim of the project is to develop methods and scalable parallel algorithms for the automatic construction and optimization of deep neural networks on high-performance computing systems. An important aspect of the problem statements considered in the project is the scalability requirement of the proposed solutions, both in relation to the developed parallel algorithms and in relation to hardware platforms - high-performance computing systems, including record-breaking performance systems. The relevance of the project topic is related to the need to build data mining systems of a large amount of various nature with the possibility of using high-performance parallel computing systems (HPC systems) for these purposes, which have traditionally been used in various problems of mathematical modeling.
1. Аналитический обзор актуальных и перспективных подходов к автоматическому построению глубоких нейросетей с учетом возможностей их реализации на суперкомпьютерных системах. Сравнительный анализ существующих методов настройки гиперпараметров нейросетевых моделей. 2. Метод оптимизации глубоких нейсетей с учетом параметров целевых параллельных вычислительных систем. 3. Метод автоматического построения архитектуры глубокой нейросети с заданным набором нейросетевых операций. 4. Программная библиотека для поддержки обучения глубоких нейронных сетей методами эволюционных вычислений и роевого интеллекта на высокопроизводительных вычислительных системах. 5. Программная система для проведения сравнительного анализа различных подходов к реализации предлагаемых методов и алгоритмов автоматического построения и оптимизации глубоких нейросетей.
У коллектива имеется значительный опыт по разработке нейросетевых алгоритмов, параллельных эволюционных алгоритмов и алгоритмов роевой оптимизации. В рамках завершенного проекта РФФИ № 14-07-00628 членами колектива предложен и реализован ряд параллельных эволюционных алгоритмо, разработан прототип онлайн системы автоматической генерации программ, реализующих классические популяционные алгоритмы оптимизации, таких как генетические алгоритмы, метод роя частиц, муравьиные алгоритмы. Разработан и реализован прототип системы низкоуровневого моделирования на основе стохастических блочных клеточных автоматов. Предложен новый подход к низкоуровневому дискретному моделированию естественных (биологических) систем с помощью стохастических блочных клеточных автоматов. Реализована низкоуровневая модель искусственных нейронных сетей прямого распространения с использованием стохастических клеточных автоматов. Разработан алгоритм бактериального поиска применительно к задаче управления роем роботов, выполняющих поиск заданной цели. Предложена клеточно-автоматная организация искусственных бактерий, выполнена реализация основных механизмов поведения бактерий. Проведено исследование нейроэволюционных методов на гибридных кластерах, оснащённых NVLink. Коллектив имеет доступ к суперкомпьютерному комплексу МГУ, суперкомпьютерам Ломоносов, Ломоносов-2, IBM BlueGene/P, 10-процессорной системе на базе процессоров Ppower8, оснащенных графическими ускорителями P100.
МГУ имени М.В.Ломоносова | Координатор |
грант РФФИ |
# | Сроки | Название |
1 | 1 января 2020 г.-31 декабря 2020 г. | Методы и масштабируемые параллельные алгоритмы для автоматического построения и оптимизации глубоких нейронных сетей на параллельных высокопроизводительных системах. |
Результаты этапа: Проведено аналитическое исследование актуальных и перспективных подходов к автоматическому построению глубоких нейронных сетей с учетом возможностей их реализации на высокопроизводительных вычислительных кластерах и суперкомпьютерных системах. Определена тестовая задача и соответствующая ей база данных и выполнен сравнительный анализ имеющихся в открытом доступе методов настройки гиперпараметров нейросетевых моделей. Разработаны и численно исследованы алгоритмы обучения глубоких нейронных сетей, основанные на методах эволюционных вычислений и роевого интеллекта. Будет проведен анализ структуры предложенных алгоритмов с точки зрения их параллельной реализации, в том числе выделение и классификация основных вычислительных и коммуникационных паттернов данного семейства алгоритмов. Проведен обзор подходов к оценке эффективности глубоких нейросетей и предложен метод оценки эффективности для выполнения сравнительного анализа архитектур и методов обучения глубоких нейросетей. | ||
2 | 1 января 2021 г.-31 декабря 2021 г. | Методы и масштабируемые параллельные алгоритмы для автоматического построения и оптимизации глубоких нейронных сетей на параллельных высокопроизводительных системах. |
Результаты этапа: Разработаны методы и проведена их прототипая реализация для автоматического построения архитектуры нейросети для заданного набора элементов нейросетевых шаблонных операций. Разработан набор тестовых и модельных задач для отладки и тестирования популяционных алгоритмов непрерывной оптимизации, включающей, в том числе, задачи машинного обучения с использованием различных архитектур искусственных нейронных сетей. Проведен анализ, классификация и визуализация разработанной системы с помощью различных методов кластерного анализа. Реализована рекомендательная система для автоматического подбора наиболее эффективных алгоритмов непрерывной оптимизации и настройки их мета-параметров под заданный класс задач оптимизации с применением методов коллаборативной фильтрации, построенных на основе моделей глубокого обучения. Разработаны метрические и генеративные методы обучения по нескольким примерам. Разработаны критерии для идентификации конфигураций задачи и метода обучения, приводящих к негативному переносу. | ||
3 | 1 января 2022 г.-31 декабря 2022 г. | Методы и масштабируемые параллельные алгоритмы для автоматического построения и оптимизации глубоких нейронных сетей на параллельных высокопроизводительных системах. |
Результаты этапа: Будут проведены экспериментальные исследования разработанных алгоритмов и программных систем. С учетом результатов проведенных исследований будут усовершенствованы предлагаемые методы и алгоритмы. Будет дана оценка эффективности применения разрабатываемых подходов и выработаны рекомендации по их использованию для решения задач интеллектуального анализа данных. Будет разработана программная библиотека для работы с популяционными алгоритмами оптимизации с поддержкой параллельных вычислений. Библиотека будет поддерживать работу с наиболее популярными существующими алгоритмами данного класса, предоставлять средства для разработки и включения в библиотеку новых алгоритмов, включать подсистему тестирования на основе классических задач многомерной непрерывной и дискретной оптимизации, в том числе, задач машинного обучения. Разработаны методы моделирования негативного переноса. Будет проведено тестирования эффективности сформулированных в 2021 году критериев идентификации негативного переноса для ряда нейросетевых алгоритмов переноса обучения с применением указанных методов моделирования. Выполнена реализация разработанных инструментов для симуляции негативного переноса, вычисления критериев негативного переноса, а также некоторых наиболее востребованных алгоритмов переноса обучения для глубоких сетей в рамках единой программной библиотеки. Проведен анализ и выполнена разработка алгоритмов построения признакового описания исходных данных, используя схему обучения без учителя. Разработана программная библиотека методов обучения нейронных сетей устойчивых к ошибкам в разметке обучающей выборки. Проведено исследование и разработка методов редукции (прунинга) нейронной сети, выполняемых в ходе однократного обучения сети. Представлены результаты анализа применимости статистических критериев для оценки значимости весов и определения параметров, подлежащих удалению. |
Для прикрепления результата сначала выберете тип результата (статьи, книги, ...). После чего введите несколько символов в поле поиска прикрепляемого результата, затем выберете один из предложенных и нажмите кнопку "Добавить".