Развитие методов расчета турбулентных течений на суперкомпьютерахНИР

Development of novel methods for supercomputer modeling of turbulent flows

Источник финансирования НИР

грант РНФ

Этапы НИР

# Сроки Название
1 4 августа 2021 г.-31 декабря 2021 г. Развитие методов расчета турбулентных течений на суперкомпьютерах
Результаты этапа: В соответствии с календарным планом работ отчет за этап с 04.08.2021 по 30.06.2022 будет подготовлен в июне 2022 года.
2 1 января 2022 г.-30 июня 2022 г. Развитие методов расчета турбулентных течений на суперкомпьютерах
Результаты этапа: Продолжены исследования применимости и эффективности методов итерационного уточнения решения для решения различных систем линейных алгебраических уравнений (СЛАУ) с использованием смешанной точности вычислений. По итогам расширенного тестирования этого метода показано, что предложенный ранее простой критерий завершения вложенного итерационного процесса в виде расчёта фиксированного числа итераций (2 или 3 итерации) оказывается эффективным и для более широкого круга задач. В частности, для различных вариаций эллиптических уравнений, широко используемых для тестирования эффективности численных методов, метод итерационного уточнения решения с методом BiCGStab и классическим алгебраическим многосеточным предобуславливателем, выполняя вычисления с пониженной точностью, обеспечивает ускорение расчётов в 1.5-1.8 раза. Результаты тестирования для абстрактного набора black box матриц из Suite Sparse Matrix Collection также показали эффективность данного подхода: для 7 из 17 тестовых матриц было получено существенное ускорение расчётов в 1.5-1.8 раза. Среднее ускорение по всем 17 матрицам при этом составило порядка 1.2 раза. Таким образом, указанный критерий в 2-3 итерации для вложенного итерационного процесса можно считать в достаточной степени универсальным для выбранной комбинации численных методов. Продолжена работа по развитию алгоритмов оптимизации параметров численных методов решения СЛАУ. Разрабатываемый оптимизационный алгоритм представляет собой комбинацию классического генетического алгоритма и предобученной нейросети (НС), используемой в качестве предфильтра для новых мутаций векторов параметров, поступающих на вход генетического алгоритма. Выбрана оптимальная конфигурация НС и разработана методика оценки зависимости размера обучающей выборки от числа параметров. В частности, характерный размер выборки для обучения НС при оптимизации вектора из 21 параметра составил порядка 15-20 тысяч значений. Расширен набор тестовых задач для оценки эффективности оптимизационного алгоритма, в который вошли различные СЛАУ, не связанные с эллиптическими дифференциальными уравнениями. Результаты тестирования на выборке из 16 абстрактных СЛАУ из Suite Sparse Matrix Collection показали, что не более, чем за 80 тестовых решений системы уравнений гибридный генетический алгоритм обеспечивает, в среднем, двухкратное ускорение времени решения СЛАУ, а для отдельных систем ускорение составляет более 3 раз. При этом, в расчётах использовалась НС, обученная на данных для модельной задачи решения задачи Дирихле для уравнения Пуассона в кубической области на равномерной расчётной сетке. Это свидетельствует о высокой степени универсальности предложенного гибридного генетического алгоритма. Получены расчётные зависимости поведения критериев сходимости процесса осреднения для результатов расчётов турбулентного течения в пакете STAR-CCM+. Поведение критерия, основанного на распределении полных напряжений сдвига, существенно отличается от такового, полученного для специализированного in house кода. Если для малых временах осреднения результаты качественно и количественно совпадают, от на относительно больших интервалах осреднения кривая для STAR-CCM+ уклоняется вверх и выходит на константу. Это означает, что дальнейшее увеличение длительности осреднения в целом, не приводит к повышению точности итогового результата. Ведутся методические исследования, направленные на выяснение причин такого поведения критерия сходимости и идентификацию параметров численных схем (порядок дискретизации по времени и пространству, схема дискретизации конвективных членов, и др.), влияющих на полученный результат. Имеющиеся результаты дают основания предположить, что рассматриваемый критерий на практике имеет более сложную асимптотику, чем это утверждается в ряде работ, и в том числе, может включать в себя ряд свойств численных схем, использованных в расчёте. Предложен и реализован в библиотеке XAMG модифицированный формат хранения разреженных матриц RICSR. Подробное исследование его эффективности показало возможность ускорения решения СЛАУ на 10-20% при выполнении критерия применимости данного формата. Разработана аналитическая модель оценки эффективности cache blocking оптимизаций для умножения разреженной матрицы на блок векторов. Предсказания аналитической модели показывают возможность кратного ускорения данной операции для плотной матрицы с 10-20 столбцами. Ведётся работа по реализации указанного подхода в коде библиотеки XAMG и верификации предложенной аналитической модели. Расширен функционал разработанного ранее бенчмарка IMB-ASYNC. Добавлены новые сценарии тестирования, покрывающие асинхронные неблокирующие коммуникации при использовании графических ускорителей. Они реализующие оба возможных сценария организации коммуникаций: напрямую из памяти ускорителей, либо через временные буфера в памяти центрального процессора. Созданные по данной тематике наработки выложены в публичном репозитории https://github.com/a-v-medvedev/mpi-benchmarks
3 1 июля 2022 г.-30 июня 2023 г. Развитие методов расчета турбулентных течений на суперкомпьютерах
Результаты этапа: В соответствии с календарным планом работ отчет за этап с 01.07.2022 по 30.06.2023 будет подготовлен в июне 2023 года.
4 1 января 2024 г.-30 июня 2024 г. Развитие методов расчета турбулентных течений на суперкомпьютерах
Результаты этапа: Исследована возможность использования половинной точности вычислений с плавающей точкой при решении СЛАУ с использованием многосеточных методов. Рассмотрен набор различных СЛАУ для эллиптических уравнений, в том числе для уравнения Пуассона для давления из гидродинамических расчётов. Для эмуляции половинной точности вычислений, которая не поддерживается для x86 центральных процессоров стандартным системным программным обеспечением и компиляторами, использована библиотека half, реализующая формат float16. В рамках библиотеки XAMG, использованной в качестве тестовой платформы, половинная точность использовалась только для хранения матриц, тогда как для хранения векторов и вычислений использовалась арифметика двойной точности. Как изначально и предполагалось, использование половинной точности для матриц перехода между уровнями иерархии приводит к слабой деградации скорости сходимости итерационных методов - число итераций возрастает не более, чем на 10%. Данное наблюдение справедливо как для вычислений с двойной точностью, так и при использовании методов итерационного уточнения решения, комбинирующих двойную и одинарную точность вычислений. Применение половинной точности для матриц системы на различных уровнях многосеточного метода оказывается неприемлемым и приводит к расходимости итерационного процесса. Представлено формализованное описание алгоритма автоматизированного подбора параметров численных методов решения СЛАУ, представляющего собой гибридную эволюционную стратегию. Предложена и апробирована процедура балансировки входных данных для обучения нейронной сети, позволяющая сократить размер выборки для обучения и качество предсказаний. Наиболее эффективным оказался вариант, при котором времена для несошедшихся решений и времена, превышающие третий квартиль, заменяются третьим квартилем. Поскольку точность предсказаний в диапазоне больших времён не представляет практической значимости для разрабатываемого оптимизационного алгоритма, указанная модификация позволяет существенно повысить точность предсказаний в диапазоне малых времён решения СЛАУ и уменьшить размер обучающей выборки. Определены основные параметры для предложенного оптимизационного алгоритма. Показано, что использование гибридной эволюционной стратегии в ряде случаев позволяет существенно сократить время решения СЛАУ как для абстрактных систем уравнений из SuiteSparse Matrix Collection, так и для систем уравнений, соответствующих эллиптическим дифференциальным уравнениям. Сходимость оптимизационного алгоритма на тестах достигалась, в среднем, за 100 решений СЛАУ. При этом, нейронная сеть, предобученная на некоторой модельной задаче, может быть эффективно переиспользована для оптимизации целого ряда систем уравнений, а её эффективность сохраняется при переносе между разными вычислительными платформами. Применение оптимизационного алгоритма позволяет существенно ускорить и упростить процесс проведения расчётов турбулентных течений. В частности, использование гибридной эволюционной стратегии в рамках проведённой серии тестов позволило ускорить такие расчёты до 1.8 раза. По мере завершения технических доработок кода, реализация гибридной эволюционной стратегии будет размещена в репозитории с исходным кодом библиотеки XAMG (https://gitlab.com/xamg/xamg). Продолжены исследования критериев оценки скорости сходимости процесса осреднения при наборе статистики в расчётах турбулентных течений. Исследовалось поведение средней трансверсальной компоненты скорости (W-критерий) и отклонение напряжений Рейнольдса поперек канала от линейного профиля (Err-критерий) как функции длительности осреднения по времени или размера ансамбля состояний, соответствующих некоррелированным реализациям турбулентного течения. На основе теории случайных процессов сформулированы и обоснованы оценки для скорости сходимости процесса осреднения для выбранных критериев, а также условия применимости данной теории. Разработанная методика обработки результатов расчётов была применена для наборов данных, полученных с помощью двух вычислительных кодов, MCFD (in-house CFD код) и NEK5000; результаты для данных пакетов продемонстрировали качественно и количественно схожее поведение W- и Err-критериев. Для W-критерия: - При осреднении по ансамблю реализаций наблюдается явная зависимость вида n^-0.5, соответствующая теоретическим предсказаниям. - Осреднение по времени на малых интервалах осреднения демонстрирует сходимость медленнее, чем n^-0.5, что обусловлено наличием конечного масштаба корреляции по времени в осредняемых данных. По мере увеличения интервала осреднения, скорость сходимости возрастает до n^-0.5. Несмотря на одинаковую асимптотику для скорости сходимости осреднения по W-критерию, в случае осреднения по ансамблю реализаций эквивалентная точность может быть получена при существенно меньших приведённых размерах выборок (разница в приведённых временах расчёта составляет 5-10 раз). Для Err-критерия: - При осреднении по ансамблю реализаций на малых и средних размерах выборок наблюдается устойчивая сходимость с асимптотикой n^-0.5. - В случае осреднения по времени, на начальном участке наблюдается замедление (относительно n^-0.5) скорости сходимости, что соответствует наличию конечных временных корреляций во входных данных. Однако, дальнейшее ускорение скорости сходимости быстрее, чем n^-0.5, по крайней мере в некотором диапазоне интервалов осреднения, не соответствует полученным теоретическим оценкам. Ошибка осреднения убывает быстрее, чем в случае осреднения по ансамблю. Причина такого поведения остаётся не ясной. Наблюдаемое поведение Err-критерия демонстрирует качественное отличие от заявленного в ряде работ в литературе, где этот критерий обозначен как величина, сходящаяся как n^-1. Полученные для Err-критерия теоретические обоснования соответствуют асимптотике n^-0.5, и причины таких расхождений на данный момент до конца не ясны. Данные наблюдения также поднимают вопрос практической значимости популярного в литературе Err-критерия для оценки сходимости. Если он асимптотически сходится быстрее, чем основные анализируемые в расчётах величины, то Err-критерий можно рассматривать только как необходимое, но не достаточное условие для сходимости осреднения в расчете. Результаты расчётов для пакетов STAR CCM и CaNS продемонстрировали достаточно быстрое затухание скорости сходимости для Err-критерия - фактическая точность осреднения перестаёт расти с ростом длительности осреднения. Обширная серия методических экспериментов (варьировалась точность решения СЛАУ, величина шага интегрирования по времени, схемы дискретизации по пространству и времени, и пр.) не выявила никаких факторов, которые позволили бы улучшить сходимость осредненного решения. Предложен и реализован новый вариант модифицированного формата хранения разреженных данных, реализующий инкрементальное хранение номеров столбцов элементов в строке относительно предыдущего ненулевого элемента. Такой способ хранения позволяет расширить область применимости предложенной ранее оптимизации, формата RICSR, для матрично-векторных операций за счёт уменьшения объёма считываемых из памяти данных. Получены результаты исследования эффективности разных форматов, включающие матрично-векторные операции и решение СЛАУ для одинарной и двойной точности, а также применение процедуры итерационного уточнения решения. Общее ускорение расчётов для итерационных методов решения СЛАУ за счёт предложенных модифицированных форматов хранения данных может достигать 15%.

Прикрепленные к НИР результаты

Для прикрепления результата сначала выберете тип результата (статьи, книги, ...). После чего введите несколько символов в поле поиска прикрепляемого результата, затем выберете один из предложенных и нажмите кнопку "Добавить".