|
ИСТИНА |
Войти в систему Регистрация |
ИПМех РАН |
||
Обработка больших объемов данных сырых астрономических изображений современных небесных обзоров с помощью модели вычислений MapReduceдоклад на конференции
- Авторы: Попов И.С., Колосов И.Ю., Глотов Е.С., Мещеряков А.В., Герасимов С.В.
- Международная Конференция : Астрофизика высоких энергий сегодня и завтра (НЕА-2015)
- Даты проведения конференции: 21-24 декабря 2015
- Дата доклада: 21 декабря 2015
- Тип доклада: Стендовый
- Докладчик: Герасимов С.В.
- Место проведения: г.Москва, Институт космических исследований РАН, Russia
-
Аннотация доклада:
Экспоненциальный рост объемов данных в современных и будущих фотометрических обзорах неба в оптическом диапазоне (таких как SDSS, DES, PanSTARRS, LSST) открывает перед астрофизиками новые горизонты исследований, однако требует применения новых подходов для их обработки и анализа, а именно технологий больших данных и облачных вычислений. В данной работе реализован астрономический конвейер (pipeline) обработки изображений включающий в себя суммирование изображений и создание фотометрического каталога. Элементы конвейера - популярные астрономические утилиты SWarp, SExtractor и PSFEx - интегрированы в общую систему обработки построенную на модели вычислений Hadoop MapReduce. В докладе оценивается масштабируемость предложенного решения массовой обработки астрономических изображений на объеме данных 1-1000Gb из фотометрического обзора неба SDSS (Stripe 82).
- Доклад на конференции выполнен в рамках проекта (проектов):
- Добавил в систему: Герасимов Сергей Валерьевич