Обработка больших объемов данных сырых астрономических изображений современных небесных обзоров с помощью модели вычислений MapReduce

С.В. Герасимов (ВМиК МГУ), А.В. Мещеряков (ИКИ РАН), И.Ю. Колосов (ВМиК МГУ), Е.С. Глотов (ВМиК МГУ), И.С. Попов (ВМиК МГУ) Экспоненциальный рост объемов данных в современных и будущих фотометрических обзорах неба в оптическом диапазоне (таких как SDSS, DES, PanSTARRS, LSST) открывает перед астрофизиками новые горизонты исследований, однако требует применения новых подходов для их обработки и анализа, а именно технологий больших данных и облачных вычислений. В данной работе реализован астрономический конвейер (англ. pipeline) обработки изображений включающий в себя суммирование изображений и создание фотометрического каталога. Элементы конвейера, - популярные астрономические утилиты SWarp, SExtractor и PSFEx интегрированы в общую систему обработки построенную на модели вычислений Hadoop MapReduce. В докладе оценивается масштабируемость предложенного решения массовой обработки астрономических изображений на объеме данных 1-1000Gb из фотометрического обзора неба SDSS (Stripe 82). Работа поддержана грантом РФФИ 15-29-07085.