Потоковая обработка данных MODIS

Реализована информационно-вычислительная система, обеспечивающая генерацию перечня информационных продуктов по данным дистанционного зондирования, поступающим в режиме прямой трансляции телеметрии.

Данные Terra (сенсор MODIS), Aqua (сенсоры MODIS, AIRS), Suomi NPP поступают в режиме прямой трансляции. Прием данных осуществляется в сибирском и дальневосточном центрах НИЦ «Планета», входящих в структуру Российской службы по гидрометеорологии и мониторингу окружающей среды (Росгидромет), а также в Институте оптики атмосферы СО РАН (ИОА, г. Томск).

Все генерируемые информационные продукты становятся доступны в течение короткого времени после появления спутника в зоне видимости приемного комплекса, что позволяет пользователям получать необходимую информацию значительно раньше того момента, когда они появляются в зарубежных открытых источниках.

Все поступающие в ЦКП исходные данные и продукты их обработки в короткий срок публикуются в открытом каталоге, доступ к которому осуществляется в настоящее время по протоколу FTP.

Схема генерации информационных продуктов состоит из нескольких отдельных этапов. Для выполнения вычислений, необходимым для выполнения каждого этапа, генерируется вычислительное задание, которое в пакетном режиме выполняется на кластере вычислительных машин, а результаты расчетов сохраняются на кластерной системе хранения Isilon. Ограничения на порядок выполнения этапов отслеживаются системой координации потоковых вычислений на основе Taverna Workbench.

Дата начала проекта
Руководитель
академик Юрий Иванович Шокин
Исполнители
Валерий Николаевич Антонов
Александр Викторович Калашников
Владимир Андреевич Кихтенко
Дмитрий Леонидович Чубаров
Организация
Институт вычислительных технологий СО РАН