Инд. авторы:	Кихтенко В.А., Чубаров Д.Л.
Заглавие:	Технологии параллельной обработки данных в задачах анализа больших объёмов спутниковых снимков
Библ. ссылка:	Кихтенко В.А., Чубаров Д.Л. Технологии параллельной обработки данных в задачах анализа больших объёмов спутниковых снимков [Электронный ресурс] // Тезисы докладов четырнадцатой открытой всероссийской конференции «Современные проблемы дистанционного зондирования Земли из космоса». - 2016. - Москва. - ISBN: 978-5-00015-007-8. - http://smiswww.iki.rssi.ru/d33_conf/thesisshow.aspx?page=133&thesis=5843
Внешние системы:	РИНЦ: 28175422;
Реферат:	rus: В настоящее время сложилась ситуация, когда постоянное возрастание потоков данных дистанционного зондирования (ДДЗ) привело к накоплению сверхбольших объемов информации, а расширение областей их использования и развитие методов и алгоритмов обработки порождает ряд задач в области информационных технологий. Так, при выполнении исследований, требующих агрегации больших объемов ДДЗ, производить обработку данных только на одной рабочей станции уже не представляется возможным. В некоторых случаях одна только загрузка всех необходимых снимков из архива уже требует больших временных затрат. Таким образом, возникает необходимость в использовании распределенных систем анализа данных. Существует множество таких систем, в качестве примера можно назвать Hadoop, Spark, SciDB, Presto и им подобные. Однако применение этих систем для обработки спутниковых данных связано с рядом трудностей. Во-первых, это необходимость создания модели данных дистанционного зондирования, которая, с одной стороны, обеспечивала бы удобство разработки алгоритмов анализа, а с другой, позволяла бы управляемое автоматическое распараллеливание процесса обработки. Во-вторых, аналитику данных требуется интерактивная среда разработки алгоритмов, обеспечивающая визуализацию результатов расчетов и быстрый отклик на изменения алгоритма обработки или его параметров. При этом важно учитывать пространственную природу данных и предоставить инструменты типичные для ГИС. По мнению авторов, эффективная реализация такой системы возможна только в результате дополнения существующих архивов спутниковых данных сервисом высокопроизводительной распределенной обработки, способным выполнять пользовательские алгоритмы максимально близко к данным, для чего потребуются значительные аппаратные ресурсы. В то же время, архивы спутниковых данных зачастую уже поддерживают различные приложения по преобразованию и предоставлению данных, и перед ними стоит задача оптимального использования имеющихся вычислительных мощностей. Эта задача может решаться как применением технологий виртуализации и контейнеризации - каждое приложение “упаковывается” в свой индивидуальный контейнер или виртуальную машину, так и развертыванием этих приложений поверх распределенной высокопроизводительной системы извлечения и обработки данных. В последнем случае эта система становится вычислительным ядром архива. В докладе описывается опыт создания и эксплуатации системы доступа и аналитической обработки спутниковых снимков hVault, основанной на отображении спутниковых снимков в реляционную модель данных и выполнению запросов к ним на языке SQL, которую мы рассматриваем как прототип высокопроизводительной системы извлечения и обработки данных. Обсуждаются вопросы разделения ресурсов между hVault и другими приложениями и создания приложений на основе hVault. Приводятся оценки производительности и возможности для дальнейшего развития системы. Работа выполнена при поддержке гранта РФФИ 16-37-00118 мол_а и программы фундаментальных исследований Президиума РАН по стратегическим направлениям развития науки №43П.
Ключевые слова:	обработка спутниковых данных; геопространственные данные; дистанционное зондирование Земли; Большие Данные; высокопроизводительная обработка;
Издано:	2016
Ссылка:	http://smiswww.iki.rssi.ru/d33_conf/thesisshow.aspx?page=133&thesis=5843
Конференция:	Название: Четырнадцатая Всероссийская открытая конференция «Современные проблемы дистанционного зондирования Земли из космоса» Город: Москва Страна: Россия Даты проведения: 2016-11-14 - 2016-11-18 Ссылка: http://smiswww.iki.rssi.ru/d33_conf/default.aspx?page=126