| Инд. авторы: | Ощепков А.Ю., Попов С.Е. |
| Заглавие: | Разработка информационно-вычислительной системы на базе Apache Hadoop для обработки гипер- и мультиспектральных данных дистанционного зондирования земли |
| Библ. ссылка: | Ощепков А.Ю., Попов С.Е. Разработка информационно-вычислительной системы на базе Apache Hadoop для обработки гипер- и мультиспектральных данных дистанционного зондирования земли // Вестник Воронежского государственного университета. Серия: Системный анализ и информационные технологии. - 2016. - № 3. - С.95-105. - ISSN 1995-5499. |
| Внешние системы: | РИНЦ: 27296791; |
| Реферат: | rus: В статье представлена распределенная информационно-вычислительная система на основе проекта Apache Hadoop для обработки данных дистанционного зондирования земли (ДДЗ) на примере гипер- и мультиспектральных спутниковых снимков. Отличительной особенностью системы является высокая скорость работы стандартных алгоритмов процессинга ДДЗ, интегрированных в среду массово-параллельного исполнения программного кода относительно его исполнения в пределах одной машины. Приведены математические описания основных вегетационных индексов, применяемых при анализе изображений формата tiff. В работе дано описание этапов: препроцессинга извлечение данных из спутниковых снимков, создание, на основе полученных результатов, файлов последовательности которые запишутся на файловую систему HDFS, имплементация их обработки с помощью процедур Hadoop MapReduce и сохранения результатов в бинарном формате чередования спектральных полос с последующим их объединением в формат BSQ, для дальнейшей работы в стандартных ГИС-пакетах, таких как «Exelis ENVI», «NEST» и т.п. В заключении приведены решения конкретных задач на примере вычисления вегетационных индексов спектральных снимков космического аппарата (КА) Landsat 7/8. eng: The article presents the distributed information-computational system based on the Apache Hadoop project for handling remote sensing data on the basis of hyper - and multispectral satellite images. A distinctive feature of the system is high speed of the standard algorithms for processing remote sensing data, integrated in the environment of massively parallel execution of software code, relative to its executing a single computer. The paper showing mathematical descriptions of the vegetation indices used in the analysis of tiff images. Presented description of the stages of preprocessing to extract data from satellite imagery, creating, based on the results of the sequence files which are written on HDFS, implementation of processing procedures using Hadoop MapReduce and saving results in binary format of alternating spectral bands BSQ, for the further work with standard GIS packages such as «Exelis ENVI», «NEST» and etc. In conclusion, given examples of specific tasks of the calculation of vegetation indices on the basis of spectral images spacecraft Landsat 7/8. |
| Ключевые слова: | VEGETATIVE INDICES; SATELLITE IMAGES; DISTRIBUTED INFORMATION SYSTEMS HIGH PERFORMANCE COMPUTING; JAI; JAVA; MAPREDUCE; APACHE HADOOP; РАСПРЕДЕЛЕННЫЕ ИНФОРМАЦИОННЫЕ СИСТЕМЫ; ВЕГЕТАТИВНЫЕ ИНДЕКСЫ; СПУТНИКОВЫЕ СНИМКИ; ВЫСОКОПРОИЗВОДИТЕЛЬНЫЕ ВЫЧИСЛЕНИЯ; ДАННЫЕ ДИСТАНЦИОННОГО ЗОНДИРОВАНИЯ; |
| Издано: | 2016 |
| Физ. характеристика: | с.95-105 |
| Цитирование: | 1. Манн К., Джонс М. Т. Распределенные вычисления с помощью Linux и Hadoop/К. Манн. -Режим доступа: http://www.ibm. com/deve operworks/ru/library/hadoop. 2. Гербер Р. (Intel). Эффективное распределение нагрузки между потоками с помощью OpenMP*/Р. Гербер. -Режим доступа: https://software.Inte.Com/ru-ru/articles/more-work-sharing-with-openmp. 3. Итцковитц М., Мазуров О., Нава К. An OpenMP Runtime API for Profiling/SunMicrosystems. -Режим доступа: http://www.ora-cle.com/technetwork/server-storage/solaris10/omp-api-141059.html. 4. Постолатий В. Распределенные вычисления с помощью Linux и Hadoop./В. Постолатий. -Режим доступа: http://www.ibm.com/developerworks/ru/library/hadoop/index.html 5. Черепанов А. С. Вегетационные индексы/А. С. Черепанов//Геоматика. -2011. -№ 2. -С. 98-102. 6. Дудкин А. А. Подсистема параллельной обработки изображений для мониторинга состояния лесных угодий/А. А. Дудкин//Известия ЮФУ Технические науки. -2014. -С. 129-138. 7. Shvachko K. Apache Hadoop. The Scalability Update//Login. -2011. -V. 36, № 3. P. 7-13. 8. Уайт Т. Hadoop. Hadoop: The Definitive Guide. -СПб.: Питер, 2013 -C. 435. 9. Aaftab Munshi, Benedict R. Gaster, Timothy G. Mattson, James Fung, Dan Ginsburg. OpenC Programming Guide. Professional, New York: Addison-Wesley, 2011. -P. 158. 10. Оленев Н. Н. Основы параллельного программирования в системе MPI. -М.: ВЦ РАН, 2005. |