Инд. авторы:	Попов С.Е., Замараев Р.Ю., Харлампенков И.Е.
Заглавие:	Веб-сервис классификации сейсмических событий на базе системы распределенных вычислений Apache Spark
Библ. ссылка:	Попов С.Е., Замараев Р.Ю., Харлампенков И.Е. Веб-сервис классификации сейсмических событий на базе системы распределенных вычислений Apache Spark // Программная инженерия. - 2018. - Т.9. - № 7. - С.318-331. - ISSN 2220-3397.
Внешние системы:	DOI: 10.17587/prin.9.318-331; РИНЦ: 35427330;
Реферат:	eng: The article describes the key points of the service development process for fast automatic classification of seismic signals based on diagnostic templates. The software solutions for the preliminary signal processing and algorithm of parallel computations of the mathematical model for the development of final conclusions on the basis of rating voting are presented. Their integration with the Apache Spark distributed computing system is shown. Performance tests of the classification algorithm for a set of daily signals in various software environments were conducted. It is shown that the launch of the classification algorithm in the context of massively-parallel execution of the problem gives a gain in productivity (a decrease in the operating time) by several tens of times. The service was developed using the libraries React and Redux. The NodeJS platform is used as the runtime environment. rus: Описаны ключевые моменты процесса разработки сервиса для быстрой автоматической классификации сейсмических сигналов на основе диагностических шаблонов. Представлены программные решения для предварительной обработки сигнала и алгоритмизации параллельных вычислений на математической модели выработки конечных заключений с использованием базы рейтингового голосования. Показаны возможности интеграции таких решений с системой распределенных вычислений Apache Spark. Проведены тесты производительности алгоритма классификации для набора суточных сигналов в различных программных средах. Показано, что запуск алгоритма классификации в контексте массивно-параллельного исполнения обеспечивает прирост производительности в несколько десятков раз. Сервис разработан с применением библиотек React и Redux. В качестве среды выполнения использована платформа NodeJS.
Ключевые слова:	распределенные вычисления; веб-сервис; classification of seismic events; distributed computing; web service; Apache spark; классификация сейсмических событий;
Издано:	2018
Физ. характеристика:	с.318-331
Цитирование:	1. Scarpetta S., Giudicepietro F., Ezin E. C., Petrosino S., Del Pezzo E., Martini M., Marinaro M. Automatic Classification of Seismic Signals at Mt. Vesuvius Volcano, Italy, Using Neural Networks // Bulletin of the Seismological Society of America. 2005. Vol. 95, No. 1. P. 185-196. 2. Benbrahim M., Daoudi A., Benjelloun K., Ibenbrahim A. Discrimination of Seismic Signals Using Artificial Neural Networks // Proceedings of world academy of science, engineering and technology. 2005. Vol. 4. P. 4-7. 3. Diersena S., Leeb E-J., Spearsc D., Chenb P., Wanga L. Classification of Seismic Windows Using Artificial Neural Networks // Procedia Computer Science. 2011. Vol. 4. P. 1572-1581. 4. I lamer R. M., Cunningham J. W. Cluster analyzing profile data confounded with interrater differences: A comparison of profile association measures // Applied Psychological Measurement. 1981. Vol. 5. P. 63-72. 5. Kedrov E. O., Kedrov O. K. Spectral time method of identification of seismic events at distances of 15°-40° // Izvestiya, Physics of the Solid Earth. 2006. Vol. 42, No. 5. P. 398-415. 6. Langer H., Falsaperla S., Powell T., Thompson G. Automatic classification and a-posteriori analysis of seismic event identification at Soufriere Hills volcano, Montserrat // Journal of Volcanology and Geothermal Research. 2006. Vol. 153, №>. 1. P. 1-10. 7. Lyubushin Jr. A. A., Kalab Z., Castova N. Application of Wavelet Analysis to the Automatic Classification of Three-Component Seismic Records // Izvestiya, Physics of the Solid Earth. 2004. Vol. 40, No. 7. P. 587-593. 8. Musil M., Pleginger A. Discrimination between Local Microearthquakes and Quarry Blasts by Multi-Layer Perceptrons and Kohonen Maps // Bulletin of the Seismological Society of America. 1996. Vol. 86, No. 4. P. 1077-1090. 9. Ryzhikov G. A., Biryulina M. S., Husebye E. S. A novel approach to automatic monitoring of regional seismic events // IRIS Newsletter. 1996. Vol. XV, No. 1. P. 12-14. 10. Shimshoni Y., Intrator N. Classification of Seismic Signals by Integrating Ensembles of Neural Networks // IEEE transactions on signal processing. 1998. Vol. 46, No. 5 P. 1194-1201. 11. Ryan T. M., Borisov D., Lefebvre M., Tromp J. SeisFlows - Flexible waveform inversion software // Computers & Geosciences. 2018. Vol. 115. P. 88-95. 12. Lesage P. Interactive Matlab software for the analysis of seismic volcanic signals // Computers & Geosciences. 2009. Vol. 35, Iss. 10. P. 2137-2144. 13. Wenxiang Jiang, Haiying Yu, Li Li, Lei Huang. A Robust Algorithm for Earthquake Detector // Proceedings of the 15 World Conference on Earthquake Engineering. Lisbon. Portugal. 2012. URL: https://www.iitk.ac.in/nicee/wcee/article/WCEE2012_1098.pdf 14. Alvarez I., Garcia L., Mota S., Cortes G., Benitez C., De la Torre A. An Automatic P-Phase Picking Algorithm Basedon Adaptive Multiband Processing // IEEE Geoscience and remote sensing letters. 2013. Vol. 10, No. 6. P. 1488-1492. 15. Guilherme M., Antonio R. A neural network seismic detector // IFAC Proceedings Volumes. 2009. Vol. 42, Iss. 19. P. 304-309. 16. Clara E. Y., Ossian O'R., Karianne J. B., Beroza G. C. Earthquake detection through computationally efficient similarity search // Science Advances. 2015. Vol. 1. P. e1501057(1-13). 17. Paul B. Q., Pierre G., Yoann C., Munkhuu U. Detection and classification of seismic events with progressive multichannel correlation and hidden Markov models // Computers & Geosciences. 2015. Vol. 83. P. 110-119. 18. IRIS. Incorporated Research Institutions for Seismology. URL; https://www.iris.edu/hq/ (дата обращения 04.05.2018). 19. Romero J. E., Titos M., Bueno A., Alvarez I., Garcia L., de la Torre A., Benitez C. APASVO: A free software tool for automatic P-phase picking and event detection in seismic traces // Computers & Geosciences. 2016. Vol. 90. Part A. P. 213-220. 20. GeoSeisQC. URL: http://www.geoleader.ru/index.php/ru/ produkty-ru/geoseicqc (дата обращения 07.05.2018). 21. ZETLAB Детектор STA/LTA. URL; https://zetlab.com/shop/ programmnoe-obespechenie/funktsii-zetlab/analiz-signalov/detektor-sta-lta/ (дата обращения 07.05.2018). 22. Stratimagic. URL; http://www.pdgm.com/products/stratimagic/ (дата обращения 07.05.2018). 23. Разработка и создание Грид-приложений для решения прикладных задач геофизики (гранты РФФИ 10-07-00491-а). URL: http://www.rfbr.ru/rffi/ru/project_search/o_49145 (дата обращения 07.05.2018). 24. Использование слабо связанных вычислительных систем для решения обратных задач геофизики" (гранты РФФИ 11-05-00988-а). URL: http://www.rfbr.ru/rffi/ru/project_search/o_43212 (дата обращения 07.05.2018). 25. Разработка GRID-системы и вычислительных сервисов для исследования геодинамических пространственно-временных процессов по данным ДЗЗ (гранты РФФИ 11-07-12045-офи). URL: http:// www.rfbr.ru/rffi/ru/project_search/o_46676 (дата обращения 07.05.2018). 26. Distance computations URL;https://docs.scipy.org/doc/scipy/ reference/spatial.distance.html (дата обращения 11.05.2018). 27. Замараев Р. Ю., Попов С. Е., Логов А. Б. Алгоритм классификации сейсмических событий на основе энтропийного отображения сигналов // Физика Земли. 2016. № 3. С. 31-37. 28. McKay D. Information Theory, Inference, and Learning Algorithms // Cambridge: Cambridge University Press, 2003. 631 p. 29. Kortstrom J., Uski M., Tiira T. Automatic classification of seismic events within a regional seismograph network // Computers & Geosciences. 2016. Vol. 87. P. 22-30. 30. Guojun Gan, Chaoqun Ma, Jianhong Wu. Data clustering: theory, algorithms, and applications (ASA-SIAM series on statistics and applied probability). Society for Industrial and Applied Mathematics Philadelphia. PA. USA. 2007. 451 p.