CC BY
64
УДК 629.735.33
АЛГОРИТМ РАСПОЗНАВАНИЯ ПЛАМЕНИ С БОРТА БЕСПИЛОТНОГО
ВОЗДУШНОГО СУДНА
А.В. Вытовтов, А.В. Калач, Т.Н. Куликова
Разработана схема алгоритма обнаружения огня с беспилотного воздушного судна, основанная на математической обработке записи с цифровой видеокамеры, расположенной на борту аппарата. Алгоритм использует семь фильтров для ступенчатой проверки наличия горения в кадре. В работе использованы следующие фильтры: анализ цвета пикселей кадра на черно-белом изображении, проверка цвета выявленной области на совпадение с гаммой огня, определение областей движения, проверка цвета движущихся пикселей на совпадение с гаммой огня, пространственный вейвлет-анализ, определение частот изменения цвета в движущихся областях гаммы огня, проверка объемности области огня, анализ изменения формы очага относительно угла экспозиции, движущегося беспилотного воздушного судна. Разработанный алгоритм может быть использован для проведения мониторинга без работы оператора по отслеживанию изображения и позволит решить вопрос импортозамещения.
Ключевые слова: беспилотное воздушное судно, распознавание пламени, система автоматического контроля, алгоритм распознавания, дрон.
Беспилотные воздушные суда, проделав рывок в гражданской области применения, освоили рынок и множество прикладных задач. Но большинство аппаратов при высокотехнологичном содержимом имеет устаревший подход «человек-беспилотник», где оператор получает информацию с камеры и принимает решение [1]. В современных условиях работы специальных служб многочасовое наблюдение оператором при мониторинге больших площадей приводит к снижению внимания и лишним затратам на поддержание штатной численности [2]. Также отдельно стоит отметить дополнительные расходы электроэнергии на борту судна для передачи видеосигнала на базовую станцию и его низкое качество в связи с потерями при передаче. Классически данную проблему решают установкой на судно инфракрасных камер, способных измерять температуру с высоты полета, которые сигнализируют оператору о нахождении объекта с температурой выше порогового значения [3]. Так, например, МЧС России закупило квадрокоптеры DJI Inspire с тепловизором Zenmuse XT, что увеличило стоимость аппарата в два раза.
Зарубежный опыт исследований возможности использования беспилотных воздушных судов при тушении лесных пожаров подставлен в таких проектах, как FiRE в Соединенных Штатах и проект COMETS в Европе. В рамках проекта WRAR (Wildfire Research and Applications Partnership) был проведен многочасовой эксперимент использования БПЛА для сбора данных о выбранном пожаре и передача данных в реальном времени с помощью телеметрии. Одним из самых успешных проектов, положивших начало принципу совместного
решения задач несколькими летательными аппаратами, стал COMETS. В нем задача обнаружения пожара подразделялась на специализированные задачи для каждого беспилотника, имеющего свой инструментарий для обнаружения огня [4]. В проекте было использовано четыре разнотипных аппарата с единой базой данных о возникновении события пожара и алгоритмами подтверждения и определения параметров горения. В проекте наряду с видеокамерами использовались микрокамеры в инфракрасном диапазоне для достоверного вывода об обнаружении пожара. Этот и другие примеры показывают актуальность и востребованность в разработке доступных систем обнаружения огня с беспилотных воздушных судов научного сообщества и государственных и частных заказчиков.
В статье представлен алгоритм, использующий изображение с цифровой видеокамеры для обнаружения пожара без участия оператора. Математическое распознавание реализовано в виде программного продукта, который установлен в микрокомпьютер, расположенный на борту летательного аппарата. Алгоритм функционирования разработанного программного продукта включает
последовательность операций, представленную на рис. Рассмотрим основные фильтры предложенной методики.
Фильтр 1. Анализ цвета пикселей кадра. В связи с необходимостью рационального подхода к ресурсам микрокомпьютера предусмотрен алгоритм ранжирования фильтров, но только после положительного результата по первому из них.
Захват видеопотока с камеры установленной на борту БВС
База данных цветов
гаммы огня в пространстве RGB
Анализ статического изображения кадра
Анализ последователь ности кадров
Анализ цветного изображения
Анализ черно -белого изображения
Фильтр 1. Весовой коэффициент 1
Анализ цвета пикселей кадра, сравнение с пороговым коэф. в
х Определение порогового значения по: - освещенности; -расстоянию экспозиции; - вариативности силы света источника горения.
Фильтр 2. Весовой коэффициент 0,5
Проверка цвета выявленной области на совпадение с гаммой огня
Выгрузка цветового распределения из базы данных в зависимости от параметров мониторинга
Фильтр 3. Весовой коэффициент 1 Определение областей движения, сравнение с пороговым коэф. £
Движущиеся пиксели в видеопотоке определяются при помощи метода выделения фона. Коэф. £ зависти от параметров мониторинга
Фильтр 4. Весовой коэффициент 0.5
Проверка цвета движущихся пикселей на совпадение с гаммой огня
Выгрузка цветового распределения из базы данных в зависимости от параметров мониторинга
Фильтр 5. Весовой коэффициент 1
Вейвлет-анализ во временной области, определение «
высокочастотного мерцания и осцилляции значений пикселя огня
Фильтр 6. Весовой коэффициент 1
Пространственный вейвлет-анализ , определение частот изменения цвета в движущихся областях гаммы огня
Высокочастотный _фильтр
Низкочастотный фильтр
Фильтр 7. Весовой коэффициент 1
Проверка объемности области огня, анализ изменения формы очага по изменению угла экспозиции относительно БВС
Выбор порогового значения по:
-расстоянию экспозиции; - вариативности формы очага.
Анализ суммы весовых коэффициентов каждого фактора
Рис. Алгоритм автоматического распознавания пламени с борта беспилотного воздушного судна
Программа захватывает черно-белое изображение статичного кадра и определяет зоны, в которых цвет стремится к абсолютно белому, в пространстве RGB значения для таких пикселей будут приближаться к 255 [5]. Фильтр основан на
предположении, что огонь в снимке имеет максимальную яркость и при переводе в черно-белое изображение стремится к значению белого цвета. В предположение были введены граничные условия по освещенности, расстоянию экспозиции,
А
вариативности силы света источника горения. Данные три фактора в наибольшей степени влияют на исследуемый показатель. Для выражения числового значения вводим пороговый коэффициент в, определяющий нижнюю границу цвета пикселя огня. Для определения освещенности используется датчик, встроенный в корпус летательного аппарата. Расстояние экспозиции предопределенный параметр в зависимости от высоты полета которая зависит от местности и типа воздушного судна. Вариативность силы света определяется исходя из возможных параметров очага пожара. Каждый фактор имеет весовой коэффициент, определяющий, насколько он подтверждает наличие огня, что учитывается в итоговой формуле. Для фильтра 1 весовой коэффициент - 1. Положительный результат первого включает в работу фильтры 2, 3.
Фильтр 2. Проверка цвета выявленной области на совпадение с гаммой огня. В первую фильтрацию могут попасть лучи прожектора, отблески солнца, но в цветном спектре данные явления визуально отличаются от цвета огня. Область пикселей, определенных в первом фильтре сравнивается с заранее заданным цветовым распределением, которое представляет собой возможную цветовую гамму в пространстве RGB [6]. В алгоритме предусмотрена база данных цветов гаммы огня в зависимости от различных переменных. База сформирована при помощи обработки изображений, содержащих области огня. Цветовая гамма образует набор точек в трехмерном пространстве, которая описана смесью гауссовых распределений. Если цвет пикселя попадает внутрь сферы, считается, что он принадлежит огню. Для фильтра 2 весовой коэффициент - 0,5.
Фильтр 3. Определение областей движения. Движущиеся пиксели и области в видеопотоке определяются с помощью метода выделения фона [7]. Отсеивание вибраций аппарата осуществляется подбором коэффициента Z, учитывающим расстояние до аппарата и вариативности силы света определяемой исходя из параметров очага пожара. Положительный результат третьего включает в работу фильтр 4. Для фильтра 3 весовой коэффициент - 0,5.
Фильтр 4. Проверка цвета движущихся пикселей на совпадение с гаммой огня. Алгоритм аналогичен фильтру 2, анализируются только те области изображения, где было обнаружено движение, цветовое распределение выгружается из базы данных. Положительный результат четвертого включает в работу фильтры 5,6,7. Для фильтра 4 весовой коэффициент - 0,5.
Фильтр 5. Вейвлет-анализ во временной области. Утверждение, на котором строится данный фильтр - не стабильность края огня, то есть граница пламени будет менять цвет с фонового на цвет пламени. В случае, если значение высокочастотных осцилляций стремится к нулю,
пиксели границы не изменяют цвет во времени. Для фильтра 5 весовой коэффициент - 1.
Фильтр 6. Пространственный вейвлет-анализ. В обычном объекте, имеющем цвет огня, изменения цвета в движущихся областях будут незначительными. В движущихся областях, соответствующих пламени на изображении, такие изменения будут весьма существенными. Для разграничения показателей вводим пороговый коэффициент 5. Превышение данной частоты указывает на наличие горения. Для фильтра 6 весовой коэффициент - 1.
Фильтр 7. Проверка объемности области огня. Горение имеет объемные характеристики в зависимости от типа пожарной нагрузки и способа ее расположения. При пролете беспилотного воздушного судна над очагом в результате видео фиксации получается набор кадров горения, снятых под различным углом. Фильтр анализирует контур формы и делает вывод об объемности рассматриваемого объекта. Вариативными факторами при анализе являются высота полета, угол наблюдения, вариативность формы очага. Для фильтра 7 весовой коэффициент - 1.
Положительные результаты каждого фильтра поступают в блок анализа весовых коэффициентов, где суммируются для принятия решения [8]. Весовые коэффициенты подобраны исходя из особенностей каждого способа наиболее точно определять наличие горения. Пороговым значением обнаружения является пять и более. Оператору по радиоканалу передается сигнал «ТРЕВОГА. Обнаружено горение» с координатами и временем события. Дальнейшие действия зависят от конкретных условий мониторинга и выбираются оператором. Типовыми действиями могут быть: проверка видеозаписи с аппарата для визуального подтверждения, прокладка курса возвращения аппарата к месту обнаружения для дополнительного мониторинга, выезд группы к месту пожара.
Достоинствами технического решения является возможность автономной работы в зонах с затрудненной передачей радиосигнала, возможность освободить оператора от выполнения рутинной многочасовой работы, добиться целей распознавания огня более простыми и дешевыми техническими решениями. Алгоритм интегрирован в программный комплекс «Видеодетектор пламени 1.0 (FD)», зарегистрированный в реестре государственной регистрации программы для ЭВМ № 2016615714 [9]. Особенностью алгоритма является также требование минимальных технических характеристик к летательному аппарату: любой современный беспилтник имеет на борту видеокамеру и микропроцессор, что открывает возможную перспективу использования алгоритма в летательных аппаратах массового производства, в том числе за счет модернизации, стоящих на вооружении в МЧС России.
Библиография
1. Вытовтов А.В., Калач А.В., Сазанова А.А., Лебедев Ю.М. К вопросу о создании беспилотных летательных аппаратов / А.В. Вытовтов, А.В. Калач, А.А. Сазанова, Ю.М. Лебедев // Вестник Белгородского государственного технологического университета им. В.Г. Шухова. - 2016. - № 2. - С. 87-91.
2. Воропаев Н.П. Применение беспилотных летательных аппаратов в интересах МЧС России / Н.П. Воропаев // Вестник Санкт-Петербургского университета ГПС МЧС России (электронный журнал). - 2014. - №4. - С. 13-17.
3. Лебедев Ю.М., Разиньков С.Ю., Вытовтов А.В., Шумилин В.В. Зарубежный опыт использования микрокамер в инфракрасном диапазоне на БПЛА для обнаружения огня / Ю.М. Лебедев, С.Ю. Разиньков, А.В. Вытовтов, В.В. Шумилин // Проблемы обеспечения безопасности при ликвидации последствий чрезвычайных ситуаций. - 2015. - Т.1. - С. 28-33.
4. Merino L., Martinez-de-Dios JR, Ollero A. Cooperative Unmanned Aerial Systems for Fire Detection, Monitoring, and Extinguishing / L. Merino, JR Martinez-de-Dios, A. Ollero // Handbook of Unmanned Aerial Vehicles, pp. 2693-2722, Springer, 2014.
5. Русских Д.В., Денисов М.С. Методы определение пламени и задымления с помощью анализа видеоизображения/ Д.В. Русских, М.С. Денисов // В сборнике: Современные методы прикладной математики, теории управления и компьютерных технологий (ПМТУКТ-2013) сборник трудов VI международной конференции. -2013. - С. 89.
6. Денисов М.С., Кожевин А.С., Чалый Е.С. Распознавание источников открытого огня на ранних стадиях пожара с помощью видеодетектора / М.С. Денисов, А.С. Кожевин, Е.С. Чалый // Современные технологии обеспечения гражданской обороны и ликвидации последствий чрезвычайных ситуаций. - 2014. - № 1(5). - С. 93-94.
7. Shornikov Yu.V., Novikov E.A., Denisov M.S., Dostovalov I.N., Tomilov D.N. Modeling stiff hybrid systems of high dimension in isma / Yu.V. Shornikov, E.A. Novikov, M.S. Denisov, I.N.Dostovalov, D.N. Tomilov // В сборнике: Proceedings of the IASTED International Conference on Automation, Control, and Information Technology -Control, Diagnostics, and Automation, ACIT-CDA. -2010 2010. - С. 256-260.
8. Королев Д.С., Калач А.В., Зенин А.Ю. Важность принятия решений при обеспечении пожарной безопасности / Д.С. Королев, А.В. Калач, А.Ю. Зенин // Вестник Воронежского института ГПС МЧС России. - 2015. - №2(15). - С. 42-46.
9. Свидетельство о государственной регистрации программы для ЭВМ № 2016615714 «Видеодетектор пламени 1.0 (FD)» / Вытовтов А.В., Калач А.В., Шумилин В.В., Денисов М.С. правообладатель Вытовтов А.В. - 2016610590; заявлено 28.01.2016г.; зарегистрировано в реестре программ для ЭВМ27.05.2016г.
References
1. Vytovtov AV, Kalach AV, Sazanova AA, Lebedev Yu.M. On the issue of the creation of unmanned aerial vehicles / A.V. Vytovtov, A.V. Kalach, A.A. Sazanova, Yu.M. Lebedev // Bulletin of the Belgorod State Technological University. V.G. Shukhova. - 2016. - No. 2. - P. 87-91.
2. Voropaev N.P. The use of unmanned aerial vehicles in the interests of EMERCOM of Russia / N.P. Voropayev // Bulletin of the St. Petersburg State University of the State Fire Service of the Ministry of Emergency Situations of Russia (electronic journal). -2014. - №4. - P. 13-17.
3. Lebedev Yu.M., Razinkov S.Yu., Vytovtov A.V., Shumilin V.V. Foreign experience of using micro cameras in the infrared range on UAVfor detecting fire / Yu.M. Lebedev, S.Yu. Razinkov, A.V. Vytovtov, V.V. Shumilin // Problems of Ensuring Security in Eliminating the Consequences of Emergencies. - 2015. -T.1. - P. 28-33.
4. Merino L., Martinez-de-Dios JR, Ollero A. Cooperative Unmanned Aerial Systems for Fire Detection, Monitoring, and Extinguishing / L. Merino, JR Martinez-de-Dios, A. Ollero // Handbook of Unmanned Aerial Vehicles , Pp. 2693-2722, Springer, 2014.
5. DV Russkikh, MS Denisov. Methods for determination of flame and smoke by means of video image analysis. Russian, M.S. Denisov // In the collection: Modern methods of applied mathematics, control theory and computer technologies (PMTCT-2013), a collection of works of the VI International Conference. - 2013. - P. 89.
6. Denisov MS, Kozhevin AS, Chaly Ye.S. Recognition of sources of open fire in the early stages of a fire using a video detector / M.S. Denisov, A.S. Kozhevin, E.S. Chaly // Modern technologies for ensuring civil defense and liquidation of consequences of emergency situations. - 2014. - No. 1 (5). - P. 93-94.
7. Shornikov Yu.V., Novikov E.A., Denisov M.S., Dostovalov I.N., Tomilov D.N. Modeling stiff hybrid systems of high dimension in isma / Yu.V. Shornikov, E.A. Novikov, M.S. Denisov, I.N.Dostovalov, D.N. Tomilov // In the collection: Proceedings of the IASTED International Conference on Automation, Control, and Information Technology - Control, Diagnostics, and Automation, ACIT-CDA. - 2010 2010. - P. 256-260.
8. Korolev DS, Kalach AV, Zenin A.Yu. The Importance of Decision Making in Ensuring Fire Safety / D.S. Korolev, A.V. Kalach, A.Yu. Zenin // Bulletin of the Voronezh Institute of the State Fire Service of the Ministry of Emergency Measures of Russia. - 2015. - № 2 (15). - P. 42-46.
9. Certificate of state registration of the computer program No. 2016615714 "Video detector flame 1.0 (FD)" / Vytovtov AV, Kalach AV, Shumilin VV, Denisov MS Right holder Vytovtov A.V. -2016610590; Declared on 01/01/2016; Registered in the register of computer programs May 27, 2016.
MATHEMATICAL MODEL OF RECOGNITION OF FLAME FROM THE BOARD OF A
FREE AIRCRAFT
A scheme for the algorithm for detection of fire from an unmanned aircraft is developed, based on the mathematical processing of recording from a digital video camera located on the apparatus. The algorithm uses seven filters to check the presence of combustion in the frame step by step. The following filters were used in the work: analysis of the color of the pixels of the frame on a black and white image, checking the color of the identified area for coincidence with the gamma offire, determining the areas of motion, checking the color of moving pixels for coincidence with the gamma of fire, spatial wavelet analysis, Moving areas of the fire range, checking the volumetric region of the fire, analyzing the change in the shape of the focus with respect to the angle of exposure of the moving unmanned aircraft. The developed algorithm can be used for monitoring without the operator's work on image tracking and solves the issue of import substitution and the creation of original domestic programs.
Keywords: unmanned aerial vehicle, fire detection, automatic control, recognition algorithm, drone.
Вытовтов Алексей Владимирович,
преподаватель,
Воронежский институт ГПС МЧС России, Россия, г. Воронеж,
E-mail: [email protected], тел. 8-950-564-35-87, Vyotovtov A. V.,
Lecturer of the Department of fire safety in construction,
Voronezh Institute of State Firefighting Service of EMERCOM of Russia,
Russia, Voronezh,
E-mail: [email protected]. tel. 8-950-564-35-87.
Калач Андрей Владимирович,
д.х.н., проф.,
заместитель начальника института по науке,
Воронежский институт ГПС МЧС России,
Россия, г. Воронеж,
E-mail: [email protected],
Kalach A. V.,
D.Sc. in Chemical, prof.,
Deputy Head of the Institute for Research,
Voronezh Institute of State Firefighting Service of EMERCOM of Russia, Russia, Voronezh, E-mail: [email protected]
Куликова Татьяна Николаевна,
адъюнкт,
Воронежский институт ГПС МЧС России,
Россия, г. Воронеж,
тел. 8-920-467-67-34,
Kulikova T.N.,
adjunct,
Voronezh Institute of State Firefighting Service of EMERCOM of Russia, Russia, Voronezh.
© Вытовтов А.В., Калач А.В., Куликова Т.Н., 2017
