CC BY
76
A. V. Lapko, V. A. Lapko
COLLECTIVE OF MANY-DIMENSIONAL NONPARAMETRIC REGRESSIONS,
GROUNDED ON DECOMPOSITION OF LEARNING SAMPLE ACCORDING TO ITS SIZE
The technique of synthesis and analysis of collective of many-dimensional nonparametric regressions, which provides for high computing efficiency of problem solving of restoration of stochastic dependencies, at the account of usage of technology of parallel calculations, is offered. Asymptotic properties of collective are researched, results of their comparison with properties of traditional nonparametric regression, are presented.
Keywords: nonparametric regression, big samples, asymptotic properties, principles of decomposition, collective estimations, parallel computing technologies.
© Лапко А. В., Лапко В. А., 2012
УДК 004.932.2
К. Э. Левтин
ВИЗУАЛЬНОЕ ДЕТЕКТИРОВАНИЕ ДЫМА НА ОСНОВЕ ПРОСТРАНСТВЕННО-ВРЕМЕННОГО
АНАЛИЗА ВИДЕОПОСЛЕДОВАТЕЛЬНОСТЕЙ
Предложен гибридный подход к визуальному детектированию дыма на основе пространственно-временной кластеризации объектов. Разработана и реализована система визуального детектирования дыма. Проведен экспериментальный анализ применения созданного программного обеспечения для детектирования дыма на видеопоследовательностях. Сделаны выводы об эффективности созданного гибридного метода и предложены направления его дальнейшего развития.
Ключевые слова: визуальное детектирование дыма, пространственно-временная кластеризация.
В настоящее время наиболее распространенными методами обнаружения задымления и огня в помещениях являются взятие проб частиц воздуха, измерение внешней температуры и прозрачности среды. Однако все они требуют размещения соответствующих датчиков и приборов в непосредственной близости от источника огня и дыма. Кроме того, эти методы не являются достаточно надежными в отношении объектов, расположенных на открытом воздухе [1; 2].
В связи с широким распространением камер видеонаблюдения появилась возможность встраивать модули визуального обнаружения дыма и огня в существующие видеосистемы. Детектирование дыма по видеопоследовательностям имеет ряд преимуществ по сравнению с традиционными методами:
- возможность обнаружения дыма даже на открытых пространствах, где обычные методы химического анализа не могут быть использованы;
- практически мгновенная реакция на возникновение опасной ситуации: обнаружение дыма происходит в момент его возникновения;
- возможность точного определения месторасположения очага возгорания [3; 4].
Несмотря на многообразие научных статей по данной тематике, задача визуального детектирования дыма по-прежнему остается нетривиальной. Одним из путей решения поставленной задачи является разработка теоретической базы для построения, исследова-
ния и реализации методов, позволяющих наиболее эффективно детектировать дым в видеоматериалах.
В данной статье рассматривается проблема визуального детектирования дыма на видеопоследовательностях, включающая в себя нахождение на последовательных кадрах областей задымления и их маркирование. Эта проблема является чрезвычайно актуальной, поскольку по статистике урон от пожаров имеет одни из самых высоких показателей как по человеческим жертвам, так и по материальному ущербу по всему миру. Кроме того, детектирование дыма по видеопоследовательностям существенно дополняет традиционные методы обнаружения пожароопасной обстановки.
Гибридный метод визуального детектирования дыма основывается на методах пространственной и временной кластеризации детектированных блоков в видеопоследовательностях.
Преимуществом данного метода является способность отслеживать и объединять найденные области задымления, даже если они разделились в процессе горения (например, под воздействием потоков воздуха), и, наоборот, разделять области задымления от различных источников. Оптимальное отслеживание объектов дает возможность анализировать их форму и динамические показатели: траекторию, скорость и вектор движения, что значительно улучшает показатели эффективности детектирования.
Гибридный метод детектирования дыма в видеоматериалах состоит из шести основных этапов:
1) предобработки кадра;
2) детектирования движения;
3) текстурной сегментации;
4) удаления граней;
5) морфологической постобработки;
6) пространственной и временной кластеризации объектов.
Рассмотрим этапы гибридного метода визуального детектирования дыма более подробно.
На первом этапе исследуемый кадр видеопоследовательности подвергается предварительной обработке, которая включает в себя нормализацию изображения по яркости и контрасту, а также фильтрацию шумовых включений. Для шумоподавления используется медианный фильтр как один из наиболее распространенных и эффективных фильтров.
Алгоритм медианной фильтрации обладает явно выраженной избирательностью к элементам массива с немонотонной составляющей последовательности чисел в пределах апертуры и эффективно исключает из сигналов отрицательные и положительные одиночные выбросы, попадающие на края ранжированного списка. С учетом ранжирования в списке медианные фильтры хорошо подавляют шумы и помехи, протяженность которых составляет менее половины окна, а монотонные составляющие сигналов медианный фильтр оставляют без изменений [5]. Благодаря этой особенности медианные фильтры при оптимально выбранной апертуре могут сохранять без искажений резкие границы объектов, подавляя некоррелированные и слабо коррелированные помехи и малоразмерные детали.
На втором этапе для детектирования движения используется простой поэлементный текстурный метод сравнения двух последующих кадров [4]. Этот метод является базовым для большинства других, более сложных методов. Его суть заключается в поэлементном сравнении двух кадров видеопоследовательности: текущего кадра п и предыдущего кадра п - 1, полученных с заданной разницей либо по временному диапазону, либо по количеству кадров. Пиксели, цветовая разница которых между текущим и предыдущим кадрами будет выше заданной чувствительности, помечаются как пиксели, принадлежащие к движущейся области. Анализ цветовой разницы может проводиться цветовой моделью, наиболее подходящей для решения поставленных задач поиска движения [6; 7].
Рассмотрим метод сравнения двух последующих кадров подробнее. Определим кадр изображения, взятый в момент времени 4 как множество I,■ точек (х, у), а кадр изображения, взятый в момент времени I, + 1, -как множество Ji. Пусть с,(х, у) - функция яркости точки изображений, полученная на множествах I, и Ji.
Для нахождения областей движения между двумя кадрами изображения I, и Ji сравним соответствующие точки этих кадров. Для этого применим процедуру формирования разности кадров. Разностью между
двумя кадрами изображения, взятыми в моменты времени и и /,■, является множество
F O',j ) = ■
|I O', j)- J 0, j )1<е,
11 {^, j)- J {^, j) |> 0,
где 0 - значение порогового уровня, выбираемого таким образом, чтобы отделить точки, в которых кадры изображения, обусловленные движением распознаваемых объектов, значительно отличаются друг от друга, от точек, в которых за время ti - tj произошли незначительные шумовые перепады яркости. Изображение F(i, j) содержит предположительные области движения объектов и аддитивный шум, искажающий текущий кадр.
На третьем этапе движущиеся пиксели подвергаются текстурному анализу по двум характеристикам: цветовой гамме исследуемых объектов, которая должна находиться в шкале серого цвета (это особенно характерно для плотных скоплений дыма) [8; 9], и полупрозрачности области задымления, которая сохраняет общую направленность цветового вектора (RGB, HSV или другого цветового пространства в зависимости от выбранной для текстурного анализа цветовой модели), характерного для фонового изображения.
На этом этапе целесообразно перейти от цветовой модели RGB к цветовой модели HSV (Hue, Saturation, Brightness - оттенок, насыщенность, яркость) и исследовать параметр насыщенности S, поскольку для оттенков серого цвета величина насыщенности стремится нулю (S ^ 0) [10].
Также отметим, что при программной реализации переход к цветовой модели HSV оправдан и с точки зрения повышения производительности системы, так как эта модель позволяет ограничиться исследованием только одного параметра насыщенности S для полноценного текстурного анализа, поскольку данная величина при переходе из цветовой модели RGB к цветовой модели HSV зависит только от исходных значений параметров R, G, B и не использует при вычислении значений параметров цветового тона H и яркости V, расчетом которых можно пренебречь.
Четвертый этап основан на физических особенностях областей, имеющих газообразную природу. Эти особенности связаны с оптическими свойствами плотных газообразных веществ: при пространственном совмещении с другими объектами дым, туман и пр., смазывают резкие грани объектов. Соответственно можно сделать вывод о том, что в местах скопления найденных граней дым отсутствует и, следовательно, эти области необходимо удалить из дальнейшей обработки.
Алгоритм удаления граней состоит из четырех шагов:
1) поиска граней на основе фильтра Лапласа;
2) адаптивной бинаризации полученного изображения;
3) морфологического расширения найденных областей (операция Dilation);
4) вычитания полученного изображения из изображения текущего кадра, взятого на этапе текстурной сегментации.
Рассмотрим некоторые особенности описанных выше шагов.
По виду матрицы
L =
Г-1
-1
-1
-1 -Г|
8 -1 -1 -1
фильтр Лапласа похож на высокочастотный фильтр, но он генерирует абсолютно другое изображение: фильтр Лапласа относится к категории фильтров выделения границ с нулевой суммой коэффициентов матрицы: фильтр выделения границ заменяет равномерно окрашенные области черным цветом, а области с изменениями - цветом, отличным от черного (рис. 1).
Поэтому для дальнейшей морфологической обработки и удаления граней из изображения, прошедшего текстурную сегментацию, полученное изображение подвергается бинаризации на основе адаптивного порога Т:
Т _ (1тах 1 т1п )
_ 2 ,
где 1тах - глобальное значение максимума общей интенсивности пикселей изображения; 1ш1п - глобальное значение минимума общей интенсивности пикселей изображения.
Общая интенсивность рассчитывается как среднее арифметическое интенсивностей по трем каналам цветовой модели ЯвВ:
1ъ + 1а + 1в
I =-
3
Применение операции математической морфологии Dilation позволяет расширить области найденных граней, что улучшает точность их удаления из области задымления. В некоторых случаях также целесообразно 2-3 раза применять операцию расширения.
Для формирования связных областей интереса на завершающем шаге алгоритма удаления граней используется морфологическая обработка с адаптивным выбором размера маски в соответствии с размерами исследуемого изображения. К полученному после удаления граней кадру видеопоследовательности последовательно применяются операции закрытия
(Closing) и открытия (Opening), маски которых эквивалентны.
Математическая морфология предназначена для исследования структуры и формы множеств однотипных объектов. Любое изображение в компьютерной графике можно представить в виде набора пикселей. Поэтому операции математической морфологии применимы и к изображению.
Пусть имеется двоичное изображение, представленное в виде упорядоченного множества чернобелых точек: 0 и 1. Область изображения - это обычно множество единиц изображения, и каждая операция математической морфологии является преобразованием этого множества. В качестве исходных данных принимаются двоичное изображение и некоторый структурный элемент, кодирующий информацию о простой форме. Этот элемент может быть произвольной формы (чаще всего симметричной) и структуры. В каждом элементе выделяется особая точка, называемая начальной. Эта точка может быть расположена в любом месте структурного элемента. В симметричных элементах это, как правило, центральный пиксель.
Сначала все изображение заполняется нулевыми значениями, образующими фон. Затем в каждой точке осуществляется сканирование изображения структурным элементом. Для этого структурный элемент накладывается на изображение таким образом, чтобы совместились сканируемая и начальная точки. Далее проверяется условие соответствия пикселей структурного элемента и точек изображения под ним. Если условие выполняется, то на изображении ставится 1 (иногда сюда могут добавляться все единицы из структурного элемента) [4; 11].
По этой схеме выполняются базовые операции математической морфологии: расширение (Dilation) и сужение (Erosion). Производные операции - это некоторая комбинация базовых операций, выполняемых последовательно. Основными из них являются открытие (Opening) и закрытие (Closing).
Отметим, что морфологические операции сами по себе не являются алгоритмами сегментации, а используются в качестве промежуточного этапа в процессе сегментации.
Рис. 1. Пример применения фильтра Лапласа: слева - исходное изображение; справа - изображение после обработки
На шестом этапе при пространственной кластеризации найденных объектов производится выделение связных областей на текущем кадре видеопоследовательности, а при временной кластеризации выявляется соответствие между объектами, найденными в ходе пространственной кластеризации на текущем и предыдущем кадрах, для чего используется метод совмещения объектов по размеру и смещению.
Такой выбор объясняется тем, что применительно к детектированию дыма временная кластеризация на основе цветовой информации не является эффективной по ряду причин. В частности, несколько разрывных блоков, движущихся в различных направлениях по пересекающимся траекториям, с большой вероятностью могут иметь один источник и, соответственно, очень схожую текстурную информацию, а области задымления, принадлежащие одному источнику, могут менять цветовую окраску в процессе горения в достаточно широком и трудно предсказуемом диапазоне.
В данном случае оптимальным является определение соответствия объектов предыдущего и текущего кадров на основе анализа изменения размера и пространственного смещения, в ходе которого для каждого объекта вычисляется коэффициент смещения Offset, также отражающий возможное изменение в размерах:
лизован в виде программной системы визуального детектирования дыма Smoke Alarm.
Offset =
(Xmin,max уmin,max \ - /xmin,max уmin,max \
*n ' 'n-1
H ,W
где Xmin,max, уmin,max _ координаты верхнего левого и нижнего правого угла прямоугольника, аппроксимирующего объект интереса; H - высота кадра; W - ширина кадра.
Объекты текущего и предыдущего кадров, имеющие наименьшее отклонение значения смещения Offset, помечаются как связанные области.
После установления соответствия между объектами текущего и предыдущего кадров производится слияние объектов, имеющих пересечение областей, и строятся векторы движения. Эти векторы соединяют середины прямоугольников, аппроксимирующих поставленные друг другу в соответствие объекты на текущем и предыдущем кадрах [12; 13].
Построение векторов движения детектированных областей задымления является лишь одной из возможностей применения результатов пространственновременной кластеризации наряду с расчетом скорости движения, анализом траектории и динамики изменения размеров исследуемых областей.
Пример выходного изображения, полученный после слияния движущихся объектов соседних кадров, прошедших пространственную и временную кластеризацию по описанным выше алгоритмам и построения векторов движения объектов, связанных по временной оси, представлен ниже (рис. 2).
Гибридный метод визуального детектирования дыма в видеоматериалах на основе пространственновременной кластеризации движущихся регионов реа-
Рис. 2. Построение векторов движения блоков
В разработанном программном продукте пространственно-временная кластеризация областей задымления выполнена в виде дифференцированного цветового маркировании областей, совершающих разнонаправленное движение, а также отыскания векторов движения для отдельных движущихся блоков детектированной области.
В ходе экспериментального анализа системы визуального детектирования дыма, разработанной на основе рассматриваемого гибридного метода, эффективность детектирования дыма определялась на ряде видеопоследовательностей, содержащих различные типы задымления, которые имеют разные показатели скорости движения, цветовой гаммы и пр.
Тестирование результатов проводилось посредством специально разработанного интегрированного модуля сравнения результатов анализа. На вход этого модуля подается изображение для сравнения, на котором область задымления маркирована системой детектирования дыма, и изображение-эталон, на котором область задымления маркирована экспертом на основании эмпирико-визуальных суждений.
В ходе анализа изображения сравниваются по следующим показателям (для пп. 1-3 - в процентах относительно размера эталонной области, для п. 4 -в процентах относительно размера кадра):
1) область совпадения;
2) недетектированные элементы;
3) ложно детектированные элементы;
4) размеры детектированных областей.
На сводном графике результатов тестирования (рис. 3) можно легко определить, что точность детектирования областей задымления (исходя из линии «Область совпадения») составляет приблизительно 60 %, количество недектированных элементов - в среднем меньше 40 %, ложно детектированные элементы в среднем не превышают 20 %. Все эти показатели говорят о высокой точности маркирования найденных областей задымления.
Сводный график результатов тестирования
Область совпадения (%)
І20
Недетектированные
элементы
элементы
о
С
-X— Отношения размеров
детектированных областей
І00
S0
б0
40
20
І 2 3 4
№ видеопоследовательности
Рис. 3. Сводный график результатов тестирования
0
5
Этот вывод также подтверждается анализом графика отношения размеров детектированных областей. Показатель «Отношения размеров детектированных областей» рассчитывается на основании табличных данных «Размер детектированной области (входное изображение, %)» и «Размер детектированной области (эталон, %)» как отношение размеров детектированной области входного изображения к детектированной области изображения-эталона. Для соответствия размерности сводного графика и повышения наглядности данный показатель представлен в процентах. При проведении экспериментов показатель отношения размеров детектированных областей был близок к 100 %, что свидетельствует об эквивалентности размеров детектированных областей.
Результаты, полученные в ходе тестирования, позволяют говорить о высоких показателях эффективности маркирования областей задымления и, соответственно, об устойчивой работе системы визуального детектирования дыма при работе с реальными видеопоследовательностями.
Разработанный гибридный метод визуального детектирования дыма на основе пространственно-временной кластеризации найденных областей задымления анализирует динамические характеристики области задымления по серии кадров и рассчитывает траектории, скорости, векторы движения дымовых потоков, а также классифицирует области задымления по источникам горения и позволяет работать с несколькими движущимися областями. Эти особенности способствуют увеличению эффективности детектирования дыма за счет более точного выделения областей задымления.
Созданный программный продукт является исследовательским и направлен на проведение экспериментов для разработки адаптивных алгоритмов визуаль-
ного детектирования дыма. Однако уже на сегодняшний день он показывает хорошие результаты по точности маркирования областей задымления.
Следует отметить, что высокая точность детектирования дыма в реальных условиях возможна только при комбинированном применении визуальных методов детектирования и температурного контроля исследуемой области. Визуальные методы необходимы для быстрого детектирования появления опасных ситуаций уже на первых секундах возгорания, а температурный контроль следует применять для исключения ложных срабатываний в сложных ситуациях, связанных с детектированием пара или других газообразных объектов, поскольку природа этих объектов идентична природе дыма и зачастую не поддается зрительной дифференциации.
В дальнейшем планируется продолжить исследования, связанные с использованием таких динамических характеристик кластеризованных движущихся блоков, как вычисление скорости, общей средней траектории движения и т. д.
Библиографические ссылки
1. Xiong Z., Caballero R. Video-Based Smoke Detection: Possibilities, Techniques, and Challenges // Proc. of the Supression and Defection Research and Applications Conf. Orlando, Fla, 2007. P. 157-164.
2. Xiong Z. Video-Based Smoke Detection: Deployment of Fractals // Proc. of the Supression and Defection Research and Applications Conf. Orlando, Fla, 2006. P. 571-573.
3. Левтин К. Э. Детектирование дыма в видеопоследовательностях на основе блочного анализа и вейвлет-преобразований // Цифровая обработка сигналов и ее применение : материалы 12-й Междунар. конф. и выст. В 2 т. Т. 2. М., 2010. С. 110-107.
4. Gonzales R. Digital Image Processing. Boston : Wesley, 2003.
5. Duda R., Hart P. Pattern Classification. New York : Wiley, 2001.
6. Левтин К. Э. Адаптивная система обнаружения задымления на открытых пространствах в видеоматериалах // Проблемы передачи и обработки информации в сетях и системах телекоммуникаций : материалы 16-й Междунар. науч.-техн. конф. / Рязан. гос. ра-диотехн. ун-т. Рязань, 2010. С. 121-122.
7. Левтин К. Э. Детектирование дыма в видеопотоках на основе вейвлет-преобразования // Решетнев-ские чтения : материалы XIII Междунар. науч. конф. / Сиб. гос. аэрокосмич. ун-т. В 2 т. Ч. 2. Красноярск, 2009. С. 514-515.
8. Celik T., Ozkaramanl H., Demirel H. Fire and Smoke Detection Without Sensors: Image Processing Based Approach // Proc. of the Europ. Signal. Processing Conf. Poznan, 2007. P. 1794-1798.
9. Russel S., Norvig P. Artificial Intelligence: a Modern Approach. 3rd ed. Upper Saddle River, N. J. : Prentice Hall, 2010.
10. Celik T., Ozkaramanl H. Smoke and Fire Detection Using Video Sequence // Europ. Signal Processing Conf. Poznan, 2008. P. 197-200.
11. Cormen T. Introduction to Algorithms. Cambridge, Mass., 2006.
12. Левтин К. Э. Применение вейвлет-анализа к детектированию дыма на открытых пространствах // Актуальные проблемы авиации и космонавтики : материалы VI Всерос. науч.-практ. конф. студентов, аспирантов и молодых специалистов / Сиб. гос. аэрокосмич. ун-т. Красноярск, 2010. С. 359-360.
13. Левтин К. Э. Блочно-текстурный метод детектирования дыма в видеопоследовательностях // Теоретические и прикладные вопросы современных информационных технологий : материалы X Всерос. науч.-техн. конф. Улан-Удэ, 2009. С. 248-250.
K. E. Levtin
VISUAL SMOKE DETECTION BASED ON SPATIAL-TEMPORAL ANALYSIS
OF VIDEO SEQUENCES
A hybrid approach to visual smoke detection, based on spatial-temporal clustering of moving objects, is proposed. Visual smoke detection system, based on the algorithm of the hybrid approach, was developed and tested on a whole number of video materials. Conclusions and possible further investigations are offered in the end of this paper.
Keywords: visual smoke detection, spatial-temporal clustering.
© ^eBTHH K. Э., 2012
УДК 519.682
Д. В. Личаргин
МЕТОДЫ ГЕНЕРАЦИИ ПРЕДЛОЖЕНИЙ ЕСТЕСТВЕННОГО ЯЗЫКА НА ОСНОВЕ ЛЕСА ДАННЫХ ЕСТЕСТВЕННОГО ЯЗЫКА
Рассматриваются модели и средства генерации осмысленных единиц, в частности предложений естественного языка, предназначенные для решения проблем компьютерной лингвистики. При этом на основе леса деревьев классификаций задаются иерархия наследующих друг друга информационных единиц с признаками классификаций более низкого уровня и семантическое понятийное пространство языка, соответствующее симметричному дереву, на каждом уровне и срезе леса естественного языка. На последнем уровне задается множество функций и деревьев функций, соответствующих осмысленным предложениям естественного языка, и другие гнездящиеся над основной классификацией данные.
Ключевые слова: генерация естественного языка, системный анализ, классификации слов языка.
На современном этапе актуальной является задача автоматизации систем письменного и устного перевода для различных языков, экспертных, поисковых систем и систем реферирования. Для решения данной задачи успешно используются многочисленные теории, концепции и программные системы, а работы в области семантики, дискретной математики, лингвистики и искусственного интеллекта дают надежду на преодоление в ближайшем будущем многих проблем
формализации естественного языка и прохождение теста Тьюринга во все более жестких для тестовых систем условиях.
Для генерации осмысленной речи в настоящее время используется широкий инструментарий как семантики, так и искусственного интеллекта в рамках понятийного аппарата и различных моделей математической семантики [1]. В частности, для анализа естественного языка традиционно применяются такие
5І
