Метод автоматического обнаружения и прослеживания многих малоразмерных объектов в условиях априорной неопределенности Текст научной статьи по специальности «Медицинские технологии»

ПРИБОРЫ И СИСТЕМЫ АВТОМАТИЧЕСКОГО УПРАВЛЕНИЯ

УДК 621.397

В. Т. ФИСЕНКО, В. И. МОЖЕЙКО, Т. Ю. ФИСЕНКО, Л. Д. ВИЛЕСОВ, Д. А. ФЁДОРОВ

МЕТОД

АВТОМАТИЧЕСКОГО ОБНАРУЖЕНИЯ И ПРОСЛЕЖИВАНИЯ МНОГИХ МАЛОРАЗМЕРНЫХ ОБЪЕКТОВ В УСЛОВИЯХ АПРИОРНОЙ НЕОПРЕДЕЛЕННОСТИ

Рассмотрена задача многоцелевого сопровождения объектов в условиях априорной неопределенности временных и пространственных характеристик при минимальном времени обнаружения объекта. Разработан стробовый метод обнаружения целеподобных отметок, позволяющий формировать треки многих объектов. Объекты могут быть расположены на малом расстоянии друг от друга при большом диапазоне возможных межкадровых смещений объектов и высоком уровне помех. Принято допущение, что на последовательности 3—5 видеокадров трек можно аппроксимировать линейной функцией. Эффективность метода подтверждена экспериментально по синтезированным последовательностям.

Ключевые слова: обнаружение объектов, автоматическое слежение, многоцелевое сопровождение объектов.

Введение. Одной из важнейших задач систем наблюдения и управления является обнаружение малоразмерных и точечных динамических объектов и оценка их траектории (прослеживание) во времени. В работе [1] рассмотрены вопросы обнаружения малоразмерных объектов по выявленным трекам при низком отношении сигнал/шум на основании стробово-го метода. Этот метод можно отнести к так называемым методам „сопровождения до обнаружения" (Track Before Detect, TBD). В отличие от классического сопровождения, при котором решение о наличии объекта принимается по каждому кадру на основе внутрикадровой обработки, при использовании метода TBD анализируется ограниченная последовательность кадров, и решение принимается на основании накопленной информации по последнему кадру последовательности. Обработка производится по скользящей последовательности кадров, результат обработки формируется по каждому кадру (с первоначальной задержкой, определяемой длиной последовательности).

На рис. 1 приведен пример формирования трека по последовательности из N кадров (а — последовательность кадров, б — накопленный трек; крестиком отмечены объекты, точками — помехи).

а)

N

б)

X +

+

Рис. 1

Первичная внутрикадровая обработка предназначена для выявления точечных объектов на основе автоматического выделения областей целеподобных объектов, адаптивного порогового ограничения и оценки центра тяжести. В результате первичной обработки формируется бинарное изображение, в котором координатам малоразмерных объектов или помех соответствует значение 1, а фону — 0. Это изображение наряду с объектами содержит существенное число помех. Далее выполняется выявление новых траекторий движения, подтверждение существующих или завершение/удаление траекторий на основании данных, накопленных по ограниченной последовательности кадров. На основании анализа принимается решение о наличии объектов интереса.

При использовании видеосистем кругового обзора динамический диапазон межкадровых смещений малоразмерных объектов существенно увеличивается по сравнению с системами секторного наблюдения [2]. Расширение диапазона возможных скоростей наблюдаемых объектов определяет увеличение размера строба. В этом случае в противоречие входят требования увеличения размера строба и обеспечения необходимой вероятности правильного обнаружения при заданной вероятности ложной тревоги. Действительно, при увеличении строба возрастает число отметок, формирующих ложные треки, т.е. повышается вероятность ложной тревоги. Для обеспечения заданного уровня ложных тревог необходимо уменьшить число отметок в кадре, что достигается исключением отметок при первичной обработке с меньшим отношением сигнал/шум, это приводит к пропуску объектов с малой интенсивностью сигнала. Для возможности работы в большом динамическом диапазоне скоростей объектов авторами разработан метод, являющийся развитием стробового метода [1].

Постановка задачи. Входными данными является последовательность бинарных изображений, точечные отсчеты которых могут принадлежать либо объекту, либо помехе. Координаты единичных отсчетов определяют множество измерений:

г (к) = ^} ^ , V* = 1N],

где к — текущий номер кадра, N — число кадров в скользящей последовательности, М* — число единичных отметок в к-м кадре. Задача состоит в том, чтобы из множества |гк } выбрать те отсчеты, которые формируют трек.

Решение об обнаружении объекта принимается при отсутствии априорных данных о времени появления и исчезновения, количестве, положении и параметрах движения (направление, скорость) объекта при заданной максимальной скорости движения. Решение с оценкой координат объекта должно вырабатываться по каждому кадру последовательности и обеспечивать минимально возможную временную задержку г до принятия решения

г = тг, (1)

где г ^ — длительность кадра.

Вектор состояния объекта х* определяет координаты объекта и оценку вектора скорости по кадру к в момент времени г*. Предполагается, что скорость и направление движения объекта не изменяются мгновенно во времени, производится кусочно-линейная аппроксимация траектории движения объекта на скользящем временном интервале г. На рис. 2 представлен фрагмент изображения с накопленной во времени траекторией движения объекта. Точками обозначены оценки координат (у, х) в последовательности кадров [1, ..., N1 длительностью г (на рис. 2 N=4). При кусочно-линейной аппроксимации движение объекта от кадра к кадру происходит с постоянной скоростью и описывается линейным уравнением

х к+1 = рк хк, (2)

где \к = [ ек Угк Уск ]'; тк — номер строки, ск — номер столбца; \гк, \ск — скорость

движения объекта по строке и столбцу соответственно; „'" — знак транспонирования; Рк — функция, описывающая траекторию (матрица перехода):

1 0 0

0 1 0

0 0 1 0

0 0 0 1

Р =

Под траекторией понимается множество отсчетов, полученных в N последовательных кадрах и удовлетворяющих уравнению состояния системы (2):

{4

к-N+1 _к-N+2 г!

, ^ 2

к-1 к )

(3)

где / — номер траектории, [/1,..., ¡п ] — номер измерения, /п < N .

у

, /

1 2 ... N х

1 2 .. N

Рис. 2

Задача определения принадлежности объекта траектории решается по каждому кадру в реальном времени на основе анализа последовательности длиной N кадров. Подтверждение траектории на N кадре позволяет принять решение о том, что отсчет относится к объекту, а не помехе. Принадлежность траектории оценивается при допустимом отклонении оценки вектора состояния в кадре к от ожидаемого трека, обусловленном „нежестким" растром в случае кругового обзора.

Стробовый метод обнаружения малоразмерных объектов построен на анализе изображения в двух стробах (обобщенная структурная схема представлена на рис. 3).

"й

1-

Измерения в кадре

2-

Вычисление в большом стробе

ницииро вание треков

Предсказание состояния объектов

Вычисление в малом стробе

Рис. 3

Размер первого (большого) строба определяется диапазоном возможных скоростей объектов, алгоритм выполняется так же, как в работе [1]. Этот строб предназначен для инициализации трека малоразмерных (точечных) объектов. В настоящей работе под инициализацией трека понимается определение по двум смежным кадрам координат возможных объектов интереса, удовлетворяющих динамическому диапазону скоростей. В качестве меры расстояния

между объектами используется евклидова мера. Необходимо подтвердить наличие трека на последовательности еще N-2 кадров. Размер большого строба определяется тем, что положение движущегося объекта в текущем кадре с точностью до скорости его движения не выходит за пределы строба, центр которого совмещен с координатами объекта в предыдущем кадре. Все отсчеты, принадлежащие стробу, инициируют новый трек. Поскольку время появления объекта в кадре априори не известно, каждая отметка может оказаться объектом, поэтому положение центра большого строба определяется координатами всех отметок в предыдущем кадре (блоки 2, 3).

Координаты центра второго (малого) строба оцениваются по предсказанию положения объекта в ^м кадре на основании информации, полученной в ^-1)-м кадре (см. (2)) для всех активных (инициированных и подтвержденных) треков (блок 4). Размер малого строба определяется возможной нестабильностью растра, ошибками оценки координат и допустимым ускорением объекта. Во втором стробе (блок 5) выполняется анализ с целью подтверждения треков, инициализированных в предыдущем кадре и прослеживаемых, завершения/удаления неподтвержденных треков. Подтверждается тот трек, для которого в текущем кадре в малом стробе находится отметка (блок 6). Для минимизации вероятности пропуска цели неопределенность, возникающая при наличии нескольких отметок в малом стробе, разрешается разветвлением трека и наследованием предыстории трека. Обработка в малом стробе позволяет существенно уменьшить число инициированных треков. Дополнительное снижение вероятности ложных тревог достигается проверкой линейности трека, необходимость этой проверки обусловлена размером малого строба. Для этого по методу наименьших квадратов по N отсчетам определяются параметры прямой линии и оценивается отклонение отсчетов от линии для каждой из N координат. Оценки состояния треков обновляются для каждого кадра.

Такой подход позволяет анализировать подвижные объекты (при большом диапазоне скоростей) без возрастания вероятности ложной тревоги, неизбежно возникающего вследствие существенного увеличения размера строба при работе по методу [1]. Число инициированных треков должно расти при увеличении числа ложных отметок, однако введение малого строба позволяет ослабить эту зависимость. В табл. 1 приведена зависимость суммарного числа ложных тревог за все время наблюдения от размера большого строба для последовательности из 50 кадров (1024x512 элементов), при наличии 1 объекта интереса и 100 помех в каждом кадре.

Таблица 1

Размер большого строба, 41x41 61x61 81x81 101x101 121x121 161x161

элементы

Число ложных тревог 1 3 3 3 3 3

Традиционно для подтверждения трека проверяется наличие объекта в M кадрах из N наблюдаемых. Необходимость минимизации времени обнаружения объекта при заданной вероятности ложной тревоги влечет за собой требование наличия объекта, принадлежащего треку, в каждом из N кадров (блок 7), т.е. при in = N (см. выражение (3)), координаты объекта

передаются на выход (блок 9).

Решение о завершении/удалении трека обычно принимается при отсутствии объекта, принадлежащего треку, на протяжении L кадров подряд, часто L=[3,4]. В рассматриваемом случае L=1. Удаление трека производится в блоке 8. Понятно, что увеличение значения N приводит к уменьшению вероятности ложной тревоги при заданной плотности помех, малые значения N даже при некоррелированной помехе порождают ложные треки. Эта зависимость проиллюстрирована в табл. 2. Данные приведены для кадра размером 1080x1920 элементов. Размер большого строба 161x161, малого — 23x23 элемента. Генерация точечных отметок помехи выполнена для случая равномерного распределения помехи по кадру. Общая длина

последовательности (1000+^-1) кадров. Объекты в кадрах отсутствуют. Из таблицы видно, например, что для 300 помех в каждом кадре (вероятность ложной тревоги 1,44-10-4) при N=3 были обнаружены « 32 ложные отметки на кадр, при N=4 — 0,987, а при N=5 возникает по одной ложной отметке в 27 кадрах из тысячи.

Таблица 2

Зависимость числа ложных целей от длины последовательности N

Число помех Число ложных тревог на кадр

N=3 N=4 N=5

100 1,297 0,010 0

120 2,086 0,024 0

140 3,274 0,044 0

160 5,031 0,090 0

180 7,138 0,146 0,003

200 9,809 0,193 0,004

220 12,768 0,305 0,008

240 16,435 0,411 0,018

260 20,699 0,610 0,016

280 25,660 0,788 0,024

300 31,550 0,987 0,027

Повышение плотности помех при сохранении размеров большого и малого стробов приводит к повышению вероятности ложной тревоги, что показано в табл. 2.

Исследование эффективности метода. Были синтезированы видеопоследовательности треков при задаваемом числе отметок помех для сценариев с одним, двумя или многими объектами, для случая пересечения траекторий движения объектов и расщепления траектории. Траектория задавалась линейной функцией при распределенной по нормальному закону ошибке координат. Координаты помеховых отметок распределялись в кадре по равномерному закону. При синтезе последовательности формировался тестовый список координат объектов для каждого кадра. Размер последовательности составлял 25—100 кадров. Оценка эффективности производилась путем сопоставления тестового списка и списка обнаруженных по разработанному методу объектов. Кроме этого, формировалось накопленное в течение последовательности изображение полученных треков. На рис. 4 представлено накопленное изображение координат обнаруженных объектов для семи целеподобных отметок, две из которых (1 и 7) неподвижны, лишь подвержены случайному смещению в допусках ошибок оценок координат объекта, нестабильности растра и пр.

Рис. 4

Размер тестового изображения 768x512, синтезировано 75 помеховых отметок в каждом кадре последовательности. Длина последовательности 50 кадров, длина последовательности для принятия решения — 4 кадра. В эксперименте треки всех объектов прослежены.

Выводы. Разработан метод обнаружения объектов, основанный на выявлении трека с использованием стробового метода. В методе использовано допущение, что на небольшой последовательности видеокадров трек можно аппроксимировать линейной функцией. Обнаружение объекта производится после анализа N кадров последовательности. Время возникновения и исчезновения объекта неизвестно, число обнаруживаемых объектов не ограничено и неизвестно. Метод эффективен при большом динамическом диапазоне возможных скоростей объектов интереса. Сокращение длительности последовательности снижает требования к линейному характеру траектории, поскольку линейность должна выполняться лишь в скользящем окне короткой последовательности кадров.

СПИСОК ЛИТЕРАТУРЫ

1. Фисенко В. Т., Вилесов Л. Д., Можейко В. И., Фисенко Т. Ю. Обнаружение малоразмерных объектов на основании многоцелевого сопровождения по последовательности видеокадров // Сб. тр. Междунар. конф. „Прикладная оптика—2012". СПб, 2012. Т. 1. С. 118—122.

2. Фисенко В. Т., Вилесов Л. Д., Можейко В. И., Фисенко Т. Ю. Об оценке координат межкадровых смещений в видеосистеме кругового обзора // Сб. докл. XV Междунар. конф. по мягким вычислениям и измерениям. СПб, 2012. Т. 1. С. 149—152.

3. Фисенко В. Т., Можейко В. И., Фисенко Т. Ю. Автоматическое сопровождение объектов в компьютерных системах обработки изображений // Оптический журнал. 2007. Т. 74, № 11. С. 39—46.

Валерий Трофимович Фисенко

Владимир Иванович Можейко

Татьяна Юрьевна Фисенко

Леонид Дмитриевич Вилесов

Дмитрий Александрович Фёдоров

Рекомендована кафедрой компьютерной фотоники и видеоинформатики

Сведения об авторах

канд. техн. наук, доцент; филиал ОАО „Корпорация «Комета» — «Научно-проектный Центр оптоэлектронных комплексов наблюдения»", Санкт-Петербург; директор; E-mail: [email protected] канд. техн. наук, доцент; филиал ОАО „Корпорация «Комета» — «Научно-проектный Центр оптоэлектронных комплексов наблюдения»", Санкт-Петербург; начальник сектора; E-mail: [email protected] канд. техн. наук, доцент; филиал ОАО „Корпорация «Комета» — «Научно-проектный Центр оптоэлектронных комплексов наблюдения»", Санкт-Петербург; ведущий научный сотрудник; E-mail: [email protected]

канд. техн. наук, доцент; Санкт-Петербургский государственный университет аэрокосмического приборостроения, кафедра радиоэлектроники и телевидения, Санкт-Петербург; E-mail: [email protected]

аспирант; Университет ИТМО, кафедра компьютерной фотоники и видеоинформатики, Санкт-Петербург; E-mail: [email protected]

Поступила в редакцию 03.03.14 г.