Алгоритмы видеонаблюдения и маневрирования автономных морских судов Текст научной статьи по специальности «Математика»

УДК 004.932.2

АЛГОРИТМЫ ВИДЕОНАБЛЮДЕНИЯ И МАНЕВРИРОВАНИЯ АВТОНОМНЫХ МОРСКИХ СУДОВ

Б. А. Скороход, А.В. Стаценко, С.И. Фатеев

Рассматриваются задачи автоматического обнаружения препятствий и их автосопровождения при сложном фоне, оценки риска столкновения и изменения траектории движения судна при необходимости. В основе предлагаемого подхода лежат семантическая модель изображения и пространственно-временной фильтрации для обнаружения и сопровождения объектов, а также методы нелинейной калмановской фильтрации для позиционирования объектов и прогнозирующего управления для обхода препятствий. Предложенные в работе алгоритмы были протестированы как на реальных, так и на модельных данных.

Ключевые слова: автоматическое обнаружение и автосопровождение препятствий, оценка риска столкновения, калмановская фильтрация, прогнозирующее управление.

1. Постановка задачи. Разработка алгоритмов автоматического обнаружения препятствий на морской поверхности с судна, по последовательности видеоизображений и корректировка при необходимости его маршрута - одни из важных направлений исследований в области создания корабельных систем управления. В отличие от воздушных, наземных и подводных автономных транспортных средств задачи, связанные с управлением судами в автономных режимах, проработаны в значительно меньшей степени. Система, построенная на основе таких алгоритмов, позволит повысить автономность функционирования транспортных средств, решая следующие задачи:

1) обнаружение и сопровождение объектов на морской поверхности, представляющих интерес для судовождения, по последовательности изображений, поступающих с видеокамеры, установленной на судне (один из вариантов установки видеокамеры с используемыми системами координат показан на рис. 1);

2) оценка риска столкновения с позиционированием таких объектов в темпе реального времени и использованием методов обработки изображений, данных GPS (или ГЛОНАСС) и инерциальных датчиков;

3) выдача рекомендаций для корректировки (при необходимости) маршрута судна.

Предлагаемые в литературе подходы к обнаружению различных объектов на водной поверхности, которые далее будут интерпретироваться как препятствия, опираются на различные "сценарии" движения судна и допущения относительно фона. Типичным является сценарий движения в открытом море, когда на изображениях присутствуют возможные препят-

85

ствия, а в качестве фона - только небо и море (простой фон). В [1 - 5] предлагаются алгоритмы обнаружения препятствий как по их силуэту непосредственно над линией горизонта, так и на морской поверхности. Значительно более сложной и практически интересной представляется задача обнаружения препятствий в условиях, когда фон включает небо, землю и море (сложный фон). Для решения задачи в подобных случаях в [6] используется априорная семантическая модель изображения, представляющая собой марковское поле, состоящее из трех областей: нижняя область -водная поверхность, средняя - земля либо пришвартованные суда, верхняя - небо. Алгоритм обнаружения препятствий, основанный на использовании гауссовских моделей смеси распределений, предложен в [7]. В [8] предлагаются алгоритмы для интерпретации сцен, наблюдаемых на изображениях. В настоящей работе продолжены исследования, начатые в [7].

Рис. 1. Судно «Пионер» (СевГУ)

Концептуально задача позиционирования объекта состоит в определении его траектории (положения и скорости) по заданному множеству зашумленных измерений [9]. Обычно это оценки углов пеленга объекта и собственных координат наблюдателя. В такой общей постановке задача является типичной для многих приложений, возникающих, в частности, при видеосопровождении. Отличие состоит в том, что в этом случае углы пеленга определяются в результате обработки изображений. Общий подход к решению подобных задач состоит в использовании методов нелинейной калмановской фильтрации. Хорошо известны трудности, возникающие при этом и обусловленные особенностями, присущими как самой задаче, так и применяемым алгоритмам. Во-первых, это высокая степень нелинейности моделей измерений [10]. Во-вторых, состояние модели объекта не является полностью наблюдаемым - скорости не могут быть восстановлены, если судно не маневрирует специальным образом [11,12]. В-третьих, имеется большая априорная неопределенность относительно положения и характера движения наблюдаемого объекта. Все это существенно затрудняет применение одного из наиболее известных нелинейных ал-

горитмов фильтрации - расширенного фильтра Калмана (РФК), приводя к его расходимости [13, 14, 15]. В качестве альтернативы отметим использование взвешенных оценок параллельно работающих РФК, параметризованных по дальности [16]. Реализация такого подхода связана со значительными вычислительными затратами, при этом не гарантируется приемлемой точности. В настоящей работе показано, что по информации, поступающей с камеры, установленной на судне, и сигналам GPS (или ГЛОНАСС), используемым для локализации положения самого судна, может быть построен РФК, обеспечивающий приемлемую точность оценивания координат препятствия без предварительного маневрирования судна.

После оценки риска столкновения по результатам позиционирования препятствия может быть принято решение о выборе нового безопасного маршрута, обеспечивающего минимальные затраты в смысле времени, расстояния, корректировок маршрута и т.д. В такой неформальной постановке задача является типичной для любых автономных транспортных средств, и, как следствие, для ее решения может быть использован, например, опыт, накопленный при разработке наземных мобильных роботов. Известны многочисленные публикации, посвященные решению этой задачи. Так, метод искусственных потенциальных функций (ПФ) был предложен в [17 - 19]. Управление роботом осуществляется таким образом, чтобы, двигаясь в направлении к цели, избегать столкновения с препятствием. В [20] предлагается использовать оптимальное прогнозирующее управление. Критерий качества представляет собой взвешенную сумму ПФ, определяющих в неявной форме качество слежения за траекторией, ограничения на управление и состояние, а также ограничения, позволяющие избежать столкновения (величины, обратные расстояниям до препятствий). Для решения задачи используются принцип максимума и динамическое программирование, реализация которых требует значительных вычислительных ресурсов. В статье предлагается новый алгоритм обхода препятствий, основанный на линеаризации системы и ограничений в окрестности прогноза текущей траектории.

2. Построение границы морской поверхности. Предполагается, что количество пикселов, принадлежащих объектам интереса (если они присутствуют), существенно меньше количества пикселов, относящихся к небу, земле и морю. Алгоритм используется только на первом этапе решения общей задачи автоматического обнаружения и автосопровождения для построения береговой линии на изображении относительно небольших размеров, полученном по исходному изображению. Точки полученной границы экстраполируются на исходное изображение, и, таким образом, определяется регион, принадлежащий морю.

Предлагается следующая иерархическая, адаптивная схема сегментации изображения на три области: небо, земля и море.

1. Изображение предварительно обрабатывается фильтром Кувахара

[20].

2. На изображении находится положение прогнозируемой линии горизонтаHpr [7]. Пусть камера установлена на высоте h над уровнем моря с углом наклона a относительно перпендикуляра к радиусу Земли; b -угол обзора камеры по вертикали; 9 sky, 9 sea - углы наблюдения неба и

моря соответственно; M - количество пикселей в изображении по вертикали; R - радиус Земли. Тогда с учетом того, что b = 9sky + 9sea , находим

tg9 sky

Hpr = M

tg9 sky + tg9

sea

где

9 sky =

9 ( R

где 9h = - arccos

0, если a < 9H - b /2,

p, если a > 9H + b /2,

a - 9h + b /2 в остальных случаях,

Я + Л

3. Вводится вектор признаков Х = (х, у, Ь, г, g), характеризующий цветовую и пространственную информацию, содержащуюся в каждом пикселе изображения, где х, у - номера строк и столбцов изображения соответственно; Ь, г, g - интенсивности цветов изображения. Распределение признаков Хя, Хе, Xw в пределах каждой области подчиняется многомерному нормальному распределению с неизвестными параметрами

/(2, Qi) = /(х, шг,Е) =-* 1 ехр(-Вг / 2),

(2р) *^л/ад) т —1

где В1 = Б(г, mi, Еi) = (г — mi) Е (ц — ).

Пусть 2 = }, I = 1,2,..., N обозначает наблюдаемое изображение, где N - количество пикселов. Модель смеси распределений для вектора признаков г определяется выражением

/ (2) = I п=14/(2,), где /(г,0£),к = 1,2,...,п - плотности распределения; г,0£, к = 1,2,...,п - векторы неизвестных параметров; рк,к = 1,2,...,п - априорные вероятности принадлежности г соответствующим классам; 0 £ 1, к = 1,2,...,п,

Iп=1лк = 1. Оценки параметров р, 6 ищутся из условия локального максимума математического ожидания логарифмической функции правдоподобия

l(p e)=z JL^eI=1pkf (z, ч) )

с использованием EM (Expectation-Maximization) - алгоритма [22]. Для каждого выборочного значения признака выбирается область с наибольшей апостериорной вероятностью

k = arg maxpkf (zi,e^),k = 1,2,...,n..

4. Распознавание изображения с простым фоном или дальним берегом. Определяется граница неба с использованием модели смеси из двух распределений. Изображение разбивается на две области S1 и S 2 для каждого фиксированного номера строки изображения i = 1,2,...,ih(рис. 2), где ih - номер строки, совпадающий с прогнозируемой линией горизонта (ПЛГ), по которой оцениваются априорные статистики Dj и mу, i = 1,2. Выбирается разбиение, для которого логарифмическая функция правдоподобия принимает максимальное значение. Если евклидово расстояние между ПЛГ и построенной границей неба не превышает некоторое пороговое значение (в данном случае 3 пиксела), то принимается решение, что на изображении простой фон или дальний берег. В противном случае переходим к следующему шагу.

52

Рис. 2. К определению границы неба

5. Построение границы моря. Вначале определяется граница моря с использованием модели смеси из двух распределений. Изображение разбивается на две области, по которым оцениваются априорные статистики 51 - от границы неба до линии горизонта, 52 - от линии горизонта до нижнего края изображения (рис. 3). Затем применяется ЕМ-алгоритм для построения границы моря. И, наконец, уточнение границы моря проводится с использованием модели смеси из трех распределений. Для определения априорных статистик и тг-, г = 1,2,3 в ЕМ-алгоритме используется сегментация изображения на области51, 52 и 53 (рис. 4), полученные на предыдущем шаге и в пункте 2.

Рис. 4. К уточнению береговой линии

На рис. 5, 6 показаны примеры выделения береговой линии с использованием описанного подхода.

Рис. 5. Примеры выделения береговой линии

90

Рис. 6. Примеры выделения береговой линии

По результатам обработки 24 видео предложенный алгоритм позволил выделить береговую линию на всех тестируемых изображениях, пригодную для последующего применения. Время обработки в пакете Matlab на ПК с процессором Intel Core i7-6700K - 4,0 ГГц для изображения, уменьшенного до размера 256x144 пикселов, составляет 3,4 с.

3. Обнаружение и автосопровождение объектов. После того, как выделена береговая линия, могут быть использованы любые алгоритмы обнаружения и автосопровождения объектов, представляющих интерес для судовождения.

Предлагается следующая схема.

1. К каждому изображению применяются метод выделения границ Канни и морфологические операции для поиска связанных областей.

2. Набор полученных областей фильтруется по площади, отсеивая ложные объекты, связанные с волнами, бликами и любыми другими возмущениями.

3. Алгоритм автосопровождения начинается с определения особых точек в найденных областях с использованием детектора Харриса. На последующих изображениях проводится поиск этих особых точек при помощи алгоритма Kanade - Lucas - Tomasi [23].

4. Применяется фильтрация вектора признаков объектов на основе временного анализа изображения. Целью временного анализа является отсекание ложных срабатываний с помощью оценки частоты появления выделенного объекта в заданной области и сравнения с заданным порогом.

На рис. 7 - 9 показаны результаты моделирования с использованием описанного подхода.

Рис. 7. Особые точки на изображении

Рис. 8. Обнаружение препятствий на изображениях со сложным фоном и солнечными бликами

Номера кадров: 1, 200, 400.

Рис. 9. Слежение за точечными особенностями препятствий

Время обработки в пакете Matlab на ПК с процессором Intel Core i5-3470 - 3,2 ГГц для изображения размером 1280x720 пикселов составляет 0,16 с.

4. Математические модели судна и препятствий. Модели измерений. Предполагается, что на судне установлена видеокамера, доступна GPS / ГЛОНАСС и заданы декартовые системы координат (рис. 1):

92

(xw,yw,zw) - земная, совпадающая c WGS84 / ПЗ-90, используемые в системах позиционирования GPS / ГЛОНАСС соответственно;

X, уь, zb) - корабельная с началом координат в центре масс неподвижного судна и направлением осей хь, уь вдоль продольной и поперечной осей судна соответственно;

(xc, yc, zc) - с фиксацией на видеокамере и началом координат в ее центре масс;

(xj, y¡) - с началом координат в верхнем левом углу изображения камеры.

Опираемся на стандартный подход, используемый в задачах автосопровождения объектов, характер движения которых частично или полностью неизвестен, и основанный на построении математических моделей, в рассматриваемом случае - моделей судна и препятствий, движение которых часто описывается системами уравнений вида [9, 10]

xt+1 = ft (xt, Щ, wt X хо = х, (1)

yt = h(xt,Vt^t = 0,1,..., ( )

M 711 -y

где xt e R - состояние системы; zt e R - измерение; ut e R - управление (неизвестно для динамических препятствий); wt e Rn - возмущение,

действующее на систему; vt e Rm - ошибки измерений; f¡ (x¡, u¡, w¡), hj (x¡, v¡) - некоторые функции.

Отсутствие информации о виде функции ft (xt, ut, wt), статистических свойствах шума wt и управляющем воздействии ut существенно усложняет задачу построения приемлемой модели для препятствий. Управляющий сигнал ut является по своей природе детерминированным и не должен входить в описание модели маневрирующего препятствия. Он неизвестен для системы слежения, и представляется естественным оценивать его по наблюдениям [10]. Альтернативный, значительно более популярный и существенно более простой подход состоит в рассмотрении ut как случайного процесса с определенными свойствами, описывающего эффект маневрирования препятствия, т.е. предполагается, что вместо (1) для описания движения препятствия используется система

xt+1 = ft (xt, wt X x0 = x,

где v~t - эквивалентный случайный процесс. Это может быть, например, «белый» шум, коррелированный марковский или скачкообразный полумарковский случайный процесс. Один из наиболее распространенных подходов состоит в использовании моделей маневрирующих препятствий с почти постоянными скоростями [9]:

х°+1 = х? + м^ х + м2 / 2мг,

уО+1 _ уО у + м2/2^,

О

О, у

V

V.

V.

Г+1

О, у _л О, у

г+1

V/

+ дг^ + дгм

(2)

г,

г,

где хО, уО, V?'

О, у

^ ^ - координаты и скорости препятствия; мг - центри-

рованный «белый» шум с дисперсией ом, величина ом должна быть порядка максимально возможных значений ускорений препятствий [9], Дг - такт дискретности. Для статических препятствий система (1) сводится к соотношениям

V _ ХО

Хг+1 Хг,

уО+1 _ уО.

Модели измерений координат судна, поступающих от ОР8/ГЛОНАСС, принимаются в виде

_ Хг + ХМ, /2, г _ уг + Х 2, г,

где Х\г, X2 г - погрешности измерений, которые полагаем центрирован

(3)

ными «белыми» шумами с дисперсиями о^ , о2 .

С учетом матрицы поворота системы координат от оси Охь ОХ по часовой стрелке

ео8(у) вт(у) - 8т(у) еов(у)

из рис. 10, а следует выражение для угла пеленга в горизонтальной плоскости, измеряемого видеокамерой,

вд _

аг _ arctg

(Хг - Хг) БЬ(у) + (уг - уг) ооб(у)

О

+ Хз,

(4)

(xt - хг )соб(у) + (у - уг )вт(у) Аналогичное выражение для угла пеленга в вертикальной плоско сти нетрудно получить из рис. 10, б:

рг _ агс^

к

+ Х4,

г

(5)

1(хО - Хг )2 + (уО - уг )2 Здесь кг - высота расположения видеокамеры над уровнем водной поверхности; Хз г, X 4 г - погрешности измерений, которые полагаем центрированными «белыми» шумами с дисперсиями оз г, о4 г соответственно.

94

Рис. 10. Измерения в горизонтальной (а) и вертикальной (б)

плоскостях

5. Позиционирование препятствий относительно судна. Пусть видеонаблюдение ведётся за N препятствиями, а движение каждого из препятствий и судна описывается системами уравнений

= г» ^.

0,ПО,1

wi

.0,1

! I 0,1 = , У,' , V,' ' , V

уа,г, v0,, V00,у,1

Л = 0,1, к, 1 = 1,2, к, N,

Чх+1 = /(Ях, их), Ч0 = Ч ,

% =(хх, Ух )Т, х = 0,1, к

(6)

(7)

где д?' , , Л0,?

0,1

н

Х' , Ух

0,1 ,,0, Х,1 ,,0, у,/

х , ух - векторы состояния, неизвестного возмущения и выхода, земные координаты и скорости 1 -го препятствия соответственно, 1 = 1,2, к, N; , и, Хх, ух, Тх - вектор состояния системы, управление, координаты судна в земной системе координат, выход соответственно; /0,г (•,•), /(•,•) - известные векторные функции; Т - операция транспонирования.

Дополняя (6) и (7) моделями наблюдений, получим выражение (3) для координат судна и аналоги (4), (5) для пеленгов каждого препятствия:

а = аг^

Р5 = ш-^

(Х°,г - Хх >т(у) + (у^ - Ух )соб(у)

0,1

(- Хх )соб(у) + (у0,1 - Ух )бш(у)

0,1

+ +2,х,

К

(Х

0,1

Хх )2 + (У00,1 - Ух )2 95

+ Х+з,х, 1 = 1,2, к, N.

(8)

(9)

Требуется по наблюдениям (3), (8), (9) оценить векторы состояний систем (6), (7).

Перейдем к более компактной форме описания моделей судна, препятствий и измерений:

Рг+1 _ Р(рг, иг) + ВС г,

Лг _ф(Рг) + ,

ГГ1 1 /Т1 ДТ /Т1

где рг _ [д/ ,()1 ,..., (д? )Т ] е Яп - вектор состояния системы;

Лг е Я4- вектор измерений; иг е ^^ - известная функция; В - известная

Т

матрица; Ф(дг) _ (хг, уг, аг, Рг) Сг и Xг - некоррелированные «белые» шумы с нулевыми математическими ожиданиями и матрицами ковариации

Т Т

М(СгС1 ) _Хг; М (ХгX1 ) _ Яг - известные матрицы соответствующих размерностей.

Соотношения для оценки состояния (10) с помощью РФК определяются следующими выражениями: между наблюдениями

д-+1 _ Р(д+,иг),

^г+1 _ As; а1+&, (11)

К _ ИТМ-\

после получения наблюдения

Рг+_ рг + Кг (Лг -Ф(Рг ))

(12)

(1п - НТМ;1Иг , где р+_М(р0), М{(р0 -р+ )(р0 -р+)},N _Н^-Н1 + Яг,

е _ ВХгВТ, Нг _ЭФ(р-)/Эр-, Аг _ЭР(р-,иг)/Эр-. Рассмотрим один из типичных для судоходства сценариев: судно движется с постоянной линейной скоростью и постоянным курсом, а поведение наблюдаемого, маневрирующего препятствия описывается системой (2). В этом случае система (10) примет вид

Рt+1 _ Арг + Виг г,

г+1 г г , (13)

Лг _ф(Рг) + Хг,

где

г о о о,х 0, у ЛТ

Рг _ [хг, у, , Хг , у0, V , V ] , ф(д) _[Хг, у, , аг, рг]Т, иг _ (vx, ^)Т,

96

А =

1 0 0 0 0 0" "Ах 0" " 0 "

0 1 0 0 0 0 0 Ах 0

0 0 1 0 Ах 0 0 0 , С1 = Ах2/2

0 0 0 1 0 Ах , в = 0 0 Ах2/2

0 0 0 0 1 0 0 0 Ах

0 0 0 0 0 1 0 0 Ах

Ух = V соБ(у), Уу = V Бт(у) - заданные проекции вектора линейной скорости; у - курсовой угол судна; V - линейная скорость судна.

Матрицы Якоби, входящие в описание РФК, (11), (12), (13) определяются выражениями

" 1 0 0 0 0 0

А = А, Их = ЭФ (р-)/Эр- =

0 1 0 0 0 0

а1 а2 а3 а4 а5 а6 Ь1 Ь2 Ь3 Ь4 Ь5 Ь6

а1 = -(Ух -у° )/Р, а2 = (х{ -х° )/р, а3 = (у^ -у° )/р а4 = -(хх -х°)/р, а5 = 0, а6 = 0, р = х2 - 2хХ + (х° )2 + у2 - 2уУ + (у° )2, Ь1 = -Н(ух -у°)/л, Ь2 = -А(хх -х°)/л, Ь3 = Н(ух - у?)/л,

Ь4 = Н(хх -х°)/л, Ь5 = 0, Ь6 = 0,

л=с

3/2, ^

2

(— +1), С

С = (хх - х° )2 + (ух - у° )2.

На рис. 11, 12 приведены результаты статистического моделирования РФК по 500 реализациям для параметров, сведенных в табл.1. На рис. 11, а показана одна из реализаций траекторий движения судна и препятствия, а на рис. 12, б - гистограмма дистанций до препятствия в момент окончания наблюдения (начальная дистанция £>0 = 720 м). На рис.12 показаны зависимости от времени статистических характеристик ошибок оценивания координат препятствия х° - х°, у° - у°: медиан, 95 %-, 5 %-ных процентилей (Medx ,Medy ,Рг95х ,Рг95у ,Рг5 х ,Рг5у) и их скоростей: (Medvx, MedVy ,Рг95^ ,Рг95^у ,Рг5^ ,Рг5уу). Отметим следующее.

1. Априорная неопределенность в оценках координат препятствия

x°, y° уменьшается после окончания интенсивного переходного процесса. При этом абсолютные значения процентилей величин Ex, Ey не превышают 40 м и убывают по мере уменьшения дистанции до 10 м.

2. Алгоритм не позволяет получить оценки v(j>, x, v0, y с приемлемой

точностью. Вместе с тем, видно, что их априорная неопределенность также быстро уменьшается с течением времени, обуславливая тем самым необходимые свойства оценкам x°, y°.

3. Во всех реализациях РФК сходится. Вместе с тем, увеличение начальной дальности между судном и препятствием может приводить к расходимости фильтра, если не уменьшать угол зрения камеры.

4. Описанное в предыдущих пунктах поведение РФК достигается, главным образом, за счет выбора больших значений параметров m, l, M, N, и относительно небольшого угла обзора камеры а. Уменьшение значений m, l, M, N или увеличение а приводит к расходимости алгоритма или увеличению времени переходного процесса. При этом параметры m, l обеспечивают быстрое уменьшение начальной неопределенности при относительно небольших временах наблюдения. Для улучшения характеристик алгоритма и снижения требований, предъявляемых к камере, могут представлять интерес применение диффузных алгоритмов оценивания [24, 25], робастных по отношению к накоплению ошибок при большей начальной неопределенности состояния системы, и их модификация со скользящим окном.

5. Время реализации одного такта алгоритма в пакете Matlab, на ПК с процессором Intel Pentium - 3 ГГц составляет 0,0034 с.

1000 1200

50

а б

Рис. 11. Траектории движения судна и препятствия (а). Гистограмма расстояний от судна до препятствия в момент окончания наблюдений (б)

Е 3000

2000

£

х 10ОО

-1000

8000

200

250

50

100 150 200

Время, с а

250

150 200

Время, с

б

250

150 200

Время, с

6

300

350

1 оо

1 50 200

Время, о

250

300

350

350

уу Мес!____

зоо

Рис. 12. Зависимости статистических характеристик ошибок оценивания координат (а), (б) и скоростей (в), (г) препятствия от времени

г

На рис. 13 приведены результаты статистического моделирования по 500 реализациям алгоритма для предельного случая рассматриваемого сценария - судно и препятствия неподвижны и находятся на расстоянием 700 м друг от друга (угол обзора 20 °). Видно, что 95 %- и 5 %-ные процентами ошибок в конце обработки не превышают по абсолютной величине 13 м, а алгоритм сохраняет описанные выше свойства и в этой ситуации. Отметим, что аналогичным образом алгоритм ведет себя и в других возможных случаях рассматриваемого сценария, например, движения препятствия на близких встречных судну курсах и других наборах линейной скорости судна и начальных значениях скоростей препятствия.

350

Рис. 13. Зависимости статистических характеристик ошибок оценивания координат препятствия от времени

Данные для моделирования

Таблица 1

Элементы системы видеонаблюдения (1) Параметры (2)

Камера 1920х 1080пикселей, а = 300, аъл = 0.33', аАЛ = 0.6', = И0 + 0.58т((), ^0 = 3 м, (= 2р/Т, Т = 10 с

Судно х0 = 0 м, _у0 = 0 м, V = 5 м/с, у = 600, & = 0.3 с

Окончание табл. 1

Элементы системы видеонаблюдения (1) Параметры (2)

Препятствие х0 = 400 м, у0 = 600 м, V0 = 3 м/с, ф0 = 600, а™ = 0.2м / с2, Ах = 0.3 с, х = V0 соБ(ф0) = 1.53 м/с, v0, у = V0 Бт(ф£) = 2.61м/с

ОРБ О1 х = 3м, о2 х = 3м

РФК Ах = 0.3 с, Mq0 = (х0, у0, 0, 0, 0, 0)Т, д( = d/ag (1, 1, р/10, р/10, р, р), р = 10-6, = d/ag (9, 9, т, т, 1, 1), т = 106,1 = 100

6. Алгоритмы обхода препятствий. Предположим, что видеонаблюдение ведётся за N препятствиями. Движения каждого из препятствий и самого судна описываются системами уравнений

о,/ г°,ц,°,1

л7

9%1=гж, мТ),

* =(х°,1, у°,1), х = 0,1, к, / = 1,2, Чх+1 = /Ц, их), ^0 = Я, Лх =(хх, ух, Фх)Т, х = 0,1, к,

N.

(14)

(15)

где , м^ , л—', хр', ур' - векторы состояния, неизвестного возмущения и выхода, земные координаты / -го препятствия соответственно, / = 1,2,к,N; цх,щ,хх,ух,фх, лх- вектор состояния системы, управление, координаты, курсовой угол судна в земной системе координат, выход соответственно; /°,г (,), / (•,•) - известные векторные функции.

Требуется выбрать управляющее воздействие их таким образом, чтобы минимизировать критерий качества

(лх+] - лГ+ ]А(лх+] - л[+ ])+ 1(щх+] - щГ+ ])

J

И ]=1

и выполнялись ограничения

В

х+И

хх+И - хх°+И Г + (ух+И - у°+И

1/2

> В

(16)

(17)

где Ле Я3х3, 1 > 0 - веса критерия; Вх - заданная функция, характеризующая маневренные свойства и запретную область судна.

Система

г А г г\ —г

4++1 = А% , и* ), 40 = 4 ,

лГ = (4, уГ , фГ ), * = 0,1,к

(18)

определяет желаемое движение судна при отсутствии препятствий.

Оптимальная траектория системы (15) должна удовлетворять дополнительно условию возврата на исходную траекторию после обхода

препятствия: существует такая постоянная 8 > 0, что если

4 - 4

<8, то

Нш

*

0.

(19)

Разлагая правые части (16) в окрестности желаемой траектории

г г I , и*), получим

/ (4*, и ) = / (4Г, и*)+

Э/ (х, и)

Эх

г г

х=ч* , и=и*

(

4* - 4*)+

Э/ (х, и)

Эи

гг

х=4{, и =и*

(и* - иГ)

где

= / (4Г, иг)+ А* - ч{)+ В* (и* - иг)

А* = А4, иГ), В* = В (чГ, иГ).

(20)

Вводя обозначение

4 = 4* - 4Г, 4 = и* - иГ1

получим линеаризованную систему в отклонениях относительно желаемо го движения

~+1 = + , Л = .

Линеаризуя (18), получим

т1/ 2

(21)

В =

^+И =

х+л - х°1ъ Ыу+л -

Г О I ~ I I Г О I ~

х+л - +л + х*+л / + \у*+л - у*+л + у*+л

О,/

В+ л +

+л(х у )

Эх

4

г -О,/ ) ,,=(, Г , .О,/ )

л Iу =у+л - у*+л)

1/2

хг+л +

х= Vх*+л х*+л,

эв*+л(х у )

Эу

у*+л у/+л,

~+л =

=(хГ+ л - хО+л) у=(уГ+ л - уО+л г

=В/+л++ с&й+л >В, / = и...N.

102

В новых переменных критерий качества (17) примет вид

J = X (лх+]Л~х+] + 1их+ ]). (23)

]=1

Рассмотрим следующую линейную задачу оптимального управления. Требуется выбрать и таким образом, чтобы минимизировать (23) при ограничениях (22). Покажем, как может быть получено решение этой задачи. Используя (19), находим лх+1 = САхЯх + СБхЫх, лх+2 = САх+1Ах~х + САх+1Бх~х + СБх+щ+1,

где

где

лх+И = САх+И-1Ах+И-2 •" АхЧх + САх+И-1Ах+И-2 "' Ах+1Бхих + •

+ СБх+И-1~х+И-1. Или в эквивалентной, более компактной форме

Ох = /зд + НхО,,

ц =(

их, их+Ь-

щх+И-1^ - их+И-1)

г г

•, цх+И-1, их+И-

Д

°х =(~х+1,лх+2

т 1 Г Г Г г

рх = ^хЦх, щх, Чх+1, щх+1

Г Г Г Г Г Г

Их = ИхЦх,их,цх+1,их+1,к,цх+И-1,их+И-1 Подстановка (24) в (22), (23) даёт

J = (^х~х + Нхиих )'л(^х~х + Нх^у^х)+ ШЙ =

~х ^Л^их + 2~х ^ЛВД + Цх И И, +

а!,, = , + С+И (^и + Ихи)+ Су^И (^и + Нхуци )=

х+И х+И х+И

+ Ь^хх + су4

Вх+И

х+Их Нх

+И

+ЬИи?+су^и у

> а

(24)

(25)

(26)

(27)

(28)

= (1,0,к,0)^, = (0,1,0,...,0)^,

Их =(1,0,к,0)Их, Иу =(0,1,0,к,0)Их.

С учётом выражений (27), (28) задача оптимального управления системой (19) может быть сформулирована как задача минимизации квадратичной формы при линейных ограничениях

тт(фхи + ВЙ),

Mt ={их: Цих £ Ь},

и,

■■(и},и2,...,иИ)Те Mt,

где

Ж* = Н* АН* + 11, О, = 2~^ЛН*, Ц = С%лИ? + СУ+лНУ,

ь =0+л+с!&?+С^У.

Известно, что при Ж* > 0 решение этой задачи существует и единственно [26].

Прогнозирующее управление линейной системой (20) при ограничениях (30) может быть представлено в виде

и, = (1,0,к.,0)0* = ф) = Ф(4* -4Г). (29)

Одновременно это выражение может быть использовано в качестве прогнозирующего управления исходной нелинейной системой, если считать, что 4* в (29) является решением (15) (прогнозирующее управление с линеаризацией в окрестности желаемого движения).

Более интересной, как показывает численное моделирование, представляется следующая его модификация. Из выражений (20), (25), (26) видно, что и* зависит от прогнозирующих значений желаемого движения

рГ = [(4Г, иГ ) (4Г+1, иГ+1) к, (4Г+ л-1, иГ+ л-1 )J, т.е.,

и* = Ф*(ЬГ,4* -4Г). (30)

Пусть прогноз траектории движения судна определяется системой

4*+1 = /\4*+/-1, и} , / = 1,2, к, л -1, * > л.

полу-

Заменяя в (30) рГ на р* = [(4*,и})(4*+1,и2)...,(4*+л-х^ чим выражение для прогнозирующего управления с линеаризацией в окрестности прогноза текущей траектории.

Проиллюстрируем полученные результаты на одном из типичных для судоходства сценариев - судно и препятствие двигаются навстречу друг другу с постоянными линейными скоростями. Используется модель судна, учитывающая его динамику, идентифицированную по реальным данным [27],

х*+1 = х* + V соб( у *) А*, У*+1 = У* + V 8т( у *) А*,

У1+1 = У t + г*А *, г (*) = К (Т3 5 +1)

8( *) (Т2 5 +ОД* +1) и кинематическую модель препятствия

хО+1 = хО + vo соб( ф)а*,

уо+1 = УО + vО яп( ф)а*,

где yt - курсовой угол судна; 8(s), r(s) - преобразованные по Лапласу угол поворота руля щ = dt и скорость изменения курса rt.

Желаемое движение судна до попадания препятствия в его запретную зону описывается системой

xt+i = xt + v cos( У )Dt,

yt+1 = yt + v sin( У )Dt.

На рис. 14, а - г приведены результаты моделирования для параметров, сведенных в табл. 2. Отметим следующее. Прежде всего, видно, что система управления выполняет поставленную задачу предотвращения столкновения - непопадания препятствия в запретную зону судна. При этом минимальное расстояние между судном и препятствием составляет 55,9 м, амплитуда dt по абсолютной величине не превышает 6 После завершения маневра судно возвращается на заданную траекторию, а время маневра составляет примерно 3,44 мин. Время реализации одного такта управления в пакете Matlab на ПК с процессором Intel Pentium - 3 ГГц составляет 0,07 с.

Таблица 2

Данные для моделирования

Элементы системы управления (1) Параметры (2)

Судно x0 = 0 м, y 0 = 0 м, v = 5 м/c, y = 600, At = 0.3 с, k = 0.3619, T1 = 1.1918, T2 = 1.4442, T3 = 1.5711

Препятствие x° = 574 м, y° = 995 м, vo = 3 м/c, j = 2400, At = 0.3с, v°,x = vo cos(j) = 1.53 м/с, v0, y = vo sin(j) = 2.61м/с

Критерий качества L = 5.10-516,1 = 0.5.

Ограничения Г400 м, t £ 350 с Dt = \ { 50 м, t > 350 с

100 200 300 400 500 600 700 800 900

а

1 1 1 1 1 X: 143.4 Y: 55.86 i

1 1 1 1 я® 1 1

110 120 130 140 150 160

б

в

Рис. 14. Результаты моделирования прогнозирующего управления: а - траектории движения судна и препятствия; б - расстояние до препятствия; в - угол поворота руля; г - курсовой угол судна

7. Заключение. В статье предложены и исследованы новые алгоритмы управления судами в автономных режимах, основанные на методах обработки изображений, нелинейной калмановской фильтрации и использовании прогнозирующего управления. Рассмотрены три основные задачи: обнаружение и видеосопровождение препятствий, их позиционирование, формирование собственно управляющих воздействий для корректировки маршрута судна. В дальнейших публикациях предполагается проведение исследований по следующим направлениям. Во-первых, обнаружение препятствий на изображениях со сложным фоном в инфракрасном диапазоне и задачи совместной обработки изображений в видимом и инфракрасном диапазонах. Во-вторых, одновременное оценивание координат препятствия и высоты расположения видеокамеры над уровнем водной поверхности по информации, поступающей с видеокамеры, GPS (или ГЛОНАСС) и инерциальных датчиков. В-третьих, разработка робастных алгоритмов позиционирования препятствий и прогнозирующих управлений их обхода.

Список литературы

1. Fefilatyev S., Goldgof D. Detection and tracking of marine vehicles // Proc. Int. Conf. Pattern Recognition. 2008. P. 1 - 4.

2. A vision based obstacle detection system for unmanned surface vehicle / H. Wang, Z. Wei, S. Wang, C. Ow, K. Ho, B. Feng // Int. Conf. Robotics, Aut. Mechatronics. 2011. P. 364 - 369.

3. Smart Sensor Based Obstacle Detection for High-Speed Unmanned Surface Vehicle / D. Hermann, R. Galeazzi, J. Andersen, M. Blanke // 10th IFAC Conference on Manoeuvring and Control of Marine Craft, At Kgs. Lyng-by, Denmark.

4. Gonzalez R.C., Woods R.E., Eddins S.L. Digital image processing using MATLAB. Vol. 2. Gatesmark Publishing Tennessee. 2009.

5. Способ автоматического обнаружения объектов на морской поверхности по изображениям, сформированным в видимом диапазоне на борту без экипажного катера / В. А. Тупиков, В. А. Павлова, В. А. Бондарен-ко, В. А. Александров // XI Всероссийская научно-практическая конференция «Перспективные системы и задачи управления». 2016. С. 420 -431.

6. Kristan M., Kenk V., Kovacic S. Fast Image-Based Obstacle Detection From Unmanned Surface Vehicles // IEEE Transactions on Cybernetics. 2016. Vol. 46. Issue 3. P. 641 - 654.

7. Скороход Б.А., Стаценко А.В., Фатеев С.И. Алгоритмы предотвращения столкновений на морской поверхности на основе информации, поступающей с видеокамеры. Перспективные системы и задачи управле-

107

ния // Материалы XII Всероссийской научно-практической конференции / Южный федеральный университет. Ростов-на-Дону, 2017. С. 403 -411.

8. Kim S., Lee J. Small Infrared Target Detection by Region-Adaptive Clutter Rejection for Sea-Based Infrared Search and Track // Sensors-2014. 2014. P. 13210 - 13242.

9. Nardone S., Lindgren A., Gong K. Fundamental properties and performance of conventional bearings. Only target motion analysis // IEEE Transactions on Automatic Control. 1984. AC-29, 9.

10. Scala B.F. La, Mallick M., Arulampalam S. Differential geometry measures of nonlinearity for filtering with nonlinear dynamic and linear measurement models // SPIE Conference on Signal and Data Processing of Small Targets. Vol. 6699.

11. Shar P., Li X.R. A practical approach to observability of bearings-only target tracking // SPIE. 1999. Vol. 3809. P. 514-520.

12. Ferdowsi M.H. Observability conditions for target states with bearing-only measurements in three-dimensional case // Proceedings of the 2006 IEEE International Conference on Control Applications Munich. Germany, 2006. P. 1443-1449.

13. Barbara La Scala Mark Morelande An analysis of the single sensor bearings-only tracking problem // 11th International Conference on Information Fusion. 2008. P. 525-530.

14. Aidala V.J. Kalman filter behavior in bearings-only tracking applications // IEEE Trans. Aerosp. Electron. Syst. Vol. 15. P. 29 - 39.

15. Yaakov Bar-Shalom, X Rong Li, Kirubarajan, Estimation with applications to tracking and navigation. New York: Johh Wiley and Sons, 2001. 584 p.

16. Peach N. Bearings-only tracking using a set of range-paramterised extended Kalman filters // IEEE Proc. Control Theory and Applications. 1995. Vol. 142. No. 1. P. 73 - 80.

17. Khatib O. Real-time obstacle avoidance for manipulators and mobile robots // The international journal of robotics research. 1986. Vol. 5. No. 1. P. 90-98.

18. Koren Y., Borenstein J. Potential field methods and their inherent limitations for mobile robot navigation // Proceedings of IEEE International Conference on Robotics and Automation. 1991. P. 1398-1404.

19. Sigurd K., How J. UAV Trajectory Design Using Total Field Collision Avoidance // AIAA Guidance, Navigation, and Control Conference and Exhibit, American Institute of Aeronautics and Astronautics. August. Austin: American Institute of Aeronautics and Astronautics, 2003. P. 11.

20. Wei Xi, John S. Baras MPC Based Motion Control of Car-like Vehicle Swarms // Mediterranean Conference on Control & Automation. 2007. MED '07. P. 1 - 6.

21. Processing of RI-Angiocardiographic images / M. Kuwahara, K. Ha-chimura, S. Eiho and M. Kinoshita // Digital Processing of Biomedical Images, New York: Plenum, 1976. P. 187 - 202.

22. Dempster A., Laird N., Rubin D. Maximum likelihood from incomplete data via the EM algorithm. Journal of the Royal Statistical Society B, from incomplete data via the EM algorithm // Journal of the Royal Statistical Society. 1977. 39(1). 1 - 38.

23. Bruce D. Lucas, Takeo Kanade. An Iterative Image Registration Technique with an Application to Stereo Vision // International Joint Conference on Artificial Intelligence. 1981. P. 674 - 679.

24. Скороход Б. А. Диффузная инициализация фильтра Калмана // Проблемы управления и информатики: международный научно-технический журнал. 2011. № 2. С. 78 - 90.

25. Skorohod B. Diffuse Algorithms for Neural and Neuro-Fuzzy Networks: With Applications in Control Engineering and Signal Processing. Elsevier, United Kingdom, 2017. 220 p.

26. Поляк Б.Т. Введение в оптимизацию. М.: Наука, 1983. 384 с.

27. Identification of a Surface Marine Vessel Using LS-SVM / David Moreno-Salinas, Dictino Chaos, Jesús Manuel de la Cruz, and Joaquín Aranda // Hindawi Publishing Corporation Journal of Applied Mathematics. 2013. 11 p.

Скороход Борис Аркадьевич, д-р техн. наук, проф., boris.skorohodamaii.ru, Россия, Севастополь, Севастопольский государственный университет,

Стаценко Алексей Владимирович, асп., lexQQxiamail.ru, Россия, Севастополь, Севастопольский государственный университет,

Фатеев Сергей Игоревич, асп., fateev-siaya.ru, Россия, Севастополь, Севастопольский государственный университет

ALGORITHMS OF VIDEO OBSERVATION AND MANEUVERING OF UNMANNED

MARINE VEHICLES

B.A. Skorohod, A. V. Statsenko, S.I. Fateev

In this paper we consider the problems of automatic detection of obstacles and their auto-tracking with a complex background, collision risk assessment and changes in the trajectory of marine vehicles movement are considered if necessary. The proposed approach is based on the use of a semantic image model and spatial-temporal filtering for object detection and tracking, non-linear Kalman filtering methods for positioning objects and predictive control for avoiding obstacles. The algorithms proposed in this paper were tested both on real and model data.

Key words: automatic detection and auto-tracking of obstacles, collision risk assessment, Kalman filtering, predictive control.

Skorohod Boris Arkadievich, doctor of technical sciences, professor, boris. skorohodamail. ru, Russia, Sevastopol, Sevastopol State University,

Statsenko Aleksey Vladimirovich, postgraduate, [email protected], Russia, Sevastopol, Sevastopol State University,

Fateev Sergey Igorevich, postgraduate, fateev-siaya. ru, Russia, Sevastopol, Sevastopol State University

УДК 007; 621.865.8

КОМПЛЕКСИРОВАННАЯ СИСТЕМА ТЕХНИЧЕСКОГО ЗРЕНИЯ В СИСТЕМЕ УПРАВЛЕНИЯ РОБОТА С НАВЕСНЫМ ОБОРУДОВАНИЕМ

А.В. Вазаев, В.П. Носков, И.В. Рубцов

Показано, что для повышения автономности мобильных роботов, оснащенных навесным оборудованием, ключевыми являются задачи создания бортовых средств формирования моделей среды маневрирования робота и рабочей зоны навесного оборудования по данным комплексированных систем технического зрения (СТЗ), объединяющих датчики и сенсоры различной физической природы. Описаны принципы построения таких моделей по данным бортовых СТЗ и приведены примеры их использования для решения навигационных задач, планирования и управления движением пожарного робота и его навесного оборудования в автономном режиме, а также для повышения информативной осведомленности и снижения нагрузки на оператора при дистанционном управлении.

Ключевые слова: мобильный робот, автономная система управления, комплек-сированная СТЗ, модель внешней среды, распознавание, классификация.

В последнее время все большее развитие и применение получают роботизированные средства, в том числе средства пожаротушения и разведки, позволяющие вывести оперативных работников из опасных зон. Известны пожарные стационарные (например, отечественной компании ЭФЭР) и позиционно-мобильные (например, рельсовые голландской компании ШЕХ КЕБЕКЬЛМО БУ) робототехнические комплексы с дистанционными и автоматическими системами управления.

Стационарные и позиционно-мобильные роботизированные комплексы требуют создания соответствующей инфраструктуры и имеют ограниченное применение в связи с привязкой к конкретному объекту (например, могут быть использованы на пожароопасных дорогостоящих объектах). Наиболее востребованы и интенсивно развиваются мобильные робототехнические комплексы (МРК).