CC BY
61
Gusev Anton Lvovich, engineer, makaretsky@mail.ru, Russia, Tula, JSC «Central design bureau of apparatus engineering»
УДК 621.397.6
КОМПЛЕКС ДЛЯ ИССЛЕДОВАНИЯ ОБРАБОТКИ ВИДЕОИНФОРМАЦИИ
С. Л. Погорельский, В.М. Понятский, Д.Б. Егоров, Е.А. Макарецкий,
А.В. Овчинников, А.С. Гублин
Приведены структурные схемы и алгоритмы работы программно-технического комплекса для комплексной обработки видеоинформации. Указаны особенности его программной реализации. Показан возможный вариант его практической реализации.
Ключевые слова: программно-технический комплекс, обработка видео сигналов, комплексная обработка информации.
Введение
Решение задачи методического и алгоритмического обеспечения комплексной обработки видеоинформации требует постоянного тестирования и отработки разрабатываемых алгоритмов на видеорядах, полученных в различных условиях. Формирование данных рядов при помощи серийно выпускаемых видеокамер и ПЭВМ, а также тестирование и отработка алгоритмов обработки информации на основе распространенных пакетов математических пакетов является нецелесообразным решением, требующим больших временных и материальных затрат.
В этой связи для тестирования и отработки алгоритмов комплексной обработки изображений назрела необходимость разработки программно-технического комплекса (ПТК, комплекс), обеспечивающего возможность формирования видеорядов для реальных ситуационных условий и моделирования комплексной обработки изображений, полученных различными методами.
Анализ поставленной задачи показал, что разрабатываемый комплекс должен обеспечивать:
- формирование видеорядов реальной фоно-целевой обстановки, соответствующих техническим характеристикам проектируемой оптической системы;
- исследование и отработку алгоритмов обработки видео изображений, формируемых в реальных фоно-целевых условиях;
- исследование и отработку алгоритмов выделения объектов на видео изображениях и идентификацию требуемого объекта;
- моделирование комплексной обработки видео изображений;
- вычисление параметров движения и координат требуемого объекта.
Обеспечение требуемой функциональности требует разработки, как аппаратной части комплекса, так и программной.
1. Аппаратная реализация программно-технического комплекса
Изображение, формируемое оптическими каналами, характеризуется следующими параметрами и особенностями:
- линейные перемещения объекта 10.. .1000 пикс. /кадр;
- угловые перемещения объекта 5.20 угл. град /кадр;
- изменение формы и размеров объекта, связанное с его удалением;
- наличие на изображении естественных и искусственных помех;
- различный уровень освещенности.
Перечисленные особенности позволили определить состав комплекса, позволяющего эффективно решать поставленные задачи. Комплекс должен включать в свой состав:
- оптическую систему, обеспечивающую возможность наблюдения удаляющегося объекта, при этом минимальное расстояние видимости объекта составляет несколько метров, а максимальное - до нескольких километров;
- видеокамеру с высокой чувствительностью и быстродействием;
- аппаратный интерфейс, обеспечивающий работу видеокамеры в составе комплекса;
- вычислитель (ЭВМ).
Оптическая система совместно с видеокамерой обеспечивают формирование изображения объекта и преставление его в форме цифрового потока данных, пригодного для дальнейшего хранения, обработки и т.д. Требование, касающееся возможности наблюдения объекта на различных расстояниях, можно выполнить, реализовав оптическую часть программно-технического комплекса двумя различными вариантами: на основе оптической системы с изменяемым во времени фокусным расстоянием и на основе оптической системы с двумя независимыми каналами.
Аппаратный интерфейс обеспечивает согласование интерфейсов видеокамеры и ЭВМ, настройку и управление режимами работы программно-технического комплекса. Аппаратный интерфейс может быть реализован в виде платы расширения для ЭВМ, модуля интегрированного в видеокамеру или отдельного конструктивно законченного блока с соответствующими интерфейсами.
Вычислитель (ЭВМ) предназначен для приёма, хранения и обработки цифровых данных, управлением и работой всех составных частей программно-технического комплекса.
На рис. 1 приведена структурная схема программного-технического комплекса, оптическая система которого реализована по схеме изменения фокусного расстояния.
Особенностью построения программно-технического комплекса по данной схеме является наличие в оптической системе (1) короткофокусного (2) и длиннофокусного (3) объективов и их переключение в процессе работы при помощи оптико-механической системы (4). Программно-технический комплекс в данном случае содержит одну видеокамеру.
Рис. 1. Структурная схема программно-технического комплекса с переключением оптических каналов: 1 - двухканальная оптическая система; 2 - короткофокусный объектив; 3 - длиннофокусный объектив; 4 - оптико-механическая система переключения каналов; 5 -видеокамера; 6 - аппаратный интерфейс; 7 -ЭВМ
На рис. 2 приведена структурная схема программного-технического комплекса, оптическая система которого реализована на основе двух независимых каналов.
Рис. 2. Структурная схема программно-технического комплекса с двумя независимыми каналами: 1 - двухканальная оптическая система; 2 - короткофокусный объектив; 3 - длиннофокусный объектив; 4,6 -видеокамера; 5,7 - аппаратный интерфейс; 8 -ЭВМ
Анализ приведенных вариантов реализации показал, что: - первый вариант требует использования видеокамеры с более качественной матрицей, что связано с наличием в системе дополнительных оптических элементов и как следствием снижением светопропускания. Кро-
137
ме того, необходимо обеспечить управление оптико-механической системой переключения каналов, а сама оптическая система требует более точной юстировки;
- второй вариант проще с точки зрения реализации оптической части комплекса, но имеет в своём составе дополнительную видеокамеру, что повышает конечную стоимость программно-технического комплекса.
С целью снижения конечной стоимости и повышения его технологичности структурная схема двухканального программно-технического комплексабыла оптимизирована. В частности короткофокусный и длиннофокусный объективы заменены вариофокальными объективами, а функции видеокамеры и аппаратного интерфейса объединяет промышленная видеокамера с интерфейсом USB 2.0. В результате данных изменений программно-технический комплекс получил два идентичных канала со стандартными выходными интерфейсами USB2.0 (рис. 3).
Такая модернизация, кроме снижения стоимости изделия, обладает еще одним преимуществом - программный комплекс может быть исходно реализован в одноканальном режиме и при необходимости опционально оснащаться вторым каналом, что позволяет расширить область практического применения программно-технического комплекса.
Рис. 3. Модернизированная структурная схема программно-технического комплекса: 1 - вариофокальный объектив; 2 - промышленная видеокамера с интерфейсом USB2.0; 3 - ЭВМ (ноутбук)
В процессе реализации макета программно-технического комплекса по модернизированной структурной схеме (рис. 3) был выполнен обзор современного состояния рынка электронных и оптических компонентов и определены основные составные части:
- вариофокальный объектив Computar H5Z2518C-MP;
- промышленная видеокамера Visiosens VFU-V024-VH-C;
- ноутбук ASUS X550L с мышью CBR CM530 Bt.
Внешний вид составных частей комплекса приведен на рис. 4.
Рис. 4. Программно-технический комплекс для формирования видеорядов типовых ситуаций и моделирования комплексной обработки видеоизображений
Аппаратная часть программно-технического комплекса, реализованная на указанных компонентах, позволяет:
- выполнять формирование и сохранение на ЗУ ЭВМ двух видеорядов с частотой кадров до 60 кадров в секунду;
- изменять независимо апертуру оптических каналов в диапазоне от Б1.8 до Б16С и их светопропускание;
- обрабатывать видеоряды в соответствии с заданными программными средствами алгоритмами.
2. Алгоритмическая реализация программно-технического комплекса
Программно-технический комплекс предусматривает следующие режимы:
- формирование и запись в реальном времени видеопотока на ЗУ
ЭВМ;
- обработка видеопотока в соответствии с заданными алгоритмами и моделями;
- работа в режиме реального времени, предусматривающая формирование видеопотока, его запись и обработку в соответствии с заданными алгоритмами и моделями.
Рассмотрим работу программно-технического комплекса в каждом из перечисленных режимов.
2.1. Алгоритм работы программно-технического комплекса в режиме формирования и записи видеопотока
Алгоритм работы программно-технического комплекса в режиме формирования и записи видеопотока включает в себя нижеперечисленные процедуры и операции:
- инициализация комплекса, состоящая из загрузки ЭВМ, включения видеокамер, подготовки оптической системы и запуска соответствующих приложений;
- проверка условия запуска процесса формирования и записи видеопотока. При выполнении условия управление передается на процедуру остановки процесса формирования и записи видеопотока;
- проверка условия остановки процесса формирования и записи видеопотока. При его выполнении осуществляется переход к процессу сохранения видеопотока на ПЗУ ЭВМ, при не выполнении данного условия осуществляется формирование и запись видеопотока в ОЗУ ЭВМ. Первоначальная запись видеопотока в ОЗУ связана с большей пропускной способностью шины и быстродействием памяти;
- формирование и запись видеопотока в ОЗУ ЭВМ, включающую считывание данных с матриц, формирование видеопотока и его запись в ОЗУ ЭВМ. При выполнении данной процедуры происходит циклическая проверка условия остановки процесса формирования и записи видеопотока;
- сохранение видео, включающее чтение видеопотока из ОЗУ ЭВМ, обработку видеопотока (сжатие, кодирование и т.д.) и его сохранение в ПЗУ ЭВМ.
Алгоритм работы программно-технического комплекса с двумя независимыми каналами в режиме формирования и записи видеопотока показан на рис. 5.
С
Рис. 5. Алгоритм работы программно-технического комплекса с двумя независимыми каналами в режиме формирования
и записи видеопотока
140
2.2. Алгоритм работы программно-технического комплекса в режиме обработки видеопотока
Алгоритм работы программно-технического комплекса в режиме обработки видеопотока подразумевает обработку ранее сформированных видеофайлов и предназначен для исследования и отработки алгоритмов выделения объектов и обработки видеоизображений, формируемых в реальных фоно-целевых условиях, моделирования комплексной обработки видеоизображений, вычисления параметров движения и координат объекта. Поэтому при работе в данном режиме нет жестких требований по времени обработки файлов.
На рис. 6 представлен алгоритм работы программно-технического комплекса в режиме обработки видеопотока.
Рис. 6. Алгоритм работы программно-технического комплекса в режиме обработки видеопотока
В данном режиме предусмотрены режимы отладки, позволяющие пошагово выполнять вычислительные процедуры, а также вывод достаточного числа промежуточных результатов.
2.3. Алгоритм работы программно-технического комплекса в режиме реального времени
Алгоритм работы программно-технического комплекса в режиме реального времени предполагает формирование видеопотока и его обработку «на лету».
На рис. 7 представлен алгоритм работы программно-технического комплекса в режиме обработки видеопотока.
Рис. 7. Алгоритм работы программно-технического комплекса
в режиме реального времени
Как видно из рис. 7, в каждом цикле производятся чтение, запись и обработка видеопотока. Видеопоток, данные и результаты обработки при этом хранятся в различных видах памяти, что увеличивает сложность реализации данного режима.
3. Программная реализация программно-технического комплекса
Для реализации программной части комплекса была выбрана .NET WinForms платформа, которая позволяет разрабатывать Windows приложения и предоставляет возможности реализовать требуемую функциональность.
Программная часть программно-технического комплекса включает в свой состав три основных составляющих:
- операционную систему семейства Windows и ПОдля поддержки .NET WinForms платформы;
- программное обеспечение для работы с видеокамерой Visiosens VFU-V024-VH-C;
- программный комплекс DipStudio.
Каждая из этих частей является неотъемлемой частью программной реализации комплекса и обеспечивает выполнение возложенных на неё задач.
Операционная система Windows,ПОдля поддержки .NET WinForms платформы, являются стандартными продуктами сведения, о которых приведены во множестве источников, в том числе на сайтах их разработчиков.
Программный комплекс DipStudio является уникальным программным продуктом, разработанным авторами и содержащим набор модулей для моделирования, обработки и селекции изображений в соответствии с требуемыми алгоритмами. Подробное описание программного комплекса DipStudio приведено в [3]
Программное обеспечение VFU-SDK предназначено для обеспечения управления и функционирования видеокамеры Visiosens VFU-V024-VH-C в составе программно-технического комплекса.Программное обеспечение VFU-SDK является открытой разработкой компании Visiosens для поддержки своих видеокамер VFU-серии [1].
Для повышения удобства работы с программно-техническим комплексом было принято решение об интеграции ПО для работы с камерой FVUSDK в программный комплекс DipStudio.
Реализация этой идеи потребовала:
- модернизации ПО VFUSDK для обеспечения формирования и потоковой передачи изображений в формате BMP с параметрами отвечающим входным параметрам программного комплекса DipStudio;
- модернизации интерфейса ПО VFUSDK для обеспечения возможности запуска и остановки камеры по таймеру;
- реализации модернизированного ПО VFUSDK в виде плагина для программного комплекса DipStudio.
4. Экспериментальная оценка параметров программно-технического комплекса
Экспериментальное исследование программно-технического комплекса имело целью определение его реальных характеристик, соответствие его основных характеристик составных частей заявленным техническим параметрам и оценку применимости комплекса для решения поставленных задач.
В ходе экспериментального исследования была выполнена количественная оценка следующих параметров программно-технического комплекса:
- угол зрения,
- угловое разрешение,
- искажения оптической системы,
- частота кадров для различных разрешений видеопотока.
В табл. 1 - 4 приведены результаты экспериментальных оценок указанных параметров.
Таблица 1
Результаты^ экспериментальных измерений углов зрения
Фокусное расстояние объектива £ мм Расстояние \, м Расстояние Ь, м Расстояние Ь*, м Угол зрения, град
135 0,1 2,761 2,878 2,07
25 0,1 0,546 0,665 10,46
25 0,2 1,218 1,337
* - расстояние до корпуса видеокамеры.
Результаты Таблица 2 экспериментальных измерений углового разрешения
Фокусное расстояние объектива £ мм Расстояние между элементами тестовой миры, мм Расстояние Ь, м Расстояние Ь*, м Угловое разрешение, град
25 1 1,525 1,525+0,118 0,037571
135 1 7,865 7,865+0,118 0,007288
* - расстояние до корпуса видеокамеры.
Таблица 3
Оценка геометрических искажений оптической системы
Измеряемый параметр Значение, пикс. Отклонение, %
Координата Х для центральной вертикальной линии
- Вверху - Внизу 320 320 0
Координата У для центральной горизонтальной линии
- Слева - Справа 246 248 0,42
Координата Х для левой вертикальной линии
- Вверху - В центре - Внизу 50 49 50 0,16
Координата Х для правой вертикальной линии
- Вверху - В центре - Внизу 591 592 591 0,16
Координата У для верхней горизонтальной линии
- Слева - В центре - Справа 44 43 45 0,42
Координата У для нижней горизонтальной линии
- Слева - В центре - Справа 448 452 450 0,83
Таблица 4
Результаты экспериментальной оценки минимальной _ гарантированной частоты кадров _
Разрешение Заданная Макс. часто- Мин. час- Макс. откло-
частота кад- та кадров, Гц тота кад- нение частоты
ров, Гц ров, Гц кадров, %
640х480 10 10,09 9,89 1,06
640х480 20 23,22 19,59 0,13
640х480 30 41,64 23,79 0,05
640х480 40 13,15 10,09 72,55
320х240 40 64,00 19,99 59,99
Анализ полученных результатов позволяет сделать следующие выводы.
1. Полученные экспериментально значения углов зрения 10,46... 2,07о с учетом погрешности измерений соответствуют паспортным значениям объектива (исп. Н) при работе совместно с матрицей 1/3".
2. Угловое разрешение оптической системы определяется исключительно конструктивными параметрами матрицы (межпиксельное расстояние), используемой в камере и не зависит от конструктивных параметров объектива (разрешение объектива существенно превышает разрешение матрицы). Принципиально используемый объектив позволяет работать с матрицами более высокого разрешения.
3. Геометрические искажения, вносимые оптической системой, по координатам X и У составляют не более ±2 пикселей (0,83 %). При узком угловом поле зрения искажения не превышают 1 пиксель. Таким образом, искажения находятся на уровне погрешностей измерения и могут не учитываться при работе программно-технического комплекса с реальными видеорядами.
4. Минимальная гарантированная частота кадров при съемке составляет 30 Гц для любых разрешений и сцен. Нестабильность частоты кадров при съемке составляет порядка ±1 % (без учёта первых 10 кадров).
5.Максимальная кратковременная частота кадров для разрешения 640х480 составляет 60 Гц, для разрешения 320х240 - 120 Гц.
6. Частота кадров, выдаваемых камерой, зависит от снимаемой сцены: в случае присутствия в сцене только статичных объектов частота кадров минимальна и составляет около 15.20 Гц, при наличии в сцене динамических объектов частота увеличивается до максимальных значений 60 или 120 Гц (в соответствии с разрешением). Зависимость частоты кадров при съёмке от сцены, уровня освещенности объясняется реализацией видеокамеры У1вювеп8 УЁи-У024-УН-С на матрице Арйпа МТ9У024, содержащей в своём составе аналоговый и цифровой процессоры для обработки изображений. В настоящее время выполняется поиск решения данной проблемы с целью обеспечения фиксированной частоты кадров при любых условиях съемки.
Заключение
Предложенный в данной статье программно-технический комплекс прошел апробацию в рамках выполнения НИР. Полученные результаты подтвердили его эффективность при отработке различных алгоритмов комплексной обработки данных.
Список литературы
1. User Manual VFU - Camera - Series. [Электронный ресурс] URL: http://www.prosoft.ru/cms/f/449335.pdf [дата обращения 04.10.2016].
2. Егоров Д.Б., Макарецкий Е.А., Понятский В.М. Программный комплекс моделирования цифровой обработки видеоизображений подвижного источника излучения // Оптико-электронные приборы и устройства в системах распознавания образов, обработки изображений и символьной информации. Распознавание - 2012: сб. материалов X Международной конф. Курск: Курский гос. техн. ун-т, 2012. С. 246 - 248.
3. Понятский В.М., Егоров Д. А. Программный комплекс моделирования последовательности методов видеообработки для задач управления // Современные информационные технологии и ИТ-образование: науч. журнал. 2015. Т. 2 (№11).
Погорельский Семён Львович, канд. техн. наук, начальник отделения, maka-retsky@,mail.ru, Россия, Тула, АО «КБП»,
Понятский Валерий Мариафович, канд. техн. наук, начальник сектора, maka-retsky@,mail.ru, Россия, Тула, АО «КБП»,
Егоров Дмитрий Борисович, инженер, makaretsky@,mail.ru, Россия, Тула, АО
«КБП»,
Макарецкий Евгений Александрович, д-р техн. наук, проф., makaretsky@,mail.ru, Россия, Тула, Тульский государственный университет,
Овчинников Александр Викторович, канд. техн. наук, доц., gublinas@yandex.ru, Россия, Тула, Тульский государственный университет,
Гублин Александр Сергеевич, канд. техн. наук, доц., gublinas@yandex.ru, Россия, Тула, Тульский государственный университет
COMPLEXFOR RESEARCH OF PROCESSINGVIDEO
S.L. Pogorelsky, V.M. Ponyatsky, D.B.Egorov, E.A. Makaretsky, A.V. Ovchiinikov, A.S. Gublin
The block diagram and algorithms for software and hardware complex integrated video processing, especially its software implementation are given. A possible variant of its implementation is shown.
Key words: software and hardware system, video processing, complex data processing.
Pogorelsky Semen L 'vovich, candidate of technical sciences, head of department, makaretsky a mail. ru, Russia, Tula, JSC "KBP",
Ponyatsky Valeriy Mariafovich, candidate of technical sciences, head of group, makaretskyamail. ru, Russia, Tula, JSC "KBP",
Egorov Dmitriy Borisovich, engineer, makaretskyamail. ru, Russia, Tula, JSC
"KBP",
Makaretsky Evgeniy Alexandrovich, doctor of technical sciences, professor, makaretskyamail. ru, Russia, Tula, Tula State University,
Ovchiinikov Alexandr Viktorovich, сandidate of technical sciences, docent, gubli-nasayandex. ru, Russia, Tula, Tula State University,
Gublin Alexandr Sergeevich, сandidate of technical sciences, docent, gubli-nasayandex. ru, Russia, Tula, Tula State University
УДК 621.932
ПОВЫШЕНИЕ ТОЧНОСТИ ИЗМЕРЕНИЯ ПАРАМЕТРОВ ОБЪЕКТОВ НА ИЗОБРАЖЕНИЯХ НА ОСНОВЕ АЛГОРИТМИЧЕСКОГО КОМПЛЕКСИРОВАНИЯ
С. Л. Погорельский, В.М. Понятский, Е.А. Макарецкий, А. С. Гублин, А.В. Овчинников
Рассматриваются способы повышения точности измерения параметров траектории движения объекта слежения. Выполнены обзор и анализ методов комплекси-рования изображений, определена структурная схема комплексирования данных нескольких измерительных каналов. Представлены результаты имитационного моделирования системы комплексирования измерительных каналов на основе многоуровневой логики и фильтрации Калмана.
Ключевые слова: комплексирование, фильтр Калмана, многоуровневая логика, весовые коэффициенты
Повышение точности измерения параметров траектории движения объекта слежениявозможно за счёт комплексирования обработки видеоинформации, полученной в различных спектральных диапазонах.
В настоящее время не существует единой методики комплексиро-вания изображений в многоканальных оптико-электронных системах наблюдения, что связано с индивидуальными особенностями каждой конкретной решаемой задачи. Но можно выделить основные задачи, которые могут быть решены комплексированием[1]:
1) отображение основной информации, содержащейся в исходных изображениях (например, телевизионном и тепловизионном);
147
