CC BY
58
АВТОМАТИЧЕСКАЯ СИСТЕМА ОБНАРУЖЕНИЯ И РАСПОЗНАВАНИЯ АВТОТРАНСПОРТНЫХ СРЕДСТВ НА ИЗОБРАЖЕНИИ
С.А. Субботин, к.т.н.; К.Ю. Бойченко
(Запорожский национальный технический университет, [email protected])
Разработана автоматическая система обнаружения и распознавания автотранспортных средств на изображении. Рассмотрены принципы построения и функционирования таких систем. Проведены эксперименты, показывающие превосходство разработанной системы над действующим аналогом.
Ключевые слова: автоматическая система, распознавание, метод эталонов, регион интереса, обучающая выборка.
Увеличение интенсивности транспортного потока на автомагистралях, а также варьирующиеся скоростные ограничения для различных видов транспортных средств обусловили актуальность проблемы автоматизации контроля за соблюдением правил дорожного движения и перемещением транспортных средств. Это, в свою очередь, вызвало необходимость распознавания класса транспортного средства, проверки соблюдения правил дорожного движения для транспортных средств данного класса и идентификации автомобиля нарушителя посредством распознавания его номерного знака.
Входной информацией для системы обнаружения и распознавания является изображение части дороги, возможно, содержащее автомобиль, полученное фотокамерой, расположенной над дорожным полотном по движению транспорта под углом к горизонту.
Автоматическая система должна определять присутствие автомобиля на изображении, локализовать его (определять границы области изображения), а также распознавать тип автотранспортного средства (легковой, грузовой автомобиль, микроавтобус, автобус, спецмашина и т.д.).
Система должна работать в реальном масштабе времени и обеспечивать достаточную точность обнаружения и распознавания.
Задача обнаружения и распознавания автомобилей осложняется тем, что изображения, получаемые в реальных условиях в различное время суток и при различных погодных условиях, отличаются сильной зашумленностью, сменяющейся сложным фоном (из-за обилия теней от различных объектов в различное время суток), частичным попаданием автомобиля в кадр.
Анализ методов и систем обнаружения
и распознавания транспортных средств
Для обнаружения автомобиля на изображении (выделение региона интереса) применяют различные методы. Метод, основанный на анализе потокового видео, учитывает то, что распознаются движущиеся объекты - автомобили, при последовательном сравнении соседних кадров видеопоследовательности [1]. Другой метод основан на нахождении фрагментов-кандидатов на различные
части автомобиля путем сравнения с эталонами фрагментов исходного изображения [2] либо фрагментов карт ребер [3]. Такой подход применим при наличии на изображении достаточного количества хорошо различающихся существенных элементов автомобиля, что справедливо в большей степени для видов изометрических проекций рассматриваемых автомобилей.
Для видов сзади и сзади-сверху наиболее эффективно показали себя методы, основанные на определенных преобразованиях и анализе карт ребер, как это было реализовано наряду с анализом видеопотока в системе, описанной в [1]. При съемке с такого ракурса автомобили симметричны относительно серединной вертикальной оси, но степень этой симметрии, как и симметрии относительно серединной горизонтальной оси, различна у разных классов автомобилей.
Одним из универсальных методов нахождения и классификации объектов на изображении является поиск по шаблону [4]. Подходы к поиску по шаблону отличаются способами представления изображения и шаблонов, способом сравнения и критериями совпадения фрагмента изображения с шаблоном. Так, авторы статей, описывающих рассмотренные системы, для решения задачи классификации предлагают использовать нейронные сети [3] и метод эталонов.
Таким образом, для отыскания автотранспортного средства на статическом изображении целесообразно применять интеллектуальный анализ реберных карт и модифицированный поиск по шаблону [4]. Распознавание предлагается осуществлять при помощи метода эталонов.
Архитектура системы
Для обеспечения достаточной гибкости и переносимости на другие платформы система имеет модульную структуру и состоит из пяти взаимодействующих модулей: выделения региона интереса, распознавания, фильтрации, метода эталонов, графического интерфейса пользователя.
Модуль выделения региона интереса содержит интеллектуальные элементы отыскания автотранспортного средства на изображении сцены и использует результат преобразований, выполняемых модулем фильтрации классов.
Функции модуля фильтрации позволяют выполнять различные преобразования изображений, реализуют методы адаптивного подавления шумов, смазывания, рассеивания, нахождения наиболее ярких областей изображения, построения градиентных карт и карт ребер, а также отыскивают регион интереса для общей задачи.
Модуль распознавания осуществляет преобразование изображения найденного автотранспортного средства к набору признаков, которые затем используются модулем метода эталонов для классификации. Кроме того, модуль предоставляет данные для классов метода эталонов с целью обучения системы.
Модуль метода эталонов включает классы, реализующие работу со структурами данных, хранящих базу эталонов, работу с файлами баз эталонов, а также классы, реализующие базовые функции метода: нахождение расстояния между экземплярами в метрической системе, нормализация значений признаков экземпляра и т.д. В модуле реализован метод кластерного анализа, позволяющий для заданной обучающей выборки получить базу эталонов с заданным значением ошибки классификации.
Функциональная схема программы показана на рисунке. Прямоугольниками на ней обозначены функциональные модули, ромбами - управляющие элементы интерфейса пользователя, позволяющие контролировать качество работы системы, оценивая правильность выделения и распознавания на контрольных промежутках обслуживания системы, пополнять базу имеющихся шаблонов в случае стабильного некорректного срабатывания системы в той или иной ситуации, повышая тем самым точность распознавания при ее дальнейшей работе.
В автоматизированном режиме работы системы оператор выбирает для обработки изображение или последовательность изображений. Затем
каждое выбранное изображение подвергается фильтрации: система делает вывод о присутствии автотранспортного средства на изображении, после чего осуществляется его локализация. При этом оператор имеет возможность визуально контролировать правильность выделения и при необходимости может сообщить системе об ошибке в выделении. Затем данные из модуля выделения региона интереса поступают в модуль распознавания, где с помощью метода эталонов принимается решение об отнесении автомобиля к тому или иному классу. На этом этапе имеется возможность визуального контроля правильности работы системы и пополнения базы эталонов без прерывания работы системы. Работа над каждым изображением протоколируется, а результатом являются точно распознанный класс автомобиля и номерной знак (при подключении дополнительного модуля).
В автоматическом режиме работы системы обработка производится исключительно в направлении двойной стрелки (см. рис.) после указания пользователем последовательности изображений для обработки.
Эксперименты и результаты
Оценка качества работы системы осуществлялась операторами-экспертами путем визуального контроля правильности выделения и распознавания, а также сравнивалась с имеющимися результатами работы аналогичной индустриальной системы АБР1, используемой на автотрассах Италии.
Системы распознавания автомобилей наглядно демонстрируют результат своей работы - выделенный регион интереса на изображении на экранной форме, распознанный класс автомобиля, точность распознавания и распознанный номерной знак, которые также протоколируются.
После обучения системы на 1555 изображениях обучающей выборки точность распознавания для 2457 изображений тестовой выборки составила 80,5 %. Среднее время работы системы над одним изображением составило 0,6 сек.
Для системы АБР1 точность распознавания того же набора изображений составила 72 % при средних затратах времени 1,1 сек. на одно изображение.
Разработанная автоматическая система обнаружения и распознавания автотранспорта на изображении позволяет определять в реальном масштабе времени класс автомобиля, присутствующего на изображении. Она отличается большей производительностью и точностью по сравнению с действующими системами обнаружения и распознавания транспортных средств и может быть рекомендована для использования на практике.
Данная работа выполнена в рамках НИР ООО «МПА Групп» «Разработка математического и ин-
Функциональная схема программы
формационного обеспечения интеллектуальной системы визуального контроля транспортных средств» (№ 0106U012013) и «Разработка методов и программных средств на основе обучения, распознавания, оптимизации адаптации для принятия решений в автоматизированных системах управления транспортными средствами» (№ 0107U0006781).
Литература
1. Betke M., Haritaoglu E., Davis L. Multiple vehicle detection and tracking in hard real-time // IEEE Intelligent Vehicles Symposium. Tokyo, Sept. 19-20, 1996. Los Alamitos: IEEE Publishing, 1996, pp. 351-356.
2. Leung B. Component-based Car Detection in Street Scene Images: Diss. Ms. Sc. Cambridge: Massachusetts Institute of Technology, 2004. 71 p.
3. Neskovic P., Cooper L. Providing context for edge extraction in application to detection of cars from video streams // International Conference on Engineering Applications of Neural Networks. Malaga, Sept. 8-10, 2003. Malaga: Dpto. de Ingenieria de sistemas y Automatica, 2003, pp. 222-229.
4. Hwang W., Ko H. Real-time vehicle recognition using local feature extraction // IEEE Electronics Letters. Los Alamitos: IEEE Publishing, 2001. Vol. 37. № 7, pp. 424-425.
5. Zabih R., Woodfill J. Non-parametric local transforms for computing visual correspondence // Proceedings of the Third European Conference on Computer Vision. Stockholm, May 2-6, 1994. New York: Springer-Verlag, 1994. Vol. 2, pp. 151-158.
УСТОЙЧИВОСТЬ P2P СИСТЕМ ВИДЕОНАБЛЮДЕНИЯ
Р.Х. Альмухамедов; А.И. Бобков, к.т.н.
(Санкт-Петербургский государственный университет аэрокосмического приборостроения,
[email protected], [email protected]); М.А. Поляничко (Петербургский государственный университет путей сообщения, [email protected])
В данной статье рассматривается устойчивость работы системы видеонаблюдения, построенной на основе архитектуры Р2Р с фиксированным числом пользователей. Приводится оценка вероятности нахождения системы в работоспособном состоянии при различных соотношениях количества участников разного рода с помощью предложенной методики.
Ключевые слова: система Р2Р, одноранговая сеть, система видеонаблюдения, стационарный поток, режим вырожденного сервиса, биномиальное распределение.
В последнее время растет популярность систем визуального контроля. Например, на железнодорожном транспорте имеется ряд систем наблюдения, в которых видеокамеры фиксируют изображения протяженных объектов в различных условиях освещенности.
Зачастую распознающим устройствам и оператору из-за плохой видимости трудно принять решение о ситуации на объекте. Поэтому, помимо линейных операторов, имеется группа экспертов, выполняющих анализ спорных изображений и принимающих решения. В условиях плохой видимости количество изображений, поступающих к экспертам, очень велико, поэтому интервал времени от сигнала оператора до развертывания изображений на экранах экспертов является критическим параметром и должен быть минимизирован.
Имеется несколько доступных технологических решений, внедрение которых позволит осуществить быстрый доступ экспертов к спорным изображениям без развертывания ресурсоемкой инфраструктуры.
Одним из возможных решений может служить архитектура Р2Р (Реег-То-Реег). Система Р2Р -это одноранговая компьютерная сеть, каждый узел ее является и клиентом, и сервером.
Архитектура сети Р2Р подразумевает наличие основного сервера, который получает видеоданные от источников и поставляет их в сеть со скоростью и8 для последующего распределения между узлами. Полагаем, что в сети имеются два рода узлов.
Узлы первого рода позволяют другим участникам скачивать данные со скоростью иь их количество обозначим через Пь а количество и скорость загрузки узлов второго рода, соответственно, обозначим как п2 и и2.
Р2Р системы видеонаблюдения могут находиться в двух режимах. Режим стационарного потока (8Т) - это состояние системы, при котором все узлы получают видеоданные со скоростью г. Противоположное состояние определяется как режим вырожденного сервиса (Б8).
В работе [1] показано, что вероятность режима стационарного потока (8Т) равна
Р(5Т) = Р(Р! > сР? - и^), (1)
г-и? , и» _ _ где с =-; и5 =-; Р1( Р2 - случайные величины, равные количеству узлов первого и второго рода.
Устойчивость Р2Р систем наблюдения возрастает с уменьшением вероятности режима вырожденного сервиса. Поэтому основной задачей
