CC BY
88
А.Е. Косова, А.И. Попков. Построение плана замкнутого пространства
33
УДК 621.396.41
А.Е. Косова, А.И. Попков
Построение плана замкнутого пространства с использованием компьютерного зрения и структурированной подсветки
Описан способ построения плана замкнутого пространства с использованием активной лазерной структурированной подсветки и компьютерного зрения. Развёртка подсветки осуществлена двумя способами: 1) с использованием одной горизонтальной линии, параллельной плоскости пола, излучаемым лучом также параллельно полу и 2) одновременно трёх горизонталь-ных линий, параллельных полу, излучаемых от места источника света под разными углами к плоскости пола. Реализован программный модуль с использованием библиотеки компьютерного зрения OpenCV, позволяющий построить план замкнутого пространства. Приведены результаты построения на основе кадров видеопотока.
Ключевые слова: автоматическая навигация, компьютерное зрение, активная структурированная подсветка, план замкнутого пространства, OpenCV.
Проблемы автоматической навигации и локализации робототехнических систем. На протяжении многих лет человечество стремится облегчить, удешевить, сделать более эффективным тяжёлый или рутинный труд. К настоящему времени развитие робототехники привело к тому, что стали популярными мобильные роботы, предназначенные для решения широчайшего круга задач. Такие роботы оснащаются частично или полностью автоматической системой управления.
Основной проблемой мобильных аппаратов, перемещающихся самостоятельно, остаётся навигация [1, 2]. Навигационная система такого робота должна уметь строить свой дальнейший маршрут, управлять движением, правильно интерпретировать сведения об окружающей обстановке, получаемые от датчиков, и постоянно отслеживать собственные координаты.
Задачи навигации и локализации сложны и до сих пор не решены в степени, достаточной для повсеместного использования роботов [1, 2]. Так, даже опытный путешественник не всегда справится с этими задачами, попав в незнакомое место, к примеру, заблудившись в лесу. Кроме того, что может быть не знакома местность, не всегда можно иметь достаточный объем априорных знаний (или учесть ситуацию, что такие знания потребуются) для определения своего местонахождения, интерпретировать то, что находится вокруг. Соответственно,невозможно принять решение, которое позволит достичь цели.
Итак, в реальных условиях эксплуатации полноценный робот должен определять собственные координаты и выбирать направление движения только на основании показателей бортовых датчиков. Алгоритмы, «создаваемые для автономных машин, ориентированы на поддержку непрерывного и бесконечного цикла «опрос датчиков - принятие оперативного решения об изменении направления и скорости движения». Таких циклов может быть несколько: один ответственен за следование по основному маршруту, другой - за обход препятствий и т. д. Кроме того, на аппаратном уровне каждый цикл может поддерживаться датчиками разных типов, формирующих потоки данных разной интенсивности» [1]. Примеры успешного решения проблем навигации - системы управления крылатыми ракетами [3].
Цель и постановка задачи. Целью работы является создание программно-аппаратной (робототехнической) системы, которая позволит строить план замкнутого пространства на основании анализа видеопотока, получаемого с камеры, установленной вместе с источником света на движущемся устройстве.
Проектирование и реализация программы. В качестве устройства структурированной подсветки выбрана лазерная указка. Её луч позволяет подсвечивать достаточно удалённые объекты, даёт яркий, хорошо идентифицируемый рисунок. В нашем исследовании выбраны два рисунка подсветки: 1) одна прямая горизонтальная линия и 2) три параллельные горизонтальные линии. Видеокамера располагается над источником света на некотором расстоянии, ориентирована горизонтально, ее оптическая ось строго параллельна оси светового пучка.
Доклады ТУСУРа, № 2 (36), июнь 2015
34
ЭЛЕКТРОНИКА, ИЗМЕРИТЕЛЬНАЯ ТЕХНИКА, РАДИОТЕХНИКА И СВЯЗЬ
Кадры, получаемые с видеокамеры, имеют участки с линиями подсветки, видимые формы которых зависят от расположения и геометрических форм препятствий. Например, если препятствие -плоская стена, на которую перпендикулярно смотрит камера, то видимая линия подсветки будет прямой, без разрывов и наклонов. На стенах сложной геометрии линия подсветки будет иметь разрывы, наклоны и другие искажения. Зная величины искажений, можно восстановить пространственную геометрию препятствий, т.е. построить план помещения в плоскости подсветки. Для определения участков подсветки в кадре мы использовали цветовую модель HSV [4]. Определение абсолютных координат препятствий и стен требует привлечения данных о положении и ориентации робота.
Построение плана по одной линии. Идея такого способа заключается в том, чтобы использовать зависимость определяемого расстояния до объекта от расстояния в пикселях от центра кадра до линии подсветки:
где Y - номер пикселя по высоте в кадре.
Смещение влево/вправо рассчитывается:
2 = Fi(Y),
Ax = F2(Z, X)
(1)
или
Ax = F2(Fi(Y), X), (2)
где X - номер пикселя по горизонтали в кадре.
Упомянутые выше линии подсветки оптически представляют собой полосы конечной ширины, и в данной работе мы имеем в виду средние линии этих полос. Для координат каждого пикселя средней линии существует их однозначное отображение на плоскость плана при известном положении робототехнической системы. В этой работе не учитывается влияние радиальной дисторсии. В экспериментах использовалась короткофокусная камера, позволяющая получать резкие изображения объектов в большом диапазоне расстояний.
Рассмотрим зависимость (1).
На рис. 1 показана схема отражения лазерного луча от объектов, удалённых на разное расстояние, на матрицу камеры. Из рисунка видно, что чем дальше объект, тем ближе к центру матрицы (кадра) проецируется пятно, отражённое от него.
Камера
Рис. 1. Схема проецирования пятна подсветки на матрицу камеры (вид сбоку)
Из этой схемы на основании подобия прямоугольных треугольников можно рассчитать расстояние до подсвеченного препятствия. Но для этого нужно знать фокусное расстояние камеры и ее разрешение. Также должно быть задано расстояние между оптическими осями камеры и лазерной указки. Формула для расчёта расстояния до подсвечиваемого объекта
Z = Lf /1, (3)
где l - расстояние в количестве пикселей от центрального пикселя камеры (кадра) до пикселя с подсветкой; f - фокусное расстояние камеры; L - расстояние между оптической осью камеры и лазером. Практическое использование этой формулы может быть затруднено незнанием фокусного расстояния f. Но его легко установить опытным путем, измерив расстояние до объекта Z, расстояние между оптическими осями лазера и камеры L и определив, на каком расстоянии, измеренном в пикселях, находится в кадре центральный пиксель пятна подсветки. Приведённые рассуждения справедливы для всех точек линии. Таким способом можно получить план в одной плоскости. Такого плана достаточно, если пространство ограничено только вертикальными стенами, без проёмов, вы-
Доклады ТУСУРа, № 2 (36), июнь 2015
А.Е. Косова, А.И. Попков. Построение плана замкнутого пространства
35
ступов, наклонов и т.п. Если требуется деталировка по высоте, то можно воспользоваться развёрткой лазерного пучка в несколько горизонтальных линий. Построение плана требует разработки программы, в которой бы использовались все получаемые при движении робота данные.
На рис. 2 схематично изображён ход трёх лучей для трёх горизонтальных линий подсветки.
Рис. 2. Схема проецирования верхней и нижней линий подсветки на матрицу (вид сбоку)
Построение планов. Созданная программа построения планов проверена в виртуальном пространстве - трёхмерном лабиринте в редакторе трёхмерной графики Blender [5]. На рис. 3 приведён пример двухмерного плана, полученного по одной линии подсветки. Светлыми линиями на рис. 3, а показаны стена лабиринта и точка расположения камеры с лазером в некоторый момент времени и область, видимая камерой из этой точки. Соответствующий кадр приведён на рис. 3, б. На рис. 3, в белым показана траектория робота и построенный план лабиринта.
а б в
Рис. 3. Исходный план виртуального лабиринта - а; кадр модельного видеопотока - б;
план построенного лабиринта - в
Поиск линий подсветки для реального окружения. В этом случае, как и в случае с виртуальным лабиринтом, сначала нужно найти все области (пиксели) в кадре, содержащие подсветку, а затем рассчитывать соответствующие координаты для плана. В виртуальном пространстве сделать поиск по цвету легко, так как цвет известен. В реальных условиях отражённый от объектов свет может менять яркость и цветовую насыщенность в зависимости от расстояния и материала поверхности.
Доклады ТУСУРа, № 2 (36), июнь 2015
36
ЭЛЕКТРОНИКА, ИЗМЕРИТЕЛЬНАЯ ТЕХНИКА, РАДИОТЕХНИКА И СВЯЗЬ
Для надёжного определения расстояния необходимо как можно точнее выделить пятно из окружающего фона (рис. 4, а - исходное изображение). Для этого следует провести калибровку в текущих условиях освещённости по «типичному» кадру. Она заключается в нахождении узких диапазонов значений компонент HSV точек пятна.
Это можно сделать с помощью программы, которая в отдельном окне для компоненты H формирует бинарное изображение, используя функцию библиотеки OpenCV [6] - cvInRangeS(). Границы интервала отображаются подвижными ползунками, при перемещении которых точки изображения из белых становятся чёрными или наоборот. Границы подбираем с таким расчётом, чтобы на изображении осталось минимум деталей окружающего фона при сохранении пятна. Аналогично поступаем с остальными компонентами. Результаты этих действий показаны на рис. 4, в—д.
) t
а
"1
“1
I
б
в г
Рис. 4. Подбор значений HSV
д
Из рис. 4 следует, что результатом калибровки являются 6 границ интервалов, которые далее используются в основной программе распознавания положения пятна, разработанной для одноплатного компьютера ODROID [7]. Её алгоритм состоит в следующем:
Посредством функций cvCreateCameraCapture и cvQueryFrame библиотеки OpenCV захватывается RGB-кадр с камеры.
С помощью функции cvCvtColor кадр приводится к пространству HSV, каждая компонента которого хранится в отдельном массиве.
Используя границы, полученные при калибровке, строятся 3 бинарных изображения.
Операциями логического «И» эти изображения складываются, в результате получается бинарное изображение, на котором отсутствует фон (см. рис. 4, б).
Положение пятна по вертикали определяется средним значением координат входящих в него точек.
По среднему значению координат вычисляется расстояние от камеры до препятствия (3).
Примечание. При наличии сильных бликов (см. рис. 4, а) алгоритм может давать неверные результаты.
Заключение. В работе показана возможность построения планов замкнутых пространств путём использования стереосистемы, размещённой на подвижной платформе, в которой один из двух оптических элементов стереопары заменён на активную структурированную лазерную подсветку. Для нахождения линий подсветки в кадре используется библиотека компьютерного зрения OpenCV. Приведены примеры построения плана в смоделированной среде, описан алгоритм поиска подсветки в реальном окружении.
Доклады ТУСУРа, № 2 (36), июнь 2015
А.Е. Косова, А.И. Попков. Построение плана замкнутого пространства
37
Литература
1. История вычислительной техники за рубежом. Навигация мобильных роботов [Электронный ресурс]. - Режим доступа: http://computer-museum.ru/frgnhist/robonav.htm, свободный (дата обращения: 24.05.2014).
2. Кориков А.М. Интеллектуальное управление в технических системах // Научный вестник НГТУ. - 2014. - № 1 (54). - С. 18-26.
3. Интернет-журнал. Методы навигации крылатых ракет [Электронный ресурс]. - Режим доступа: http://army-news.ru/2012/08/metody-navigacii-krylatyx-raket, свободный (дата обращения:
18.03.2014).
4. Робокрафт. Цветовая модель HSV [Электронный ресурс]. - Режим доступа:
http://ru.wikipedia.org/wiki/HSV_(цветовая_модель), свободный (дата обращения: 24.01.2014).
5. Википедия. Blender [Электронный ресурс]. - Режим доступа: http://ru.wikipedia.org/wiki/ Blender, свободный (дата обращения: 24.01.2014).
6. Gary Bradski, Adrian Kaehler. Learning OpenCV. ISBN 978-0-596-51613-0. - [Электронный ресурс]. - Режим доступа: http://www.bogotobogo.com/cplusplus/files/OReilly%20Learning%20OpenCVpdf, свободный (дата обращения: 24.11.2013).
7. ODROID PlatformDeveloper [Электронный ресурс]. - Режим доступа: http://www.hard-kernel.com/renewal_2011/products/prdt_info.php?g_code=G133999328931, свободный (дата обращения: 24.11.2013).
Косова Анастасия Евгеньевна
Аспирант каф. автоматизированных систем управления ТУСУРа
Тел.: 8-903-952-81-31
Эл. почта: kosova_ae@mail.ru
Попков Анатолий Иванович
Канд. физ.-мат. наук, доцент каф. теоретических основ информатики Национального исследовательского Томского государственного университета Тел.: 8-913-111-42-19 Эл. почта: anatoly.popkov@elecard.ru
Kosova A.E., Popkov A.I.
Mapping the surrounding space with the use of odometry, inertial navigation, structured light and computer vision
The paper describes a relevant and challenging problem of automatic robot navigation. It describes a method for constructing the map of the surrounding space with active structured lighting and computer vision. As illumination, patterns are selected - one horizontal line, and three lines at a time, with the direction from the light source at different angles. The realized method for finding areas of illumination in frames of a video stream is based on the coordinates which allow to map time points of corresponding frames. The odometry and inertial navigation is used to estimate the distance. The software module is implemented in the programming language C++ using computer vision library OpenCV, which builds a map. The results of constructing the map frame-based video stream are given.
Keywords: automatic navigation, computer vision, active structured lighting, map of the surrounding space, OpenCV, C + +.
Доклады ТУСУРа, № 2 (36), июнь 2015
