CC BY
78
УДК 004.946 Дата подачи статьи: 02.03.16
DOI: 10.15827/0236-235X.115.163-167
SD-МОДЕЛИРОВАНИЕ МЕТОДОВ СЪЕМКИ МОБИЛЬНЫМИ ВИДЕОСИСТЕМАМИ
В.В. Извозчикова, к.т.н., доцент, [email protected] (Оренбургский государственный университет, просп. Победы, 13, г. Оренбург, 460018, Россия); А.В. Меженин, к.т.н., доцент, [email protected] (Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики (Университет ИТМО), Кронверкский просп., 49, г. Санкт-Петербург, 197101, Россия)
Проводимые исследования направлены на разработку виртуальных симуляторов, имитирующих реальные условия эксплуатации, для тестирования и моделирования методов съемки мобильными видеосистемами. При этом предполагается, что средствами 3D-графики эмулируются не только окружающая среда и условия съемки, но и сами видеосистемы: средства технического зрения, бортовые камеры роботов и беспилотных летательных аппаратов. Использование таких симуляторов позволит создавать, совершенствовать и тестировать различные алгоритмы прикладных интеллектуальных систем без создания сложных дорогостоящих стендов.
Рассматриваются вопросы оценки качества работы систем распознавания и реконструкции, использующих для представления данных полигональную сетку. Для оценки качества реконструкции и точности получения полигональной сети в качестве математического аппарата предлагается использовать размерность Хаусдорфа.
Приведены результаты апробации рассматриваемых методов: использование виртуальных сред и оценка подобия полигональных сеток. На этапе сегментации и нахождения вершин и отрезков исследуемых объектов продемонстрировано использование как реальных изображений, полученных реальной камерой, так и синтезированных. На этапе реконструкции для тестирования одной из систем реконструкции также был использован набор синтезированных изображений. Для оценки подобия полигональных объектов на основе размерности Хаусдорфа разработаны соответствующие функции и приведен результат их работы.
Ключевые слова: мобильные роботы, видеосистемы беспилотных летательных аппаратов, виртуальные симу-ляторы, методы съемки, 3D-реконструкции, фотограмметрия.
Фото- и видеосъемка с помощью различных мобильных систем (роботов, беспилотных летательных аппаратов (БПЛА)) находит все большее применение, особенно в таких областях, как разведка, аэрофотосъемка, картографирование. Для получения качественных изображений, несущих в себе достаточное количество данных, на основе которых может быть произведена достоверная реконструкция объектов, необходимо решить задачи оптимального выбора места фото- или видеосъемки, направления и расстояния между исследуемыми объектами и мобильной видеосистемой, а также количества фото- и видеокадров. Данные, полученные в результате съемки, являются исходным материалом для последующей обработки. От их качества во многом зависит результат. Определяющими являются не только параметры используемых камер, но и условия, методы и геометрические параметры съемки. Средства компьютерного моделирования и виртуальные симуляторы позволяют до проведения реальных съемок смоделировать этот процесс [1, 2]. При этом предполагается, что средствами 3D-графики осуществляется эмуляция не только окружающей среды, но и результатов работы различных сенсоров, в частности, изображений, получаемых средствами технического зрения, изображений с бортовых телекамер роботов, БПЛА и т.д. Планирование съемки позволит получить лучшие результаты, оптимизировать процесс и избежать ошибок при последующей обработке данных. Кроме этого, такой подход можно использо-
вать при проектировании: разрабатывать, совершенствовать и тестировать различные алгоритмы прикладных мобильных интеллектуальных систем без создания сложных дорогостоящих стендов.
В первую очередь, виртуальные среды успешно применяются в области робототехники. Рассмотрим ряд разработок в этой области. Компанией «Ланит-Терком» (г. Санкт-Петербург) совместно с кафедрой системного программирования и матема-тико-механическим факультетом СПбГУ были реализованы проекты QReal:Robots и Embox. Среди базовых возможностей можно назвать среду графического программирования и моделирование поведения робота на экране. В МГТУ МИРЭА разработаны виртуальные лабораторные стенды, позволяющие на основе кинематики типа ПУМА моделировать траекторию движения робота и оценивать влияние изменений параметров элементов приводов на динамику робота. Известны разработки исследовательской группы Института промышленных управляющих систем Политехнического университета Валенсии: ABB RobotStudio программирование с использованием симуляцион-ных 3D-программ (Virtual Robot Technology и Vir-tualRobot Simulator). На основе MATLAB и Simu-link разработана среда Embedded Coder Robot for LEGO Mindstorms NXT, которая позволяет создавать систему управления роботом NXT, моделировать его поведение, обрабатывать и отображать данные, используя пакет трехмерной визуализации данных Virtual Reality Toolbox.
Для реализации виртуальных сред могут быть использованы как универсальные системы 3D-mo-делирования Autodesk 3ds Max, Maya, Cinema 4D, так и специализированные Microsoft Robotics Developer Studio, Virtual Reality Toolbox в среде MATLAB и Simulink. Реальный мир не статичен, поэтому проектирование и использование виртуальных сред с динамически изменяемой конфигурацией актуальны и перспективны.
Одним из путей решения задачи обнаружения препятствий средствами машинного зрения является подход на базе стереозрения. Важное преимущество стереоскопических систем заключается в возможности из-за различия в положении камер различать трехмерные (3D) объекты, отстоящие от поверхности, и объекты, принадлежащие этой поверхности (блики, тени, специальный рисунок), что потенциально снижает вероятность ложных обнаружений. Использование 3D-моделирования при проектировании и испытаниях таких систем позволяет значительно повысить эффективность этого процесса.
Технологии фотограмметрии, построение 3D-моделей по набору изображений находят все большее применение не только у профессионалов [3, 4], но и у широкого круга различных компьютерных пользователей, интересующихся 3D-графи-кой. Примером могут служить облачный сервис 123D Catch компании Auotodesk [5], Agisoft Photoscan, Strata Foto 3D-компании 3DSom [6]. Выбор оптимального метода и инструментария для восстановления реального объекта по фотографиям довольно труден [7, 8]. Кроме этого, способы съемки во многом влияют на результат. Использование виртуальных сред и цифровое моделирование изображений позволят сравнивать результаты работы того или иного алгоритма и системы, планировать фотограмметрическую съемку для получения лучшего результата.
Для оценки условий съемки и работоспособности алгоритмов сегментации, нахождения вершин и построения линий были использованы изображения исследуемой сцены, полученные реальной камерой, и цифровые, полученные виртуальной камерой в системе трехмерного моделирования 3ds Max (рис. 1).
Дальнейшая обработка изображений выполнялась в среде MATLAB Image Processing Toolbox (IPT). Результаты работы алгоритмов сегментации на основе изображений, полученных на исследовательском стенде и с помощью виртуальной студии, показаны на рисунке 2.
Как известно, сегментация декомпозирует изображение на составляющие его области или объекты. В идеале методы сегментации в данной задаче должны достоверно выделять в изображении только пиксели, лежащие на контурах. На практике это множество пикселей редко отображает контур достаточно точно по причине шумов, разрывов
Рис. 1. Исследовательский стенд и виртуальная студия
Fig. 1. A research stand and a virtual studio
контуров из-за неоднородности освещения, а также прочих эффектов, нарушающих непрерывность яр-костной картины. На рисунке 2 показаны результаты сегментации синтезированных изображений в условиях помех (смаз изображения) и неравномерного освещения (туман).
Для исследований возможностей систем фотограмметрии и оценок условий съемки была выбрана система Strata Foto 3D, формирующая 3D-контент из фотоизображений. С помощью фотокамеры осуществляется многоплановая съемка объектов на монохромном фоне. Полученные данные используются для построения 3D-объектов. Понятно, что результат моделирования во многом зависит от исходных изображений. Определяющими являются количество изображений, ракурсы съемки и параметры освещения. Для тестирования системы была создана 3D-сцена - box, размещенный на калибровочном столе, с нанесенными метками. Полученная с помощью виртуальной камеры серия изображений была импортирована в систему Strata Foto 3D. В процессе экспериментов определялись оптимальное количество изображений, количество источников света и положение камеры. Результат реконструкции показан на рисунке 3. Качество полученной модели вполне удовлетворительное, поверхность граней достаточно ровная, текстура однородная, хорошо заполняет поверхность куба.
Использование виртуальных стендов позволяет производить объективную оценку результатов фо-
Рис. 2. Результаты обработки изображений Fig. 2. Image processing results
Рис. 3. Виртуальная студия и результаты реконструкции Fig. 3. A virtual studio and reconstruction results
тограмметрии [10]. Исследуемая и реконструированная модели приводятся к полигональному виду и сравниваются. Для таких сравнений используют различные подходы, базирующиеся на вычислении евклидового расстояния и RMSE [11, 12]. Такая оценка, по мнению авторов, имеет приближенный характер, поскольку не учитывает топологические особенности сравниваемых полигональных моделей [13].
Для повышения точности оценки предлагается использовать размерность Хаусдорфа как меру отклонения сравниваемых моделей [14, 15]. В частности, эта метрика используется для оценки качества упрощения полигональных объектов при реализации технологии LOD (Levels Of Detail).
Для определения размерности Хаусдорфа рассмотрим две полигональные модели: оригинальную модель M и полученную в результате реконструкции модель M'. Для обозначения величины подобия введем показатель E, значение которого E(M, M') показывает величину отклонения одной формы от другой [16]. Топологическое пространство X называется хаусдорфовым, если любые две различные точки х, y из X обладают непересекающимися окрестностями U(x), V(x). Пусть даны два набора точек: A—{a1, a2, ..., am} и B—{b], b2, ..., bn}. Тогда хаусдорфово расстояние определяется как H(A, B) — max(h(A, B), h(B, A)), где h(A, B) —
— maxminlla -bll и • - евклидова норма. Значе-
aeA bsB 11 11 11 11
ние функции h(A, B) несимметрично и называется направленным хаусдорфовым расстоянием между
A и B. Эта величина может служить основой для сравнения двух полигональных поверхностей Si и S2. Предлагаемый авторами метод расчета метрики базируется на построении векторов нормалей к исследуемым поверхностям. Для повышения точности расчета можно воспользоваться методом усреднения - расчет средневзвешенного значения векторов нормалей, образованных парами соседних треугольников. В этом случае для нахождения координат точек пересечения векторов нормалей, построенных от одной поверхности к другой, воспользуемся следующими предположениями. Пусть ABC - произвольный треугольник; a, b, c - длины сторон, лежащие против вершин A, B и C соответственно; M - точка пересечения биссектрис. Тогда для любой точки O верно равенство
— a ■ OA + b ■ OB + c ■ OC
OM =-.
a + b + c
Из этой теоремы следует: если O - начало координат, то
a ■ хА + b ■ xB + c ■ xc
Ум =
а + Ь + с
а • Уа + Ь' Ув + с • Ус а + Ь + с
а • 2Л + Ь • гв + с • хс
= , . , • а + Ь + с
Таким образом, если векторы а и Ь определены своими прямоугольными декартовыми координатами, то есть представлены в ортонормированном базисе а=(а*, % а2) и Ь=(ЬХ, Ьу, Ь), а система коор-
Рис. 4. Оценка качества реконструкции Fig. 4. Reconstruction quality assessment
динат правая, то их векторное произведение можно описать следующим образом: [a, b] = (axbz - aby,
azbx - axbz, axby - aybz).
Предложенные методы сравнения полигональных объектов на основе вычисления Hausdorff dimension были реализованы в среде MATLAB Image Processing Toolbox (IPT) в виде m-функций, в результате выполнения которых визуализируются рассчитанные векторы нормалей и величина отклонений одной поверхности от другой. На рисунке 4 представлен фрагмент программного кода, демонстрирующий использование разработанных m-функций для сравнения полигональных поверхностей, являющихся результатом двух математических трехмерных функций. Приведенный график демонстрирует использование разработанных m-функций для сравнения полигональных поверхностей, являющихся результатом двух математических трехмерных функций, где показаны векторы нормалей, построенные от полигонов одной поверхности к другой, и величина отклонения представлена в виде графика палитры цветов.
Проведенные исследования показывают целесообразность и перспективность использования виртуальных сред различной конфигурации, созданных средствами 3D-компьютерного моделирования, на этапах проектирования и планирования применения видеосистем в таких областях, как робототехника, фотограмметрия и системы компьютерного зрения. Их использование позволит совершенствовать разработку таких систем, повысит эффективность их применения. Для более точной оценки эффективности и качества рассмотренных подходов планируется дополнительное тестирование рассматриваемых методов моделирования различных условий съемки: условия неравномерного освещения, помех с учетом отражающих свойств материалов исследуемых объектов.
Литература
1. Piatti E., Lerma J., A virtual simulator for photogrammetry. ISPRS, Proc. V Sympos. Image Eng. and Vision Metrology, Dres-
den, Germany, 2006, vol. 36, no. 5, 4 p.
2. Меженин А.В. Виртуальные BD-среды как средство верификации и тестирования при проектировании // Приоритетные научные направления: от теории к практике. 2016. № 21. С. 105-110.
3. Красильников Н.Н. Метод получения 3D-изображений, основанный на диффузном отражении света сканируемыми объектами // Информационно-управляющие системы. 2009. Вып. 6. C. 7-12.
4. Eisert Р., Steinbach E., and Girod B. Multi-Hypothesis, Volumetric Reconstruction of 3-D Objects From Multiple Calibrated Camera Views. Proc. of the Int. Conf. on Acoustics, Speech, and Signal Processing, 1999, pp. 3509-3512.
5. Autodesk 123D Catch | Generate 3d model from photos. URL: http://www.123dapp.com/catch (дата обращения: 28.02.2016).
6. Foto 3D CX for Mac PC - Create High-Quality Textured 3D Models From Your Digital Camera - Strata URL: https://www. strata.com/foto-3d-cx-create-textured-3d-models-from-your-digital-camera/ (дата обращения: 28.02.2016).
7. Klasing К., Wollherr D., and Buss M. A clustering method for online segmentation of 3d laser data. Proc. ICRA, 2008, pp. 4043-4048.
8. Sebastian T.B., Klein P.N., and Kimia B.B. Recognition of shapes by editing shock graphs. Proc. ICCV, 2001, pp. 755-762.
9. Hielsberg M., Tsai R., Guo P., Chen C. Visibility-based urban exploration and learning using point clouds. Proc. IEEE/RSJ Int. Conf. Intell. Robots Sys., 2013.
10. Свешникова Н.В., Юрин Д.В. Оценка погрешностей восстановления трехмерных сцен алгоритмами факторизации. 2006. URL: http://www.graphicon.ru/html/2006/proceedings/pa-pers/fr09_32_Sveshnikova_Yurin.pdf (дата обращения: 28.02.2016).
11. Cignoni P., Rocchini C., Scopigno R. Metro: measuring error on simplified surfaces. Proc. Comp. Graphics Forum 1998, vol. 17, no. 2, pp. 167-174.
12. GIS-LAB: Среднеквадратичная ошибка (RMSE). URL: http://gis-lab.info/qa/rmse.html (дата обращения: 28.02.2016).
13. Меженин А.В., Извозчикова В.В. Методы построения векторов нормалей в задачах идентификации объектов // Кибернетика и программирование. 2013. N° 4. С. 51-58.
14. Меженин А.В., Извозчикова В.В. Размерность Хау-сдорфа в задачах анализа подобия полигональных объектов // Интеллект. Инновации. Инвестиции. 2016. № 2. С. 109-112.
15. Yedjour H., Meftah B., Yedjour D. and Benyettou A. Combining spiking neural network with Hausdorff distance matching for object. Tracking Asian Journal of Applied Sc., 2014, vol. 1, pp. 63-71.
16. Teng Y.C. Remote-sensing image processing and recognition using wavelet transform and Hausdorff distance. Ph.D. Thesis, Inst. of Comp. Sc. and Inform. Eng. National Central Univ. Chung-Li, Taiwan, 2002.
DOI: 10.15827/0236-235X.115.163-167 Received 02.03.16
3D MODELING FOR MOBILE VIDEO SYSTEMS
1 Izvozchikova V.V., Ph.D/ (Engineering), Associate Professor, [email protected] 2Mezhenin A. V., Ph.D/ (Engineering), Associate Professor, mejenin@ mail.ru lOrenburg State University, Pobedy Ave. 13, Orenburg, 460018, Russian Federation 2The National Research University of Information Technologies, Mechanics and Optics, Kronverksky Ave. 49, St. Petersburg, 197101, Russian Federation
Abstract. The research focuses on the development of virtual simulators that simulate actual service conditions for testing and simulation of shooting methods by mobile video systems. It is assumed that 3D-graphics means emulate not only the environment, shooting conditions, but also video systems themselves: visual facilities, onboard robot cameras and UAVs. The use of such simulators allows creating, refining and testing various algorithms of applied intelligent systems without creating complex and expensive stands.
The article considers the issues of performance evaluation of recognition and reconstruction systems that use a polygonal network for data presentation. To assess the reconstruction quality and accuracy of the polygonal network the authors propose the Hausdorff dimension as a mathematical tool.
The results of testing these methods are: virtual environments use and assessment of polygonal networks similarity. At the stage of segmentation and location of vertices and segments of the objects the authors show the use of both real images obtained by real camera, as well as synthesized images. At the reconstruction phase to test one of reconstruction systems they also used a set of synthesized images. In order to assess the similarity of polygonal objects based on the Hausdorff dimension the authors designed corresponding functions and showed the results of their work.
Keywords: mobile robots, mobile video systems, virtual simulators, shooting methods, 3D reconstruction, photo-grammetry.
References
1. Piatti E., Lerma J. A Virtual Simulator for Photogrammetry. ISPRS, Proc. VSympos. Image Eng. and Vision Metrology. Dresden, Germany, 2006, vol. 36, no. 5, 4 p.
2. Mezhenin A.V. Virtual 3D environments as a tool for verification and testing when designing. Prioritetnye nauchnye napravleniya: otteoriikpraktike [Foreground Research Areas: from Theory to Practice]. 2016, no. 21, pp. 105-110 (in Russ.).
3. Krasilnikov N.N. Method of 3D imaging based on diffuse light reflection by scanned objects. Informatsionno-uprav-lyayushchie sistemy [Information and Control Systems]. 2009, no. 6, pp. 7-12 (in Russ.).
4. Eisert P., Steinbach E., Girod B. Multi-Hypothesis, Volumetric Reconstruction of 3-D Objects From Multiple Calibrated Camera Views. Proc. Int. Conf. on Acoustics, Speech, and Signal Processing. 1999, pp. 3509-3512.
5. Autodesk 123D Catch | Generate 3d model from photos. Available at: http://www.123dapp.com/catch (accessed February 28, 2016).
6. Foto 3D CXfor Mac PC - Create High-Quality Textured 3D Models From Your Digital Camera - Strata. Available at: https://www.strata.com/foto-3d-cx-create-textured-3d-models-from-your-digital-camera/ (accessed February 28, 2016).
7. Klasing K., Wollherr D., Buss M. A clustering method for online segmentation of 3d laser data. Proc. ICRA. 2008, pp. 4043-4048.
8. Sebastian T.B., Klein P.N., Kimia B.B. Recognition of shapes by editing shock graphs. Proc. ICCV. 2001, pp. 755-762.
9. Hielsberg M., Tsai R., Guo P., Chen C. Visibility-based urban exploration and learning using point clouds. Proc. IEEE/RSJInt. Conf. Intell. Robots Sys. 2013.
10. Sveshnikova N.V., Yurin D.V. The factorization algorithms: results reliability and application for the epipolar geometry recovery. Proc. Int. Conf. Graphicon 2006. Novosibirsk, Russia. Available at: http://www.graphicon.ru/html/2006/proceed-ings/papers/ fr09_32_Sveshnikova_Yurin.pdf (accessed February 28, 2016).
11. Cignoni P., Rocchini C., Scopigno R. Metro: measuring error on simplified surfaces. Computer Graphics Forum. 1998, no. 17 (2), pp. 167-174.
12. GIS-LAB: Srednekvadratichnaya oshibka (RMSE). Available at: http://gis-lab.info (accessed February 28, 2016).
13. Mezhenin A.V., Izvozchikova V.V. Methods of normal vector constructing in problems of polygonal objects' similarity analysis. Kibernetika iprogrammirovanie [Cybernetics and Programming]. 2013, no. 4, pp. 51-58 (in Russ.).
14. Mezhenin A.V., Izvozchikova V.V. The Hausdorff dimension in problems of polygonal objects' similarity analysis. Intellekt. Innovatsii. Investitsii [Intelligence. Innovations. Investments]. 2016, no. 2, pp. 109-112 (in Russ.).
15. Yedjour H., Meftah B., Yedjour D., Benyettou A. Combining spiking neural network with Hausdorff distance matching for object. Tracking Asian Journ. of Applied Sc. 20114, vol. 1, pp. 63-71.
16. Teng Y.C. Remote-sensing image processing and recognition using wavelet transform and Hausdorff distance. Ph.D. Thesis, Inst. of Comp. Sc. and Inform. Eng. National Central Univ., Chung-Li, Taiwan, 2002.
