CC BY
13
DOI: 10.15514/ISPRAS-2020-33(2)-8
Классификатор изображений транспортных
средств для определения корреляции их воздействия со смещением координат моста
В. Флорес-Фуэнтес, ORCID: 0000-0002-1477-7449 <[email protected]> Автономный университет Нижней Калифорнии (UABC), Мексика, 21100, Нижняя Калифорния, Энсенада
Аннотация. Современные компьютерные технологии открывают возможности для инноваций в широком спектре приложений. На смену традиционным подходам, в основе которых лежат визуальные и ручные методы, все чаще приходят автоматизированные процессы за счет использования киберфизических систем. Настоящая работа является примером этой тенденции и посвящена использованию машинного зрения на основе глубокого обучения для классификации действующих нагрузок на мосты и поддержки систем оптического сканирования для мониторинга состояния строительных конструкций. Система оптического сканирования контролирует состояние строительных конструкций (здания, мосты, дамбы и т.д.) путем измерения возможного смещения координат характерных точек, что позволяет выявить аномальное поведение конструкции, возможно, связанного с ее повреждением. При анализе мостовых конструкций использование подобной оптической сканирующей системы несколько затруднено из-за проезда транспортных средств по мосту, что вызывает его колебания. Причем эти колебания моста и, соответственно, смещения координат не обязательно связаны с повреждением моста. Таким образом, требуется классификатор нагрузок на мост для определения корреляции измеряемых смещений координат характерных точек с колебаниями, вызванными взаимодействием с ним транспортных средств, чтобы отличить нормальное поведение конструкции от аномального состояния и выявить тенденции, указывающие на нежелательную деформацию моста, или спрогнозировать поведение моста во времени под действием нагрузки.
Ключевые слова: структурный мониторинг состояния; глубокое обучение; мост; машинное зрение; классификатор; киберфизические системы
Для цитирования: Флорес-Фуэнтес В. Классификатор изображений транспортных средств для определения корреляции их воздействия со смещением координат моста. Труды ИСП РАН, том 33, вып. 2, 2021 г., стр. 137-148. DOI: 10.15514/ISPRAS-2021-33(2)-8
Vehicle Image Classifier for Bridge Displacement Correlation
W. Flores-Fuentes, ORCID: 0000-0002-1477-7449 <[email protected]> Autonomous University of Baja California (UABC), Ensenada, Mexico, 21100
Abstract. Advanced computing brings opportunities for innovation in a broad gamma of applications. Traditional practices based on visual and manual methods tend to be replaced by cyber-physical systems to automate processes. The present work introduces an example of this, a machine vision system research based on deep learning to classify bridge load, to give support to an optical scanning system for structural health monitoring tasks. The optical scanning system monitors the health of structures, such as buildings, warehouses, water dams, etc. by the measurement of their coordinates to identify if a coordinate displacement befalls that could indicate an anomaly in the structure that can be related to structural damage. The use of this optical scanning system to monitor the structural health of bridges is a little more complicated due to the vehicle's
transit over the bridge that causes a vehicle-bridge interaction which manifests as a bridge oscillation. Under this scheme, the bridge oscillation corresponds to their coordinate's displacement due to the vehicle-bridge interaction, but not necessarily due to bridge damage. So, a bridge load classifier is required to correlate the bridge coordinates measurements behavior with the bridge oscillation due to vehicle-bridge interaction to discriminate the normal behavior of the structure to abnormal behavior or identify tendencies that could indicate bridge deformation or discover if the bridge behavior due to loads is changing through the time.
Keywords: Structural Heal Monitoring; Deep Learning; Bridge; Machine Vision; Classifier; Cyber-physical
For citation: Flores-Fuentes W. Vehicle Image Classifier for Bridge Displacement Correlation. Trudy ISP RAN/Proc. ISP RAS, vol. 33, issue 2, 2021, pp. 137-148 (in Russian). DOI: 10.15514/ISPRAS-2021-33(2)-8.
1. Введение
Развитие городов [1, 2] сопровождается строительством новых транспортных сетей, в том числе автомобильных мостов.
Мостовые конструкции подвержены износу в результате строительных дефектов и различных внешних воздействий, в частности, a) использование неадекватных материалов и методов строительства, b) чрезмерный рост динамических нагрузок вследствие увеличения массы транспортного потока и его скоростей, с) перегрузка, d) естественные природные явления, такие как старения во времени, изменения температуры, ветровой нагрузки, влажности и сейсмических воздействий и даже e) столкновения автомобилей между собой и/или с элементами конструкции моста. Мониторинг целостности конструкций (Structural Health Monitoring, SHM) мостов является весьма актуальной практически важной задачей [3], он позволяет получить данные, помогающие принимать решения о профилактическом обслуживании, использовании и ремонте конструкций, а также позволяет отчетливо представлять требования к техническому обслуживанию моста и, следовательно, прогнозировать размер ресурсов, необходимых для его сохранения, и тем самым защищать инвестиции, вложенные в строительство моста.
Традиционная технологияя SHM мостов включает разрушающие испытания элементов мостовых конструкций, систематические визуальные осмотры и ручные оценки специализированным персоналом [4]. Это требует присутствия специалистов, что приводит к значительным финансовым затратам и длительному времени ожидания, прежде чем конструкция может быть снова использована, особенно в тех случаях, когда оценка состояния моста осложнена действием разрушающих факторов, например, после землетрясения, урагана или внезапного наводнения.
В то же время, системы SHM, основанные на нетрадиционных методах, обычно интегрируются с датчиками, подсистемами сбора, обработки и хранения данных, подсистемами связи, а также интеллектуальными системами для поведенческого моделирования конструкции и обнаружения повреждений на основе информации о поведении конструкции.
В научной литературе можно найти некоторые сведения об инновациях и разработке автономных систем, способных к непрерывному мониторингу, таких как оптические сканирующие системы (Optical Scanning System, OSS) [5, 6], которые позволяют непрерывно отслеживать контролируемые координаты конструкции для проверки, что она претерпевает смещения, которые могут указывать на то, что мост разрушается. Однако из-за взаимодействия транспортного средства с мостом (Vehicle-Bridge Interaction, VBI) мост колеблется с частотой приблизительно от 1 до 8 Гц [7], что приводит к тому, что контролируемая координата также имеет колебательное поведение. По этой причине для поддержки OSS требуется классификатор нагрузки моста (Bridge Load Classifier, BLC), чтобы можно было определить, соответствуют ли смещения отслеживаемых координат ухудшению состояния моста или же влиянию VBI.
Настоящее исследование посвящено разработке системы машинного зрения, основанной на машинном обучении и совмещенной с BLC, для обнаружения корреляции структурных смещений на мосту.
2. Глубокое обучение для классификации
В современном компьютерном мире возможно объединение сенсоров, информационных и коммуникационных технологий для разработки интеллектуальных систем [8]. Глубокое машинное обучение - это мощный аппарат, используемый для классификации. Он основан на искусственных нейронных сетях, состоящих из нескольких слоев.
Искусственный нейрон, также называемый перцептроном, имеет несколько двоичных входов х1,х2,...,хп, значения которых умножаются на веса w1,w2,.,wn, где wt - значение, определяющее важность /-го входа для выходного значения нейрона. Если сумма входных значений, умноженных на их соответствующие веса, достигает определенного порога, перцептрон выводит двоичное значение. Когда выходы группы перцептронов питают другую группу перцептронов, каждая из этих групп называется слоем. Массив с несколькими слоями называется многослойным персептроном, в котором слои классифицируются на входные, скрытые и выходные. Без использования функции активации (/) нейроны являются двоичными, а веса и пороговые значения должны быть установлены программистом. Когда нейрон для вычисления своего выходного значения использует функцию активации, говорят, что нейрон обучается в одиночку; нейроны получают определенное число входных значений и смещение (Ъ), его входы могут быть реальными значениями, а смещение всегда представляет значение 1. Наиболее распространенными функциями активации являются линейные - двоичная ступенчатая и линейная, а также нелинейные - сигмоид, гиперболический тангенс, блок линейной ректификации (Rectified Linear Unit, ReLU), ReLU с утечкой (leaky ReLU), параметрический ReLU, softmax и переключатель. Выбор правильной функции активации для конкретного приложения определяет точность и вычислительную эффективность. Функции нелинейной активации позволяют создавать сложные сопоставления между входами и выходами сети для обучения и моделирования сложных данных. Современные нейронные сети основаны на нелинейных функциях активации. Наиболее популярным является ReLU, поскольку эта функция активации позволяет сети очень быстро сходиться и допускает обратное распространение ошибки. Новая функция активации, предложенная в [9], называется switch и обещает быть лучше, чем ReLU. Для выходного слоя полезна функция активацмм softmax, поскольку она позволяет классифицировать по нескольким классам.
Сети с разными соединения слоев уступают место более сложным сетевым структурам, наиболее популярными из которых являются нейронная сеть прямого распространения (Feedforward Neural Network, FNN), рекуррентная нейронная сеть (Recurrent Neural Network, RNN) и сверточная нейронная сеть (Convolutional Neural Network, CNN). Все эти конфигурации с несколькими слоями - глубокие нейронные сети (Deep Neural Network, DNN) определяются как модели глубокого обучения, задаваемые гиперпараметрами, количеством скрытых слоев, функцией активации и числом повторений (эпох) обучения.
2.1 Родственные работы
В последних приложениях обнаруживаются новшества: сочетание глубокого обучения с различными методами обнаружения объектов, отслеживания, классификации, аугментации, сжатия данных и прогнозирования.
Технология глубокого обучения в проектах структурного мониторинга использовалась для обнаружения трещин в бетоне [10, 11], для обнаружения структурных повреждений поверхности, таких как расслоение и обнажение арматуры моста [12, 13]. В [14] предлагается мониторинг смещений с использованием метода полного поля оптического потока, основанного на глубоком обучении. Реализованы алгоритмы оптического потока для визуального отслеживания и расчета полного поля структурного движения. В результате получается вектор движения в каждом пикселе изображения, а смещение получается путем преобразования смещения в пикселях в смещение в физических единицах после того, как движение, вызванное вибрацией камеры, смягчается путем вычитания движения статических частей в изображениях. Глубокое обучение также реализовано для классификации сигналов, например, в [15], где анализируются данные об перегрузках моста, получаемые с помощью акселерометров.
Для оценки транспортной нагрузки на мост в [16, 17] предлагается методология определения трафика, сочетающая методы компьютерного зрения и традиционные инструменты на основе измерения деформации для простых и сложных сценариев движения. Предлагается классификатор транспортных средств на основе глубокого обучения и сети тензометрических датчиков для сбора обширной информации (вес транспортного средства, скорость, количество, тип и траектория), наличие которой приводит к повышению точности результатов идентификации.
Было разработано несколько типов решений для классификации транспортных средств посредством глубокого обучения, а некоторые из них - для расчета нагрузки на мосты, но не было создан BLC, основанный на классификации транспортных средств с помощью глубокого обучения и слуащий для корреляции структурных смещений. Некоторые примеры обнаружения транспортных средств с помощью глубокого обучения для других приложений можно найти в [18-21].
3. Киберфизическая система для разработки SHM мостов
Смещение координат контролируемых точек - важный индикатор состояния моста. Киберфизическая система, предложенная для SHM, продемонстрировала свою эффективность при отслеживании смещений трехмерных координат [22]. Однако измерение смещения моста с помощью OSS по-прежнему является сложной задачей из-за колебаний моста, вызываемых нагрузкой от проходящего транспорта. Взаимодействие между автомобилем и мостом создает трехмерное координатное смещение, которое нужно учитывать особым образом. Таким образом, киберфизическая система SHM для моста состоит из а) системы оптического сканирования (OSS), описываемой в подразделе 3.1 и b) предлагаемого классификатора нагрузки на мост (BLC), описываемого в подразделе 3.2.
3.1 Система оптического сканирования (OSS)
Происхождение OSS связано с намерениями разработать систему технического зрения (Technical Vision System, TVS) для мобильных роботов, функционирующих в условиях сложной ландшафтной навигации [23, 24]. Система основывалась на системе лазерного позиционирования (Positioning Lazer, PL) и сканирующей апертуре (Scanning Aperture, SA), установленной на штативе; оба эти которые связаны по принципу триангуляции для определения координат объекта, обнаруженных TVS [25-27]. Когда система PL была заменена некогерентным источником света, который установлмвался над конструкцией в выбранной точке (Xi,yi,Zi), подлежащей мониторингу, эту новую конфигурацию стали называть OSS [28, 29]. На рис. 1 показана, как работает OSS.
Рис. 1. OSS для измерения смещения моста Fig. 1. OSS for bridge displacement measurement
TVS и OSS продолжают дорабатываться для использования в различных приложениях: автономная навигация [30], воздушная навигация [31], биометрические измерения, SHM различных конструкций и в различных средах [32]. В частном случае, эти системы могут быть использованы и для SHM мостовых конструкций. Вместе с тем, в последнем случае для системы SHM требуется оценка эффектов, связанных с воздействием транспортного средства на мост по трем координатам, измеряемых классификатором нагрузки моста. Эта оценка может быть реализована на основе глубокого обучения SHM для корреляции возникающих структурных смещений.
3.2. Классификатор нагрузки моста (BLC)
В этом подразделе описывается методология экспериментов и результаты исследований, выполненных при разработке классификатора нагрузки моста.
Рис. 2. Классы изображений автомобилей: а) вид спереди, б) вид сзади, в) вид сбоку, г) вид под углом
Fig 2. Vehicles classes: a) Front view, b) Rear view, c) Side view, d) Tilt view Поскольку нагрузкой на мост являются проезжающие транспортные средства, то предлагается классификатор транспортных средств, основанный на анализе изображений посредством глубокого обучения изображений, полученных с уже установленных камер наблюдения транспортных средств. На этом этапе экспериментов желательно: определить
наилучшее положение и ориентацию камер для наблюдения за автомобилем. При грубой настройке изображения транспортных средств были классифицированы: вид спереди, вид сзади, вид сбоку и вид под углом, как показано на рис. 2.
Был использован существующий набор данных, который содержит 16185 изображений 196 классов транспортных средств. Полученные данные разделены на 8144 обучающих изображения и 8041 тестовое изображение, где каждый класс разделен примерно поровну. В каждом классе учитывались марка автомобиля, его модель, год выпуска, например, Tesla Model S 2012 года или купе BMW M3 2012 года [33]. Однако для этого эксперимента набор данных был заново разбит на классы в соответствии с табл. 1. Было сохранено 15935 изображений, а 250 изображений были отклонены из-за того, что они не подходят ни к одному классу.
Табл. 1. Заново разбитый на классы набор данных транспортных средств Table.l. Vehicles dataset reclassification
Маркировка класса Описание Количество изображений
Класс 1 Вид спереди 733
Класс 2 Вид сзади 275
Класс 3 Вид сбоку 1020
Класс 4 Вид под углом 13907
Изображения в исходном наборе данных получались в разных условиях, из-за чего у них разные соотношения ширины и высоты. Поэтому изображения из новых четырех классов были приведены к размеру 100x100 пикселей с обычным режимом кадрирования (кадрированда по центру тяжести ). Архитектура глубокого обучения была разработана на языке Phython с использованием библиотеки Keras на платформе TensorFlow по общей схеме, показанной на рис. 3.
Рис. 3. Общая схема BLC Fig 3. General flow diagram
Датасет был разделен следующим образом: 80% - для процедуры обучения и 20% - для тестирования. В свою очередь обучающий для обучения был разделен на 80% для обучения
и 20% для валидации между эпохами. Модель состояла из 9 слоев, различающихся формой вывода в соответствии с табл. 2, где параметр Cqty соответствует количеству классов, обученных в различных экспериментах.
Табл. 2. Формы выхода модели CNN Table 2. CNN model structure output shape
Тип слоя Форма вывода
Conv2D (None, 100, 100, 32)
LeakyReLU (None, 100, 100, 32)
MaxPooling (None, 50, 50, 32)
Dropout (None, 50, 50, 32)
Flatten (None, 80000)
Dense (None, 32)
LeakyReLU (None, 32)
Dropout (None, 32)
Dense (None, Cqty)
В эксперименте 1 (E1) было использовано 15935 изображений, соответствующих четырем классам (см. табл. 1). Изображения были разделены следующим образом: 12748 - для обучения и 3187 - для тестирования. По результатам тестирования 2832 изображения были классифицированы правильно, а 355 изображений - неправильно. Полученные оценки точности обучения, валидации и тестирования представлены в строке 1 табл. 3. Результаты показателей классов приведены в табл. 4.
Точность (precision) модели Р, т.е. доля правильных положительных прогнозов определяется формулой (1):
_ TP
= TP +FP' ( )
где TP - число истинно -положительных (true positive) предсказаний, FP - число ложно-положительных (false positive) предсказаний.
Полнота (recall) R, т.е. доля истинно-положительных результатов, которые получены для всех объектов, реально относящихся к тому же классу, вычисляется по формуле (2):
TP
R = TP+FN' (2)
где FN - это число ложно-отрицательных (false negative) предсказаний.
F-мера (F-Score) - линейная комбинация точности и полноты, являющаяся единым показателем оценки качества методов классификации, определяется формулой (3).
Р *R
F = 2 х —--. (3)
P + R w
В эксперименте 2 (E2) был исключен класс 2 (изображения с видом сзади) из-за неудовлетворенности результатами E1. В этом эксперименте использовалось 15660 изображений, соответствующих трем классам 1, 3 и 4 (табл. 1). Изображения были разделены следующим образом: 12528 - для обучения и 3132 - для тестирования. По результатам тестирования 2806 изображений были классифицированы правильно, а 326 изображений -неправильно. Точности обучения, валидации и тестирования представлены в строке 2 табл. 3. Результаты показателей классов приведены в табл. 5.
Во время эксперимента 3 (Е3) классы 1 и 2 (изображения с видами спереди и сзади) были исключены из-за неудовлетворенности результатами Е1 и Е2. В этом эксперименте было использовано 14927 изображений, соответствующих двум классам 3 и 4 (табл. 1). Изображения были разделены: 11941 - для обучения и 2986 - для тестирования. По результатам тестирования 2818 изображений были классифицированы правильно, а 168 изображений - неправильно. Точности обучения, валидации и тестирования представлены в строке 3 табл. 3. Результаты показателей классов приведены в табл. 6.
Табл. 3. Точность при выполнении экспериментов Table 3. Experiments run accuracy
Эксперимент Точность тренировки Точность валидации Точность тестирования
E1 88.46% 89.57% 88.86%
E2 89.58% 88.87% 89.56%
E3 94.74% 94.35% 94.37%
Табл. 4. Показатели классов в эксперименте 1 Table 4. Experiment 1 Classes Metrics Results
Класс Точность Полнота F-мера
1 0.88 0.15 0.26
2 0.00 0.00 0.00
3 0.86 0.20 0.32
4 0.89 1.00 0.94
Табл. 5. Показатели классов в эксперименте 2 Table 5. Experiment 2 Classes Metrics Results
Класс Точность Полнота F-мера
1 0.82 0.06 0.11
3 1.00 0.02 0.04
4 0.90 1.00 0.94
Табл. 6. Показатели классов в эксперименте 3 Table 6. Experiment 3 Classes Metrics Results
Класс Точность Полнота F-мера
3 0.80 0.25 0.39
4 0.95 1.00 0.97
4. Заключение
Структурному мониторингу состояния моста способствовали современные компьютерные технологии, которые позволили заменить традиционные методы, основанные на визуальных и ручных методах, киберфизическими системами для автоматизации процессов. Настоящая работа представляет киберфизическую систему для мониторинга состояния конструкций моста, состоящую из системы оптического сканирования и классификатора нагрузки на мост.
Классификатор нагрузки моста - это система машинного зрения, основанная на глубоком обучении для классификации транспортных средств с целью поддержки измерений системы оптического сканирования. Данная система позволяет по измерениям смещения координат выявить аномалию в структуре моста и установить причину этих смещений, которая может
быть связана со структурными повреждениями или с временной нагрузкой от транспортного потока.
Предлагаемый классификатор транспортных средств основан на использовании изображений, полученных с установленных камер наблюдения, и их анализе посредством глубокого обучения. На этом этапе экспериментов были оценены наилучшее положение и ориентация камер для просмотра автомобиля. При грубом подходе к настройке изображения автомобилей были классифицированы: вид спереди, вид сзади, вид сбоку и вид под углом. Наилучшие результаты с точностью 0,95% были получены по изображениям автомобиля сбоку и под углом.
В будущей работе в центре внимания будет создание датасета изображений для проверки классификатора. В этот датасет будет включен класс изображений вида сверху. Кроме того, планируется внедрение инфраструктуры облачных вычислений для эффективной обработки больших объемов данных [34-37]. Мы также продолжим измерение координат и анализ корреляции данных нагрузки моста с помощью методов двумерного и многомерного анализа данных, основанных на коэффициентах корреляции Фишера и Пирсона, анализе главных компонентов, регрессии методом дробных наименьших квадратов и каноническом корреляционном анализе с целью выявления наиболее эффективного метода для решения поставленной задачи.
Список литературы / References
[1]. R. Massobrio, S. Nesmachnow, A. Tchernykh et al. Towards a cloud computing paradigm for big data analysis in smart cities. Programming and Computer Software, vol. 44, no. 3, 2018, pp. 181-189.
[2]. Р. Массобрио, С. Несмачнов, А. Черных и др. Применение облачных вычислений для анализа данных большого объема в умных городах. Труды ИСП РАН, том 28, вып. 6, 2016 г., стр. 121-140 / R. Massobrio, S. Nesmachnow, A. Tchernykh et al. Towards a Cloud Computing Paradigm for Big Data Analysis in Smart Cities. Trudy ISP RAN/Proc. ISP RAS, vol. 28, issue 6, 2016. pp. 121-140 (in Russian). DOI: 10.15514/ISPRAS-2016-28(6)-9.
[3]. A. Mufti, K. Helmi. A case for structural health monitoring (SHM) and civionics enhances the evaluation of the load carrying capacity of aging bridges. Innovative Infrastructure Solutions, vol. 4, no. 1, pp. 3, 2019.
[4]. M. Barousse Moreno, A. Galindo Solozano. Sistema de Administracion de Puentes (SIAP). Instituto Mexicano del Transporte, Publicación Técnica, vol. 49, 1994, 88 p. (in Spanish).
[5]. W. Flores-Fuentes, M. Rivas-Lopez, O. Sergiyenko et al. Energy center detection in light scanning sensors for structural health monitoring accuracy enhancement. IEEE Sensors Journal, vol. 14, no. 7, 2014, pp. 2355-2361.
[6]. J. Rivera-Castillo, W. Flores-Fuentes, M. Rivas-López et al. Experimental image and range scanner datasets fusion in SHM for displacement detection. Structural Control and Health Monitoring, vol. 24, no. 10, 2017, article e1967.
[7]. L. Ma, W. Zhang, W. S. Han, & J. X. Liu. Determining the dynamic amplification factor of multi-span continuous box girder bridges in highways using vehicle-bridge interaction analyses. Engineering Structures, vol. 181, 2019, pp. 47-59.
[8]. C. Emmanouilidis, P. Pistofidis, L. Bertoncelj et al. Enabling the human in the loop: Linked data and knowledge in industrial cyber-physical systems. Annual Reviews in Control, vol. 47, 2019, pp. 249-265.
[9]. P. Ramachandran, B. Zoph, & Q.V. Le. Swish: a self-gated activation function. arXiv preprint arXiv:1710.05941, 2017.
[10]. Y. Ren, J. Huang, Z. Hong et al. Image-based concrete crack detection in tunnels using deep fully convolutional networks. Construction and Building Materials, vol. 234, 2020, article no. 117367.
[11]. N. S. Gulgec, M. Takác, & S. N. Pakzad. Experimental Study on Digital Image Correlation for Deep Learning-Based Damage Diagnostic. In Dynamics of Civil Structures, vol. 2, Springer, 2020, pp. 205-210.
[12]. W. Deng, Y. Mou, T. Kashiwa et al. Vision based pixel-level bridge structural damage detection using a link ASPP network. Automation in Construction, vol. 110, 2020, article no. 102973.
[13]. J. J. Rubio, T. Kashiwa, T. Laiteerapong et al. Multi-class structural damage segmentation using fully convolutional networks. Computers in Industry, vol. 112, 2019, article no. 103121.
[14]. W. Deng, Y. Mou, T. Kashiwa et al. Vision based pixel-level bridge structural damage detection using a link ASPP network. Automation in Construction, vol. 110, 2020, article no. 102973.
[15]. Y. Bao, Z. Tang, H. Li, & Y. Zhang. Computer vision and deep learning-based data anomaly detection method for structural health monitoring. Structural Health Monitoring, vol. 18, vol. 2, 2019, pp. 401-421.
[16]. Y. Xia, X. Jian, B. Yan, & D. Su. Infrastructure Safety Oriented Traffic Load Monitoring Using MultiSensor and Single Camera for Short and Medium Span Bridges. Remote Sensing, vol. 11, no. 22, 2019, article no. 2651.
[17]. X. Jian, Y. Xia, J. A. Lozano-Galant, & L. Sun. Traffic Sensing Methodology Combining Influence Line Theory and Computer Vision Techniques for Girder Bridges. Journal of Sensors, Special Issue, 2019, Article ID 3409525.
[18]. D.K. Amara, R. Karthika, & K.P. Soman. DeepTrackNet: Camera Based End to End Deep Learning Framework for Real Time Detection, Localization and Tracking for Autonomous Vehicles. Advances in Intelligent Systems and Computing book series, vol. 1039, 2019, pp. 299-307.
[19]. C. Cardenas, & M. Gonzalez-Mendoza. Distributed System Based on Deep Learning for Vehicular Rerouting and Congestion Avoidance. Advances in Intelligent Systems and Computing book series, vol. 1071, 2019, pp. 159-172.
[20]. S. Zhang, C. Wang, Z. He et al. Vehicle global 6-DoF pose estimation under traffic surveillance camera. ISPRS Journal of Photogrammetry and Remote Sensing, vol. 159, 2020, pp. 114-128.
[21]. C.K. Ng, S.N. Cheong, & Y.L. Foo. Low Latency Deep Learning Based Parking Occupancy Detection By Exploiting Structural Similarity. Lecture Notes in Electrical Engineering, vol. 603, 2020, pp. 247-256.
[22]. J. E. Miranda-Vega, W. Flores-Fuentes, O. Sergiyenko et al. Optical cyber-physical system embedded on an FPGA for 3D measurement in structural health monitoring tasks. Microprocessors and Microsystems, vol. 56, 2018, pp. 121-133.
[23]. V. Tyrsa, O. Sergiyenko, L. Burtseva et al. Mobile transport object control by technical vision means. In Proc. of the Electronics, Robotics and Automotive Mechanics Conference (CERMA'06), vol. 2, 2005, pp. 74-82.
[24]. М.В. Иванов, О.Ю. Сергиенко, В.В. Тырса и др. Интеграция беспроводной связи для оптимизации распознавания окружения и расчёта траектории движения группы роботов. Труды ИСПРАН, том 31, вып. 2, 2019 г., стр. 67-82. DOI: 10.15514/ISPRAS-2019-31(2)-6 / M. Ivanov, O. Sergiyenko, V. Tyrsa et al. Software Advances using n-agents Wireless Communication Integration for Optimization of Surrounding Recognition and Robotic Group Dead Reckoning. Programming and Computer Software, vol. 45, no. 8, 2019, pp. 557-569.
[25]. M. Rivas, O. Sergiyenko, M. Aguirre et al. Spatial data acquisition by laser scanning for robot or SHM task. In Proc. of the 2008 IEEE International Symposium on Industrial Electronics, 2008, pp. 1458-1462.
[26]. M. R. López, O. Sergiyenko, & V. Tyrsa. Machine vision: approaches and limitations. In Computer vision. IntechOpen, 2008, pp. 395-428.
[27]. O. Sergiyenko, V. Tyrsa, D. Hernandez-Balbuena et al. Precise optical scanning for practical multi-applications. In Proc. of the 2008 34th Annual Conference of IEEE Industrial Electronics (pp. 1656-1661). IEEE. 2008, November.
[28]. W. Flores-Fuentes, M. Rivas-Lopez, O. Sergiyenko et al. Energy center detection in light scanning sensors for structural health monitoring accuracy enhancement. IEEE Sensors Journal, vol. 14, no. 7, 2014, pp. 2355-2361.
[29]. W. Flores-Fuentes, M. Rivas-Lopez, O. Sergiyenko et al. Combined application of power spectrum centroid and support vector machines for measurement improvement in optical scanning systems. Signal Processing, vol. 98, 2014, pp. 37-51.
[30]. M. Reyes-Garcia, C. Sepulveda-Valdez, O. Sergiyenko et al. Digital Control Theory Application and Signal Processing in a Laser Scanning System Applied for Mobile Robotics. In Control and Signal Processing Applications for Mobile and Aerial Robotic Systems, IGI Global, 2020, pp. 215-265.
[31]. L. Lindner, O. Sergiyenko, M. Rivas-López et al. Machine vision system errors for unmanned aerial vehicle navigation. In Proc. of the 2017 IEEE 26th International Symposium on Industrial Electronics (ISIE), 2017, pp. 1615-1620.
[32]. W. Flores-Fuentes, J. Miranda-Vega, M. Rivas-López et al. Comparison between Different Types of Sensors Used in the Real Operational Environment Based on Optical Scanning System. Sensors, vol. 18, no. 6, 2018, article no. 1684.
[33]. J. Krause, M. Stark, J. Deng, & L. Fei-Fei.. 3d object representations for fine-grained categorization. In Proc. of the IEEE International Conference on Computer Vision Workshops, 2013, pp. 554-561.
[34].Н.П. Варновский, С А. Мартишин, М В. Храпченко, А.В. Шокуров. Методы пороговой криптографии для защиты облачных вычислений. Труды ИСП РАН, том 26, вып. 2, 2015 г., стр. 269-274 / N.P. Varnovskiy, S.A. Martishin, M.V. Khrapchenko, & A.V. Shokurov (2015). Secure cloud computing based on threshold homomorphic encryption. Programming and Computer Software, vol. 41, no. 4, 2015, pp. 215-218.
[35].Miranda-López, V., Tchernykh, A., Cortés-Mendoza et al. Experimental analysis of secret sharing schemes for cloud storage based on RNS. Communications in Computer and Information Science (CCIS), vol. 79, 2017, pp. 370-383.
[36]. A. Tchernykh, M. Babenko, N. Chervyakov et al. Towards mitigating uncertainty of data security breaches and collusion in cloud computing. In Proc. of the 28th International Workshop on Database and Expert Systems Applications (DEXA), 2017, pp. 137-141.
[37]. A. Tchernykh, M. Babenko, N Chervyakov et al. AC-RRNS: Anti-collusion secured data sharing scheme for cloud storage. International Journal of Approximate Reasoning, vol. 102, 2018, pp. 60-73.
Информация об авторе / Information about the author
Венди ФЛОРЕС-ФУАНТЕС, кандидат наук, профессор-исследователь инженерного
факультета. Область научных интересов: оптоэлектроника, машинное зрение, искусственный
интеллект.
Wendy FLORES-FUENTES, Doctor in Sciences, Research-Professor at Engineering Faculty.
Research interests: Optoelectronics, Machine visión, Artificial Intelligence.
