CC BY
66
Моделирование работы автомобильного радара в задаче автономного движения
А.А. Беляев, Т.А. Суанов, Д.О. Троц АО «Научно-конструкторское бюро вычислительных систем», Таганрог
Аннотация: Для прототипирования алгоритмов управления беспилотным автомобилем предлагается подход к моделированию радиолокационного сенсора, использующего частотный метод, в режиме реального времени. На основе результатов радиолокационного зондирования с помощью серийных автомобильных радаров построена упрощённая модель дорожной обстановки, а также модель отражённого радиосигнала. Предложено комплексное решение задачи моделирования работы радиоволнового сенсора. Приводятся результаты работы программно-моделирующего комплекса.
Ключевые слова: беспилотный автомобиль, система технического зрения, моделирование, автомобильный радар, центр рассеяния, преобразование Фурье, радиолокационное изображение.
Введение
Согласно мнению экспертов в области разработки беспилотных автомобилей (БА) бортовая система технического зрения (СТЗ) должна включать три типа сенсоров: камера (стереокамера), лидар и радар [1]. Большинство созданных прототипов БА имеют именно такой набор сенсоров, а их испытания подтверждают экспертное мнение: только сочетание трёх типов сенсоров обеспечивает достаточно надёжное представление об окружающем пространстве для автономного движения. Применение камер позволяет решать задачи классификации объектов и удержания БА в занимаемой полосе движения, радар имеет преимущества по дальности обнаружения объектов и по работоспособности в плохих погодных условиях [2], лидары сочетают высокую точность определения расстояний до объектов с высокой разрешающей способностью. Таким образом, объединение сенсоров в единую систему позволяет использовать преимущества каждого из них при решении тех или иных задач автономного движения.
Для прототипирования алгоритмов управления БА на основе обработки данных, регистрируемых СТЗ, существует целый ряд сред моделирования,
например, AirSim, CARLA, V-Rep, Gazebo [3, 4], однако нам не известны среды, позволяющие строить модели автомобильных радаров. В связи с этим в настоящей работе предлагается подход к моделированию радиолокационного сенсора, использующего частотный метод, в режиме реального времени на примере видеоизображения дорожной обстановки, синтезированного в среде моделирования CARLA.
Предлагаемый подход к построению модели работы радара заключается в следующем:
1) на синтетическом изображении выделяется область, соответствующая полю зрения радара (у современных автомобильных радаров это десятки градусов в плоскости поверхности дороги и единицы градусов в ортогональной плоскости);
2) для этой области изображения выполняется обратное преобразование перспективы (построение вида сверху с восстановлением координат объектов) [5];
3) используя «вид сверху», результат семантической сегментации сцены и карту глубины (которые формируются в среде моделирования CARLA), строится карта отражателей (вид сверху поля зрения радиолокатора с информацией о количестве отражателей, их дальности, радиальной скорости, азимуте и величине амплитуд отражённых сигналов) электромагнитного поля (ЭМП), расположенных в поле зрения радара;
4) формируется модель отражённого радиолокационного сигнала, которая и используется в дальнейшем при прототипировании алгоритмов обработки данных, получаемых с помощью радара.
Результатами такого моделирования будут тестовые данные для разработки алгоритмов обработки радиолокационного сигнала, оценки требуемых разрешающих способностей (по дальности, скорости, угловым координатам) радиоволновых сенсоров, прототипирование алгоритмов их
интеграции в СТЗ БА. В случае построения более сложной модели отражённого сигнала могут быть учтены влияние подстилающей поверхности и многолучевое распространение зондирующего сигнала.
Радиолокационная модель дорожной обстановки CARLA (Car Learning to Act) - среда с открытым исходным кодом, предназначенная для моделирования движения автомобиля и прототипирования алгоритмов управления беспилотным движением. Особенностью данной среды является возможность получения не только изображения дорожной обстановки, но также результатов семантической сегментации сцены и карты глубины [6]. На рисунке 1 приведены примеры синтетических данных, полученных с помощью среды моделирования CARLA. Внизу поверх изображения дорожной обстановки показаны карта глубины (слева) и семантическая карта (справа).
Рис. 1 - Среда моделирования CARLA
Большинство объектов, попадающих в поле зрения радара при движении по дороге, являются протяжёнными, то есть их размеры намного превышают длину элемента разрешения по дальности при радиолокационном зондировании. Примерами таких целей могут служить автомобили, дорожные ограждения, здания и т.п. [7]. Строгая постановка электродинамической задачи рассеяния ЭМП с учётом граничных условий и электрофизических свойств отражателей не представляется возможной, особенно при том, что решение необходимо иметь для каждого видеокадра.
В качестве более простого подхода можно использовать метод физической оптики и плоские модели отражателей с заданным амплитудно-фазовым распределением поверхностных токов. Учитывая влияние краевых эффектов, хорошим приближением амплитудного распределения послужат функции, спадающие к краям, например, приподнятый косинус [8]. Фазовое распределение на плоской поверхности отражателя должно учитывать его ориентацию в пространстве по отношению к плоскому фронту падающего ЭМП и угловую модуляцию зондирующего сигнала. Однако и такая модель выглядит сложно реализуемой, поскольку в каждом кадре все отражающие объекты необходимо аппроксимировать набором плоских поверхностей, после чего на каждом плоском участке задать распределение поверхностных токов и решить электродинамическую задачу возбуждения ЭМП.
В связи с этим предлагается использовать ещё более простую модель протяжённой цели - группу точечных отражателей, распределённых на её поверхности. При таком подходе задача построения модели отражённого сигнала сводится к необходимости выделить на облучаемой сцене особые точки - центры рассеяния, которые будут вносить наибольший вклад в амплитуду сигнала на входе приёмного устройства радара. Кроме того, в такой модели проще учесть отражатели с криволинейными поверхностями и рёбра (кромки).
и
Распределение центров рассеяния (их количество, координаты и интенсивность обратного рассеяния) в каждой конкретной дорожной обстановке зависит от длины волны зондирующего сигнала, электрофизических свойств объектов, их положений и ориентаций относительно источника ЭМП.
При сокращении длины волны возрастает число центров рассеяния, их положения и интенсивности становятся более переменчивыми от кадра к кадру, поскольку фазовые набеги на мелких деталях сцены (сравнимых с длиной волны) становятся значительными. В первом приближении можно получить результаты, предположив равномерное распределение центров рассеяния на объектах, находящихся в поле зрения радара.
На рисунке 2 показано исходное цветное синтетическое изображение дорожной сцены и сформированная карта отражателей.
Фонарный столб
Участок забора
Указатель шраиичсшм скорости
Рис. 2 - Построение карты отражателей Белыми линиями (на синтетическом кадре) выделено поле зрения радара шириной 5,5° в вертикальной плоскости и 100° в плоскости дороги, а также карта отражателей с обозначенными кружками центрами рассеяния (размеры области на карте отражателей 100 м х 100 м). Центры рассеяния,
нанесены на карту отражателей в соответствии с положениями объектов, попадающих в поле зрения радара, таким образом, чтобы расстояние между соседними центрами рассеяния составляло 1 м. В текущем приближении не учитывается влияние подстилающей поверхности и скорость движения объектов (поскольку в современной версии среды CARLA скорость может быть оценена только при покадровом анализе).
При построении модели отражателей, учитывая данные семантической карты, можно внести поправки уровня отражённого сигнала. В зависимости от типа отражателя (человек, корпус автомобиля или растительность) интенсивность обратного рассеяния может разниться на несколько порядков в зависимости от эффективной площади рассеяния (ЭПР).
Модель отражённого сигнала Для построения модели отражённого сигнала достаточно получить решение для одного точечного рассеивателя, а затем просуммировать результаты, учитывая линейные свойства среды распространения ЭМП.
Рассмотрим излучатель, расположенный в свободном пространстве, с линейной плотностью тока, изменяющейся во времени по закону [9]
I (t)
/ - i 2п( f0 + S(t-pT))(t-pT) r rri rri , -.
I0 e W0 , t e [pT, pT + ти ];
0, I *[рТ, рТ + ти ];
где 10 - комплексная амплитуда тока; ти - длительность зондирующего
импульса; Т >ти - период следования импульсов; р = 0,1, 2,...,Р -1 - номер
зондирующего импульса в пачке из Р импульсов; /0 - начальная частота
сигнала источника; £ - скорость изменения частоты сигнала источника.
Частотный метод радиолокации используется в большинстве автомобильных радаров, выпускаемых серийно, поэтому при построении модели отражённого сигнала рассматривается зондирующий сигнал с линейной частотной модуляцией.
и
На одной линии с источником ЭМП на расстоянии d друг от друга располагаются N приёмных антенн, расстояние между приёмной и передающей антеннами, расположенными по соседству обозначим d0 .
Пусть, в дальней зоне в области, в которой излучателем создаётся ЭМП, расположены М отражателей с известными ЭПР ст1,а2,...,аМ
соответственно. Пусть излучатель имеет диаграмму направленности Б(6,(),
тогда в точке пространства у т-го отражателя излучателем создаётся напряжённость электрического поля
-1кКт / ч
Ё = Ж/0 В{в ( )--е ~12п(( -рт-рт).
т 0 ^ т'^т/дп
т
где 6т - угломестная координата т-го отражателя; (рт - азимутальная
координата т-го отражателя; Ят - расстояние между т-ым отражателем и
излучателем; тт - время распространения сигнала до т-го отражателя; Ж -
сопротивление свободного пространства.
ЭМП в точке приёма можем записать в виде:
е ~1кЯт ~'кЯт, ] ( Л
Ё" . Б{6 ( ) ^--е"те~12п( +8(*-РТРт ),(1)
т, 1 \ т 0 V да'^да^/, \2 п п 4 '
(4п) К К
т т, 1
где Ят 1 - расстояние между т-ым отражателем и 1-ым приёмником; Зт -изменение фазы при отражении; /д - доплеровское смещение частоты,
/д = 2/у /с; / - частота колебаний источника излучения / « ; V -
т •'и т ' -7 •/0' т
радиальная составляющая скорости относительного движения т-го отражателя и приёмника; с - скорость света в вакууме.
При записи (1) не учитывается поляризация падающего ЭМП, -предполагаем приём на согласованной поляризации.
и
Для отражателей, расположенных в дальней зоне, можно приближённо записать
R . « R - y . sin в ; y . = dn + jd;
m, j m s j m' J j 0
тогда вместо (1) будем иметь:
G WI0 D(em ,Vm ) e -ik 2 Rm eikyj sin em e " i 2n(fo + S (t - PT - 2T ) - Ó« - PT )
K,j m (4nRm))
На выходе смесителя в 7-ом приёмном канале, на разностной частоте будем иметь [10]:
) = У) ei 2П (S 2Т + fm )(t-PT) = У ) ei 24fm (t-PT) + fm (t-PT) ]. (2)
j ¿—i m, j ¿—t m, j 5 v /
j ^ m, j ^ m, j
m=1 m=1
r-r = Г— WI0D(em ,Vm ) Ae-ik2Rmi*yj sinem .
m,j V m (4nR )) '
V m>
где fm = S 2т m - разностная частота, обусловленная задержкой
распространения сигнала от источника к m-му отражателю и затем к j-ому приёмнику.
На выходе аналого-цифровых преобразователей (АЦП) в каждом приёмном канале будем иметь дискретные отсчёты зондирующих импульсов в пачке. Выполняя трёхмерное быстрое преобразование Фурье по всем отсчётам в каждом импульсе и в каждом приёмном канале, получим трёхмерную спектральную плотность в пространстве с координатными
осями, по которым откладываются величины, пропорциональные дальности
д
до объекта, его скорости и азимутальной координате (fm, fm, sin вш).
Спектральная плотность будет иметь максимумы в точках, соответствующих параметрам отражателей, расположенных в поле зрения радиолокатора.
Результаты моделирования В качестве иллюстрации модели отражённого сигнала и результатов Фурье-анализа рассмотрим три тестовых точечных объекта, расположенных
в поле зрения радиолокатора на расстоянии 30 м, 40 м, 50 м от него; с азимутами -40°, 30°, 10° и скоростями -20 м/с, 0 м/с, 15 м/с соответственно. На рисунке 3 показаны проекции трёхмерной спектральной плотности на координатные плоскости «дальность-азимут» и «дальность-скорость». БПФ рассчитывалось для аддитивной смеси отражённого сигнала (2) и гауссовского шума (отношение сигнал-шум -5 дБ).
Дальность - азимут
Дальность - скорость
5 -20
-10
25 30 35 40 45 50 55 Дальность, м
Рис.3 - Точечные объекты на картах дальность-азимут и дальность-скорость Антенная система радиолокатора представляет собой MIMO-структуру с 3 передающими и 4 приёмными антеннами, образующими виртуальную антенную решетку из 12 элементов (на расстоянии Л/2 друг от друга). Разрешающая способность угловых координат объектов составляет 9,5°. Параметры зондирующего сигнала и АЦП в приёмных каналах выбраны такими, что максимальные измеряемые дальность и скорость составляют = 112,5 м и v „ = 32,4 м/с; разрешающие способности по дальности и
max max i i
по скорости A D = 0,44 м и A v = 0,25 м/с.
Для каждого кадра видеоизображения, синтезированного в CARLA, были построены карты отражателей (реализовано на Python), по которым вычислялись отсчёты сигнала на разностной частоте, представляющего аддитивную смесь гауссовского шума и сигнала, отражённого от центров
рассеяния (реализовано на С++). Далее выполняется БПФ (реализовано на С++), вычисляется проекция спектральной плотности на плоскость «дальность-азимут» и пересчёт в прямоугольную систему координат в плоскости дороги (реализовано на Python). Пример полученного таким образом радиолокационного изображения (с помощью радиолокатора с описанными выше параметрами) показан на рисунке 4 (справа снизу). Сверху на рисунке показан синтезированный кадр, снизу слева - карта отражателей.
80 -60 -40 -20 0 20 40 60 80
В поперечном направлении к оси ]>Л, м
Рис.4. - Дорожная обстановка в оптическом и радиоволновом диапазонах
Заключение
Результатом работы является подход к моделированию радиоволнового сенсора в составе СТЗ БА, позволяющий в режиме реального времени
наглядно сравнивать в видеопотоке изображения дорожной обстановки в оптическом и радиоволновом диапазонах. Предложена модель для вычисления отражённого от дорожных объектов сигнала и способ формирования карт точечных отражателей для синтезированного видеопотока.
Литература
1. Rao R. Tummala, Autonomous Cars: Radar, Lidar, Stereo Cameras, IEEE-CPMT Workshop - Autonomous Cars, 2017. 28 p.
2. А.В. Тихомиров, Е.В. Омельянчук, А.В. Кривошеев. Особенности проектирования систем связи миллиметрового диапазона радиоволн // Инженерный вестник Дона, 2013. №2 URL: ivdon.ru/ru/magazine/archive/n2y2013/1742
3. Жердев Д.А., Минаев Е.Ю., Фурсов В.А., Моделирование РЛИ с использованием программно-моделирующего конструктора радиолокационных карт // Информационные технологии и нанотехнологии. - 2016. 5 с.
4. Alexey Dosovitskiy, German Ros, CARLA: An Open Urban Driving Simulator, 1st Conference on Robot Learning, 2017. 16 p.
5. Беляев А. А., Суанов Т. А., Реализация алгоритма формирования вида сверху. Модернизация алгоритма Bird's-eye-view // Проблемы современной системотехники. - 2017. № 11. 5 с.
6. Шепель И.О. Построение модели проходимости окружающей среды по облаку точек стереокамеры с использованием иерархической карты высот // Инженерный вестник Дона, 2018, №1 URL: ivdon.ru/ru/magazine/archive/n1y2018/4804/
7. Штагер А.Е. Рассеяние радиоволн на телах сложной формы. - М.: Радио и связь, 1986. 184 с.
8. Петров Б.М., Электродинамика и распространение радиоволн: Учебник для вузов. - 2-е изд., испр. - М.: Горячая линия-Телеком. 2007. 558 с.
9. Karthik Ramasubramanian, Using a complex-baseband architecture in FMCW radar systems // Texas Instruments. 2017. 10 p.
10. Brooker G.M. Understanding millimetre wave FMCW radars // 1st international Conference on Sensing Technology. - 2005. 6 p.
References
1. Rao R. Tummala IEEE-CPMT Workshop - Autonomous Cars, 2017, URL:ewh.ieee.org/soc/cpmt/presentations/cpmt1703f.pdf/ p. 28
2. A.V. Tihomirov, E.V. Omelyanchuk, A.V. Krivosheev. Inzenernyj vestnik Dona (Rus), 2013. №2. URL:ivdon.ru/ru/magazine/archive/n2y2013/1742
3. Jerdev D.A., Minaev E.Yu., Fursov V.A. Materiali mejdunarodnoi konferencii i molodejnoi shkoli «Informacionnie tehnologii i nanotehnologii». 2016. pp. 586-590.
4. Alexey Dosovitskiy, German Ros, 1st Conference on Robot Learning, 2017, URL: proceedings.mlr.press/v78/dosovitskiy17a/dosovitskiy17a.pdf/
5. Belyaev A.A., Suanov T.A., Problemi sovremennoi sistemotehniki. 2017. №11. pp. 142-147.
6. Shepel I.O., Inzenernyj vestnik Dona (Rus), 2018, №1. URL: ivdon.ru/ru/magazine/archive/n1y2018/4804/
7. Shtager A.E., Rasseyanie radiovoln na telah slojnoi formi. [Scattering of radio waves on bodies of complex shape]. 1986. 184 p.
8. B.M. Petrov, Elektrodinamika i rasprostranenie radiovoln [Electrodynamics and propagation of radio waves]. 2-e izd., M.: Goryachaya liniya_Telekom. 2007. 558 p.
9. Karthik Ramasubramanian, Using a complex-baseband architecture in FMCW radar systems. Texas Instruments. 2017. 10 p.
10. Brooker G.M. 1st international Conference on Sensing Technology. 2005. pp. 152-157.
