CC BY
159Актуальные технологии и применения датчиков
автомобильных систем активной безопасности
Часть 2. Подробнее об элементной базе автомобильных видеокамер
Светлана СЫСОЕВА
S.Sysoeva@mail.ru
Во второй части статьи анализируются важнейшие рабочие характеристики автомобильных видеокамер и сравниваются представленные на современном автомобильном рынке разнообразные предложения элементной базы датчиков изображений видимого спектра и диапазона длин волн, близкого к инфракрасному.
Введение
Камеры — важнейшие компоненты новых систем автомобильной безопасности. В зависимости от применения и размещения в автомобиле выделяются следующие основные типы камер (рис. 12).
1. Камеры переднего обозрения:
• адаптивный круиз-контроль;
• предупреждение или смягчение столкновения;
• наблюдение и смена полосы;
• камеры ночного видения.
2. Боковые камеры:
• полное или частичное замещение зеркал;
• затемнение дальнего света — лучей с высокими уровнями освещения High-beam dimming1;
• наблюдение трафика при смене полосы;
• мониторинг трафика в точках blind-spot;
• предупреждение о потенциально опасной ситуации в точках blind-spot.
3. Угловые камеры:
• мониторинг точек blind-spot;
• предупреждение о присутствии автомобиля в точках blind-spot.
4. Задние камеры:
• помощь при парковке;
• помощь при заднем ходе;
• обнаружение сзади идущих транспортных средств.
5. Мониторинг интерьера автомобиля:
• развертывание подушек безопасности;
• оценка бдительности (сонливости) Driver Drowsiness или Driver Awareness — мониторинг усталости и физиологического состояния2 водителя;
• обнаружение и биометрическая классификация пассажиров;
1 Системы автозатемнения, которыми оборудован, например, джип Grand Cherokee 2005 года и автомобили Cadillac, используют датчик, интегрированный в зеркало заднего вида, который определяет свет, проецируемый от других автомобилей, и переключает систему на малые уровни освещения (ближний свет), различая при этом свет от транспортного средства и уличное освещение. Такие датчики либо представляют собой тип сенсорных устройств датчиков света, но в расширенном варианте. Обычно используется функциональность камеры, встраиваемой в зеркало заднего вида и одновременно служащей для других задач. Например, Micron рекомендует использовать для систем затемнения свои датчики MT9V022.
Существует также функция затемнения зеркала заднего видя, из электрохроматического материала, которая затемняет блики фар сзади идущих транспортных средств. В основе работы системы лежат два датчика — передний датчик окружающего (рассеянного) света и задний датчик освещения от сзади идущих автомобилей. Электрохроматическое зеркало выполняется из материала, способного изменять цвет (затемняться) под действием прилагаемого к нему напряжения.
2 Например, Denso работает над технологией опознавания лица, распознавания мигания и закрытых глаз в сочетании с электрокардиологическими измерениями.
О © © © © ©©© ©
Рис. 12. Основные типы видеокамер, выделяемые в зависимости от применения и размещения в автомобиле (расположение показано условно):
I — задняя камера; 2 — боковые камеры; 3 — камеры, встраиваемые в зеркала заднего вида: мониторинг blind-spot, помощь при смене полосы;
4 — развертывание подушек безопасности, восстановление аварии; 5 — мониторинг пассажиров; 6 — наблюдение и классификация пассажиров;
7 — адаптивный круиз-контроль, мониторинг полосы; 8 — предсказывание и смягчение аварии; 9 — наблюдение состояния водителя; 10 — drive-by-wire;
II — угловые камеры (мониторинг blind-spot); 12 — активная подвеска; 13 — угловые камеры; 14 — защита пешеходов; 15 — камеры ночного видения; 16 — угловые камеры
• безопасность автомобиля при попытке кражи содержимого.
6. Контроль стеклоочистителей.
7. Системы управления Drive-by-wire.
8. Запись данных об аварии.
9. Активная подвеска.
Таким образом, обозрение сцен с помощью камер увеличивает осведомленность водителя практически обо всех происходящих событиях как в любых ситуациях во время езды, так и на стоянке — в отсутствие водителя и пассажиров.
В дальнейшем применения CMOS-камер используют два типа функциональности: обозрение сцены (помощь водителю) и обработка сцены (помощь в интеллектуальном управлении). Микросхемы, выполняющие обработку сцены, позволяют сделать управление более удобным и безопасным. Интеллектуальные датчики способны обрабатывать сцены и вырабатывать предупреждающие команды, например, для развертывания подушек безопасности.
Большинство автомобильных камер составляют видеодатчики, или неизлучающие датчики изображений image sensors, в основе которых лежит тот же принцип действия, применяемый в широко используемых цифровых фотоаппаратах, камерах сотовых телефонов, видеокамерах или камкордерах. Как известно, цветная цифровая видеотехнология с мегапиксельным разрешением в настоящее время доступна по цене и привлекательна для многих автомобильных применений. Преимущества современной оптической технологии складываются из цветности, высокого разрешения, широкого, переменного и легко адаптируемого диапазона дальности — от нескольких сантиметров до 80 м и выше, широкого угла обзора — от портретного до панорамного, возможности масштабирования (зумирования) и оконного просмотра выделенных областей (кадрирования).
Все эти преимущества, которые выгодно отличают видеодатчики от радаров и лида-ров, могут использовать системы автомобильной безопасности. Но, в отличие от обычных видеокамер и камер фотоаппаратов, к автомобильным камерам предъявляются очень жесткие требования:
• способность функционировать в различных условиях освещенности (интенсивности и направления освещения, длин волн, погоды);
• обеспечение высокой надежности работы и гарантия дорожной безопасности в соответствии с автомобильными стандартами;
• обеспечение стандартизированных показателей динамического диапазона, чувствительности, спектральной полосы;
• автоматическое распознавание объектов в любых условиях сцены: освещенности, скорости движения объекта;
• высокий показатель частоты смены кадров;
• обеспечение большого срока службы в различных погодных условиях (приемлемы
только исполнения для защиты от влажности, корродирующих веществ, загрязнений оптического пути; фокусировка камеры при этом должна оставаться неизменной независимо от температурных условий);
• малое энергопотребление и включение схем отвода тепла при нагреве камеры вследствие рассеяния мощности — для повышения срока службы камеры и уменьшения температурных шумов пикселей;
• стоимостная эффективность, доступность элементной базы в массовых объемах по низкой цене.
Основные рабочие характеристики камер
К важнейшим характеристикам автомобильных камер относятся (табл. 1) [7-19]:
• оптический формат — физические размеры фоточувствительной матрицы, выражаемые в долях дюйма (1/4, 1/3);
• разрешение — количество элементов матрицы, выражаемое численно по числу горизонтальных/вертикальных пикселей или их общему числу в мегапикселях.
Чем больше оптический формат (1/3>1/4), тем больший участок захватывает камера и тем меньше при прочих равных условиях геометрические искажения изображения, но камеры формата 1/4 являются более миниатюрными. Чем выше разрешение, то есть чем больше элементов матрицы задействовано в формировании изображения, тем выше качество изображения (четкость и чувствительность). В любой камере часть пикселей остается пассивной, поэтому при анализе чувствительности учитывается количество ее активных пикселей.
Другие важные показатели в спецификации камер.
• Светочувствительная область в мм,
• Размер пикселей в мкм.
Эти параметры определяют заполнение светочувствительной области пикселями и в дальнейшем характеризуют эффективность сбора света, или чувствительность. Меньшие по размеру пиксели, скомпонованные в матрице более плотно, обеспечивают более высокое разрешение изображения.
• Фактор заполнения пикселя fill factor — отношение светочувствительной области к общему размеру пикселя (характеризует заполнение пикселей КМОП-датчиков, в которых в пиксели встраиваются транзисторы).
Фактор заполнения, по сути, определяет долю площади микросхемы, чувствительной к свету. Для устранения малого фактора заполнения многие датчики оснащаются массивом микролинз. Большие размеры пиксе-
лей и повышенный фактор заполнения увеличивает чувствительность датчика и SNR, и на эти параметры, вместе с оптическим форматом, следует ориентироваться прежде разрешения. Больший пиксель, в сравнении с меньшим, произведенный по той же технологии той же компанией, будет характеризоваться и меньшими шумами.
• Частота смены кадров — число кадров в секунду, воспринимаемое камерой, — важнейший показатель скорости работы в динамических условиях окружающей среды: съемки объектов, движущихся с высокой скоростью.
• Скорость передачи данных в мегапикселях за секунду (Мп/с).
• Скорость обработки данных, или рабочая тактовая частота (порядка 27 МГц), или частота входной синхронизации — привязки видеосигнала к фазе напряжения внешнего источника синхроимпульсов или другого видеосигнала.
Следующие важные характеристики камер — архитектура и форматы передаваемых видеоданных. В первую очередь, наиболее актуальны System-On-a-Chip (SOC) — полностью интегрированные системы сбора и обработки информации, включающие процессор для интеллектуального анализа и коррекции изображений, с функциями программирования и конфигурирования камеры под различные применения. Альтернативный вариант — использование видеодатчиков с внешними процессорами или схемами ЦОС.
Выходы камер и многие характеристики изображений стандартизированы и конфигурируются с расчетом на определенные типы автомобильных дисплеев. Наиболее часто используемые стандарты автомобильных камер:
• PAL — европейский телевизионный стандарт с форматом изображения 4:3 (соотношение ширины и высоты дисплея), 625 линиями в кадре, частотой обновления в 50 Гц, 25 кадров/с;
• NTSC — телевизионный стандарт США3 с форматом изображения 4:3, соответствующий данным: 525 линий в кадре, 60 Гц или 30 кадров/с;
• VGA — стандарт изображений компьютерных мониторов, соответствует максимальному разрешению 640x480 точек (480 линий в кадре) с 16-цветным режимом монитора, с частотой обновления до 70 Гц, обеспечивает поддержку скроллинга, сплиттеров для разделения исходного потока данных, шрифтов, многие другие возможности;
• Wide VGA (750x480) — стандарт широкоэкранных мониторов.
VGA и Wide VGA — наиболее актуальные стандарты новых автомобильных камер с возможностью программирования к мень-
3 Формат видеоданных NTSC поддерживается EIA (Electronic Industries Association — Ассоциация электронной промышленности), организацией, определяющей действующие электронные стандарты в США. В спецификации видеодатчика при обозначении формата видеоданных NTSC может указываться EIA или NTSC/EIA.
Датчик/параметры MT9V125 MT9V111 MT9V022 OV7431 OV7949 OV7950 OV7710 AMIS-70700
Функциональное описание Цифровая CMOS — камера формата 1/4 CMOS -камера SoC Wide VGA CMOS датчик формата 1/3 для автомобильных применений обработки сцен Недорогая черно-белая автомобильная камера с выходом NTSC Автомобильная КМОП-камера с высокими рабочими характеристиками Ультракомпактная автомобильная КМОП-камера с высокими рабочими характеристиками Полностью цифровое решение автомобильной камеры с высокими рабочими характеристиками КМОП-датчик с высокими рабочими характеристиками
Применение Обозрение сцены Обработка сцены Обозрение сцены Обработка сцены
Оптический формат, дюймов 1/4 1/3 1/4 1/3 1/4 1/4 2/3
Размер массива, число горизонтальных и вертикальных точек 640x480 (VGA) 640x480 (VGA), программируется к меньшим размерам- VGA, QVGA,CIF, QCIF 752x480 (W-VGA) 5Wx492 628x586 (PAL); 5Wx496 (NTSC) 656x492 656x492 ^А) 750x400
Размер светочувствительной области, мм 3,584x2,688 4,55x2,97 -* -* -* 4,080x3,102 7,95x4,3
Размер пикселей, мкм 5,6x5,6 6x6 7,86x6,25 9,2x7,2 6x6 6x6 10,6x10,6
Режим сканирования видео CCIR 656 чересстрочный CCIR 656 прогрессивный Прогрессивный или чересстрочный -* -* -* Прогрессивный Прогрессивный
Затвор Dual electronic rolling shutter (DERS) Electronic rolling shutter (ERS) Global shutter Truesnap —* Global Shutter
Частота передачи данных, мегапикселей за с (Мп/с) и (или) рабочая тактовая частота, МГц 27 МГц 12-13,5 Мп/с/24-27 МГц 26,6 Мп/с/26 МГц 20 Мгц
Видеовыход NTSC/PAL, аналоговый композитный видеовыход, ITU-R BT.656 параллельный выход (8-битный чересстрочный) VGA/NTSC или другие дисплеи, программируется Параллельный/LVDS (последовательный), выбираемый в 10 бит и до 8 бит NTSC (EIA) NTSC/PAL NTSC композитный видеовыход LVDS или параллельный выход, поддержка 10-битных строковых данных и 8-битных выходов YI.IV/RGB Цифровой выход 8 бит/10 бит LVDS
Форматы видеоданных ITU-R BT .656 (YCBCR), 565RGB, 555RGB, 444RGB, чересстрочный параллельный или последовательный выход, строковый прогрессивный или чересстрочный цифровой выход, последовательный выход LVDSLVDS ITU_R BT.656 (YCbCr), YUV 4:2:2 (прогрессивный), 656RGB, 555RGB, 444RGB
Цифровой видеовход, поддержка оверлеев, вход синхронизации Поддержка оверлея Нет Стереорежим Поддержка оверлеев, вход синхронизации -
Частота кадров в секунду 30 (NTSC/VGA), 25 (PAL) 30-90 60-200 бо бо бо 3о-бо 60
Напряжение питания,В 2,8 ±10% 2,8 ±25% 3,0-3,6 (3,3 номинальное) 5 ±5% 3,3 аналоговой цепи и АЦП; 1,8 — цифрового ядра 3,3 ±5% 3,3 3,3 ±10%, 4,2 ±5%
Потребление мощности, мВт <300 (на 30 fps) <80 (на 2,8 В и 15 fps) <320 на 60 fps, <120 мкВ в режиме standby <35 мА 2оо 15о 14о <300
Темновой ток _* <10% сигнала насыщения при +85 °С <1оо мВ/с 1о мВ/c при бо °C -* —*
Фиксированный шум решетки _* < о,о3% от V(p-p) < о,о79% от V(p-p) < о,22% от V(p-p) < о,о3% от V(p-p) < 2,5 DN RMS на 8 бит/gain — 1
Случайный шум -* -* < 0,5 DN RMS на 8 бит/gain — 1
Цветность Цветные Цветной/монохромный Черно-белая Цветная Цветная Черно-белый
Программируемые параметры Гамма-коррекция, экспонирование, усиление, оконный просмотр, частота кадров, опорный АЦП, левое — правое и верхнее — нижнее обращение изображения Зональное экспонирование, коррекция уровня черного, горизонтальное и вертикальное бланкирование, контроль освещения, обращение изображения слева направо и сверху вниз, оконный просмотр windowing, зональное усиление, децимация, биннинг и другие Автоэкспозиция/ усиление, возможность внешней синхронизации, коррекция апертуры, SCCB-контроль: \г\п-Яркость \г\п-Экспозиция У^-Усиление У\^Гамма-кривая V^-Коррекция апертуры, гамма-коррекция (0,45) ON/OFF Автоэкспозиция/ усиление с 16-зонным контролем, баланс белого, отмена фликеринга 50/60 Гц, коррекция апертуры/ гамма-коррекция, коррекция дефектных пикселей Автоэкспозиция/ усиление с 16-зонным контролем, баланс белого, отмена фликеринга 50/60 Гц, горизонтальная и вертикальная прокрутка в режиме windowing, коррекция апертуры/ гамма-коррекция, коррекция дефектных пикселей Горизонтальное зеркальное отражение и вертикальный переброс, баланс белого, контроль экспозиции, режим windowing, контроль усиления и другие режим windowing
Автоматические функции Распознавание и коррекция цветов, коррекция затенения линз, резкость, программируемая гамма-коррекция, автоэкспозиция, баланс белого, опорный черный, избежание фликеринга, насыщение цветом, идентификация и коррекция дефектов Распознавание и коррекция цветов, коррекция затенения линз, резкость, программируемая гамма-коррекция, автоэкспозиция, баланс белого, опорный черный, избежание фликеринга, насыщение цветом, идентификация и коррекция дефектов, компенсация засветки
АЦП 10 бит 10 бит, 8 бит (выбирается) —* —* —* —* Есть
Программирование Двухпроводной интерфейс Двухпроводной интерфейс; поддержка четырех последовательных уникальных регистровых ID SCCB SCCB SCCB SCCB —*
Минимально детектируемый свет, люкс <2,5 (цветной) <0,1 (монохромный), 5(цветной) <0,05 <о,о1 0,04 —*
Динамический диапазон, дБ >69 >бо 80-100, до 110 >70 5о 49 53 120
SNR, дб -* 45 —* >46 48 50 —*
Чувствительность (усиление), дБ -* >27 >42 -* —* —*
Чувствительность, В/лк-с 2 (на 55о нм) 1,9 на 55о нм 4,8 на 55о нм —* 2,26 —*
Спектральный диапазон, нм 45о-Ю5о -* 380—950
Квантовая эффективность QE >4о% QE на 55о нм >35% QE на 85о нм —*
Рабочий диапазон температур, °С -4о...+Ю5 -4о...+85 -4о...+Ю5 -4о...+ Ю5 -40...+105 —40...+105
Корпусирование AECQ-Юо 52-ball IBGA (9x9) мм AECQ-100 52-ball IBGA (7x7) мм, подложки различного уровня исполнения AECQ-Юо 52-ball IBGA (9x9) мм, подложки CLCC-28 AECQ^ QFP AECQ^ QFP AECQ100 QFP-48 CLCC52/ chip on board или подложка
Производитель Micron Omnivision AMI Semiconductor
—* Данные не специфицируются производителем/нет данных
Рис. 13. Иллюстрация высокого динамического диапазона автомобильных камер:
а — разница между изображениями, захваченными датчиками с узким (слева) и широким (справа) динамическим диапазоном Autobrite:
1 — в темной области теряются детали; 2 — в яркоосвещенной области изображение стирается вследствие насыщения;
3 — в темных областях сохраняются детали впереди идущего автомобиля; 4 — яркие области не насыщаются — обнаруживается приближающийся автомобиль; б — иллюстрация высокого динамического диапазона MT9V022 в сравнении с другими датчиками: MT9V022 способен оценивать сцену на выходе из тоннеля с яркостью >120000 лк. Датчик с динамическим диапазоном в 65 дБ (слева) не позволяет видеть детали вследствие насыщения; MT9V022 с динамическим диапазоном более 100 дБ (справа) позволяет видеть многие важные элементы сцены
шим размерам кадров и разрешениям — QVGA (320x240), CIF (352x288 — PAL или 352x240 — NTSC), QCIF и другим, например, выбираемым пользователем, что увеличивает адаптируемость камеры к различным применениям.
Выбираемые или программируемые форматы выходных данных, указываемые в спецификациях камер PAL/NTSC, например форматы ITU-R BT.656 (YCbCr) или CCIR 656 и YUV 4:2:2, 656RGB, 555RGB, 444RGB, и последовательный выход LVDS характеризуют возможность подключения камеры к стандартному дисплейному видеооборудованию4 или устройствам, осуществляющим интерфейс с таковым, указывая на возможность JPEG/MPEG-сжатия, сопряжения с LCD-устройствами и т. д., гибко приспосабливая видеодатчик к клиентским применениям.
Прогрессивный режим PAL/NTSC камер — наиболее актуальный для подачи в автомобильные контрольные блоки следующего поколения, так как позволяет дополнение оверлеев и текста прежде преобразования для показа на дисплее.
На возможность пост-обработки видеоинформации и поддержку оверлеев указывает наличие цифрового видеовхода, что позволяет пользователю подавать обработанное видео обратно в датчик для использования ЦАПа (с целью получения аналогового видеовыхода) и кодера, например NTSC (дает возможность снизить материалоемкость, цену и повысить надежность).
Для распределенных систем важно и наличие входа синхронизации.
Существуют также специальные характеристики автомобильных камер, существенно отличающие их от профессиональных операторских или любительских камер. К количественным характеристикам относятся:
• Динамический диапазон, выражаемый в дБ как логарифмическое отношение максимального сигнала при насыщении датчика к минимальному, ограничиваемому шумами (максимальное отношение сигнал/ шум) (1).
Динамический диапазон сцены — это отношение наиболее высокой интенсивности света к наименьшей. В диапазоне от освещения лунной ночи до яркого солнечного света диапазон сцены составляет 120 дБ.
Желаемый динамический диапазон автомобильных камер — соотношение между самой темной и самой яркой областью сцены, которую датчик может захватить одновременно — также составляет 120 дБ (компания Ошгоп заявляет в спецификации камеры HDRC динамический диапазон даже в 170 дБ), но, в зависимости от применения, для автомобильных камер с высокими рабочими характеристиками он может быть и меньшим — порядка 72 дБ. Если динамический диапазон камеры недостаточно широк в сравнении с динамическим диапазоном сцены, изображение будет терять детали на темных областях и насыщаться в ярких областях, что может повлиять на безопасность (рис. 7г, рис. 13). Типичного динамического диапазона стандартной камеры в 60 дБ уже недостаточно для адекватного захвата изображений в различных условиях освещенности.
При максимальной яркости сигнал ограничен насыщением — точкой, в которой пиксели аккумулируют их максимальный заряд и не могут обрабатывать дополнительный свет. На минимальной яркости сигнал ограничивается шумовым порогом, представляющим собой уровень шума, присущий устройству (темновой ток и схемотехнические факторы — например, шумы сброса).
Для захвата сцен с широким динамическим диапазоном (например, такая сцена проиллюстрирована рис. 7г в первой части статьи) в ИС датчиков используются линейные (обычно в диапазоне до 60 дБ) и нелинейные — кусочно-линейные или логарифмические функции.
• Соотношение сигнал/шум (SNR) — дополнительно учитывается, когда требуется получить изображение надлежащего качества.
• Пороговая чувствительность датчика к изображению — минимальный уровень освещенности, который необходим для захвата изображения необходимого качества (рис. 14). Количественно пороговая чувствительность определяется как уровень света, действующего на датчик, который образует SNR=1.
Дд -20log ^аксимальный-сигнал-пРи-насыЩении (1)
Минималъный_сигнал_{Шум)
4 ITU — R BT.656 (YCbCr) (его прежнее название CCIR 656), прогрессивный или чересстрочный — 8-битный цифровой формат выходных данных камеры YCbCr или YUV 4:2:2 (включающий также коды синхронизации).
Прогрессивный способ развертки — или non-interlace scanning (не чересстрочный) — последовательный способ вывода каждого пикселя слева направо, сверху вниз.
Чересстрочный, или чередующийся, способ развертки interlaced scanning — это процесс отображения видеокадра на экране в виде двух полей, образованных четными и нечетными строками. Воспроизводятся сначала строки одного поля, затем другого — для уменьшения мерцаний.
Цветовые пространства или цветовые модели — графы компонентов для представления цветов. Наиболее обычные — это RGB, YUV, HSL (HSV), CMYK, LAB, XYZ.
RGB — цветовое пространство, которое представляет цвет по составляющим — красный, зеленый, голубой. Функциональность RGB указывает на поддержку LCD-устройств. RGB565 — 16-битный формат, RGB555 — 15-битный формат, RGB444 — тип 12-битных форматов. YUV включает Y-компонент — яркость цвета (luminance или luma) — интенсивность черно-белой компоненты видеосигнала, U и V по U-V-шкале определяют цвета (chrominance или chroma), при исключении которых изображение получается всерой шкале (применяется в аналоговом ТВ PAL).
YCbCr — цветовое пространство, которое представляет цвет как яркость и две цветоразностные составляющие. В YCbCr Y — это яркость (luma), Cb — синий минус luma (B-Y), Cr — красный минус luma (R-Y). Применяется в MPEG — компрессии, цифровом ТВ (PAL/NTSC), видеоCD.
4:2:2 — формат цифровых видеокомпонентов, представляющий собой соотношение частот дискретизации для оцифровки яркости и цветоразностных составляющих (Y, R-Y, B-Y). Формат 4:2:2 означает, что для каждых четырех сэмплов Y применяется по два R-Y и B-Y, что дает большую ширину частотной полосы цветовых каналов относительно яркости в сравнении, кпримеру, с форматом 4:1:1, но меньшую, чем с форматом 4:4:4.
В аналоговом ТВ NTSC применяется также цветовое пространство YIQ. Модель описывает сигнал Y (освещенность) и два канала цвета I и Q (оттенок и насыщение).
Рис. 14. Сцены с малым освещением, требующие камеры с высокой чувствительностью: а — изображение улицы, снятое цветной цифровой фотокамерой в темное время суток; б — сцена, визуализированная посредством автомобильной камеры с высокой чувствительностью (Д^оЬгке)
Рис. 15. Сравнение уровня характеристик МТ9У022 с другими датчиками в условиях работы в диапазоне длин волн, близких к инфракрасным: слева — изображение, получаемое стандартным датчиком, справа — кадр изображения, отснятый МТ9У022 (тестирование в сравнимых лабораторных условиях)
Чем ниже световой уровень, дающий SNR=1, тем более чувствителен датчик и меньше света требуется камере для захвата изображения. Обычной чувствительностью автомобильных черно-белых камер является 0,1-0,5 лк, цветных — 1-5 лк. Камеры ночного видения, использующие ИК-подсветку, отличаются наиболее высокой чувствительностью (порядка
0,01-0,05 лк). Новые разработки направлены на максимизацию чувствительности автомобильного датчика изображения, которая включает схемотехническое осуществление следующих факторов: увеличение эффективности сбора света, снижение шумов электроники при чтении и сбросе, увеличение фактора заполнения пикселя (отношения светочувствительной области к общей области), снижение темново-го тока фотодиода, который возрастает при повышении температуры.
Чувствительность камеры определяется эффективностью работы матрицы (сбора света и преобразования фотонов в электроны) — соотношением выходного фототока и энергии воздействующего света (монохроматическая чувствительность на определенной длине волны), выходного фототока и светового потока (интегральная чувствительность), а также шумовым порогом обнаружения фотонов. Главным фактором, ограничивающим порог чувствительности, является темновой ток (dark current) — ток пикселя в анодной
цепи фотоэлемента, возникающий без влияния освещения катодной части вследствие термоэлектронной эмиссии; второй наиболее значимый фактор — тепловой (или термический) шум. В связи с технологией производства даже в пределах каждого пикселя уровни тем-нового тока и теплового шума различаются. Для оценки датчика используются значения фиксированного шума решетки (FPN — fixed pattern noise) и случайных шумов.
• Спектральный диапазон порядка 400-1100 нм — от глубокого голубого (deep blue — DB) до близкого к инфракрасному NIR, — характеризующий восприимчивость датчика к длинам волн, различным в зависимости от цвета.
Видимый человеческим глазом спектр ограничен длинами волн в 550 нм. Расширение спектрального диапазона со срабатыванием, близким к инфракрасному NIR (700-1300 нм), создает потребность в автомобильных датчиках изображения, настроенных по спектральной длине волны (рис. 15). В основе этого принципа лежит тот факт, что свет с различными длинами волн абсорбируется в кремниевом датчике на различных глубинах. (Голубые фотоны абсорбируются на глубине 0,05 мкм, близкие к инфракрасным — на глубине 1,6 мкм.)
Системы ночного видения применяют в основном NIR, которые используют источник
света, например, от фар, а также FIR — длины волн инфракрасного спектра, которые не требуют источника света. Близкое к инфракрасному излучение детектируется стандартными CMOS-датчиками, для FIR-систем требуются специализированные, более дорогие датчики.
• Квантовая эффективность (QE) — определенное количество или процент фотонов, воздействующих на фотоповерхность с образованием пары электрон-дырка и фототока, — также прямо характеризует чувствительность датчика. QE часто измеряется в диапазоне различных длин волн — для того чтобы характеризовать эффективность устройства на каждой энергии. QE фотопленок — менее 10%, CCD-камер — до 90% на некоторых длинах волн, КМОП-камер — 35-40% и более.
• Спектральная чувствительность — зависимость чувствительности (монохроматической) от длины волны света.
Для автомобильных камер, в отличие от профессиональных операторских камер, совершенно нежелательно наличие ручных настроек, которые позволяют при профессиональном использовании получать изображение более высокого качества: водителю некогда и незачем отвлекаться на корректировку настроек при езде. Поэтому важными в характеристиках автомобильных камер является возможность программирования (в зависимости от применения) или автоматического осуществления следующих функций.
• Автоэкспозиция — установка выдержки (скорости затвора) и диафрагмы (величины открытого отверстия), необходимых для конкретных условий съемки: освещенности, близости объектов, скорости движения и т. д., определяющих экспонирование, или количество проникающего в матрицу света.
Выдержка влияет на четкость изображения двигающихся объектов, диафрагма — на глубину резкости (расстояние, позволяющее достаточно резко снимать объекты). Важную роль в камере играет электронный затвор — элемент конструкции матрицы, обеспечивающий возможность изменения времени выдержки, что полезно при съемке быстродви-жущихся объектов и в условиях высокой или низкой освещенности. Различают затворы Rolling Shutter, каждый пиксель камеры с которым или линия дискретизируют изображение в различные моменты времени, и Global Shutter, с которым каждый пиксель во всем массиве интегрирует заряд и дискретизирует изображение в тот же момент времени (рис. 16).
Electronic Rolling Shutter (ERS) ИС MT9V111 Micron, например, адаптирует ИС к захвату видео в условиях низкой освещенности. Затвор MT9V022 TrueSNAP предназначен для захвата целостного видео быстродвижущих-ся объектов (без разрывов и смазывания изображения, типичного для других датчиков) и захватывает сцены с высоким разрешением
Рис. 16. Сравнение изображений, видимых невооруженным глазом (а), получаемых посредством датчиков на основе технологии Rolling Shutter (б) и захватываемых MT9V022 на основе технологии TrueSNAP Global Shutter (в)
(тестирование в сравнимых лабораторных условиях)
Рис. 17. Матрица Байера
даже при частоте кадров 60 с-1 и с меньшим
разрешением — на 200 с-1.
• Автоматическая регулировка усиления, характеризующая способность камеры изменять коэффициент усиления видеотракта в зависимости от уровня видеосигнала.
• Распознавание и коррекция цветов — регулировка яркости, контрастности, оттенка и насыщения (обычно матрица пикселей дополняется встраиваемыми цветными фильтрами RGB — цветовой фильтр гарантирует, что только свет данного цвета проникает в пиксель с фотодиодом, чувствительным к свету, но не цвету, тогда восстановление цвета и интерполяция изображения производятся по специальным алгоритмам из матрицы Байера5 — рис. 17).
• Контроль насыщения цвета, под которым в теории цвета понимается чистота (приближенность к одной длине волны) и интенсивность цвета (например, выше для лазерного луча): насыщенный цвет — яркий, живой, тогда как ненасыщенный — затемненный и серый.
• Коррекция темных пятен от линз (lens shading correction) или антивиньетирование (an-tivignetting) — для компенсации потери сигнала из-за линз — выполняется путем нормализации яркости по краям картинки.
• Баланс белого — автоматическая способность камеры приспосабливаться к изменениям окружающей цветовой гаммы при смене освещения (камеры без этой функции начинают искажать цвета; их калибровка выполняется вручную по белому листу или программно — по установке температуры точки белого).
• Генератор опорного черного сигнала (в массив пикселей встраиваются крайние оптически черные столбцы и строки — для обнаружения и компенсации темновых токов — собственных токов пикселей, возникающих без освещения, повышающихся с увеличением температуры), по которому выполняются калибровка и автоматическая коррекция смещения уровня черного (auto black level offset correction).
• Идентификация и коррекция дефектов (on the fly) выполняется путем непрерывного анализа и сравнения уровня сигнала
дефектного пикселя с соседними и интерполяции изображения.
• Резкость или четкость контуров (sharpening).
• Гамма-коррекция видеосигнала — процесс, который регулирует яркость и контрастность среднего тона для изображения — нелинейное предварительное искажение видеосигнала с целью устранения нелинейности дисплеев (обычно для увеличения контрастности воспроизведения изображения на мониторе).
• Детектирование и возможность избежания фликеринга — дрожания изображения на мониторе: накопление статистики об изображении, применение цифровой стабилизации.
• Компенсация света позади объекта (засветки) (back light compensation, или BLC), обеспечивающая автоматическое управление диафрагмой, выдержкой, усилением и т. д., ориентирующаяся на центральную часть экрана — для установки параметров по выбранному фрагменту изображения.
• Зеркальное отображение объектов в вертикальном или горизонтальном направлении, зумирование (цифровое6) (рис. 18), или оконный просмотр области интереса Region-Of-Interest (ROI) — панорамирование без экономии разрешения, уменьшение разрешения и другие функции.
Для автомобильных камер актуально немногократное фиксированное цифровое
5 Матрица Байера включает чередующиеся строки красного и зеленого фильтров, а также строки синего и зеленого фильтров, в которых зеленых пикселей вдвое больше, чем вкрасных и синих. Строковый выход фильтра Байера представляет собой мозаику синих, зеленых и красных пикселей, с различной интенсивностью рассеяния света на конкретном пикселе. Четыре пикселя в мозаике Байера определяют цвет одного пикселя изображения. Для воссоздания изображения из мозаики Байера, приближенному к реальному, применяется интерполяция.
6 Различают оптический и цифровой zoom. Оптическое зумирование, основанное на механическом перемещении линз вариобъектива посредством оптических трансфокаторов — устройств, позволяющих изменять фокусное расстояние в широких пределах, практически не влияет на качество изображения, но ограничено габаритами видеокамеры и дорого, что не вполне согласуется с автомобильными требованиями.
зумирование, принцип которого основан на растягивании изображения в области интереса на экран за счет экономии разрешения. (При децимации (см. далее) максимальный
zoom-фактор равняется отношению размера VGA к размеру области интереса).
Хотя цифровой zoom приводит к некоторой потере четкости изображения при увеличении, он характеризуется быстродействием и относительно низкой ценой.
Непрерывный pan при децимации достигается обновлением стартовых координат области интереса.
Для предотвращения смазывания и компенсации нежелательных колебаний изображения (нечеткого или при движении на высоких скоростях) может применяться оптическая и цифровая стабилизация. Электронная стабилизация основана на резервировании элементов матрицы под возможное смещение изображения — активных или пассивных. Оптическая стабилизация предполагает использование гироскопов и акселерометров и подвижных линз, стабилизирующих ход видеосигнала в объективе, и обеспечивает лучшее качество изображения, например, в операторских съемках, но в автомобильных применениях ограничивается ценой, хотя в принципе не исключается.
К другим автоматическим функциям камеры относятся следующие: децимация, или прореживание изображения за счет уменьшения частоты дискретизации в целое число раз — способ экономии разрешения при использовании максимального кадрового окна; горизонтальное и вертикальное бланкирование — прерывания между линиями хода луча и кадрами, ограничивающие, например, окно при уменьшении формата или в области интереса, «кусочное» или зональное усиление и, по мере развития технологий, какие-то другие.
В MT9V022, например, в дополнение к режиму windowing, в котором меньшие режимы (CIF, QCIF) получаются выбором малого окна из сенсорного массива, используется возможность показывать целое изображение, захваченное массивом с меньшим разрешением посредством биннинга пикселей (pixel binning), который выполняется объединением (собственно биннинг) и последующим усреднением сигналов от смежных пикселей. (С биннингом 2x2 усредняются 4 пиксельных сигнала от двух смежных строк и столбцов. В случае применения режима биннинга 4x4 комбинируются 16 пикселей.) Биннинг увеличивает SNR и уменьшает разрешение, строковый бин-нинг при этом увеличивает и частоту кадров соответственно в 2 и 4 раза. Биннинг позволяет повысить чувствительность пропорционально количеству объединяемых пикселей. В этом режиме камера при вводе изображения производит объединение нескольких пикселей в матрице, при этом при увеличении полезного сигнала шум чтения — такой же, как у одного пикселя.
Камеры должны также противостоять жестким автомобильным условиям. Производство элементной базы камер регламентиро-
вано международной системой управления качеством ISO/TS16949 (ht tp:/-/w ww.iaob.o rg) Критический аспект дизайна видеодатчиков — рабочая температура, которая не должна влиять на фокусировку и уровень темно-вых токов.
Помимо рабочей температуры, важным показателем камеры для эксплуатации в автомобильных условиях является ее корпу-сирование — соответствие квалификационному стандарту Automobile Electronics Council (AEC Q100), разработанному для ИС, работающих в жестких условиях эксплуатации. Другие полезные характеристики — режимы сниженного энергопотребления, наличие встроенного датчика температуры и другие.
Помимо характеристик собственно камеры, важными являются характеристики линз объективов, назначение которых состоит в том, чтобы собирать и фокусировать фотоны. Линзы классифицируются по формату (эквивалентному диагонали оптического формата в мм), креплению (C, CS, S), фокусному расстоянию, апертурному числу объектива — f-числу (отношению фокусного расстояния к диаметру линзы или апертуре) и другим параметрам.
CCD и CMOS (КМОП) камеры
Два основных типа видеокамер, представленных на современном рынке и сравнение которых сегодня актуально, — это CCD и CMOS (КМОП) камеры, хотя в автомобильных применениях переход на КМОП-датчи-ки уже практически полностью обоснован и осуществлен. Для многих других применений КМОП-технология камер также является лидирующей [5-6, 7-19].
Цифровое считывание изображений применяется с 1969 года, когда были изобретены полупроводниковые датчики для цифровых камер на основе фотодиодов Charge-coupled devices (CCDs). Первое коммерческое применение CCD состоялось в 1975 году в телевизионных камерах, а затем технология применялась для создания цифровых видеокамер, сканеров, копиров, считывателей штрих-кодов и многих других устройств.
И CCD, и CMOS камеры строятся на основе массивов светочувствительных пикселей, которые собирают фотоны и преобразуют их в видимое изображение, но отличаются способом, которым осуществляется данное преобразование (рис. 19).
CCD-камеры
Принцип работы CCD состоит в следующем (рис. 19а). В течение процесса интеграции датчик захватывает свет на решетку пикселей, накапливающих электроны (заряды). Электроны передаются в массиве от одного блока накопления зарядов к другому в поперечном направлении — данные при прочи-
Последовательные
тактовые
Параллельные
Фотодиоды
Сдвиговый
регистр
(маскиро-
ванный)
Направление
параллельного
сдвига
Активный массив пикселей
О
Процессоры аналогового ігнала
’Л'ІіЯ
ЦифрОВОЙ Г7П
ВЫХОД I б I
Выбор
(п+1)-й
строки
Выбор
(п+1)-й
строки
Рис. 19. Сравнение технологий и архитектур CCD-и CMOS-камер [5—6]: а — CCD-архитектура; б — CMOS-архитектура; в — архитектура КМОП-пикселя
тывании присоединяются построчно, откуда и произошло название этих датчиков (в русскоязычной терминологии они также широко известны как устройства с зарядовой связью, или ПЗС-матрицы). Таким образом, после интеграции пиксели прочитываются последовательно, начиная с первой строки. Данные первой строки передаются в считывающий регистр, усилитель и АЦП, вслед за чем удаляются из считывающего регистра. Затем следующая строка вводится в считывающий регистр, и процесс повторяется циклически.
Прочитывание значений каждой ячейки через весь чип CCD требует значительного потребления мощности и дополнительных сигналов тактирования, преобразователей и элементов управления чипом. Для работы CCD-схемы требуются сигналы тактирования амплитудой в 2,5-10 В и многочисленные напряжения питания и смещения. Повышенное потребление мощности необходимо для обеспечения качества изображений и малых шумов CCD. Точность CCD и чувствительность к свету являются очень высокими, но их дальнейшее применение в системах автомобильной безопасности существенно ограничивает небольшой динамический диапазон и еще один, наиболее существенный недостаток, состоящий в том, что производство CCD характеризуется высокой ценой технологических производственных процессов, требует специализированных литейных линий, оборудования и технологий, что противоречит важнейшему автомобильному требованию — сочетание низкой цены с высокими объемами.
Архитектура CCD также характеризуется ограничениями по частоте кадров. Стандартные CCD-датчики предполагают последовательное считывание пикселей, что ограничивает возможность осуществления следующих функций.
1. Увеличение при необходимости числа изображений в секунду и сокращение объемов передаваемых данных за счет экономии разрешения, как в КМОП-датчиках — subsampling. (Формат 4:2:2 (см. выше) также является примером экономии цветового разрешения по сравнению с сигналом яркости, другие примеры — децимация и биннинг.)
2. Кадрирование (subwindowing) — просмотр стандартных или увеличенных прямоугольных частей изображения только в области интереса, для того чтобы уменьшать объемы и ускорять передачу данных, без изменения разрешения (например, с переменным бланкированием).
Следующий недостаток CCD-устройств:
не исключается возможность эффекта блюминга — разброса светового пятна в захваченном изображении, который случается, если пиксели получают больше света, чем могут обработать; дополнительная световая энергия при этом захватывает соседние пиксели (рис. 20). Для защиты от блюминга могут быть использованы специальные схемы
Рис. 20. Оптический блюминг, типичный
для коммерческих ССЭ (слева)
и отсутствующий (справа) в КМОП-датчиках (Д^оЬгке)
защиты от перегрузок, которые в CCD-устройства общецелевого назначения обычно не включаются. При этом контроль блюминга в CCD снижает спектральное срабатывание, особенно на длинах волн, близких к инфракрасным.
CMOS (КМОП) датчики изображений
КМОП-датчики разрабатывались еще с конца 70-х годов ХХ века, но как конкурентоспособная цифровая технология стали рассматриваться только в середине 1990-х. Первое практическое применение КМОП-датчи-ков изображений было обосновано NASA — с целью минимизации потребления мощности и меньшей подверженности радиации в космосе. Современные ASIC CMOS-датчики включают многие функции помимо считывающих пикселей и представляют собой многофункциональные сенсорные системы, интегрированные в одной ИС.
Специализированные КМОП-датчики способны обеспечивать повышенные автомобильные требования широкого динамического диапазона чувствительности, широкого спектрального диапазона и подходят для производства в массовых объемах по низкой цене.
Активный пиксель CMOS-датчика включает фотодиод (рис. 19б,в), который преобразует фотоны в электроны и запасает интегрированный сигнал, и три или четыре транзистора, которые усиливают и продвигают заряд: сброс для периодического возврата фотодиода в состояние сниженного сигнала, буфер для вывода интегрированного сигнала в схему обработки, выбора строки для мультиплексирования пикселей на общей линии чтения столбцов. Пиксели КМОП-датчиков прочитываются не построчно, а индивидуально. Прочтение каждого кадра включает этапы сброса пикселей, вслед за чем вновь осуществляется интеграция и считывание данных.
CMOS датчики изображений используют архитектуру считывания со случайной выборкой random access readout, что означает, что пиксели адресуются случайно, за счет чего быстро осуществляются функции цифрового зумирования и кадрирования. CMOS-
датчики не подвержены блюмингу, в отличие от CCD, не требуют специальных схем, поэтому КМОП-технология изображения наиболее актуальна для современных систем автомобильной безопасности.
Многие новые CMOS-датчики характеризуются чувствительностью и квантовой эффективностью, сравнимой или более высокой, чем у CCD.
В отличие от CCD, которые предполагают размещение схемы обработки на отдельном чипе, CMOS-технология обеспечивает возможность однокристального исполнения Camera-on-a-chip (CoC) или System-on-a-chip (SoC), совмещающего сенсорные функции с функциями обработки со смешиванием сигнала, что позволяет снизить стоимость датчиков — важное требование автомобильных исполнений — и повысить их компактность.
КМОП-технология с возможностью параллельной обработки пикселей также позволяет повысить скорость обработки видеоданных, улучшать разрешение, адаптировать их к различным применениям и интерфейсам. Схема обработки может включать модули сжатия (JPEG, MPEG4), синхронизацию, выбираемые или программируемые интерфейсы, что повышает общую интегральность системы, минимизирует нагрузку на обрабатывающий блок и снижает цену.
CMOS-архитектура допускает программируемость, что позволяет гибко конфигурировать датчик для различных применений, и использовать вместо множественных камер со специальными функциями только один тип камер.
Автомобильная промышленность сегодня сфокусирована на разработке ASIC CMOS-камер, преимущественно с функциональностью обработки сцен, которые обеспечивают более высокий, по сравнению со стандартными CMOS-камерами, уровень характеристик, таких как динамический диапазон, чувствительность к изображению, спектральная чувствительность, которые соответствуют автомобильным стандартам и обеспечивают низкую цену единицы в высоких объемах.
Элементная база автомобильных камер, представленная на современном рынке
Ведущие игроки на современном рынке автомобильных видеодатчиков изображений — это такие компании, как Micron, Cypress (SMaL Camera Technologies), OmniVision (поставщик чипов, выбранный Hella), Kyosera (производитель элементной базы для Bosch), AMI Semiconductor, Melexis и другие.
Micron предлагает для автомобильного рынка три микросхемы на основе технологии DigitalClarity (рис. 21а). Высокоинтегрированные полноцветные CMOS-датчики изображений Micron MT9V125 и MT9V111 разработаны специально для автомобильных применений обзора сцен [7-9].
Без оверлея
6 черных строк
1 черный столбец
(667, 495)
УЭА (640x480)
+ 4 пиксельных контура для коррекции цветов + дополнительный активный столбец + дополнительная активная строка = (649 х 489)пикселей
И
(0,0)
18 черных столбцов
1 черная строка
Хо/5 Xi/5 Х2/5 ХЗ/5 X4/5 Yo/5
Y1/5 Y2/5 Y3/5
X5/5
Y4/5
Y5/5
И
С оверлеем
lg Цифровой і видеовыход
Цифровой последовательный выход LVDS
Параллельны! цифровой видеовыход CCIR 656
Обработанный ЦОС NTSC/PAL выход
SCLK-SDATA-SADDR-
CLK-STANDBY -OUTPUT_-EN_BAR
^DD ^GND-
^GND “ ,A PIX-
Активный
сенсорный
пиксельный
массив
752x480
Управляющий регистр
Синхронизация и управление
Аналоговая обработка
і 1
АЦП Цифровая
обработка
I Последовательный ^регистровый 1 ввод/вывод
и
Параллельный
выход
видеоданных
Подчиненный видеовход LVDS (только для стереорежимов)
Последовательный видеовыход LVDS
Q Цифровой видеовыход к ЦОС
© Обработанное ЦОС цифровое видео
А Интегральное мультиплексирование между выходом изображения или обработанным входом ЦОС, между датчиком и видеовходом
© Обработанное NTSC/PAL видео
Коммутационная шина
Ядро датчика:
• 668 х 496 (УСА + опорные)
• оптический формат 1/4
• автокомпенсация черного
• программируемое аналоговое усиление
• программируемое экспонирование
• малое энергопотребление, 10-битный АЦП
Процессор обработки потоков сигналов изображений Image Flow Processor (IFP)
• Коррекция цветов, гамма, антивиньетирование
• автоэкспозиция, баланс белого
• интерполяция и коррекция дефектов
избежание фликеринга
Линейные буферы SRAM
іит (7:0)
-PIXCLK „ FRAME_ VALID -LINE_VALID
-FLASH
Управляющий регистр
Сенсорный
массив
активных
пикселей Синхронизация
и управление
\ 1
Аналоговая обработка
АЦП
ш
Коммуникационная шина с IFP
Тактирование
• Сигналы синхронизации
10-битные данные
для IFP
Рис. 21. Элементная база и технологии автомобильных видеодатчиков Micron: а — линейка автомобильной продукции Micron: внешний вид и корпусирование:
1 — MT9V125 (52-балльный корпус IBGA 9x9 мм); 2 — MT9V111 (52-балльный корпус IBGA 7x7 мм); 3 — MT9V022 (52-балльный корпус IBGA 9x9 мм); б — осуществление поддержки оверлея для цифровой обработки видеосигналов NTSC/PAL в ИС MT9V125; в, г — функциональная диаграмма цифрового датчика изображений — SoC MT9V111 (в) и сенсорного ядра датчика (г); д — описание пиксельного массива MT9V111;
е— функциональная диаграмма цифрового датчика изображений MT9V022;
ж— возможность зонального цифрового усиления с делением кадра изображения MT9V022 на 25 мозаичных областей (координаты каждого мозаичного участка программируются индивидуально); з— иллюстрация полной функциональности MT9V022 на различных рабочих температурах:
кадры изображения с высокими (30 000 лк) и низкими (2 лк) уровнями освещения, отснятые MT9V022 на +35 °С (слева) и +85 °С (справа)
Датчик MT9V125 с оптическим форматом 1/4 предназначен для видеосистем предупреждения водителя с выходом в формате NTSC
или PAL и не требует специального кодера для форматирования. Ключевой признак MT9V125 — двойной электронный затвор
dual electronic rolling shutters, обеспечивающий адекватный захват видео в условиях очень низкой освещенности и яркого света.
Рис. 22. Иллюстрация преимуществ технологии Autobrite Cypress — SmaLCamera:
а, б — эффективность применения технологии Autobrite для видеомониторинга стоянки из помещения: слева — изображения, полученные обычным датчиком, справа — датчиком Cypress Autobrite (слева многие детали сцены затерты, справа отчетливо виден злоумышленник за окном)
Датчик захватывает 30 кадров в секунду на 27 МГц (60 Гц — скорость развертки NTSC видео) или 25 кадров в секунду на 27 МГц с 50 Гц PAL, с максимальным временем интеграции заряда 33 мс для NTSC и 40 мс для PAL. Два затвора rolling shutters сканируют четные и нечетные кадры. Датчик поддерживает параллельный или последовательный (LVDS) цифровой чередующийся выходной формат (CCIR 656, YUV 4:2:2) и строковый прогрессивный или чередующийся цифровой выход.
Гибкий путь сигнала, заложенный в архитектуре датчика MT9V125, позволяет разработчикам выбирать этот датчик сцены для различных применений — например, для реализации основной функциональности обратной камеры в недорогих автомобилях или для динамического оверлея видеосигнала в машинах верхнего ценового класса (рис. 21б).
Датчик работает в расширенном диапазоне температур: -40.. . + 105 °C.
Другие признаки этого устройства: программируемый контроль гамма-коррекции, экспозиции, усиления, режима windowing, частоты кадров, АЦП, обращения изображения слева направо или сверху вниз, автоэкспозиция, автоматические функции баланса белого, опорного черного, избежания фли-керинга, идентификация и коррекция цветов (насыщения) и другие.
MT9V111 — полноцветный видеодатчик с VGA-разрешением для автомобильных дисплеев, представляющий собой полностью интегрированную камеру на чипе со многими программируемыми и автоматическими функциями, что и у MT9V125, такими, как автоэкспозиция, баланс белого, непрерывная идентификация и коррекция дефектов, и расширенной функциональностью Image Flow Processor (IFP) (рис. 21 в-д). Устройство предназначено для дисплейных систем с распределенной архитектурой, в которых дистанционно выполняется обработка сигнала, может быть также использовано для применений с обработкой сцен (например, high-beam dimming), где требуются автоматические функции камеры и цветные данные в любом из гибко выбираемых форматов из числа назван-
ных выше. Режим сканирования видео — прогрессивный. Electronic rolling shutter (ERS) MT9V111 захватывает видео при низкой освещенности.
Динамический диапазон обоих устройств — более 70 дБ, спектральный диапазон 0,45-1,05 мкм (от DB до NIR) с квантовой эффективностью QE 40% на 550 нм (то есть пиковая чувствительность согласована с нормализованной кривой зависимости чувствительности человеческого глаза от спектральной длины волны, известной под названием кривой видности).
Датчики выпускаются в низкопрофильных корпусах IBGA — 9x9 мм (MT9V125) и 7x7 мм (MT9V111), а также коммерчески доступны в виде подложки.
MT9V022 (рис. 21е) [7, 10] — наиболее мощная автомобильная микросхема от Micron в оптическом формате 1/3, разработанная для применений обработки сцен в формате W-VGA, а также с целью повышения чувствительности устройства к уровням излучения NIR, актуальных для систем ночного видения, классификации пассажиров и развертывания подушек безопасности независимо от времени суток (рис. 15). Устройство обеспечивает QE выше 35% на 850 нм. Повышенные NIR-характеристики дают возможность использовать устройство с активными системами освещения, снижая цену и мощность за счет минимизации требуемых инфракрасных светодиодов.
Другие ключевые характеристики устройства — электронный затвор с возможностью одновременной интеграции зарядов и чтения global shutter TrueSNAP (рис. 16), высокая частота кадров, способность синхронизации нескольких камер, включенных в стереорежиме.
Чувствительность может быть и далее увеличена посредством специальных режимов биннинга 2x2 или 4x4. Улучшение SNR в этих режимах допускает работу в меньших разрешениях и режимы windowing и зеркального отражения строк и столбцов. Программирование MT9V022, как и других датчиков Micron, осуществляется через двухпроводной интерфейс. MT9V022 позволяет програм-
мирование линейного срабатывания пикселей с динамическим диапазоном >55 дБ или кусочно-линейное программирование динамического диапазона в 100 дБ (рис. 13б).
Формат видеоданных — прогрессивный или чересстрочный, параллельный или LVDS, выбираемый и программируемый и, таким образом, гибко адаптируемый под клиентские требования.
Стандартный режим работы выводит изображение wide-VGA размера с частотой кадров 60 fps (frames per second). Интегральный АЦП оцифровывает видео с разрешением 10 бит/пиксель, но пользователь может применить альтернативное 12-битное разрешение для меньших уровней сигнала в более темных областях и 9-битное — для более высоких уровней сигнала при сильном освещении. Он также может программировать зональное усиление и экспонирование (рис. 21ж).
Рабочий температурный диапазон устройства -40...+85 °С (рис. 21з). Датчик снабжается встроенным термометром, а также поддерживает 4 уникальных последовательных управляющих регистра ID для контроля датчиков, подключенных к одной шине.
SMaL Camera Technologies внедряет на автомобильный рынок технологию Autobrite — решение, характеризующееся расширенным динамическим диапазоном до 120 дБ (в 500 раз выше стандартных камер) и позволяющее захватывать визуальную информацию в наиболее сложных условиях освещения, улучшать дифференциацию объектов [5, 11-12]. Другие характеристики технологии — высокая чувствительность и близкое к инфракрасному срабатывание, а также малое энергопотребление.
Autobrite автоматически адаптируется к ночным или дневным условиям освещения, в помещении или при солнечном освещении, регулируя каждый кадр с целью обеспечения общей целостности видеоданных, и позволяет одновременно захватывать объекты, подверженные различным условиям освещения или расположенные на переходе (при выезде из тоннеля) (рис. 13а, рис. 22).
Рис. 23. Оценочный комплект ECK100 технологии камер Autobrite Cypress Semiconductor
+CVO/UL
»X
и
RESET
PWDN
XCLK
HREF
PCLK
VS
SIO_C -SIO D
Аналоговая обработка I Усилениё~| I BLC I
Массив
изображения
Усилители выбора столбцов
АЦП
АЦП
Генератор
синхронизации
Управляющие регистры (для всех схем)
Интерфейс
SCCB
SCCB
Master
Интерфейс
SPI
Оверлей
Ж
Форматирование выхода
Порт Digital Video (DV)
LVDS
- cs
• SCK
- ESO -ESI
D [9:0]
VREF
1 мкФ:
1
I
MSCL MSDA CLKP CLKN CDP CDN
Рис. 24. Примеры элементной базы автомобильных видеодатчиков Omnivision: а — NTSC/PAL датчик OV7949, адаптированный для работы в условиях низкого освещения; б — цифровой VGA датчик OV7710
Автомобильная черно-белая КМОП-каме-ра ACM100 — программируемое и конфигурируемое устройство в оптическом формате 1/3 с разрешением VGA, рассчитанное на широкий диапазон применений. Эта камера была названа организацией Automotive
Engineering International топ-продуктом 2005 года. Модуль ACM100-1, предлагаемый сейчас компанией Cypress Semiconductor, включает датчик изображений, процессор, линзу, прочный корпус и кабельную сборку. В камере реализованы следующие признаки:
12-битная коррекция изображения, контроль экспонирования и пост-обработка, гарантирующая целостность данных. Дополнительные признаки: контроль экспонирования области интереса, гибкая обработка изображений и синхронизация. Доступен оценочный комплект ECK100 (рис. 23), представленный также в настоящее время на сайте компании Cypress Semiconductor.
OmniVision Technologies Inc. (w ww .ovt.c om) в 2005 году выпустила свой первый CMOS-датчик изображения для автомобильных применений OV7940 — высокоинтегрированное и недорогое устройство с высокими рабочими характеристиками, предлагаемое в цветной версии (черно-белая версия датчика — это 0V7440). Для производства датчиков 0V7940 OmniVision использует технологию OmniPixel, соответствующую спецификациям AEC-Q100, обеспечивающую температурный диапазон -40...+85 °C и повышенную чувствительность датчика в условиях низкого света, а также разрешение, точность цветопередачи, низкие шумы, малое энергопотребление. Динамический диапазон датчика — 50 дБ, SNR до 47 дБ, чувствительность (усиление) — 42 дБ.
Датчик с форматом в 1/3 дюйма и размером пикселей (9,2х7,2) мкм поддерживает форматы NTSC (510x496) и PAL (628x586), с частотой кадров 50 за секунду. Значительно снижен показатель темнового тока, специфицируемый в <10 мВ/с7 при 60 °C. В устройстве реализованы следующие признаки: автоэкспозиция, усиление с 16-зонным контролем, автоматический контроль баланса белого, коррекция кадрового окна — апертуры гамма, коррекция дефектных пикселей, компенсация фликеринга и самодиагностика.
В дизайне КМОП-пикселей OmniPixel достигнут повышенный фактор заполнения и другие признаки технологии — автофокусировка, зумирование, панорамирование, контроль затвора.
OV7940 характеризуется также способностью внешней синхронизации и поддержки оверлеев. Датчик программируется по интерфейсу Serial Camera Control Bus (SCCB), совместимому с I2C, и обеспечивает дифференциальный аналоговый выход и интерфейс SPI.
Устройство работает при напряжении 3,3 В, выпускается в 48-выводном квадратном плоском корпусе QFP для поверхностного монтажа на плате. Цена модуля с однокристальным датчиком составляет приблизительно $30. Цены ИС OV7940 — менее $14 в количестве более 10 000.
Сегодня OmniVision Technologies Inc. предлагает широкую линейку автомобильных датчиков изображений, в которую входят цветные камеры серий OV7949 (NTSC/PAL), OV7950 (NTSC) и черно-белые NTSC-каме-
7 В спецификациях фотоэлектрических датчиков и камер уровень темновых токов может указываться как в амперах, так и в единицах, характеризующих электронную плотность в фотодетекторе.
SE
TEST
RESETN
LFTRGHTN
GPOUT
TRIGG
TOCTL
LVALID
FVALID
DOUT
CLK
Рис. 25. Автомобильная КМОП-камера AMI Semiconductor AMIS-70700: а — внешний вид; б — блок-диаграмма
ры — OV7431,OV7451, VGA-датчики OV7211 (черно-белый) и OV7710 (цветной).
OV7949 (NTSC) (рис. 24а) — это расширенная версия цветной камеры OV7940 формата 1/3, но на основе технологии OmniPixel2, поддерживающей диапазоны рабочих температур уже порядка -40.. . + 105 °C, с более высокой чувствительностью к низкому освещению (<0,01 лк). В соответствии с технологией OmniPixel2 архитектура датчиков строится на пикселях меньшего размера (2,2 мкм) с более высоким фактором заполнения, нулевым зазором между микролинзами, а также благодаря КМОП-процессу толщиной в 0,13 мкм (в первом поколении датчиков — 3,18 мкм).
0V7950 — ИС формата 1/4 со многими из высоких рабочих характеристик OV7949. Дополнительный расширенный признак ИС — возможность режима windowing.
0V7710 (рис. 24б) и OV7211 — это VGA-датчики формата 1/4 с прогрессивным сканированием видео и повышенной частотой кадров — до 30-60 за 1 секунду.
Камера OV7451 (NTSC) также поддерживает частоту кадров 60 за секунду. Динамический диапазон черно-белого NTSC-датчика OV7431 — более 70 дБ, темновой ток — менее 0,1 В/с.
Таким образом, портфолио датчиков OmniVision включает недорогие устройства с менее высоким динамическим диапазоном и другими функциональными возможностями, чем у ИС Micron и SMaL Camera,
но вполне подходящие под менее ответственные автомобильные применения. Компания Hella выбрала элементную базу OmniVision для камер заднего вида и LDW-камер. Еще одно несомненно актуальное применение для этих датчиков относится к охранным системам (security).
AMI Semiconductor совместно с Photonfocus AG в 2005 году представила на автомобильный рынок высокотемпературную CMOS-камеру AMIS-70700 (рис. 25а,б) с VGA-разрешением для интеллектуальных автомобильных камер и других применений, где востребованы высокие рабочие характеристики и высокий SNR датчика, которые достигаются за счет уменьшения шумов в специальной схеме компенсации повышенной температуры. Технология Photonfocus LinLog поддерживает динамический диапазон до 120 дБ [13, 14].
Другой ключевой признак устройства — технология затвора global shutter с одновременной интеграцией всех пикселей, предотвращающая смазывание быстродвижущихся объектов и возникновение артефактов. В итоге AMIS-70700 обеспечивает высокое разрешение (750x400) точек с частотой кадров 60 за секунду, контрастность без запаздывания и смазывания в быстродвижущихся сценах. Рабочий диапазон температур: -40...+ 105 °C.
Оптический формат датчика и рекомендуемый формат линзы — 2/3, размер пикселей 10,6x10,6 мкм.
В датчике снижены эффекты смещения решетки и шумы усиления, достигается высокий SNR. Технология Photonfocus LinLog устраняет типичные недостатки чисто логарифмических датчиков, используя при малом освещении линейное срабатывание пикселей, а при высокой интенсивности освещения — логарифмическое сжатие. Переход между ними оптимизирован для предотвращения артефактов (цифровых дефектов) и искажений. Линейное срабатывание позволяет повысить чувствительность датчиков и снизить фиксированные шумы решетки и шумы усиления, типичные для логарифмических датчиков.
Применения датчика для интеллектуальных камер для автомобильного сектора, работающих в режиме реального времени, включают камеры заднего вида, мониторинг слепых точек blind-spot, обнаружение препятствий, системы предотвращения аварий, в которых необходима точная идентификация краев и сцен при любых условиях вождения. Датчик характеризуется высокой спектральной чувствительностью до диапазона NIR.
AMIS-70700, также известный как EMPHIS-300 Photonfocus, поставляется в виде ударяемой и неударяемой подложки, опционно — в керамическом 52-выводном CLCC-корпусе для жестких условий эксплуатации. Цена оценочного образца — приблизительно $52, доступен набор разработчика.
Рис. 26. Технологии и элементная база автомобильных КМОП-видеодатчиков Melexis MLX75006 и MLX75007: а — внешний вид датчиков с интегрированными стеками линз и без;
б — иллюстрации преимуществ, достигаемых с технологией Melexis; в — оценочный комплект EVB90267
CMOS-камеры Melexis MLX75006 (CIF) и MLX75007 (PVGA) представляют собой полностью интегрированные датчики, поставляемые опционно — в пластмассовом корпусе и (или) с интегрированным стеком линз (рис. 26 а-б) [17-19]. MLX75006 характеризуется разрешением 352x288. PVGA-датчик MLX75007 с разрешением 750x400 выпускается в цветной и черно-белой версиях. Камеры работают в диапазоне температур -40...+105 °C. Датчики обеспечивают линейный, двунаправленный, тройной наклон или логарифмическое срабатывание. Эти датчики сочетают технологию global shutter и возможности высокоскоростной работы (до 33 МГц) с высоким динамическим диапазоном (более 100 дБ), высокой чувствительностью, широкой спектральной полосой (до 800-900 нм), малыми шумами, а также отличаются высокой надежностью и малой
системной ценой. Доступен оценочный комплект EVB90267 (рис. 26в).
Заключение
Анализ элементной базы видеокамер, представленной на современном автомобильном рынке, можно было бы продолжать и далее, если бы это не ограничивалось рамками журнальной публикации и имело смысл. Так, например, определенно заслуживают внимания камеры Kyosera (КМОП-формата 1/7, а также CCD) и Neuricam, с динамическим диапазоном до 120 дБ (NC1503, NC1802, NC5200), и предложения от других производителей. Число таковых для автомобильного сектора в ближайшие несколько лет увеличится. Например, в одном из прогнозов Strategy Analytics автомобильные видеодатчики определяются как наиболее «горячий» продукт 2010 года из числа тех, на которые ожидается значительный спрос.
Автор надеется, что выполненный в статье анализ основных тенденций внутри рынка автомобильных видеокамер поможет специалистам автомобильного профиля сориентироваться в море предложений видеоматриц различных производителей с целью поиска оптимального решения конкретной автомобильной задачи либо какой-то иной. ■
Литература
7. Ready for the Road. 2005 Micron Automotive Guide. CMOS Image Sensor and Memory Products. Micron Technology, Inc., 2005. ht tp://download.micron.c om/ pdf/guide/2005_automotive_guide.pdf
8. MT9V125. 1/4-Inch VGA CMOS Active-Pixel Digital Image Sensor Simple Designs with an All-in-One Imager for Automotive Applications. Micron Technology, Inc., 2005. ht tp://download.micron.c om/ pdf/flyers/MT9V125_Flyer.pdf
9. 1/4-Inch SOC VGA CMOS Active-Pixel Digital Image Sensor MT9V111I29ST. Preliminary Data Sheet, Micron Technology, Inc., 2005. MT9V111_1.fm — Rev. G 1/05 EN. ht tp:/ /download.micron.c om/ pdf/datasheets/imaging/MT9V111.pdf
10. MT9V022I77ATM (mono), MT9V022I77ATC (color). 1/3-Inch, Wide-VGA CMOS Digital Image Sensor. MT9V022_Product_Brief — Rev. A 1/06 EN. ht tp:/ /download.micron.c om/pdf/product_brief/ mt9v022_product_brief.pdf
11. Meynants G., Dierickx B., Scheffer D. и Vlummens J.
A wide dynamic range CMOS stereo camera. Imec, Paper for the «Advanced Microsystems for Automotive Applications» conference. Berlin-Hilton 26-27 March, 1998. ht tp:/ /download.cypress.c om/ publishedcontent/publish/design_resources/ technical_articles/contents/a_wide_dynamic_rang e_cmos_stereo_camera_12.pdf
12. Powered by Autobrite.
ht tp:/ /download.cypress.c om/publishedcontent/ publish/design_resources/more_resources/ contents/autobrite_tm__product_brief_14.pdf
13. AMIS-70700 CMOS Area Image Sensor. ht tp:/ /w ww .amis.c om/products/ image_sensors/cmos/amis_70700.html
14. AMIS-70700 CMOS Image Sensor. Feature Sheet. AMI Semiconductor, 2005.
ht tp: //ww w.amis.c om/pdf/AMIS_70700_FS.pdf
15. Stöhr H., Softley Ch. CMOS Chip Technology for Automotive Imagers. Photonfocus AG. Dec 2004. ht tp: //ww w.photonfocus.c om/upload/ application_reports/Appl_CMOS_Chip_ Technology_Automotive_e_n1.pdf
16. Schwider P. M. How much intelligence doed a camera need? Photonfocus AG. May 2005.
ht tp:/ /ww w.photonfocus.c om/upload/ application_reports/
appl_how_much_intelligence_e_May05.pdf
17. ht tp:/ /ww w.melexis.c om/ProdMain.aspx?nID=76
18. Automotive CMOS Image Sensors. Maddalena S., Darmont A., Diels R.
ht tp:/ /w ww.melexis.c om/Asset.aspx?nID=3962, ht tp:/ /w ww.melexis.c om/prodfiles/ 0003962_AMAA2005_Camera.pdf
19. Darmont A. CMOS Imaging: From Consumer to Automotive. MSTnews 6/04. Dec 2004.
ht tp:/ /ww w.melexis.c om/Asset.aspx?nID=3939, ht tp:/ /w ww.melexis.c om/prodfiles/ 0003939_MST_news.pdf
