CC BY
640
ІНФОРМАЦІЙНІ І ТЕЛЕКОМУНІКАЦІЙНІ ТЕХНОЛОГІЇ
УДК 004.93'1 Е.И. ДЯТЛОВ*
МАШИННОЕ ЗРЕНИЕ (АНАЛИТИЧЕСКИЙ ОБЗОР)
Институт проблем математических машин и систем НАН Украины, Киев, Украина
Анотація. Стаття присвячена технологіям машинного зору. У ній докладно описується призначення даних систем, представлені основні терміни та поняття, необхідні для базового розуміння технологічних процесів побудови рішень. Дана стаття виділяє основні напрями досліджень, пов ’язаних зі створенням автоматизованих систем машинного зору, описує типове обладнання, що використовується у більшості рішень. Особливий акцент зроблено на компонентах систем та на їх ролі у побудові рішень.
Ключові слова: машинний зір, автоматизація, камери, швидкісне знімання, відеоспостереження.
Аннотация. Статья посвящена технологиям машинного зрения. В ней подробно описывается назначение данных систем, представлены основные термины и понятия, необходимые для базового понимания технологических процессов построения решений. Данная статья выделяет основные направления исследований, связанных с созданием автоматизированных систем машинного зрения, описывает типичное оборудование, применяемое в большинстве решений. Особый акцент делается на компонентах систем и их роли в построении решений.
Ключевые слова: машинное зрение, автоматизация, камеры, скоростная съемка, видеонаблюдение.
Abstract. The article is devoted to computer vision technology. The purpose of these systems is described in details, the basic terms and concepts needed for a basic understanding of the process of constructing solutions are represented. This article highlights the main areas of research related to the creation of automated machine vision systems, describes the typical equipment used in the majority of decisions. It is emphasized on the components of systems and their role in solutions building.
Keywords: machine vision, automation, cameras, hi-speed recording, surveillance.
1. Вводная информация
Машинное зрение (также известно как техническое зрение) сегодня стало неотъемлемой частью жизнедеятельности человека. Системы автоматического распознавания автомобильных номеров уже давно охраняют выезды из городов, а системы выявления брака продукции надежно закрепили свои позиции в промышленном секторе. Если мы говорим о зрении, тем более об искусственном, то первый акцент необходимо сделать на том, что главную роль в системах машинного зрения играют видеокамеры.
Какие функции выполняет машинное зрение сегодня и какие цели преследует? Ответив на данный вопрос, каждый для себя сможет оценить масштаб ценности данных технологий. Итак, основные цели [1]:
• автоматизировать любой процесс обработки визуальной информации будь-то распознавание автомобильных номеров или контроль параметров изделия на производстве. Это необходимо контролировать автоматически в режиме 24/7;
• исключить человеческий фактор. Машины неутомимо могут выполнять любую операцию, пока не выйдут из строя. Человек же требует перерывов на сон, еду, отдых; к тому же эффективность человеческого труда имеет свойство с течением времени снижать-
• повысить скорость обработки информации. Камерам машинного зрения под силу обрабатывать информацию с запредельной для человеческого глаза скоростью. Если воз-
© Дятлов Е.И., 2013
ISSN 1028-9763. Математичні машини і системи, 2013, № 2
можности человека ограничены скоростью в 24 к/с, то камеры машинного зрения могут похвастаться скоростью снимков в 20 000 к/с. В реальной жизни такие скорости не роскошь, а требование: конвейерные линии выпускают продукцию со скоростью до 100 000 изделий в час.
Исходя из перечисленных пунктов, можно оценить, каким подспорьем является машинное зрение в автоматизированных системах.
2. Направления машинного зрения
Классифицируя задачи машинного зрения, можно выделить следующие направления:
• машинное зрение, работающее с видеопотоком (серией снимков);
• машинное зрение, работающее с одним снимком.
Рассмотрим системы, работающие с видеопотоком. Данные системы применяются как в охранном, так и в промышленном секторе. Основная их особенность заключается в том, что серия кадров (визуальной информации) рассматривается как единое целое, что, в свою очередь, позволяет делать выводы об объектах в трех измерениях: физическом, пространственном, временном.
Исследуя различные решения в области технического зрения, можно упомянуть следующие системы:
1. Программно-аппаратный комплекс AxxonNext [2]. Данное программное обеспечение применяется в сфере охранного видеонаблюдения и позволяет отслеживать перемещение объектов в пространстве и времени. Видеоаналитика фиксирует в базе данных информацию об объекте: его относительные размеры, скорость и траекторию движения, а также дату и время события. Данный функционал позволяет оператору работать с системой максимально эффективно (и в считанные минуты найти нужную информацию, например, автомобили, которые ехали на сервер со скоростью более 60 км/час).
2. Подсчет людей в магазинах и транспорте. Данная видеоаналитика выделяет в потоке кадров объекты (входящие и выходящие люди) и ведет подсчет потоков людей. Это очень мощное средство позволяет формировать информативные отчеты, крайне полезные для маркетологов. На основе этих данных можно делать выводы о рентабельности автобусных рейсов и вносить необходимые поправки в расписание движения или маршрут. В Украине реализуется подобная система - DL-Bus [3]. Данные от системы подсчета передаются по каналам GPRS, и руководство автопарка в режиме реального времени получает информацию о пассажиропотоках.
Системы, которые занимаются анализом отдельных кадров, не принимают во внимание предыдущие или будущие снимки (они могут быть учтены, но для дополнительного контроля в сложных системах). Ключевое их отличие состоит в том, что во внимание не берется траектория движения объекта, поскольку сам объект исследования не должен перемещаться в пространстве так и относительно площади исследования. Классический пример такой системы - отбраковка продукции на конвейерной линии. Каждый объект исследования устанавливается механизмом в определенную позицию, где и делается его снимок. Задача машинного зрения в таких системах - найти заранее установленные отличия данного образца от эталона либо, например, считать и проверить на корректность дату выпуска продукции.
3. Компоненты машинного зрения
Ранее выяснили, зачем необходимы системы машинного зрения и обратили внимание на то, что в процессе автоматизации принятия решений появляется важный аспект - программное обеспечение. Именно программное обеспечение занимается анализом информации и принимает решение (или принимает участие в качестве системы поддержки приня-
тия решения). Но достаточно ли камеры машинного зрения и программного обеспечения для полнофункциональной работы? Дело в том, что камеры машинного зрения (и камеры видеонаблюдения в том числе) очень тесно связаны с законами оптики, а это означает, что у нас появляются дополнительные возможности, связанные с освещением, преломлением лучей, работой оптических систем и т.д.
Минимальный набор компонентов любой системы машинного зрения: видеокамера (соответствующая конкретной задаче), освещение, программное обеспечение. В зависимости от задачи подобная система может комплектоваться отбраковщиком (на производственной линии) либо другой автоматикой (шлагбаумом на КПП для автоматического проезда транспорта).
4. Камеры машинного зрения
Камеры машинного зрения делятся на несколько групп [4]:
1. Тепловизоры (камеры, чувствительные к ИК-спектру) используются как в охранных системах, так и на производстве для контроля температурных параметров.
2. Камеры специального назначения (группа камер с отличительными особенностями: например, высокая скорость съемки).
3. Камеры машинного зрения (камеры, передающие несжатое видео без потерь в качестве).
4. Камеры охранного видеонаблюдения (камеры, кодирующие видео при передаче по сети).
Большую часть внимания уделяется камерам машинного зрения и камерам специального назначения. Камеры машинного зрения, в свою очередь, делятся на два класса по типу сенсора:
• камеры линейного сканирования [5];
• камеры сканирования области [6].
Ключевое отличие данных двух классов камер в том, что у них различный принцип считывания информации. Камеры линейного сканирования (рис. 1) содержат линейный сенсор, который состоит из полоски светочувствительных резисторов. При этом ширина полоски колеблется от 1024 до 4096 логических пикселей, а её ширина может быть 1-4 пикселя. Уникальность таких сенсоров в том, что скорость считывания данных полосок может достигать 80 000 снимков в секунду. Данные камеры не заменимы на конвейерных линиях, где объект исследования не имеет фиксированной длины (пример: продукция в рулонах). Как же проводится анализ изображения из отдельных полосок? Следует отметить, что особенность камеры заключается в том, что она сканирует серию линий и передает их цельным изображением в программное обеспечение.
Камеры сканирования области (рис. 2) имеют более простое устройство, знакомое многим, кто занимается профессиональной фотографией. Сенсор такой камеры, как правило, с соотношением сторон 4:3, поэтому изображение получается заведомо прямоугольное.
Рис. 1. Камера линейного сканирования
Рис. 2. Камера сканирования области Ва8ІегЛсе
5. Подсветка машинного зрения
Компонент, без которого практически не обходится ни одна система машинного зрения, -это специализированная подсветка. Необходимость её применения обоснована многими факторами, такими как:
• слабый уровень общего освещения на предприятии;
• низкая частота мерцания общего освещения (50 Гц);
• невозможность корректировки угла падения лучей;
• невозможность управлять интенсивностью освещенности;
• общая освещенность может меняться на протяжении дня.
Даже этих пунктов достаточно для того, чтобы отбросить идею использовать общее освещение. Рассмотрим детальнее, какое негативное влияние оказывает внешнее освещение на работу камеры машинного зрения.
• Импульсный режим работы люминесцентных светильников. Частота мерцания таких ламп составляет 50 Гц. При работе камеры со скоростью в 20-100 к/с мы увидим, что часть снимков у нас более светлая, а часть - более темная. Для человеческого глаза это не так заметно, поскольку человеческий глаз имеет инертные свойства и не воспринимает более 25 к/с. Камера машинного зрения лишена таких недостатков и видит ровно то, что есть на самом деле. Позже мы также ознакомимся с понятиями экспозиции и светочувствительности. Это даст более полное понимание картины.
• При формировании изображения на сенсоре камеры большое значение имеет угол падения световых лучей. Этому уделяется много внимания во время лабораторных работ. Используя общее освещение люминесцентных ламп, невозможно регулировать угол падения световых лучей, что лишает нас гибкости и дополнительных возможностей при построении изображения.
При использовании общего освещения невозможно регулировать его поток. Ухудшает ситуацию еще и помещение с окнами. Солнечный свет также влияет на итоговое количество светового потока, который принимает матрица. Ситуация аналогична мерцанию люминесцентной лампы, лишь за тем исключением, что частота мерцания значительно ниже. Снимки, полученные в обед, будут ярче в 3-5 раз, чем снимки, полученные в ночное время.
Таким образом, мы пришли к выводу, что подсветка машинного зрения - это не роскошь, а крайняя необходимость практически любой системы. Исключением являются, пожалуй, тепловизоры. Их сенсоры настолько гибкие и универсальные в работе, а рабочий диапазон настолько широк, что они работают в любых условиях.
Можно классифицировать промышленное освещение по следующим характеристикам:
• спектр света, излучаемый подсветкой;
• угол направленности светового потока и конструктивные особенности устройства подсветки.
В современном производстве применяют два типа источников освещения: лазер и светодиод. Светодиод, по сравнению с лазером, более дешевый и более гибкий в использовании, так как позволяет построить практически любую конструкцию самой подсветки, установив в нее необходимое количество светодиодов. Лазер излучает когерентный, мощный поток света, что позволяет, применив различные фильтры-насадки, получить «фигурное» освещение.
Рассмотрим детальнее основные виды светодиодных подсветок по конструктивным особенностям. На рассмотрение предлагается оборудование от ведущих поставщиков компонентов машинного зрения Ьа1аЬ [7].
Рис. 3. Принцип использования подсветки Ьа1аЬ“Васк^ЬҐ’
Рис. 4. Использование двух подсветок Ьа1аЬ“Ьте^Ь1;”
Рис. 5. Принцип использования подсветки Ьа1аЬ“Ш^^Ь1;”
“БаекЫ§к1;” - прямоугольная подсветка (рис. 3) со светодиодами по всей поверхности. Применяется в задачах, когда объект исследования пытаются просветить насквозь.
“ЫпеЫ§Ь1” - подсветка для камер машинного зрения с сенсором линейного сканирования (рис. 4). Применяется для местного освещения по всей ширине поверхности изучаемого объекта.
“К1п§Ы§Ь1” - кольцевая подсветка. Применяется в задачах, где нужно осветить объект под углом 90 градусов к поверхности исследуемого объекта (рис. 5). Удобство применения в том, что она имеет отверстие под объектив камеры. Подача же освещения под углом, отличным от 90, будет давать разную степень освещенности объекта в разных зонах.
“ВагкБ1е1ёЫ§к1” - подсветка, применяемая в задачах детализации рельефных текстур. Активную роль в эффективности данной подсветки играет преломление светового потока [8] на рельефной структуре изучаемого объекта (рис. 6).
“Б1Г:ТшеЬ1§к1;” - подсветка, угол расположения светодиодов которой позволяет исключить наличие теней на объемных объектах исследования (рис. 7). Этот эффект достигается тем, что светодиоды и сам конструктив подсветки выполнены таким образом, что световой поток поступает буквально со всех сторон.
Характеризуя спектр светодиодного освещения, нужно акцентировать внимание на том, как мы видим цвет изучаемого объекта. Цвет изучаемого объекта равен спектру света, который отражает поверхность объекта. Так, например, изучая красный объект, эффективнее применить
(купольная подсветка) ЬаІаЬ
подсветку именно красного спектра, а не зеленого. Во втором случае объект исследования будет выглядеть гораздо более тускло.
Ограничений в выборе спектра светодиодной подсветки практически нет. На выбор предоставлены все основные цвета радуги, а также УФ и ИК-спектры. Выбор спектра подсветки должен сопровождаться лабораторными испытаниями и приобретенным ранее опытом.
Лазерная подсветка интересна не столько мощностью самого лазера, сколько возможностью применять различные насадки, которые позволяют построить следующее изображение на поверхности исследуемого объекта:
• радиальные круги с постоянным шагом радиуса;
• координатную сетку с постоянным шагом (рис. 8);
• лазерное освещение, описывающее геометрические фигуры (рис. 9).
Рис. 8. Возможности различных насадок-фильтров для систем лазерной подсветки
Рис. 9. Применение лазерной сетки для изучения параметров объекта
При помощи такого уникального изображения на поверхности исследуемого объекта можно решать целые классы задач. Например, определять наличие всех объектов исследования в коробке (когда пересечение линий координатной сетки попадает на каждый исследуемый объект). Координатная сетка также будет не заменима в задачах управления роботизированными руками для пересчета условных координат камеры машинного зрения в реальный масштаб.
Режимы работы подсветки машинного зрения могут быть двух типов:
• постоянный режим работы (статическое освещение);
• импульсный режим работы (мерцание с заданной частотой).
Импульсный режим работы интересен тем, что светодиод работает короткий промежуток времени, а это экономит его ресурс. С другой стороны, в этот короткий импульс ему подается повышенное напряжение, что позволяет получить более яркий световой поток. Постоянный режим работы применяется там, где нет возможности синхронизировать камеру и подсветку машинного зрения (камера работает в режиме свободного пуска), либо варьируется время экспозиции.
Подводя итог, стоит добавить, что подсветка машинного зрения позволяет по-новому взглянуть на объект исследования и увидеть в нем то, что недоступно человеческому глазу.
6. Световые фильтры
Световые фильтры давно стали незаменимыми помощниками профессиональных фотографов и инженеров систем машинного зрения.
Самые популярные среди фотографов - это поляризационные фильтры (рис. 10). Гораздо реже используются фильтры видимого спектра света. Вернемся к описанию принципа работы световых фильтров. Исходя из названия, можно сделать вывод, что это приспособления, которые отсекают часть светового потока. Так же, как и в подсветках машинного зрения, световые фильтры отличаются спектром света, который они пропускают сквозь поверхность фильтра. Как правило, световые фильтры подбираются под тип подсветки. Например, если применяется подсветка со спектром волны 850 пт, то световой фильтр должен пропускать спектр 850 пт, иначе это сведет на нет работу подсветки. В то же время, отсекая остальной спектр света, мы отсекаем такие негативные факторы, как солнечное освещение (существенно снижаем его влияние на изображение), общее освещение помещения (люминесцентные лампы), а также любое другое паразитное освещение. Таким образом, повышается эффективность применения подсветки.
7. Объективы и линзы
Объектив - оптическое устройство, предназначенное для создания объективного изображения. Данное устройство, преломляя лучи света, проходящего через объектив, формирует
на поверхности сенсора камеры изображение объекта исследования (рис. 11).
В системах машинного зрения нас интересуют всего несколько видов объективов, так как основная цель объектива заключается в том, чтобы передать изображение сенсору камеры с минимальными искажениями и максимальной детализацией. Исходя из этих требований, стоимость таких объективов гораздо выше стоимости обычных объективов.
Основные характеристики объектива:
•Фокусное расстояние - физическая характеристика оптической системы. Для центрированной оптической системы, состоящей из сферических поверхностей, описывает способность собирать лучи в одну точку при условии, что эти лучи идут из бесконечности параллельным пучком параллельно оптической оси. Для системы линз, как и для простой линзы конечной толщины, фокусное расстояние зависит от радиусов кривизны поверхностей, показателей преломления стёкол и толщин. Определяется, как расстояние от передней главной точки до переднего фокуса (для переднего фокусного расстояния) и как расстояние от задней главной точки до заднего фокуса (для заднего фокусного расстояния). При этом под главными точками подразумеваются точки пересечения передней (задней) главной плоскости с оптической осью. Величина фокусного расстояния является основным параметром, которым характеризуют оптическую систему.
• Относительное отверстие объектива - отношение диаметра входного зрачка к его заднему фокусному расстоянию.
Таким образом, мы получили два параметра, которые отображают нам угол обзора сенсора камеры, а также относительное количество света, поступающего на сенсор. При подборе объектива важно задействовать еще и третий параметр - расстояние до объекта,
Рис. 11. Объектив машинного зрения Ри_)топНР9НА-1В
так как именно расстояние до объекта и фокусное расстояние объектива будут определять размеры объекта в кадре (а, соответственно, определять детализацию изображения).
По типу фокусного расстояния объективы делятся на два вида:
• монофокальные;
• вариофокальные.
Первые отличаются от вторых тем, что у них фокусная величина константна и не может быть изменена регулировками, а вариофокальные объективы могут менять фокусное расстояние в заданных производителем диапазонах.
В промышленной среде крайне желательно применять монофокальные объективы, так как вариофокальные объективы имеют свойство терять заданные настройки фокуса под воздействием вибрации конвейера. Тем не менее, вариофокальные объективы являются незаменимыми в охранных системах, системах распознавания автомобильных номеров и в лабораторных стендах, то есть там, где заранее неизвестно необходимое фокусное расстояние.
8. Взаимодействие компонентов
Для того, чтобы все компоненты системы работали согласованно, существуют несколько вариантов их сообщения. Самый простой из них - интеграция и взаимодействие на уровне управляющих сигналов или триггеров.
Данный способ управления применим во многих простых системах, где присутствуют следующие задачи:
• управление пуском камеры и синхронизация с конвейером;
• управление подсветкой машинного зрения и ее синхронизация с камерой;
• управление внешним исполнительным механизмом (отбраковщиком либо кнопкой «стоп»).
Более сложная система коммуникации устройств базируется на базе стека протоколов TCP/IP. При использовании промышленных протоколов верхнего уровня появляются возможности управлять одновременно целой серией устройств: камерами, программируемыми логическими контроллерами (ПЛК), мониторами операторов и другими компонентами системы.
9. Вывод
На сегодняшний день технологии машинного зрения аккумулируют большое количество теоретических знаний из области физики, математики и кибернетики, тем самым привлекая специалистов разных областей к исследованию данной темы. Задачи анализа визуальной информации продолжают набирать популярность и с каждым годом всё больше решений демонстрируется на международных выставках, таких как «Электроника и промышленная автоматизация» (Киев), «МИПС» (Москва), «Безпека» (Киев).
Решения, построенные на базе данных технологий, можно встретить на любом конвейерном производстве и в охранных системах. Это связано, прежде всего, с экономической выгодой, которая возникает в результате применения данных технологий. Особое внимание уделяется производственным задачам, поскольку серийное производство наиболее чувствительно к малейшим колебаниям цены и качества, а в нынешних рыночных условиях задача контроля качества - одна из самых приоритетных для любого производства.
Важно заметить, что технологии машинного зрения не заменяют технологии промышленной автоматизации, а гармонично дополняют их там, где не справляются любые другие датчики и системы. В отличие, например, от датчиков веса, где осуществляется измерение физических параметров объекта, в технологиях машинного зрения невозможно осуществить физический контакт с объектом. Это приводит к тому, что информация, по-
лученная визуальным путем, содержит относительный и несколько недостоверный характер. Поэтому использование различных интеллектуальных технологий извлечения, обработки и анализа полезных данных неизбежно в данных системах, что, в свою очередь, открывает большое поле деятельности для исследований.
СПИСОК ЛИТЕРАТУРЫ
1. Обработка и анализ цифровых изображений с примерами на LabVIEW IMAQ Vision / Визильтер Ю.В., Желтов С.Ю., Князь В.А. [и др.]. - М.: ДМК Пресс, 2007. - С. 14 - 16.
2. Программно-аппаратный комплекс AxxonNext [Электронный ресурс]. - Режим доступа: http: //www. axxonnext. com.
3. Программно-аппаратный комплекс подсчета пассажиров DL-Bus [Электронный ресурс]. - Режим доступа: http: //datalink .ua.
4. SICK/IVP. MachineVisionIntroduction. - 2006. - N 9. - 11 с.
5. Камеры линейного сканирования Basler [Электронный ресурс]. - Режим доступа:
http://www.baslerweb.com/L800-6662.html.
6. Камеры сканирования области Basler [Электронный ресурс]. - Режим досту-
па:http://www.baslerweb.com/A600-439В.html.
7. Светодиодное освещение для задач машинного зрения Latab [Электронный ресурс]. - Режим доступа: http: //www. latab .net.
8. Родионов С.А. Основы оптики. Конспект лекций / Родионов С.А. - Санкт-Петербург, 2000. -С.42 - 44.
Стаття надійшла до редакції 11.02.2013
