CC BY
405Машинное зрение
от SICK/IVP
В статье рассказывается о концепциях и технологиях машинного зрения Олег ЛЫСЕНКО от немецкой компании SICK AG. Шведское подразделение SICK/IVP
к. т. н. разрабатывает трехмерные видеокамеры, которые не имеют аналогов
[email protected] в мире и позволяют решить ряд задач, недоступных стандартным датчикам.
О компании SICK AG
Компания SICK AG специализируется в области промышленной автоматизации и выпускает широкий спектр датчиков и систем для самых различных отраслей производства. В настоящее время SICK AG объединяет несколько подразделений — SICK/Stegmann, SICK/Netzer, SICK/Maihak, SICK/IVP, которые ранее были широко известными независимыми компаниями.
Подразделение SICK/IVP специализируется на машинном зрении. Шведская компания IVP была образована еще в 1985 году. В ее состав вошли сотрудники университета из небольшого шведского городка, занимающиеся проблемами трехмерного сканирования. В 1987 году их научные разработки были реализованы в виде первого коммерческого CMOS-датчика, а затем на базе этого сенсорного элемента в 1996 году был создан и первый коммерческий продукт макро-уровня — камера Ranger, ставшая революционным для того времени техническим решением в области трехмерного сканирования. Эта и последующие проекты компании IVP обеспечили ей прочные позиции в числе признанных лидеров в области разработки и производства трехмерных видеокамер.
Сотрудничество с немецкой компанией SICK AG началось в 1999 году. В 2003 году IVP вошла в состав компании SICK, что дало небольшой шведской компании новые рынки сбыта, маркетинговые и технические возможности — реализовывать новые технологии, получать и использовать новые технические и экономические ресурсы.
В настоящее время в мире наблюдается огромные интерес к системам машинного зрения, продвижением которых на мировой рынок занимается подразделение SICK/IVP. Основным преимуществом данных систем является то, что они позволяют решить ряд рутинных задач и автоматизировать ручной труд.
О машинном зрении
Системы машинного зрения широко используются в промышленности как для автоматизации процессов, повышения производительности, так и для повышения качества выпускаемых изделий.
Работа системы технического зрения включает три основные операции:
1) получение (захват) изображения,
2) обработка и анализ изображения,
3) передача результатов обработки в систему управления технологическим процессом.
Задачи, решаемые машинным зрением
Машинное зрение позволяет решать множество задач, но все их условно можно разделить на четыре группы (рис. 1):
• Распознавание положения. Цель машинного зрения в данном применении — определение пространственного местоположения (местоположения объекта относительно внешней системы координат) или статического положения объекта (в каком положении находится объект относительно системы координат с началом отсчета в пределах самого объекта) и передача информации о положении и ориентации объекта в систему управления или контроллер. Примером такого приложения может служить погрузочно-разгрузочный робот, перед которым стоит задача перемещения объектов различной формы из бункера. Интеллектуальная задача машинного зрения заключается, например, в определении оптимальной базовой системы координат и ее центра для локализации центра тяжести детали. Полученная информация позволяет роботу захватить деталь должным образом и переместить ее в надлежащее место.
• Измерение. В приложениях данного типа основная задача видеокамеры заключается в измерении различных физических параметров объекта. Примером физических параметров может служить линейный размер, диаметр, кривизна, площадь, высота и количество. Пример реализации данной задачи — измерение различных диаметров горлышка стеклянной бутылки.
• Инспекция. В приложениях, связанных с инспекцией, цель машинного зрения — подтвердить определенные свойства, например, наличие или отсутствие этикетки на бутылке, болтов для проведения операции сборки, шоколадных конфет в коробке или наличие различных дефектов. На рис. 1 видеокамера проверяет тормозные колодки на наличие дефектов.
• Идентификация. В задачах идентификации основное назначение видеокамеры — считывание различных кодов (штрих-кодов,
2Б-кодов и т. п.) с целью их распознавания средствами камеры или системным контроллером, а также определение различных буквенно-цифровых обозначений. Одним из примеров такого приложения может служить считывание кода даты для отбраковки просроченных продуктов в пищевой промышленности.
Типы датчиков и систем, реализующих концепции машинного зрения
Камеры, используемые для промышленных систем технического зрения, включают видеодатчики, смарт-камеры и камеры на базе компьютера. Понятно, что такие камеры предполагают преимущественно цифровое исполнение, то есть применение цифровой обработки изображения независимо от типа выхода и получение первичного сигнала также в цифровой форме. Единицей (наименьшим элементом) цифрового изображения является пиксель (общее количество пикселей, суммированное по двум осям, определяет разрешение камеры).
В зависимости от способов пространственной визуализации изображения, которое получает и визуализирует камера, выделяются три основных типа датчиков:
1. Ю или однострочная камера — линейный массив. В данном случае видеокамера в течение выбранного промежутка времени захватывает одномерное проекционное изображение. Полученные данные — об одной или нескольких линиях — могут быть использованы в дальнейшем для получения двумерного или трехмерного изображения.
2. 2D-камера обеспечивает двумерное проекционное изображение (кадр). При этом описание кадра основано на контрасте и яркости отдельных участков изображения. Кадр, в зависимости от используемой камеры, может быть монохромным (представленным в градациях яркости серой шкалы) или же цветным. Также существуют специальные камеры, которые выдают инфракрасное изображение.
3. 3D-камера выдает трехмерное изображение, или образ, в котором информация о двумерном изображении — профиле объекта — сочетается с данными о высоте профилей объекта — анализируемых камерой участков изображения, распределенных с некоторой частотой по всему объему объекта.
Концепция простейшей системы машинного зрения
Простейшая система машинного зрения состоит из видеокамеры, линз, подсветки и объекта (рис. 2).
Матрица чувствительных элементов, входящих в состав видеокамеры, предназначена
Рис. 4. Поле зрения двумерной камеры
для получения цифрового изображения. В состав матрицы чувствительного элемента входит множество аналого-цифровых преобразователей, предназначенных для преобразования информации о световой интенсивности в цифровое значение.
В ассортименте продукции компании выделяется особый класс трехмерных камер, которые позволяют получать трехмерное изображение объекта. Уникальный чувствительный элемент в составе камер, конструкция которого показана на рис. 3, позволяет добиться скорости получения информации до 35 000 профилей в секунду.
Объектив позволяет камере фокусироваться на определенном расстоянии и получать четкое изображение объекта. В случае, когда объект находится вне фокусного расстояния (или расстояния между объективом и точкой фокусировки), изображение получается нерезким (размытым, с нечеткими краями), что
ухудшает возможность обработки видеоряда. Важной характеристикой объектива является его поле зрения FOV (Field of view) — это площадь поверхности, которую видит камера с фокусного расстояния (рис. 4).
В отличие от обычных цифровых фотоаппаратов с объективами, поддерживающими функции автофокусировки, в машинном зрении применяется оптика с фиксированным фокусным расстоянием или ручной настройкой фокуса. Существуют различные типы объективов (рис. 5) для самых разных задач (стандартные, телескопические, с широким углом обзора, с увеличением и другие), и выбор правильного типа оптики — важный этап при проектировании системы машинного зрения.
Подсветка — еще один важный элемент в машинном зрении. Благодаря использованию различных типов освещения можно расширить круг задач, решаемых машинным
Рис. 5. Различные виды линз
зрением. Существуют различные типы подсветок, но наиболее популярной является светодиодная — в связи с ее высокой яркостью. При этом современный уровень развития светодиодной техники обеспечивает большой срок службы устройства и малое энергопотребление.
Наиболее популярными вариантами подсветки являются:
• кольцевая;
• точечная;
• задняя лампа подсветки;
• инфракрасная;
• коаксиальная.
Кроме этого, при создании подсветки необходимо учитывать цвет светодиодов, а также возможность использования различных оптических фильтров.
Трехмерная триангуляция
Во всех камерах, выпускаемых компанией SICK/IVP, используется принцип трехмерной лазерной триангуляции. Это технология получения трехмерного изображения путем подсветки объекта лазером с одной стороны и получения камерой изображения профиля, формируемого этим лазером (рис. 6). Множество таких профилей формируют трехмерное изображение объекта. При этом требуется обязательное движение объекта относительно камеры и лазерного луча.
Важным параметром для трехмерного сканирования является поле зрения FOV (рис. 7).
Продукция компании SICK AG
1. Специальные видеодатчики — это устройства машинного зрения, сконфигурированные для выполнения специфических задач, которые, в отличие от стандартных систем машинного зрения, не требуют использования дополнительного специализированного программного обеспечения.
Компания SICK/IVP выпускает четыре серии видеодатчиков: CVS1 Easy, CVS2, CVS3, CVS4. Каждая из этих серий предназначена для выполнения одной определенной задачи. Большим преимуществом данных приборов является конструкция «все в одном»: датчик
имеет встроенные белую подсветку с возможностью подключения дополнительной подсветки, цветной ЖК-монитор и управляющую клавиатуру (рис. 8). Рассмотрим эти датчики и области их использования более подробно.
Датчик цвета CVS1 Easy. Принцип действия данного прибора основан на анализе изображения по минимальной сумме пикселей предварительно выбранного цвета.
Технические характеристики данного видеодатчика:
• встроенная светодиодная подсветка (белая);
• рабочая дистанция до 270 мм;
• цветной ЖК-дисплей;
• большая область сканирования (поле зрения);
• высокая степень защиты IP67 (полная защита от пыли, возможность работы датчика даже при полном погружении в воду);
• стойкость к ударам 15 g;
• время отклика: 0,6-22 мс;
• напряжение питания 12-24 В;
• управляющая клавиатура: 5 клавиш для быстрой настройки;
• 12 банков памяти для хранения различных цветов;
• возможность подключения внешнего триггера (фотоэлектрического датчика и т. п.), удаленного внешнего обучения;
Рис. 9. Пример использования CVS2
• выход PNP/NPN;
• 7 исходных настроек датчика для типовых приложений;
• различные режимы обучения (одно-и двухточечное обучение, обучение верхнему и нижнему пределам).
Среди типичных областей использования CVS1 Easy следует отметить контроль наличия этикетки или надписи, контроль наличия объектов, определение присутствия крышки на бутылке, контроль уровня жидкости, определение наличия дата-кода при одноцветном фоне. Существуют и многие другие потенциальные применения.
Датчик цвета CVS2. Этот видеодатчик, являющийся дальнейшим развитием CVS1 Easy, предоставляет возможность обнаружения двухцветных объектов и имеет цифровой выход. Технические характеристики данного датчика цвета такие же, как у CVS1, за исключением следующих моментов:
• время отклика: 5-26,6 мс;
• цветовая сортировка трехцветных объектов при использовании 2 цифровых выходов;
• последовательный интерфейс RS-232;
• обнаружение одно- или двухцветного объекта.
Кроме перечисленных приложений для CVS1, благодаря наличию последовательного интерфейса устройство CVS2 позволяет организовать сортировку объектов по 15 различным цветам (рис. 9).
Датчик контура CVS3. Данный датчик предназначен для обнаружения контуров — формы, размера и полярных координат.
Некоторые технические характеристики данного прибора:
• при получении неполного изображения контура датчик может «достроить» его путем сравнения с образцами в банке памяти;
• хранение в памяти 15 уникальных образцов контуров;
• возможность расчета центра масс, границ и ряда других параметров.
Области использования: обнаружение незакрытых крышек на бутылках, контроль
качества деталей после механической обработки, контроль этикеток.
Датчик распознавания символов CVS4. Датчик предназначен для распознавания букв, цифр и других символов. Его основное назначение заключается в надежном определении наличия и распознавания дата-кода (включающем информацию о дате изготовления, сроке годности и другой служебной информации) на упаковках. СУ84 — это первый датчик на рынке с реальным распознаванием символов, который обеспечивает 100%-ную идентификацию дата-кода на объектах, в отличие от аналогичных приборов, в которых используется принцип подсчета пикселей определенного цвета, из которых состоит дата-код.
Технические характеристики датчика СУ84 аналогичны предыдущим, за исключением следующих:
• распознавание одновременно до 4 различных типов форматов дата-кода (12 заранее запрограммированных наиболее популярных форматов даты и времени и 1 свободно программируемый формат);
• хранение в памяти 16 уникальных дата-кодов;
• возможность программирования пользователем уникальных символов.
Основные области использования — считывание дата-кодов в пищевой, упаковочной и других отраслях промышленности.
2. Смарт-камеры. Принцип работы смарт-камер наглядно показан на рис. 10. Для программирования данных устройств используется компьютер. После программирования смарт-система машинного зрения, благодаря наличию в ней вычислительных мощностей, работает автономно или в составе промышленной сети.
В ассортименте компании имеется двумерная 1УС-2Б и трехмерная 1УС-3Б смарт-ка-меры. Они позволяют решать намного более широкий круг задач, чем обычные видеодатчики.
1УС-2Э (рис. 11) используется как автономное устройство, предназначенное для решения двумерных задач. Для этого камера содержит встроенный процессор. Следует отметить, что для камеры, в зависимости от применения, необходимо подбирать достаточно широкий набор принадлежностей (подсветка, линзы, кабели и т. д.). 1УС-2Б имеет следующие характеристики:
• возможность подключения к промышленной сети ЕЛегпе^
• интерфейс для прямого подключения фотоэлектрического датчика (триггер);
• встроенное управление подсветкой;
• промышленное исполнение с высокой степенью защиты;
• большой набор инструментов для работы с изображением;
• наличие версии камеры с возможностью считывания штрих-кодов и 2Б-кодов;
• широкий спектр дополнительно поставляемых принадлежностей, объективов и подсветок.
Данная камера используется в упаковочной промышленности (наличие и контроль положения этикетки на бутылках, контроль уровня жидкости, идентификация буквенноцифровой информации), пищевой (контроль формы продуктов, контроль бутылок), фармацевтической (контроль заполнения, контроль наличия примесей) и автомобильной отраслях (контроль сварочных швов, проверка размеров различных автомобильных компонентов), робототехнике (погрузочно-разгрузочные операции, задачи распознавания положения детали в ящике по сравнению с такими же деталями, правильное позиционирование детали при ее захвате) и логистике.
Трехмерная камера ІУС-ЗБ (рис. 12) тоже представляет собой автономное устройство. Камера состоит из встроенного лазера, объектива и подсветки. Технические характеристики ІУС-ЗБ:
• анализ на основе трехмерной визуализации изображения;
• высокоскоростная ЗБ-обработка (5000 профилей в секунду);
• возможность подключения к промышленной сети;
• интерфейс для прямого подключения фотоэлектрического датчика (триггер);
• интерфейс для подключения промышленного энкодера (согласование скорости движения конвейера с обработкой изображения);
• нечувствительность к внешним источникам света;
• высокая точность (до 0,04 мм);
• промышленное исполнение с высокой степенью защиты;
• большой набор инструментов для работы с изображением,
Данные камеры также используются в упаковочной (контроль уровня заполнения и профиля поверхности), пищевой (инспекция и подсчет количества конфет в коробках, контроль формы кондитерских и булочных изделий), автомобильной (контроль тормозных дисков) отраслях и робототехнике (трехмерное позиционирование детали при ее захвате, получение трехмерных изображений деталей в ящике),
И IVC-2D, и IVC-3D используют одно и тоже программное обеспечение IVC Studio, которое позволяет разработчику гибко настраивать камеры под конкретные применения, используя для обработки изо-
бражений более 100 различных инструментов.
3. Высокоскоростные 3D-камеры на базе компьютера — следующая группа приборов для самых сложных приложений. Данные приборы не имеют собственных вычислительных ресурсов и требуют постоянного соединения с компьютером или контроллером (рис. 13). Камеры Ranger и Ruler E требуют серьезного программирования под определенные задачи, обычно выполняемого на языке высокого уровня.
Ruler E (рис. 14) — это высокоскоростная камера, способная обрабатывать до 10 000 профилей в секунду и посылать информацию по сетевому интерфейсу Gigabit Ethernet в компьютер (рис. 15). Данный прибор отличается высокой степенью защиты IP65, что допускает его работу в самых сложных условиях.
Технические характеристики камеры Ruler:
• камера и лазер располагаются в одном корпусе;
• имеется возможность подогрева датчика для работы при температурах порядка 40°;
• нет необходимости в калибровке трехмерных данных благодаря заводской настройке (окно объектива, размещаемое на любой высоте и с любым наклоном камеры, направлено на плоскость лазера);
• кроме функции трехмерного сканирования, имеется возможность получения информации о яркости изображения и степени рассеивания излучения лазера в материале объекта;
• чувствительный элемент — CMOS-чип с разрешением 512x1536 точек;
• сетевой интерфейс Gigabit Ethernet;
• среда разработки: Microsoft Visual Studio 7 и .NET (C++, VB, .NET Assembly). 30-камеры на базе компьютера используются, например, в деревообрабатывающей отрасли (для измерения объема бревен, контроля геометрических размеров, контроля качества поверхности), упаковочной и пищевой промышленности (для выполнения операций разделения мяса и рыбы на куски определенного размера, контроля качества фруктов и пирожных), робототехнике (захват деталей из бункера, укладка грузов на поддоны) и в обрабатывающей промышленности (для анализа размеров деталей, измерения объема сыпучего материала).
Наиболее передовой видеокамерой является Ranger (рис. 16) — самая быстрая камера на рынке со скоростью обработки данных до 35 000 профилей в секунду. В отличие от остальных камер, данная система машинного зрения формируется из отдельных компонентов (камера, подсветка, объектив, лазер, плата обработки). Все это позволяет решать самые сложные задачи, недоступные другим
Рис. 15. Состав системы машинного зрения на базе Ruler E
Рис. 16. 3D-камера Ranger
приборам, В отличие от IVC-3D и Ruler E, данная камера позволяет одновременно выполнять сразу три функции и получать информацию о трехмерном профиле объекта, яркости его поверхности и степени рассеивания лазера в материале объекта (возможность обнаружения таких дефектов, как сучки и т, п,), используя одну камеру и несколько лазеров (рис, 17), Данное свойство называется мультисканированием,
Технические характеристики камеры Ranger:
• скорость обработки — до 35 000 профилей в секунду;
• возможность получения информации о трех разных свойствах объекта;
• поддержка наиболее популярных видео-интерфейсов CameraLink и Gigabit Ethernet;
• возможность конфигурирования пользователем посредством программного обеспечения;
• свободный выбор различных подсветок и оптики;
• полноценный анализ формы объекта;
• возможность решения сложных задач благодаря большим возможностям камеры и использованию мощных компьютеров;
• возможность получения и обработки информации компьютером от нескольких камер Ranger;
• лучшее соотношение цены и технических характеристик,
Таким образом, камера Ranger — это гибкое решение для широкого круга задач, Она предназначена для решения тех же задач, что и Ruler E, но незаменима в случаях, когда необходимо повышенное быстродействие и большее поле зрения,
На рис, 18 представлен ряд примеров использования продуктов SICK/IVP, ■
