CC BY
84
Садыков C.C., Терехин А.В., Кравченко А. О.
Муромский институт (филиал) ФГБОУ ВПО «Владимирский государственный университет имени А.Г. и Н.Г. Столетовых»
ТЕХНОЛОГИЯ ФОРМИРОВАНИЯ ЭТАЛОНОВ ТРЕХМЕРНЫХ ОБЬЕКТОВ ДЛЯ ИХ РАСПОЗНАВАНИЯ
С середины прошлого века в различныхотраслях,при автоматизации производственных процессов, началось использование систем технического зрения(СТЗ). В основном, они имеют в своем составе один видео-датчик [1,2,3] .Недостатком таких систем является необходимость жесткой фиксации объекта в поле зрения датчика. Это условие накладывает существенные ограничения на классы распознаваемых объектов (они должны быть однотипными, иметь сходные размеры и т.д.). Поэтому возникает необходимость построения СТЗ с двумя и большим числом видеодатчиков, обладающими более широкими возможностями .
Характеристик подсистемы распознавания трехмерных объектов во многом зависят от правильно выбранного набора признаков для эталона. Поэтому задача формирования набора признаков распознаваемых объектов для эталона является актуальной.
Статья посвящена описанию технологии формирования многопараметрических эталонов распознаваемых трехмерных объектов в СТЗ с двумя видеодатчиками.
Общая схема формирования эталонов представлена на рисунке 1.
00ОИШШЗ
Рисунок 1 - Схема формирования эталонов,где 1 - объект, 2 - два видео-датчика, 3 - два изображения объекта, полученные сверху и сбоку, 4 - этап предварительной обработки, 5 - этап выделения признаков, 6 - этап формирования эталона, 7 - сохранение эталона в базе эталонов
Этап получения цифровых изображений объекта.
С помощью двух видео-датчиков формируются два изображения объекта, снятые сверху и сбоку и размещаются в памяти.
Этап предварительной обработки.
Рисунок 2 - Схема предварительной обработки, где 1 - два изображения объекта, 2,3 - блоки
фильтрации и сглаживания помех, 4 - блок повышения контраста, 5 - блок сегментации (бинаризации), 6 - блок приведения изображения к стандартному положению, 7 - два бинарных изображения объекта.
Блоки 2, 3, 4, 5 реализованы на основе алгоритмов, приведенных в [4].
Какие положения объекта в поле зрения камеры видео-датчика являются стандартными, устанавливается разработчиком системы.
При произвольном расположении объекта его бинарное изображение приводится к стандартному виду с использованием алгоритмов, приведенных в [5].
Этап выделения признаков.
шосооШсооше]
Рисунок 3 - Схема выделения признаков, где 1 - два стандартных бинарных изображения объекта, 2 - блок выделение контуров, 3 - блок определения наличия отверстий в объекте, 4 - блок вычисления коэффициента формы объекта, 5 - битовая маскаизображения объекта, 6 - блок расчета инвариантных
моментов, 7 - блок расчета автокорреляционной функции контура, 8 - блок вычисления характеристик объекта, 9 - набор признаков объекта.
Выделение контура осуществляется на основе алгоритма, приведенного в [6, 7] .
Определение наличия отверстий производится на базе алгоритма в[9].
Вычисление коэффициента формы основано на определении отношения длины на ширину объекта. Коэффициент формы вычисляется на изображении, полученном с верхней камеры.
Расчет битовой маски изображения проводится в соответствии с алгоритмом, описанном в [8].
Вычисление инвариантных моментов контуров осуществляется с использованием алгоритма в [9].
Расчет автокорреляционной функции контуров производится на основе алгоритмов [7].
При наличии поворота объекта относительно осей координат вертикальной камеры, боковая проекция может содержать в себе данные двух видимых сторон объекта, что может привести к ошибкам распознавания. Для решения данной проблемы было предложено рассчитывать коэффициент «видимости боковой проекции».
По проекции главного вида определяются ширина и длина объекта, а так же угол его наклона. С их помощью находятся коэффициенты видимости смежных сторон на боковой проекции.
Коэффициент видимости меньшей стороны на боковой проекции (отсекается менее видимая часть):
__ Lmp
ki = —(i)
LS
где L
usp
mp
количество пикселей ширины на виде «сверху»
,L
sp
количество пикселей ширины на
виде «слева».
Коэффициент видимости большей стороны на боковой проекции (отсекается менее видимая часть):
i Нтр
kh=H'
nsp
(2)
где H
количество пикселей длинына виде «сверху»
,H
sp
количество пикселей длины на ви-
mp
де «слева».
1) Если объект по длинной стороне находится ближе к горизонтальной оси координат (Оград-45град) (135град-180град), то есть
ki > kh,
то на боковой проекции отсекается видимая часть на рассматриваемой проекции, растягивается до полной длины объекта (применяются аффинные преобразования «растягивание» [5])
Рисунок 4 - Иллюстрация ситуации, когда на боковой проекциимаксимально видна большая сторона объекта,где L,H - длина и ширина объекта на виде «сверху»,ЛИ,ЛЬ-значения величин шириныи длины объекта, видимых на проекции «слева», 1 - изображение объекта на виде «сверху», 2 - изображение
объекта на виде «слева», 3 - «вытянутое» и «обрезанное» изображение проекции вида «слева».
2) Если объект по длинной стороне находится ближе к вертикальной плоскости Оси координат (45град-90град, 90град-135град), то есть
k < kh,
то на боковой проекции отсекается видимая часть не рассматриваемой проекции, растягивается до полной ширины объекта (применяются аффинные преобразования «растягивание» [5])
Рисунок 5- Иллюстрация ситуации, когда на боковой проекции максимально видна меньшая сторона объекта,где Ь,И - длина и ширина объекта на виде «сверху»,ЛИ,ЛЬ-значения величин ширины и длины объекта, видимых на проекции «слева», 1 - изображение объекта на виде «сверху», 2 - изображение
объекта на виде «слева», 3 - «вытянутое» и «обрезанное» изображение проекции вида «слева».
Этап выделения признаков.
Набор признаков, необходимый для классификации и распознавания:
1. Коэффициент формы;2. Битовая маска изображения объекта (признак, характеризующий структуру объекта);3. Инвариантные моменты;4. Автокорреляционная функция;5. Характеристики отверстий.
Коэффициент формы.
Коэффициент формывычисляется по формуле:
ь
Г =-, (3)
а
где r - коэффициент формы,а - длина объекта,Ь - ширина объекта.
Битовая маска изображения объекта.
Оригинальное изображение содержит много деталей. Чтобы описать структуру изображения объекта необходимо избавиться от лишних деталей. Уменьшенная копия изображения позволяет оставить данные только о структуре объекта, удаляя детали изображения.
Алгоритм расчета битовой маски следующий:
1. Изображение вписывается в центр квадратной области размером LxL, где L - длина объекта (рисунок 6) .
2. Изображение уменьшается в соответствии с алгоритмом, представленном в [5] (рисунок 7) . В
данном случае оно уменьшается до 8x8. Размер уменьшенного изображения выбран таким образом, чтобы общее количество пикселей было равно 64, что соответствует одному целому значению двух байтного числа.
3. Вычисляется среднее значение яркости этого изображения и проводится пороговое преобразование по алгоритму, представленному в [4] (рисунок 8).
:anaodea
-ло HXHaondeaxadax нинэааааооо naff aa/fftfdocjj) aalmcHAffeao ноаэннэга^н oi 'аахэадо и anaodoaao ojoiaibo nffaffoau ннэНиен adffdg xax 'ojoi эаоод *addaHox nda/ffia хиШажэа 'хэноа Лааоэниаох aHaad affaffoan
(S)
Xx>
• (/C ‘x)
anaodaaao ooaix daHaff^
•'(9°/C'9°x)
: ЭаЛжЗоф ИЭШеяЛ^ЭХО OUBOiHffOXEH LTOlIX
аахэадо ooaix daHoff (£ ' (aodoaxoa xraHdaaHoixoaG иоа
-иооаи nraHHoaaaaoffodu) anaodoaao ddaHox (z • (aodoaxoa xraHdaaHoixoaG иоаиоэБИ nraHHoaaaaoffodu) емэ -ago ddaHox (x: ниниаэа и иин0ЖБdgosи хиШсяЛ^эхо эиниаан aodgoda nnaodoaao xnaondoaxadax аэноад
nnaodoaao эинэж^доао эомээьилвиэхо - б хонЛоид
р±на*.до
W diwah i
1 ■ ft v_———J.B
5 w ■l'-- :v/ W C*"*)
S
• б GXHAond ЭН OH0ЖGdgOSИ OaG OHFiHiGIAIGXO
•addaHox aadx off ooaix adaHoff ao MHHBOiooed x anaodaaao и аахэадо ooaix HixadaHe'n Лй'жои BHHBOiooed эинэгпонао *£'аахэадо nffaffoau x anaodeaao nffaffoau эинэгпонао •£.'сня0о HOHaxGiiHOSHdoLi о anaodeaao и аахэадо oooix radaHeff raffmoffiHHffeoo 'ixodoaxea Лй'жои аоаЛ • ц
:ишин0ЬБне HraffmorAffeHO ноaedsndeaxadax аахэадо оняаэаиоонао 'enaodeaao
* иидэсПэздо ияидэисИэдят5с[ех
• [б] я OHeaaaaoffedu фду aixandoaxa оинаэипо
aoHgodffon * aaxaago dAaHox - ^'adoaxaa oaoHdeaHaiAiaifG ояонянанан axaffo __ 3Jittt — ЪИ
'ФШ
V
(p)
'((ш)М'м) = (Ui)v
:ихноа ионяаанан xaanaffo XHHhnirsed ndu ндэо oaoiaao ан addaHox enHeffeasnodu eoHdBirexo oig - фду
’ (ФХ¥) аийхнХ’ф HiBHHOMTiHireddoxo&HY • [8] a HeiraaiiOffedn xradoaox aehoad
L* " l*Z* X — J иининэнане иглпяннэааээйгэа огяиэо HoaxHxaaaoffadu гаанэиои araHaHOHdaaHn
* xинэжodao (oixodx хаоа xirff) и HMHaffada ' XHHoaodHgaamoaiAi
Hirff HHiHandaaHH adffdg ино оан 'ixosodgo гяихаа вин0жadgosи гаахэиэа eraHHHLfsad enffxHxaaaoffedu 'ииП -хнЛф 0HHaHandaaHH aaaffsoo онжои нанэиои eraHaifadaHeti eiaHHaaodniadoH eraHHHLfsad н/^инидглюх оан 'иоа a ноаэанопахае neffg 'аоанэиои xiaHaxadaHeff иивийанидиох игаяниэнив воаяввав нанэиои eraHaHondaaHn
ЧЧЛНЭМОМ Bl4HH>HT3VldT3&HJf •аахэадо AdAaxAdao аэаагаэиио огаоин оад
//////0000//////
:ixosadgo raffmorAffeLfo anffnaana оно oderandu oaoHHaff нгай * эаажЗоф iAioHFiHd-9x я HoaeHaaaaoffedu оно * огаоин эогаэН эонаид fs OHffo a HoaeAsadgoedu ахнонэН вааоаид • д
ilium muni ilium oooooooo oooooooo ilium mum mum
*0 - oaoHdoh оаой'жах naff 'x Heaad аид наэохин оаоаэд оаой'жах нгай * (8 GXHdond ан онааах -он хах) айна Axdeao 'oaadu ан ааэао аоаид axhoueff HoaeaaHadaoiaa iaffndaaiAi иоаоаид эаоноо ан ’f
• аоаид anffadeiAiAH анааахон niAiad(|)Hff 8 GXHdond
ан * аоанэиэао 8^8 dffndaaiAi хЛаоаид иодоо aeaaaaaoffedu аахэадо эинэжadgosи эоннэгпянэиЛ eoHdaHng
(naooxda снинэнана AixeHffedo он Hadgiaa HHffaandaHHg aodou) аоаид ихнонэН нинаанаино иаоон -aaeaaaoffeaoou иэинааахЛ о эин -эжadgoaи eoHdaHng - 8 хонЛоид
E9 19 19 09 69 89 19
9S SS t?S £S zs
81 Ll
91 St PI Et Zl ll 01 6
8 L 9 S V £ Z l
иэаэохин 8^8 adeixaad off нинэжadgoaи нинэгпянэiaiA aix -andoaaa аааяаЛаэд - l хонЛоид
^--------------------9-------------------->
яаоаа
-go xAHaadffaax а оаоннаэипа aa -хэадо эинэжadgoaи - 9 хонЛоид
aia______________________________________
^-----------------1------------------)
8х
9
9об
(б)
где S - площадь отверстия,8q6 - площадь объекта.
Значение площади характеризуется в процентах от общей площади объекта.
Третья характеристика, а именно, расстояние между центрами масс вычисляется щей формулы:
/ ___3
;х = ь> (7)
где ^ a=< (Хоб - Х)2 + (+об -
ь=<(Хоб - (к)2 + (Уоб - Ук)2 •
с помощью следую-
КоординатыХк и Ук в предыдущей формуле - это точки пересечения линии контура и линии проходящей через центр масс объекта и отверстия.
С учетом выше описанного, проекция объекта будет описываться следующим вектором признаков:
@ = {^,Я,М(С),Л(С),0} (8)
где kwh - коэффициент формы объекта,Н-битовая маска изображения объекта,М(С) - моменты контура
объекта,А(С) - АКФ контура объекта,0 - вектор признаков отверстий,0 = {,x,Sx, ;х}-
Для проверки предложенной технологии было разработано тестовое приложение, результаты его ра-
боты приведены в таблице 1.
Таблица 1 - результаты работы тестового приложения для нахождения характеристик объекта
Наименование признака
Коэффициент формы 0.33 0.33
Битовая маска изображения объекта //////0000////// //////0000//////
Инвариантные моменты у = 0,281091748852738 Ь2 = 0,0507827602854608 Ьз = 0,00167856087485477 Ь4 = 0,000144921247242696 Ь5 = -7,09949923418601 • 10"8 Ь6 = -3,25266334172138 • 10"5 Ь7 = 8,28735610007766•10"9 у = 0,280876798093335 Ь, = 0,0506545902751358 Ьз = 0,00167971395492243 Ь4 = 0,000145022295348231 Ь = -7,11852133915004 • 10"8 Ь6 = -3,2533788769945 • 10"5 Ь7 = 7,47300876943902•10"9
Признаки отверстий {3.194 рад, 0,023, 0.674}, {3.911 рад, 0,022, 0,05}, {0,12 рад, 0,024, 0,67}. {3.195 рад, 0,022, 0.673}, {3.913 рад, 0,021, 0,05}, {0,124 рад, 0,021, 0,67}.
Соотношение длины и ширины объекта на изображении позволит сделать первое отсеивание предположительных эталонов объекта по геометрическому признаку.
Критерием отбора эталонов по битовой маске является значение данного числа, т.е. если его значение у исследуемого объекта совпадает со значением данного признака эталона, то исследуемый объект вполне может быть этим эталоном, иначе это совсем разные объекты и этот эталон можно не брать в расчет. Данная характеристика объекта позволяет обеспечить системе независимость от масштаба объекта.
Применение инвариантных моментов, и автокорреляционной функции контура позволяют сократить влияние поворота объекта в поле зрения камеры на точность распознавания.
Расположение отверстий на каждом объекте уникально, соответственно обнаружение отверстий позволит однозначно описать внутреннюю структуру объекта.
Предложенную технологию можно применять для расчета характеристик любых проекций объекта. При этом эталон объекта можно представить как совокупность векторов признаков из формулы 8 для каждой проекции объекта.
ЛИТЕРАТУРА
1. Системы технического зрения// omron-russia.com: сайт. Москва. 2011. URL: http://www.omron -russia.com/documentation/vision/vision_brochure.pdf
2. Системы машинного зрения. Системы технического зрения: видеодатчики и камеры машинного зрения. // sick-automation.ru: сайт. Москва. 2011. URL: http://www.sick-
automation.ru/catalog/sensors/complex/sensor video.html#1
3. 3D камеры IFM Electronic серии 03D2 //sensoren.ru :сайт. Москва. 2011. URL:
http://www.sensoren.ru/3d kameri ifm electronic serii o3d2.html
4. Садыков С.С., Савичева С.В. «Предварительная обработка изображений плоских объектов в системах технического зрения», //«Приборостроение», №2, 2012. С. 19-24.
5. Learning OpenCV: Computer Vision with the OpenCV Library / Gary Bradski, Adrian Kaehle -
O'Really, 2008. - 556 с.
6. Upgrade Viola Jones // habrahabr.ru: сайт.2011 2 мая. URL: http://habrahabr.ru/post/133909/
7. Контурный анализ // habrahabr.ru: сайт. 2011 2 мая. URL: http://habrahabr.ru/post/118486/
8. «Выглядит похоже». Как работает перцептивный хэш // habrahabr.ru: сайт. 2011 3 июня
URL:http://habrahabr.ru/post/120562/
9. Моменты в OpenCV // recog.ru: сайт. 2011 29 апр. URL: http://recog.ru/blog/opencv/11.html
