CC BY
40
3. Колосов А.П., Рыжков Е.А. Применение статического анализа при разработке программ // Изв. Тульского гос. ун-та. Сер.: Технич. науки. 2008. № 3. С. 185-190.
4. Марков А.С., Фадин А.А., Цирлов В.Л. Систематика дефектов и уязвимостей программного обеспечения // Безопасные информационные технологии: сб. тр. II НТК. М.: МГТУ им. Н.Э. Баумана, 2011. С. 83-87.
5. Канторович Л.В., Петрова Л.Т., Яковлева М.А. Об одной системе программирования // Пути развития советского математического машиностроения и приборостроения: Всесо-юз. конф. M.: ВИНИТИ. 1956. Ч. III. С. 30-36.
References
1. Markov A.S., Mironov S.V., Cirlov V.L., Otkrytye siste-my. SUED, 2005, no. 12, pp. 64-69.
2. Glukhikh M.I., Itsykson V.M., Programmnaya inzhene-riya. Obespechenie kachestva programmnykh sredstv metodami staticheskogo analiza [Software engineering. Software quality assurance by static analysis methods], St. Petersburg, Techn. Univ., 2011, 150 p.
3. Kolosov A.P., Ryzhkov E.A., Izvestiya Tulskogo Gos. Univ., Tula, 2008, no. 3, pp. 185-190.
4. Markov A.S., Fadin A.A., Tsirlov V.L., Bezopasnye infor-matsionnye tekhnologii, Sbornik trudov II Konf. [Proc. 2nd All-Russian Conf. «Information security technology»], Moscow, Bauman MSTU, 2011, pp. 83-87.
5. Kantorovich L.V., Petrova L.T., Yakovleva M.A., Puti razvitiya sovetskogo matematicheskogo mashinostroenija i priboro-stroeniya, Vsesoyuz. Konf. [Proc. of Unit Conf. «The ways of development of Soviet mathematical engineering and instrumentation»], Moscow, VINITI, 1956, Part. III, pp. 30-36.
УДК 004.932
ПРОГНОЗИРОВАНИЕ ВРЕМЕНИ ОБРАБОТКИ ИЗОБРАЖЕНИЙ ДЕТЕРМИНИРОВАННЫМИ МЕТОДАМИ
(Научные исследования выполняются при финансовой поддержке грантов правительства Челябинской области и Магнитогорского государственного технического университета им. Г.И. Носова)
И.И. Мацко, аспирант; О.С. Логунова, д.т.н., профессор, доцент; И.А. Посохов, аспирант (Магнитогорский государственный технический университет им. Г.И. Носова, пр. Ленина, 38, г. Магнитогорск, Челябинская обл., 455000, Россия, [email protected], ОдипоиаббфтоИ-ги, [email protected])
Статья посвящена прогнозированию времени обработки изображений с объектами, характеризующимися случайным местом положения и нерегулярной формой. Приведена методика улучшения и сегментации изображения, уменьшающая шумы, возникающие при получении изображений в действующем металлургическом производстве. Представлено математическое описание алгоритмов, применяемых в методике. Получены результаты вычислительного эксперимента, проводимого с целью оценки скорости работы алгоритмов, определения зависимости данной скорости от конфигураций аппаратных платформ и характеристик изображения. Анализ приведенных результатов показал, что скорость работы алгоритмов имеет зависимость, близкую к линейной, от выбранного процессора и при этом практически не зависит от объема оперативной памяти. Описан набор возможных траекторий обработки изображений по исследуемой части методики. Представлены результаты прогнозирования времени обработки по траекториям изображений. Максимальная ошибка прогнозирования составила 0,5 с. Определено, что самые затратные по времени работы алгоритмы (эрозия и дилатация) быстрее выполняются на низкоконтрастных и темных изображениях, чем на высококонтрастных и светлых. Для повышения точности прогнозирования времени обработки предлагается выполнять предварительную группировку изображений по уровню яркости и контрастности и проводить статистическую обработку для каждой отдельной группы.
Ключевые слова: обработка изображений, вычислительный эксперимент, прогнозирование, автоматизация, оценка скорости.
IMAGE PROCESSING TIME PREDICTION USING DETERMINATE METHODS Matsko I.I., Postgraduate; Logunova O.S., Ph.D., Professor, Associate Professor; PosokhovI.A., Postgraduate (G.I. Nosov Magnitogorsk State Technical University, 38, Lenina Av., Magnitogorsk, Chelyabinsk Reg., 455000, Russia,
[email protected], [email protected], [email protected]) Abstract. The article is devoted to the forecast of processing time of images containing objects characterized by random location and irregular shape. The described method of image enhancement and segmentation is aimed at reduction of noise typical for a metallurgical plant. The authors introduce mathematical formulation of algorithms used in the method. They also carried out a computational experiment aimed at estimation of the algorithm operating speed and at finding correlation between that speed and hardware (platform) configuration and image characteristics. The analysis of the experiment results proved that the algorithm operating speed has almost linear relationship with the chosen processor and very little relationship with the RAM capacity. A number of possible trajectories of image processing are also described in the article. Maximum forecast error of the image processing time for different trajectories was 0,5 s. It was found that the most time consuming algorithms (erosion and dilatation) are work faster for low-contrast than for high-contrast images. They are also faster for dark than for light images. To improve the accuracy of the processing time forecast it was offered beforehand to categorize the images by the brightness and contrast level and to carry out statistical analysis for each separate group. Keywords: image processing, computing experiment, prediction, automation, performance estimation.
Одной из частей АСУ технологическим процессом (ТП) являются подсистемы, использующие модули распознавания образов для информации, полученной в графическом виде. Для таких систем выдвигаются дополнительные требования к информационному обеспечению - прежде всего получение в результате распознавания изображений достоверной, полной и точной информации. Немаловажным фактором для успешного функционирования MES-уровня (Manufacturing Execution System - производственная исполнительная система) является время обработки образа, а для оперативного планирования на ERP-уровне (Enterprise Resource Planning System - система планирования ресурсов производства) необходим точный прогноз этого времени.
Одной из проблем, приводящих к получению и обработке информации графического вида в рамках АСУ ТП металлургического предприятия, является оценка изображений серных отпечатков и фотографий образцов (темплетов), полученных от непрерывно-литой заготовки [1]. Для автоматизации распознавания отпечатков и фотографий требуются проектирование и разработка системы обработки изображений темплетов для определения макродефектов непрерывно-литой заготовки, включающей получение изображения в электронном виде, улучшение, сегментацию и классификацию объектов на его поверхности.
Дефекты, выделяемые на обрабатываемых изображениях темплетов непрерывно-литых заготовок (рис. 1), характеризуются случайным местом положения и нерегулярной формой [1-2]. В ходе анализа полученных изображений были выявлены следующие особенности:
- перспективные искажения изображения, вызванные геометрическими особенностями тем-плета;
- неоднородность фона, окружающего тем-плет;
- наличие рукописных отметок с обратной стороны серного отпечатка;
б
Рис. 1. Изображения темплетов непрерывно-литой
заготовки: а - фотография темплета непрерывно-литой заготовки; б - серный отпечаток по методу Баумана темплета непрерывно-литой заготовки
- наличие областей с повышенной и пониженной яркостью, возникающей за счет неравномерного освещения поверхности;
- низкая контрастность изображения серного отпечатка, связанная с низким содержанием серы в химическом составе изучаемых темплетов;
- отсутствие достаточной резкости на изображении из-за геометрических особенностей темплета.
Решение задачи автоматизации распознавания изображений, приведенных на рисунке 1, потребовало разработки методики, позволяющей в зависимости от свойств изображения [3] выбрать траекторию его обработки. Суть методики представлена на рисунке 2. Методика использует множество типовых алгоритмов, принятых и используемых в настоящее время [4, 5].
1. Операции [4]:
- коррекции яркости: /(х, у) =k(g(x, y)-m)+ +m;
- коррекции контраста: /(х, у) =g(x, y)+s,
где (х, у) - координаты произвольной точки на изображении; /(х, у) - функция улучшенного изображения; k - коэффициент контрастности; g(x, у) - функция исходного изображения; m - среднее значение яркости изображения; s - величина сдвига яркостей.
2. Функции пороговой бинаризации:
- для изображения в градациях серого [4]: [1 при ^(х, у) > г, [0 при g(х, у) < г;
- для цветного изображения [5]: 1 при 0,2126• Ы(х,у) + 0,7152• gr(x,у) +
+ 0,0722 • Ь1(х, у) > г, 0 в остальных случаях, где (х, у) - координаты произвольной точки на изображении; /(х, у) - функция бинаризованного изображения; g(x, у) - функция исходного изображения; t - пороговое значение; ^(х, у), gr(x, у), Ь1(х, у) - функция интенсивности в исходном изображении красного, зеленого и голубого цветов соответственно.
3. Операции восстановления непрерывности объектов [4]:
- дилатация: А®В = {1 \ (В). Г\Аф0\\
- эрозия: А® В = {21 ф): с А}:
- размыкание: А В = (АСд В)® В :
- замыкание: А • В = (А © В) ®В,
где A и B - множества из пространства Z2; г - точка, в которую сдвигают множество В ;
- преобразование успех/неудача: А*В=(А®
f (x, 7) =
f (x, У) =
а
С
Начало
Библиотека изображений АСУТП
Изображения
1Н
Получение изображений
- - Изображения - -
I Внешнее устройство: ■ -| сканер, фотокамера, I,
видеокамера
Удаление шумов
Удаление шумов, вносимых фото- и видеокамерами
Масштабирование по размеру
Экран АРМ 1-
Экран
Построение яркостной гистограммы
4
| Оценка размеров изображений, расчет -I масштаба и позиционирования областей макродефектов
---1 БД АСУТП
Оценка изображения по диапазону пика яркости изображения и изменение класса яркости
5
Изменение
яркости
Оценка изображения по ширине диапазона ненулевой яркости гистограммы
Определение диапазона 6 градаций яркости
Изменение диапазона градаций яркости 7
Протокол операций
Отчет
Изменение яркости 8
Восстановление непрерывности объекта 9
Сегментация изображения 10
Принятие решения 11
С
Реализация алгоритмом пространственной и частотной фильтрации для подавления шумов
Реализация алгоритмом дилатации, замыкания
Реализация алгоритмом выделения границ, заполнения областей, выделение связанных компонент, построение выпуклой оболочки, пороговая бинаризация
Реализация алгоритмом для методов сопоставления и статистически оптимальным классификатором
Конец
3
Рис. 2. Методика улучшения и сегментации изображения темплета непрерывно-литой заготовки
где А - множество, состоящее из трех подмножеств X, У и 2; Ж - окно, описанное вокруг X; (ЖХ) - локальный фон множества X по отношению к окну Ж; Ас - дополнение к множеству А.
Для оценки скорости работы алгоритмов построения яркостной диаграммы, определения контраста, коррекции яркости и контраста, пороговой бинаризации, дилатации и эрозии и определения зависимости этой скорости от типа процессора и объема оперативной памяти аппаратных платформ (табл. 1, сортировка по мощности), размера обрабатываемого изображения (табл. 2) был проведен вычислительный эксперимент.
На рисунке 3 представлено тестовое изображение, разбитое на одиннадцать фрагментов (рис. 3), которые обрабатывались в ходе тестирования. В таблице 2 описаны характеристики исходного изображения и его частей (№ 0 - характеристики исходного изображения).
На рисунке 4 представлены результаты тестирования алгоритмов для всех платформ. Анализ приведенных результатов показал, что скорость работы алгоритмов имеет зависимость, близкую к линейной, от выбранного процессора и при этом практически не зависит от объема оперативной памяти.
Таблица 1
Характеристики аппаратных платформ для проведения вычислительного эксперимента
Процессор Оперативная память, Гб
Intel Atom Processor 330 (1M Cache, 1.60 GHz) 1
Intel Pentium Processor P6000 (3M Cache, 1.86 GHz) 1
Intel Pentium Processor P6000 (3M Cache, 1.86 GHz) 2
Intel Pentium Processor P6000 (3M Cache, 1.86 GHz) 3
Intel Core2 Duo Processor T7250 (2M Cache, 2.00 GHz) 1
Intel Core2 Duo Processor T7250 (2M Cache, 2.00 GHz) 2
Intel Core2 Duo Processor T7250 (2M Cache, 2.00 GHz) 3
Intel Core i3-540 Processor (4M Cache, 3.06 GHz) 2
Intel Core i3-540 Processor (4M Cache, 3.06 GHz) 4
Intel Core i3-2330M Processor (3M Cache, 2.20 GHz) 4
Intel Core i3-2100 Processor (3M Cache, 3.10 GHz) 2
Intel Core i3-2100 Processor (3M Cache, 3.10 GHz) 4
Таблица 2
Описание исходного изображения и его фрагментов
Номер области Параметр изображения (в точках)
Ширина, Высота, Общее количество,
шт. шт. тыс. шт.
0 2510 3470 8710
1 400 400 160
2 600 600 360
3 800 800 640
4 1000 1000 1000
5 1200 1200 1440
6 1400 1400 1960
7 1600 1600 2560
8 1800 1800 3240
9 2000 2000 4000
10 2200 2200 4840
11 2400 2400 5760
Линии трендов на графиках экспериментальных данных всех алгоритмов для каждой из аппаратных платформ близки к линейному виду. На рисунке 5 представлены примеры графиков экспериментальных данных алгоритмов для аппаратных платформ № 1 и № 12. Платформа № 1 является малопроизводительной, а платформа № 12 -самой высокопроизводительной из выбранных аппаратных платформ. Точки на графиках - это усредненные значения ста итераций обработки алгоритмами соответствующих областей изображения.
Рисунок 6 иллюстрирует отклонения экспериментальных данных от значений аппроксими-
рующих формул для всех платформ и алгоритмов при использовании логарифмической шкалы. На все тестируемые алгоритмы большое воздействие на относительные отклонения оказывают параллельно работающие сторонние программы. При этом абсолютные отклонения превышают 25 мс на первых четырех малопроизводительных платформах. На большинстве платформ абсолютные отклонения редко достигают 20 мс. Все платформы показали приемлемую скорость работы алгоритмов. Наиболее точное прогнозирование времени
3500 3000 2500
, 2000 р
1 1500 1000 500 0
2000 4000 6000 8000
Количество точек, тыс. шт.
S
1 2500
е а
М 2000 1500 1000 500 0
2000 4000 6000 8000
Количество точек, тыс. шт.
Рис. 4. Сравнительные результаты вычислительных экспериментов: а - дилатация, б - эрозия
0
10000
а
3500
3000
0
10000
б
140
120
„100 £
I 80
а -
60 40 20 0
у = 0,0136х + 0,2963
0 2000 4000 6000 8000 10000
Количество точек, тыс. шт.
30
25
с 20
£
ЕЕ ? 15
е
а
- 10
5
0
у = 0,0031х - 0,9488
2000 4000 6000 8000
Количество точек, тыс. шт.
б
Примечание: ♦ - экспериментальные данные,--аппроксимация данных.
Рис. 5. Зависимость времени обработки фрагментов изображения от его размеров, выявленная в результате вычислительного эксперимента на аппаратных платформах №№ 1 (а) и 12 (б) алгоритма определения контраста
а б
Примечание: на рисунках 6 и 8 приняты следующие обозначения:
- Построение яркостной диаграммы
■■■■■■■■■ Изменение яркости
.................. Определение диапазона градаций яркости
------ Изменение диапазона градаций яркости
_._. — .- Дилатация — ■ ■ — ■ ■ Эрозия
Пороговая бинаризация
Рис. 6. Отклонения экспериментальных данных от расчетных для зависимости времени обработки фрагментов изображения от его размеров: а - абсолютные отклонения; б - относительные отклонения
а
0
0000
выполнения тестируемых алгоритмов достигается на современных процессорах с объемом оперативной памяти более 1 Гб.
Реализованная часть методики (рис. 2) с декомпозицией процессов изменения яркости, контраста и восстановления непрерывности объектов представлена на рисунке 7. Набор возможных траекторий обработки изображений по реализованной части методики описан в таблице 3.
На всех аппаратных платформах, кроме № 11, проводился эксперимент, в ходе которого обрабатывалось исходное изображение (рис. 3) с различными уровнями яркости и контраста. Сравнительные результаты такой обработки, показывающие время работы тестируемых алгоритмов для всех возможных траекторий, представлены на диаграммах Ганта. Анализ этих диаграмм подтвердил, что объем оперативной памяти слабо влияет на скорость выполнения алгоритмов и при этом не влияет на общую скорость обработки изображения.
Максимальное время обработки изображения было выявлено у аппаратной платформы № 1 для траектории № 7 и составило 7,5 с. Минимальное
время (1,1 с) - у платформы № 12 для траектории № 1. При нормальных уровнях яркости и контраста алгоритмы по их изменению не вызываются. Так как эти алгоритмы выполняются относительно быстро, их влияние на общее время обработки минимально.
Таблица 3
Возможные траектории обработки и характеристики обрабатываемых изображений
№ Траектория Параметры изображения
Яркость Средняя яркость Контраст
1 Низкая Менее 160 Низкий
2 б^9а^9б^10 Низкая Менее 160 Нормальный
3 в^9а^9б^10 Низкая Менее 160 Высокий
4 а^9а^9б^10 Нормальная От 160 до 230 Низкий
5 б^9а^9б^10 Нормальная От 160 до 230 Нормальный
6 в^9а^9б^10 Нормальная От 160 до 230 Высокий
7 а^9а^9б^10 Высокая Более 230 Низкий
Диаграммы Ганта показывают, что самые долго работающие алгоритмы эрозии и дилатации быстрее выполняются на изначально низкоконтрастных изображениях, чем на высококонтрастных, и на изначально темных изображениях, чем на светлых. В связи с этим возникли отклонения
Построение 4 яркостной гистограммы
9а
Дилатация Эрозия
9б
10
Пороговая бинаризация
Рис. 7. Реализованная часть методики улучшения и сегментации изображения темплета
непрерывно-литой заготовки
экспериментальных данных обработки изображений по траекториям от значений аппроксимирующих формул (рис. 8). Отклонение общего времени обработки от теоретического показано на рисунке 9. Минимальное отклонение у платформы № 9 составило 141 мс, а максимальное у № 4 - 505 мс. При этом относительная погрешность на большинстве платформ не превышает 15 %. Для повышения точности прогнозирования времени обработки следует сгруппировать изображения по уровню яркости и контрастности и проводить статистическую обработку для отдельных групп.
100.
б
Рис. 8. Отклонения экспериментальных данных
от расчетных для обработки изображений по траекториям: а - абсолютные отклонения; б - относительные отклонения
1 12512—
11 3
„/ 128-J 4
9
8 5
,100. 10
9
8
Примечание:
б
общее время обработки изображения.
Рис. 9. Отклонения экспериментальных данных от расчетных: а - абсолютные отклонения; б - относительные отклонения
В ходе научной работы создана методика улучшения и сегментации изображения, учитывающая особенности обрабатываемого изображения и позволяющая в автоматизированном режиме улучшить его для последующей сегментации.
Проведение вычислительного эксперимента с целью определения скорости работы реализованных алгоритмов и зависимости этой скорости от
конфигурации аппаратной платформы и размера обрабатываемого изображения позволяет рационально определить необходимую конфигурацию компьютера для использования в производственных условиях. В ходе вычислительного эксперимента было выявлено, что для реализации рассматриваемых задач при обработке изображений достаточно выбрать современный процессор с тактовой частотой не менее 1,6 ГГц и оперативную память объемом не менее 1 ГБ.
Для реализованной части методики представлены возможные траектории обработки изображения. Полученные результаты позволяют утверждать, что для прогнозирования времени обработки изображений достаточно использовать линейные зависимости с высокой степенью достоверности результатов.
Для повышения точности прогнозирования времени обработки необходимо выполнить группировку изображений по уровню яркости и контрастности и проводить статистическую обработку для каждой отдельной группы.
Литература
1. Logunova O.S., Steel in Translation, 2008, Vol. 38, no. 10, pp. 849-852.
2. Matsko I.I., Snegirev Y.V., Logunova O.S., Applied Mechanics and Materials, Switzerland, Trans. Tech. Publ., 2012, Vol. 110-116, pp. 3557-3562.
3. Мацко И.И., Логунова О.С. Автоматизированная система принятия решения о качестве непрерывно-литой заготовки: методики улучшения и сегментации изображения непрерывно-литой заготовки // Вестн. национального технич. ун-та: Тем. вып.: Информатика и моделирование. Харьков: НТУ «ХПИ», 2011. № 36. С. 115-121.
4. Гонсалес Р., Вудс Р. Цифровая обработка изображений. М.: Техносфера, 2005. 1072 с.
5. Recommendation ITU-R BT.709-5. URL: http://www.itu. int/dms_pubrec/itu-r/rec/bt/R-REC-BT.709-5-200204-I!!PDF-E.pdf (дата обращения: 07.02.2012).
References
1. Logunova O.S., Steel in Translation, 2008, Vol. 38, no. 10, pp. 849-852.
2. Matsko I.I., Snegirev Y.V., Logunova O.S., Applied Mechanics and Materials, Switzerland, Trans. Tech. Publ., 2012, Vol. 110-116, pp. 3557-3562.
3. Matsko I.I., Logunova O.S., Vestnik Natsionalnogo Tekh-nich. Univ. [Bulletin of National Technical Univ.], Kharkov, NTU «KhPI», 2011, no. 36, pp. 115-121.
4. Gonzalez R.C., Woods R.E., Eddins S.L., Digital Image Processing usingMatLab, NJ, Pearson Prentice-Hall, 2004.
5. Recommendation ITU-R BT.709-5, Availabel at: http:// www.itu.int/dms_pubrec/itu-r/rec/bt/R-REC-BT.709-5-200204-I!!PDF-E. pdf (accessed 07 Feb. 2012).
9
4
4
а
4
а
