CC BY
109Ссылка на статью:
// Радиооптика. МГТУ им. Н.Э. Баумана. Электрон. журн. 2017. № 03. С. 43-53.
Б01: 10.24108/^ор1.0317.0000108
Представлена в редакцию: 11.05.2017 Исправлена: 25.05.2017
© МГТУ им. Н.Э. Баумана УДК 004.932.2
Алгоритм сегментации изображения с помощью искусственной нейронной сети без использования других изображений
Белим С. В.1*, Ларионов С.Б.1 ьЬеНт'Йтайтц
:ОмГУ им. Ф.М. Достоевского, Омск, Россия
В статье предложен алгоритм сегментации изображений с использованием нейронной сети. В качестве метода сегментации используется метод выращивания областей. Нейросеть служит для принятия решения о схожести двух пикселей по их цветам в рамках модели RGB. В качестве нейросети используется трёхслойный персептрон. Обучающий набор формируется добавлением шума на изображение. Каждый зашумлённый пиксель считается отличным от своих ближайших соседей. Проведён компьютерный эксперимент на цветных изображениях. Показана эффективность работы алгоритма при выявлении кластеров на изображении как в интерактивном, так и в автоматическом режимах.
Ключевые слова: сегментация изображений; нейронные сети; импульсный шум
Введение
Задача сегментации изображения может быть сведена к кластеризации множества точек, соответствующих отдельным пикселям. В решении задач кластеризации широкое применение нашли искусственные нейронные сети. Алгоритмы сегментации, основанные на искусственных нейронных сетях, отличаются друг от друга типом нейронной сети, алгоритмом обучения и формированием обучающего множества.
Прежде всего, для решения задач сегментации изображений был использован многослойный персептрон [1]. Для повышения точности сегментации были использованы основанные на персептроне модели искусственных нейронных сетей, использующие перекрестную энтропию [2], генетические алгоритмы [3, 4], алгоритм роста областей [5,6], алгоритм на основе минимального отношения различия [7]. В статье [8] применяются персептрон, сеть прямого распространения и рекуррентная сеть Элмана для решения задачи сегментации медицинских изображений. Решение о границе сегмента принимается на основе девяти признаков двух первых уровней вейвлет-разложения исходного изображения. Обучающая выборка формируется вручную на основе серии схожих изображений. Показано,
Радиооптика
Сетевое научное издание МГТУ i ш. И. Э. BayMi i н а
http ://га d roopt ics. w
что наилучшие результаты могут быть получены с помощью сети прямого распространения с логистической активационной функцией в выходном слое и вейвлетов Хаара. В работе [9] предложен алгоритм сегментации, сочетающий в себе метод к-средних и многослойный персептрон. Для обучения нейронной сети используется алгоритм обратного распространения ошибки. Метод к-средних используется на начальном этапе для формирования обучающей выборки. В статье [10] использована рекуррентная нейронная сеть. Процесс сегментации, при этом приобретает итерационный характер.
Широкое применение в задачах сегментации изображений нашли самоорганизующиеся карты Кохонена [11, 12, 13]. В работе [14] предложен алгоритм, совмещающий самоорганизующие карты Кохонена с гибридным генетическим алгоритмом. Данное совмещение, демонстрируя достаточно хорошие результаты сегментации, характеризуется низкой скоростью работы. В статье [15] предложен подход, использующий карты Кохонена для уточнения результатов, получаемых методом к-средних. Совмещение карт Кохонена с методом выращивания областей предложено в работе [16]. В ней нейронная сеть также используется для постобработки сегментированного изображения.
Следует отметить, что большинство алгоритмов носит специализированный характер и ориентировано на изображения определенного типа. Это ограничение связано с проблемой формирования обучающего множества. Для эффективного обучения любой искусственной нейронной сети необходимо достаточно большое количество схожих изображений с известными результатами. При этом попытки сегментировать изображение, существенно отличающееся от изображений, присутствующих в обучающем множестве, приводит значительному снижению результатов.
В данной статье предложен алгоритм сегментации изображений с помощью искусственной нейронной сети, не требующий дополнительных схожих изображений. Обучающее множество формируется на основе самого изображения с помощью добавления к нему случайного импульсного шума.
1. Алгоритм сегментации и обучение нейронной сети
Для сегментации изображения будем использовать метод выращивания областей. Подход к сегментации, основанный на сравнении пикселя с ближайшими соседями и выращивании областей, дал хорошие результаты в рамках графового представления изображения [17,18].
Первым шагом данного метода является случайный выбор некоторой точки изображения, относящейся к еще необработанной части изображения. На входе алгоритма всё изображение считается не обработанным. После выделения сегмента, все его точки исключаются из необработанной части изображения. После выбора начальной точки сегмент формируется присоединением к ней других точек из необработанной части изображения, схожих по некоторым цветовым признакам. Причем присоединяются только точки, являющиеся ближайшими соседями к точкам уже присоединенным к сегменту. Ближайшими соседями считаются точки, координаты которых отличаются не более чем на
единицу. Основной задачей реализации такого подхода является определение схожести точек, объединяемых в один сегмент. Для фиксации сегментов введем матрицу меток сегментов, каждый элемент которой соответствует одной точке изображения. Значением элемента данной матрицы является метка сегмента. Каждый сегмент имеет свою уникальную метку. В данной работе в качестве меток используются натуральные числа. Сегменты нумеруются в порядке их выделения. Для необработанной области метки имеют нулевое значение.
Для принятия решения о схожести двух пикселей будем использовать трехслойный персептрон. Будем осуществлять сравнение двух пикселей только по цветовым координатам в рамках модели RGB. Решение будет приниматься только на основании характеристик двух сравниваемых пикселей. Поэтому во входном слое нейросети будет шесть нейронов, по три координаты двух точек. В выходном слое будет два нейрона так как принимается решение о схожести, либо различии двух точек изображения. Количество нейронов скрытого слоя определялось в рамках компьютерного эксперимента. Как показал компьютерный эксперимент на большом количестве изображений с увеличением количества нейронов в скрытом слое эффективность работы алгоритма сначала растет, но начиная со значения 50 нейронов остается неизменным. Поэтому в окончательной реализации использовался трехслойный персептрон с 50 нейронами в скрытом слое.
Пусть на входе алгоритма задано изображение размером NхM пикселей. В рамках цветовой модели RGB заданы три матрицы ||Ду||, |, ||Ду|| (/ = 1,...,N; j = 1,...,M), определяющие соответственно интенсивность красной, зеленой и синей составляющей цвета для каждого пикселя. Пиксель с координатами (i, j) будем обозначать через vtj. Цветовые составляющие пикселя будем рассматривать как его поля данных:
vj r = Rj, V g = , vj.b = Bj.
Матрицу меток обозначим как С( = 1, •••, —; j = 1,—,M). Метку отдельной точки также будем рассматривать как поле данных v. с = Сг>..
Пусть в некоторый момент на изображении выделено к сегментов. Алгоритм выделения следующего сегмента состоит из следующих шагов:
1. Случайным образом выбираем точку изображения vtj, которой в матрице меток
соответствует нулевой элемент. Считаем эту точку зерном нового сегмента. Изменяем значение в матрице меток vtj .с = k +1.
2. Пусть на некотором этапе в сегмент включено r пикселей {v, vr}.
3. Последовательно перебираем пиксели из множества ближайших соседей точек, уже входящих в сегмент.
4. Для каждой пары точек, одна из которых v принадлежит сегменту, а другая v' является её ближайшим соседом и не принадлежит сегменту, формируется входной вектор нейросети:
(vr, v.g, vb, v\r, v\g, v' .b).
5. Вычисляем выходной сигнал нейросети. Если нейросеть определяет, что пиксели относятся к одному сегменту, то присваиваем значение V .с = к +1. Если нейросеть определяет, что пиксели относятся к разным сегментам, то переходим к следующей точке не включенной в сегмент.
6. Сегмент считается выявленным, если нейросеть относит к другим сегментам все ближайшие соседние пиксели.
7. Алгоритм завершен, если всем пикселям изображения присвоена метка какого-либо сегмента.
В представленном алгоритме осуществляется обход всех пикселей изображения. Для каждого пикселя количество соседей не превышает восьми, поэтому количество операций будет фиксировано. Таким образом, алгоритм имеет линейную трудоемкость.
Для любого алгоритма, использующего искусственную нейронную сеть, важным является вопрос о формировании обучающего множества. Сложность решаемой задачи состоит в том, что имеется ровно одно изображение, для которого нет входных данных о его структуре. Для обучения нейронной сети необходимо сформировать достаточно большое количество обучающих выборок с ответом, известным заранее. Для формирования такой выборки будем использовать искусственно сгенерированный импульсный шум. С помощью генератора псевдослучайных последовательностей определим координаты р% пикселей изображения, цвет которых будет изменен. Палитра изображения содержит т цветов. Пусть цвет г-го изменяемого пикселя имеет значение щ. Если mi > т/2, то выбираем
новое значение случайным образом из интервала [0, т/2]. Если mi < т/2, то выбираем новое значение случайным образом из интервала [ т/ 2, т — 1]. Таким образом, цвет нового пикселя будет отличаться от предыдущего и, с высокой вероятностью, он не может быть объединен в один сегмент с окружающими пикселями. Далее перебираем все пары ближайших соседей и формируем обучающую выборку для нейросети, считая, что данные пиксели не могут быть объединены в один сегмент. Повторяем многократно данное формирование искусственного импульсного шума. После формирования обучающей выборки обучение нейросети может быть осуществлено с помощью метода обратного распространения ошибки.
Процент измененных пикселей р необходимо выбирать не слишком большим, чтобы сохранялась основная структура изображения. Также он не может быть совсем маленьким, так как в противном случае не все части изображения будут учтены при формировании обучающей выборки. В данной работе было выбрано значение р = 10%. Процесс формирования реализовывался 100 раз. Для определения координат и цвета изменяемых пикселей использовался линейный конгруэнтный генератор псевдослучайных последовательностей с равномерным распределением.
2. Компьютерный эксперимент
Компьютерный эксперимент проводился на цветных изображениях с глубиной палитры т = 256. Высыпание поврежденных пикселей на изображение для формирования обучающего множества осуществлялось 100 раз. В трехслойном персептроне использовался скрытый слой с 50 нейронами. Как показали эксперименты, дальнейшее увеличение скрытого слоя не влияет на результаты работы алгоритма.
Пример работы алгоритма в автоматическом режиме с разбиением всего изображения на отдельные сегменты приведены на рисунке 1. На данном рисунке представлены контуры выделенных сегментов.
Рис. 1. Примеры автоматической кластеризации изображений
На рисунках 2 и 3 представлены результаты работы алгоритма в интерактивном режиме. В этом случае не производится полное разбиение на сегменты. Пользователь отмечает одну точку внутри сегмента, который необходимо выделить. После этого осуществляется поиск пикселей, относящихся к этому сегменту.
Рис. 2. Пример интерактивного выделения кластера на изображении "Яблоко"
Рис. 2. Пример интерактивного выделения кластера на изображении "Самолёт"
Как видно из рисунков предложенный алгоритм позволяет достаточно хорошо обучить нейросеть для сегментации изображения на основе этого же изображения.
Заключение
Таким образом представленный алгоритм позволяет выполнять сегментацию изображения с помощью искусственной нейронной сети, сформировав обучающее множество без привлечения дополнительных схожих изображений. Предложенный алгоритм позволяет получать достаточно хорошие результаты для изображений с четким контуром и отсутствием большого количества мелких деталей. Но этим свойством обладают практически все алгоритмы сегментации изображений. Второй особенностью предложенного алгоритма является малая чувствительность к импульсным шумам, которые автоматически отфильтровываются обученной нейросетью и определяются как сегменты размером один пиксель.
Основное время работы алгоритма занимает формирование обучающего множества и обучение искусственной нейронной сети. Непосредственно сегментация занимает значительно меньшее время. Тем не менее следует отметить, что все этапы алгоритма имеют
линейную трудоемкость. Общее время обработки изображения размером 256x256 пикселей составляет порядка 40 секунд.
Список литературы
1. Kuntimad G., Ranganath H.S. Perfect image segmentation using pulse coupled neural networks // IEEE Trans. on Neural Networks. 1999. Vol. 10. No. 3. Pp. 591-598.
DOI: 10.1109/72.761716
2. Ma Yide, Liu Qing, Qian Zhibo. Automated image segmentation using improved PCNN model based on cross-entropy // Intern. symp. on intelligent multimedia, video and speech processing: ISIMP 2004 (Hong Kong, October 20-22, 2004): Proc. N.Y.: IEEE, 2004. Pp. 743-746. DOI: 10.1109/ISIMP.2004.1434171
3. Ma Yi-de, Qi Chun-liang. Study of automated PCNN system based on genetic algorithm // J. of System Simulation. 2006. No. 3. Pp. 722-725.
4. Xiao-Dong Gu, Shi-De Guo, Dao-Heng Yu. A new approach for automated image segmentation based on unit-linking PCNN // 1st Intern. conf. on machine learning and cybernetics: ICMLC 2002 (Beijing, China, November 4-5, 2002): Proc. N.Y.: IEEE, 2002. Pp. 175-178. DOI: 10.1109/ICMLC.2002.1176733
5. Stewart R.D., Fermin I., Opper M. Region growing with pulse-coupled neural networks: An alternative to seeded region growing // IEEE Trans. on Neural Networks. 2002. Vol. 13. No. 6. Pp. 1557-1562. DOI: 10.1109/TNN.2002.804229
6. Qing Z., Guanhui Y., Tingling G., Hong Z., Junxiao L. Fabric defect segmentation based on region growing PCNN model // Computer application and software. 2011. Vol. 28. No. 11. Pp. 171-175.
7. Hai-Rong Ma, Xin-Wen Cheng. Automatic image segmentation with PCNN algorithm based on grayscale correlation // Intern. J. of Signal Processing, Image Processing and Pattern Recognition. 2014. Vol. 7. No. 5. Pp. 249-258. DOI: 10.14257/ijsip.2014.7.5.22
8. Привалов М.В., Скобцов Ю.А., Кудряшов А.Г. Применение нейросетевых методов классификации для сегментации компьютерных томограмм // Вестник Херсонского национального техн. ун-та. 2010. № 2. С. 103-109.
9. Chandhok C. A novel approach to image segmentation using artificial neural networks and K-means clustering // Intern. J. of Engineering Research and Applications (IJERA). 2012. Vol. 2. Iss. 3. Pp. 274-279.
10. Nemirovsky V.B., Stoyanov A.K. Multi-step segmentation of images by means of a recurrent neural network // 7th Intern. forum on strategic technology: IFOST-2012 (Tomsk, Russia, Sept. 18-21, 2012). N.Y.: IEEE, 2012. Vol. 1. Pp. 557-560.
DOI: 10.1109/IFOST.2012.6357619
11. Bugao Xu, Sheng Lin. Automatic color identification in printed fabric images by a fuzzy neural network // AATCC Review. 2002. Vol. 2. No. 9. Pp. 42-45.
12. Yao K.C., Mignotte M., Collet C., Galerne P., Burel G. Unsupervised segmentation using a self-organizing map and a noise model estimation in sonar imagery // Pattern Recognition. 2000. Vol. 33. No. 9. Pp. 1575-1584. DOI: 10.1016/S0031-3203(99)00135-1
13. Aria E.H., Saradjian M.R., Amini J., Lucas C. Generalized cooccurence matrix to classify IRS-1D images using neural network // 20th ISPRS Congress (Istanbul, Turkey, July 12-23, 2004).: Proc. 2004. Pp. 117-123.
14. Awad M., Chehdi K., Nasri A. Multicomponent image segmentation using a genetic algorithm and artificial neural network // IEEE Geoscience and Remote Sensing Letters. 2007. Vol. 4. No. 4. Pp. 571-575. DOI: 10.1109/LGRS.2007.903064
15. Zhou Z., Wei S., Zhang X., Zhao X. Remote sensing image segmentation based on self-organizing map at multiple-scale // Proc. of the Society of Photo-Optical Instrumentation Engineers (SPIE). 2007. Vol 6752. Pp. 122-126. DOI: 10.1117/12.760420
16. Kurnaz M.N., Dokur Z., Olmez T. Segmentation of remote-sensing images by incremental neural network // Pattern Recognition Letters. 2005. Vol. 26. No. 8. Pp. 1096-1104. DOI: 10.1016/j.patrec.2004.10.004
17. Белим С.В., Кутлунин П.Е. Выделение контуров на изображениях с помощью алгоритма кластеризации // Компьютерная оптика. 2015. Т. 39. №. 1. С. 119-124.
DOI: 10.18287/0134-2452-2015-39-1-119-124
18. Белим С.В., Ларионов С.Б. Алгоритм сегментации изображений, основанный на поиске сообществ на графах // Компьютерная оптика. 2016. Т. 40. № 6. С. 904-910. DOI: 10.18287/2412-6179-2016-40-6-904-910
Radiooptics of the Bauman MSTU, 2017, no. 03, pp. 43-53.
DOI: 10.24108/rdopt.0317.0000108
Received: 11.05.2017
Revised: 25.05.2017
© Bauman Moscow State Technical Unversity
The Neural Network-aided Image Segmentation Algorithm Without Involving Additional Images
S.V .Belim1*, S.B. Larionov1 sbelim'SmaiLju
:Dostoevsky Omsk State University, Omsk, Russia
Keywords: image segmentation, neural networks, impulse noise
The article suggests an algorithm of graphical image segmentation. The suggested algorithm uses a neural network to identify one particular pixel as belonged to the certain segment of an image. As a segmentation method, is used a method of growing areas based on comparing the nearest neighbors of one particular pixel. To make a decision about the similarity of two pixels, a three-layer perceptron is used. Three RGB color components are compared during processing. Thus, there are 6 neurons in the input layer of the neural network, namely 3 for the RGB component of the first pixel and 3 for the RGB component of the second one. In a specific implementation there are 50 neurons in the middle layer of the neural network. In the output layer of the neural network there are 2 neurons that represent similarity or difference of the comparing pixels. A training set of the neural network is formed using a specially generated impulse noise. There is a linear congruent generator of pseudo-random number used for noise generation. This generator is used to generate both the color and the coordinates of the noisy pixel. To form a training set, the certain number of noisy pixels is generated. In the article, this number is 10% of all pixels in the image. Then, for each damaged pixel, the training sets are formed so that all the nearest neighbors are considered to be in different clusters with a damaged pixel. A computer experiment was carried out both in automatic mode and in interactive one. The results of the experiment have shown that the algorithm provides fairly good training neural network for image segmentation without involving additional images.
References
1. Kuntimad G., Ranganath H. S. Perfect image segmentation using pulse coupled neural networks. IEEE Trans. on Neural Networks, 1999, vol. 10, no. 3, pp. 591-598.
DOI: 10.1109/72.761716
2. Ma Yide, Liu Qing, Qian Zbibo. Automated image segmentation using improved PCNN model based on cross-entropy. Intern. symp. on intelligent multimedia, video and speech processing: ISIMP 2004 (Hong Kong, October 20-22, 2004): Proc. N.Y.: IEEE, 2004. Pp. 743-746. DOI: 10.1109/ISIMP.2004.1434171
Radiooptics
3. Ma Yi-de, Qi Chun-liang. Study of automated PCNN system based on genetic algorithm. J. of System Simulation, 2006, no. 3, pp. 722-725.
4. Xiao-Dong Gu, Shi-De Guo, Dao-Heng Yu. A new approach for automated image segmentation based on unit-linking PCNN. 1st Intern. conf. on machine learning and cybernetics: ICMLC 2002 (Beijing, China, November 4-5, 2002): Proc. N.Y.: IEEE, 2002. Pp. 175-178. DOI: 10.1109/ICMLC.2002.1176733
5. Stewart R., Fermin I., Opper M. Region growing with pulse-coupled neural networks: An alternative to seeded region growing. IEEE Trans. on Neural Networks, 2002, vol. 13, no. 6, pp. 1557-1562. DOI: 10.1109/TNN.2002.804229
6. Qing Z., Guanhui Y., Tingling G., Hong Z., Junxiao L. Fabric defect segmentation based on region growing PCNN model. Computer Application and Software, 2011, vol. 28, no. 11, pp. 171-175.
7. Hai-Rong Ma, Xin-Wen Cheng. Automatic image segmentation with PCNN algorithm based on grayscale correlation. Intern. J. of Signal Processing, Image Processing and Pattern Recognition, 2014, vol. 7, no. 5, pp. 249-258. DOI: 10.14257/ijsip.2014.7.5.22
8. Privalov M.V., Skobtsov Yu.A., Kudriashov A.G. Applying of neural network methods of classification to segmentation of computer tomograms. VestnikKhersonskogo natsional'nogo technicheskogo universiteta [Herald of Kherson National Technical Univ.], 2010, no. 2,
pp. 103-109 (in Russian).
9. Chandhok C. A novel approach to image segmentation using artificial neural networks and K-means clustering. Intern. J. of Engineering Research and Applications (IJERA), 2012, vol. 2, no. 3, pp. 274-279.
10. Nemirovsky V.B., Stoyanov A.K. Multi-step segmentation of images by means of a recurrent neural network. 7th Intern. forum on strategic technology: IFOST-2012 (Tomsk, Russia, Sept. 18-21, 2012): Proc. N.Y.: IEEE, 2012. Vol. 1. Pp. 557-560.
DOI: 1Q.11Q9/IFOST.2012.6357619
11. Bugao Xu, Sheng Lin. Automatic color identification in printed fabric images by a fuzzy neural network. AATCCReview, 2002, vol. 2, no. 9, pp. 42-45.
12. Yao K.C., Mignotte M., Collet C., Galerne P., Burel G. Unsupervised segmentation using a self-organizing map and a noise model estimation in sonar imagery. Pattern Recognition, 2000, vol. 33, no. 9, pp. 1575-1584. DOI: 10.1016/S0031 -3203(99)00135-1
13. Aria E.H., Saradjian M.R., Amini J., Lucas C. Generalized cooccurence matrix to classify IRS-1D images using neural network. 20th ISPRS Congress (Istanbul, Turkey, July 12-23, 2004): Proc. 2004. Pp. 117-123.
14. Awad M., Chehdi K., Nasri A. Multicomponent image segmentation using a genetic algorithm and artificial neural network. IEEE Geoscience and Remote Sensing Letters, 2007, vol. 4, no. 4, pp. 571-575. DOI: 10.1109/LGRS.2007.903064
15. Zhou Z., Wei S., Zhang X., Zhao X. Remote sensing image segmentation based on self-organizing map at multiple-scale. Proc. of the Society of Photo-Optical Instrumentation Engineers (SPIE), 2007, vol. 6752, pp. 122-126. DOI: 10.1117/12.760420
16. Kurnaz M.N., Dokur Z., Olmez T. Segmentation of remote-sensing images by incremental neural network. Pattern Recognition Letters, 2005, vol. 26, no. 8, pp. 1096-1104.
DOI: 10.1016/j.patrec.2004.10.004
17. Belim S.V., Kutlunin P.E. Boundary extraction in images using a clustering algorithm. Computer Optics, 2015, vol. 39, no. 1, pp. 119-124. DOI: 10.18287/0134-2452-2015-39-1-119124
18. Belim S.V., Larionov S.B. An algorithm of image segmentation based on community detection in graphs. Computer Optics, 2016, vol. 40, no 6, pp. 904-910. DOI: 10.18287/24126179-2016-40-6-904-910
