CC BY
0
Научная статья
УДК 004.932.1
DOI 10.25205/1818-7900-2023-21-4-46-53
Разработка модуля предобработки изображений методом поиска в ширину для системы распознавания образов на основе мультиагентной нейрокогнитивной архитектуры
Энес Ахмед Зюлфикар1 Мурат Валерьевич Хажметов2 Кантемир Чамалович Бжихатлов3 Султан Ахмедович Канкулов4
1-4 Кабардино-Балкарский научный центр Российской Академии наук Нальчик, Россия
1 [email protected], https://orcid.org/0000-0003-3633-4910 2 [email protected] 3 [email protected], https://orcid.org/0000-0003-0924-0193 4 [email protected]
Аннотация
В статье рассматривается задача предварительной обработки изображения для дальнейшего распознавания образов за счет применения мультиагентной нейрокогнитивной архитектуры. Решение данной задачи достигается использованием метода поиска в ширину (breadth-first search, BFS). Представлены алгоритмические описания метода сегментации и метода обработки изображения в мультиагентной нейрокогнитивной архитектуре. Проведены эксперименты по распознаванию объектов в сегментированном изображении на основе мультиагентной нейрокогнитивной архитектуре.
Ключевые слова
сегментация, мультиагентная нейрокогнитивная архитектура, метод обхода в ширину Для цитирования
Энес А. З., Хажметов М. В., Бжихатлов К. Ч., Канкулов С. А. Разработка модуля предобработки изображений методом поиска в ширину для системы распознавания образов на основе мультиагентной нейрокогнитивной архитектуры // Вестник НГУ Серия: Информационные технологии. 2023. Т. 21, № 4. С. 46-53. DOI 10.25205/18187900-2023-21-4-46-53
© Энес А. З., Хажметов М. В., Бжихатлов К. Ч., Канкулов С. А., 2023
Development of an Image Preprocessing by Bidth-Search Method for a Pattern Recognition System based on Multi-Agent Neurocognitive
Architecture
Ahmed Zulfikar Enes1, Murat V. Khazhmetov 2, Kantemir Ch. Bzhikhatlov3,
Sultan A. Kankulov4
1-4 Kabardino-Balkarian Scientific Center of the Russian Academy of Sciences, Russian Federation
1 [email protected], https://orcid.org/0000-0003-3633-4910 2 [email protected] 3 [email protected], https://orcid.org/0000-0003-0924-0193 4 [email protected]
Abstract
In this paper, we consider the problem of image preprocessing for further pattern recognition through the use of a multiagent neurocognitive architecture. The solution to this problem is achieved using the breadth-first search (BFS) method. The article presents algorithmic descriptions of the segmentation method and the image processing method in a multiagent neurocognitive architecture. Experiments were carried out on object recognition in a segmented image based on a multi-agent neurocognitive architecture.
Keywords
segmentation, multi-agent neurocognitive architecture, breadth-first approach For citation
Enes A. Z., Khazhmetov M. V., Bzhikhatlov K. Ch., Kankulov S. A. Development of an image preprocessing by vigth-search method for a pattern recognition system based on multi-agent neurocognitive architecture. Vestnik NSU. Series: Information Technologies, 2023, vol. 21, no. 4, pp. 46-53. DOI 10.25205/1818-7900-2023-21-4-46-53
Введение
Системы компьютерного зрения достаточно широко применяются в системах управления автономными мобильными роботами [1-4]. При этом стоит отметить, что основной метод интеллектуальной обработки данных основан на применении искусственных нейронных сетей [5; 6]. При этом применение нейронных сетей связано с рядом трудностей, в частности с необходимостью подготовки значительной обучающей выборки размеченных изображений. В данной работе рассматривается возможность применения систем принятия решений в задачах распознавания образов на основе мультиагентного нейрокогнитивного подхода. Редактор мультиагентной нейрокогнитивной архитектуры представляет собой программный комплекс автоматизированного проектирования интеллектуальных систем принятия решений. Муль-тиагентные нейрокогнитивные архитектуры представляют абстрактную модель самоорганизации мозга, предполагающую автоматическую интерпретацию объектов с использованием интеллектуальных агентов [7; 8]. Для реализации распознавания объектов необходима некоторая предварительная обработка кадра, которая позволит передать описание кадра в редактор. Для этого применяется сегментация изображения, т. е. разделение исходного изображения на составляющие его области. Задача сегментации заключается в изменении представления изображения для дальнейшей обработки в мультиагентной архитектуре.
Цель исследования - разработка модуля сегментации изображения для редактора мульти-агентной нейрокогнитивной архитектуры и оценка его применимости.
Задачи исследования:
• разработать программную реализацию сегментации изображения для редактора муль-тиагентных нейрокогнитивных архитектур;
• реализовать возможность обработки агентами сигнатур, полученных от модуля распознавания;
• экспериментально проверить возможность распознавания объекта с использованием мультиагентной нейрокогнитивной архитектуры.
Алгоритм обработки изображения в мультиагентной нейрокогнитивной архитектуре
В рассматриваемой архитектуре системы принятия решений входящее изображение после предварительной обработки представляется набором сообщений для агентов-сенсоров (сигнатуры). Для формирования сигнатур необходим процесс предварительной обработки кадра, который заключается в выделении на изображении набора областей с одинаковым цветом (сегментация изображения). Это необходимо для того, чтобы отправить в систему принятия решений текстовое описания данных областей. Сегментация происходит за счет алгоритма поиска в ширину (breadth-first search), представляющего собой стратегию поиска решений в пространстве состояний, при которой сначала развертывается корневой узел, затем - все преемники корневого узла, после этого развертываются преемники этих преемников и т. д. [9; 10]. Прежде чем происходит развертывание каких-либо узлов на следующем уровне, развертываются все узлы на данной глубине в дереве поиска. В случае с растровым изображением узлом рассматривается каждый пиксель, а преемниками этого узла являются его соседние пиксели. Алгоритм начинает работу с первого пикселя. Вначале очередь содержит только корневой узел. На каждой итерации основного цикла из начала очереди извлекается пиксель и в конец добавляются соседние пиксели, которые нужно проверить. Пиксели не добавляются в очередь в том случае, если их цвет значительно отличается по цвету от корневого узла, либо они уже являются частью другой цветовой области. Когда очередь оказывается пустой, это означает, что поиск достиг тупика во всех направлениях (рис. 1).
Рис. 1. Иллюстрация работы алгоритма поиска в ширину Fig. 1. Illustration of work the breadth-first search Algorithm
Проанализированные пиксели добавляются в цветовую группу, следующий свободный пиксель назначается корневым и с него выполняется новый поиск. Алгоритм заканчивает работу, когда каждый пиксель изображения становится частью какой-либо цветовой группы. Затем формулируется текстовое описание каждой группы (области) в виде списка вершин и линий, описывающих область и среднего значения цвета области.
После отправки сообщений соответствующим агентам-сенсорам мультиагентной архитектуры запускается мультиагентный процесс обработки изображений, задачей участников которого является извлечение из входных потоков всех необходимых данных для формирования агентно-ориентированного описания объектов на изображении. При этом у каждого элемента архитектуры есть собственная целевая функция максимизации энергии, которую они получают от агентов других видов в обмен на информацию, которую они предоставляют этим агентам. Энергия расходуется агентами на поддержание жизнедеятельности и оплату своих обязательств перед другими агентами по контрактам. Такая система отвечает на возмущение внешней среды запуском процессов самоорганизации, в результате выполнения которых она стремится к некоторым аттракторам, интерпретируемым пользователями в терминах семантически значимых состояний интеллектуального агента.
Агенты создаются в процессе функционирования системы по требованию на основе входных потоков неструктурированных данных, генерируемых сенсорными системами интеллектуального агента. Для каждой сигнатуры имеется свой агент, отвечающий за обработку данных: сенсор областей, сенсор цвета (отдельно для R, G и B каналов), сенсор линий, сенсор длин, сенсор углов, сенсор координат X, сенсор координат Y и т. д. Схема работы алгоритма предварительной обработки изображений приведена на рис. 2.
Data
Рис. 2. Схема работы алгоритма обработки изображения в мультиагентной нейрокогнитивной архитектуре Fig. 2. Scheme of the image processing algorithm in a multi-agent neurocognitive architecture
Использование системы концептуальных агентов, порождаемых по требованию в ситуативно-обусловленном контексте, позволяет после соответствующего обучения распознавать входные события и строить их описание на основе мультиагентного представления некоторого факта об объектах реальной среды. В частности, в результате обработки сигнатуры появляется набор событий: «точка 1 принадлежит линии 1», «линия 1 принадлежит области 1» «область 1 состоит из 10 линий», «линия 1 соприкасается с линией 2 в точке 1 под углом 45» и т. д.
Экспериментальная оценка модуля сегментации
Реализация описанного алгоритма написана на языке программирования C++. Для отправки сигнатур в мультиагентную систему принятия решений использовался протокол TCP/IP. Сегментация выполняется в цветовом пространстве RGB. Затем, после того как границы областей определены, границы накладываются на исходное изображение. Вокруг каждой области строятся кривые линий. Для тестирования системы предварительной обработки в программу было загружено изображение кукурузы (рис. 3).
Рис. 3. Результат сегментации изображений Fig. 3. The result of image segmentation
f
"color":{"r":70,"g":125,"b":229}, "border":[ {"x":95,"y":22,"a":0.00,"1": 1}, {"x":96,"y":22,"a":90.00,"l":1}, {"x":96,"y":23,"a":180.00,nl":l}, {"x":95,"y":23,"a": -90.00,"1":1}
]
"color":{"r":70,"g":124,"b":230}, "border":[ {"x":86,"y":23,"a":0.00,"1": 1}, {"x":87,"y":23,"a":90.00,"1":1}, {"x":87,"y":24,"a":180.00,"1":1}, {"x":86,"y":24,"a": -90.00,"1":1}
]
>, f
"color":{"r":71,"g":124,"b":230}, "border":[ {"x":107,"y":23,"a":0.00,"1":1}, {"x":10 8,"y":23,"a":90.00,"1":1}, {"x":108,"y":24,"a":180.00,"1":1}, {"x":107,"y":24,"a":-90.00,"1":1}
]
Рис. 4. Сигнатура с описанием областей Fig. 4. Signature with a description of the areas
В результате сегментации фотографии выделено 6024 областей, состоящих из 42339 линий. На последующем этапе формируются сигнатуры с описанием всех обнаруженных областей, которые отправляются на обработку агентам мультиагентной нейрокогнитивной архитектуры. Часть отправленной сигнатуры приведена на рис. 4. Она представляет собой текстовое описание (в формате json) областей и линий, входящих в эти области.
Сигнатуры, полученные при обработке, отправляются агентам, которые осуществляют распознавания областей в рамках когнитивной архитектуры. Далее агенты образуют между собой связи, содержащие все необходимые контракты для того, чтобы полностью решить задачи идентификации областей и их абсолютного и относительного пространственного местоположения. Скриншот редактора мультиагентных архитектур в процессе обработки сигнала с камеры приведен на рис 5.
Рис. 5. Скриншот редактора мультиагентных архитектур в процессе обработки изображения Fig. 5. Screenshot of the multi-agent architecture editor during image processing
После генерации полного агентно-ориентированного описания объектов на изображении мультиагентная нейрокогнитивная архитектура выдает сведения о имеющихся в ее представлении и присутствующих на изображении объектах и их пространственных отношениях.
Заключение
В работе описан алгоритм предварительной обработки изображений по методу поиска в ширину. На его основе разработан модуль подготовки изображений для последующей обработки в системе принятия решений на основе мультиагентных нейрокогнитинвных архитектур. В результате на изображении выделяются области одинакового цвета, а их описание отправляется в виде текстового описания структуры кадра. Кроме того, приведено описание процесса последующей обработки данных с кадра в системе принятия решений, в том числе процесс получения данных агентами-сенсорами и дальнейшая выделение мультиагеных фактов.
Экспериментально проверено, что мультиагентная нейрокогнитивная архитектура является эффективным формализмом для описания и распознавания семантики пространственной локализации объектов на изображении.
Список литературы
1. DeSouza G. N., Kak A. C. Vision for mobile robot navigation: A survey // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2002. Vol. 24, № 2. P. 237-267. DOI: 10.1109/34.982903
2. Davison A. J., Reid I. D., Molton N. D., & Stasse O. MonoSLAM: Real-time single camera SLAM // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2007. Vol. 29, no. 6. P. 1052-1067. D0I:10.1109/TPAMI.2007.1049
3. Torralba A., Murphy K. P., Freeman W. T., & Rubin M. A. Context-based vision system for place and object recognition // Paper presented at the Proceedings of the IEEE International Conference on Computer Vision. 2003. P. 273-280. doi:10.1109/iccv.2003.1238354 Retrieved from www.scopus.com
4. Se S., Lowe D., & Little J. Mobile robot localization and mapping with uncertainty using scale-invariant visual landmarks // International Journal of Robotics Research. 2002. Vol. 21, no. 8. P. 735-758. DOI: 10.1177/027836402761412467
5. Sze V., Chen Y., Yang T., Emer J. S. Efficient Processing of Deep Neural Networks: A Tutorial and Survey // Proceedings of the IEEE. 2017. Vol. 105, no. 12. P. 2295-2329. DOI: 10.1109/ JPR0C.2017.2761740
6. Тропченко А. А., Тропченко А. Ю. Методы вторичной обработки и распознавания изображений: Учеб. пособие. СПб.: Ун-т ИТМО, 2015. C. 12-13.
7. Нагоев З. В. Интеллектика, или мышление в живых и искусственных системах. Нальчик: Издательство КБНЦ РАН, 2013. 213 с.
8. Nagoev Z., Pshenokova I., Nagoeva O., Sundukov Z. Learning algorithm for an intelligent decision making system based on multi-agent neurocognitive architectures // Cognitive Systems Research. 2021. Vol. 66. P. 82-88. https://doi.org/10.1016/j.cogsys.2020.10.015
9. Li H., Guo L., Wang Y., & Jiang J. Grid pattern recognition in road networks using link graph // Geomatics and Information Science of Wuhan University. 2022. Vol. 47, no. 1. P. 126-132. DOI: 10.13203/j.whugis20190300
10. Du Q., Emelianenko M., Ju L., Convergence of the Lloyd algorithm for computing centroidal Voronoi tessellations // SIAM Journal on Numerical Analysis. 2006. Vol. 44. P. 102-119. DOI: 10.1137/040617364
References
1. DeSouza G. N., Kak A. C. Vision for mobile robot navigation: A survey. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, vol. 24, № 2, pp. 237-267. DOI: 10.1109/34.982903
2. Davison A. J., Reid I. D., Molton N. D., & Stasse O. MonoSLAM: Real-time single camera SLAM. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007, vol. 29, no. 6, pp. 1052-1067. DOI: 10.1109/TPAMI.2007.1049
3. Torralba A., Murphy K. P., Freeman W. T., & Rubin M. A. Context-based vision system for place and object recognition. Paper presented at the Proceedings of the IEEE International Conference on Computer Vision, 2003, pp. 273-280. DOI: 10.1109/iccv.2003.1238354 Retrieved from www.scopus.com
4. Se S., Lowe D., & Little J. Mobile robot localization and mapping with uncertainty using scale-invariant visual landmarks. International Journal of Robotics Research, 2002, vol. 21, no. 8, pp. 735-758. DOI: 10.1177/027836402761412467
5. Sze V., Chen Y., Yang T., Emer J. S. Efficient Processing of Deep Neural Networks: A Tutorial and Survey. Proceedings of the IEEE, 2017, vol. 105, no. 12, pp. 2295-2329. DOI: 10.1109/ JPROC.2017.2761740
6. Tropchenko A. A., Tropchenko A. Yu. Methods of secondary processing and recognition of images. Textbook. St. Petersburg, ITMO University publ., 2015, pp. 12-13. (in Russ.)
7. Nagoev Z. V. Intelligence, or thinking in living and artificial systems [ntellektika, ili myshleniye v zhivykh i iskusstvennykh sistemakh]. Nalchik, Publishing of KBSC RAS, 2013, 213 p. (in Russ.)
8. Nagoev Z., Pshenokova I., Nagoeva O., Sundukov Z. Learning algorithm for an intelligent decision making system based on multi-agent neurocognitive architectures. Cognitive Systems Research, 2021, vol. 66, pp. 82-88. https://doi.org/10.1016/j.cogsys.2020.10.015
9. Li H., Guo L., Wang Y., & Jiang J. Grid pattern recognition in road networks using link graph. Geomatics and Information Science of Wuhan University, 2022, vol. 47, no. 1, pp. 126-132. DOI: 10.13203/j.whugis20190300
10. Du Q., Emelianenko M., Ju L. Convergence of the Lloyd algorithm for computing centroidal Voronoi tessellations. SIAM Journal on Numerical Analysis, 2006, vol. 44, pp. 102-119. DOI: 10.1137/040617364
Информация об авторах Ахмед Зюлфикар Энес, младший научный сотрудник Мурат Валерьевич Хажметов, аспирант
Кантемир Чамалович Бжихатлов, кандидат физико-математических наук Султан Ахмедович Канкулов, стажер-исследователь
Information about the Authors Ahmed Zulfikar Enes, Junior Research Fellow Murat V. Khazhmetov, Postgraduate Student
Kantemir Ch. Bzhikhatlov, Candidate of Physico-Mathematical Sciences Sultan A. Kankulov, Trainee Researcher
Статья поступила в редакцию 20.07.2023; одобрена после рецензирования 29.11.2023; принята к публикации 29.11.2023
The article was submitted 20.07.2023; approved after reviewing 29.11.2023; accepted for publication 29.11.2023
