CC BY
0
11. Калинин Т.В., Лисицкий В.В., Демидова Н.С. и др. Математическая модель обнаружения баллистического космического объекта многоспектральным оптико-электронным комплексом // Системы управления, связи и безопасности. 2018. № 3. С. 232 - 248.
12. Козирацкого Ю.Л. Обнаружение и координатометрия оптико-электронных средств, оценка параметров их сигналов: монография. М.: Радиотехника, 2015. 456 с.
13. Коронкевич В.П. Формирование изображения в оптических системах: Учеб. пособие. Новосибирск: Изд-во НГТУ, 2005. 76 с.
14. Веселовская А.З., Шепелявая Н.Б. Элементы теории вероятностей. Случайные величины: уч. пособ. СПб.: СПбГУ, 2019. 94 с.
15. Бакулев П.А. Радиолокационные системы: учебн. для вузов. М. Радиотехника, 2004. 320 с.
16. Вентцель Е.С. Теория вероятностей: учебн. для вузов. 6-е изд. М.: Высш. шк., 1999. 576 с.
Закутаев Александр Александрович, начальник 562 лаборатории военного института (научно-исследовательского), zakutaev.a@mail. ru, Россия, Санкт-Петербург, Военно-космическая академия имени А.Ф.Можайского,
Михайлов Александр Александрович, младший научный сотрудник 562 лаборатории военного института (научно-исследовательского), [email protected], Россия, Санкт-Петербург, Военно-космическая академия имени А.ФМожайского,
Лизан Вячеслав Миронович, младший научный сотрудник 562 лаборатории военного института (научно-исследовательского), ichi. lol@mail. ru, Россия, Санкт-Петербург, Военно-космическая академия имени А.ФМожайского
STUDY OF THE ISSUES OF DETECTING REMOTE OBJECTS UNDER CONDITIONS OF A PRIORI UNCERTAINTY OF THEIR POSITION IN THE FIELD OF VIEW OF AN OPTICAL-ELECTRONIC MEANS
А.А. Zakutaev, A.A. Mikhailov, V.M. Lizan
The article presents a review of existing approaches to accounting for the signal volume lost due to the discrete structure of matrix photodetectors when observing remote objects. An approach is proposed to assess the probability of exceeding a given share of the signal potentially available for recording from a point object, determined by the specified characteristics of the optical-electronic device. It is shown that the loss of a signal due to the discrete structure of matrix photode-tectors is an independent event, the probability of which can be considered separately from other components of the functioning of the optical-electronic device. A formalized description of the procedure for accounting for the probability of exceeding a given share of the signal potentially available for recording from a point object when solving the problem of estimating the probability of its detection is presented.
Key words: optoelectronic device, detection probability, matrix photodetector, direction finding characteristic.
Zakutaev Alexander Alexandrovich, head of laboratory of military institute (research), [email protected], Russia, Saint-Petersburg, Military Space Academy of Mozhaisky,
Mikhailov Alexander Alexandrovich, junior research fellow of laboratory of military institute (research), [email protected], Russia, Saint-Petersburg, Military Space Academy of Mozhaisky,
Lyzan Vyacheslav Myronovych, junior research fellow of laboratory of military institute (research), ichi. lol@mail. ru, Russia, Saint-Petersburg, Military Space Academy of Mozhaisky
УДК 004
Б01: 10.24412/2071 -6168-2024-10-273-274
РАЗРАБОТКА ИНФОРМАЦИОННОЙ СИСТЕМЫ МОНИТОРИНГА КОЛИЧЕСТВА ПЛОДОВ ТОМАТОВ И ИХ СОСТОЯНИЯ С ИСПОЛЬЗОВАНИЕМ ТЕХНОЛОГИИ КОМПЬЮТЕРНОГО ЗРЕНИЯ
А.С. Грицай, А.В. Шимохин, А.А. Лучинович, С.Н. Болтовский, А.Е. Симоненко, И.В. Червенчук
В данном исследовании главной задачей разработанной информационной системы является определение плодов растения на цифровом изображении с последующим разделением на группы в соответствии с известными цветовыми диапазонами [1,2]. Для достижения поставленной цели требуется решить следующие задачи: уменьшение возможных искажений исходного изображения; анализ изображения для обнаружения на нем плодов помидора.
Ключевые слова: компьютерное зрение, автоматизация тепличного хозяйства, растениеводство.
Основными целями автоматизации процессов являются повышение качества и производительности исполнения процесса. Автоматизированный процесс обладает более стабильными характеристиками, чем процесс, выполняемый в ручном режиме.
Одним из инструментов автоматизации является искусственный интеллект в целом и компьютерное зрение в частности.
Компьютерное зрение (также называемое машинным зрением) - это научное направление в области искусственного интеллекта и связанные с ним технологии получения изображений объектов реального мира, их обработки и использования, полученных данных для решения разного рода прикладных задач без участия (полного или частичного) человека. С точки зрения инженерии, при помощи компьютерного зрения автоматизируются задачи, которые может выполнять зрительная система человека.
Функции компьютерного зрения охватывают методы приобретения, обработки, анализа и интерпретации цифровых изображений, а также извлечение информации из окружающего мира для получения числовых или символьных данных.
В контексте растениеводческого сельского хозяйства автоматизация в первую очередь способна повлиять на увеличение урожайности и повышение качества итогового продукта, путем лучшего контроля окружающих условий и своевременного обнаружения каких-либо отклонений в развитии и росте растений и плодов, на повышение производительности, путем замены множеством более точных и оперативно реагирующих на внешние изменения автоматизированных систем (например полива или поддержания температуры) участия человека и, тем самым, упрощая его роль в выращивании культур, и на скорость сопутствующих процессов (например, сортировки плодов или поиска отклонений в росте растений).
Технологии компьютерного зрения в контексте выращивания плодов позволяют анализировать состояние (например, стадию роста) плодов томата и вести их учет.
Классификация плодов томата по стадиям созревания возможна по их внешнему цвету. Основными этапами созревания плода томата являются: молочная стадия; бурая стадия; розовая стадия; красная стадия [3].
На молочной стадии зрелости плоды имеют твердой кожурой, светло-зеленую с беловатым оттенком окраску поверхности, светло-зеленую мякоть с началом ослизнения вокруг семян.
Плоды в данной стадии хорошо хранятся и окончательно дозревают через 2-3 недели [3,4]. На следующем этапе зрелости томата происходит смена цвета на коричневый, более известный как блан-жевый. В это время плод начинает приобретать характерный оттенок для данного сорта и приближается к своим оптимальным размерам, оставаясь при этом твердым и упругим на ощупь. Такие томаты можно хранить, но для их полного созревания требуется гораздо меньше времени, чем для молодой спелости - обычно 6-7 дней [3,4].
Плоды в период розового развития обладают плотным составом и окрашены в оттенки от светло-розового до оранжевого. Около половины их поверхности может быть покрыто желтоватым или буроватым оттенком.
Заключительной стадией развития томата является красная стадия созревания. Плоды на данной стадии плотные, полной биологической зрелости, характерной для ботанического сорта окраски. Плоды этой стадии имеют небольшой период хранения (порядка нескольких дней) и должны быть употреблены или законсервированы в кратчайший срок. Отличительной чертой созревшего помидора является характерный блеск кожуры [3].
Т.к. различные сорта зачастую имеют различные внешние цвета на всех этапах созревания, для корректной классификации необходимо для каждого отдельного сорта определять характерные ему цвета.
1. Разработка информационной системы мониторинга количества плодов томатов в теплице. На диаграмме (рисунок 1) продемонстрировано, что разработанная информационная система предполагает использование в качестве подключаемой библиотеки к какой-либо внешней системе.
Внешняя система может представлять собой программный или программно-аппаратный комплекс на основе поддерживающей интерпретатор Python платформы (к примеру, смартфон или одноплатный компьютер с видеокамерой). Данная система предоставляет разрабатываемой информационной системе необходимые для распознавания плодов томата изображения и использует в зависимости от поставленной задачи полученный результат. Также разрабатываемая информационная система предусматривает возможность дальнейших обработки и анализа полученных результатов (информацию о размерах и положении плодов томатов на изображении) внешней системой
(например, использование средств искусственного интеллекта для повышения точности обнаружения плодов томата или для расширения возможностей распознавания в затрудненных условиях). Разработанный алгоритм можно разделить на несколько основных этапов.
Первый этап - подготовительный. На нем происходит получение исходного изображения, на котором необходимо распознать плоды томатов, диапазонов цветов, в пределах которых предполагается нахождение цветов искомых плодов томатов, и пользовательские параметры внешней геометрической формы искомых плодов томатов. Если цветовые диапазоны и параметры геометрической формы не были переданы, то в дальнейшем на этапе цветового поиска и на этапе фильтрации по внешней форме будут использованы предусмотренные диапазоны по умолчанию. Также на этом этапе от внешней вызывающей системы поступают параметры для включения/выключения следующих функций разработанной системы:
выравнивание яркости изображения; корректировка цветового баланса; разделение объектов на изображении.
Второй этап представляет собой предварительную обработку изображения и в свою очередь состоит из двух шагов:
минимизация негативных эффектов, которые могут быть вызваны разными условиями освещения; минимизация негативных эффектов, связанных с общей зашумленностью изображения. Третий этап - этап анализа изображения с целью поиска на нем плодов томатов. Данный этап подразделяется на три шага:
шаг поиска по цвету;
шаг обработки бинаризованного изображения; шаг фильтрации объектов по внешней форме.
Шаг поиска по цвету заключается в классификации объектов на основе их цветовых характеристик. Задача заключается в разработке алгоритма или модели, способной автоматически определять принадлежность объекта к одному из заданных классов на основе его цветовой информации.
Принцип действий, происходящих на данном шаге, заключается в последовательной проверке всех пикселей изображения на вхождение их цвета в диапазон или диапазоны, полученные на первом этапе. Результатом данного шага является бинаризованное изображение, на котором белым цветом обозначены позиции пикселей, удовлетворяющих вышеописанным условиям, все остальное пространство заполняется черный цветом. Каждому переданному на первом этапе цветовому диапазону соответствует свое бинарезированное изображение. Данная обработка служит для фильтрации небольших объектов, которые обладают искомыми цветами и имеют небольшой размер (порядка 30х30 пикселей). Данные малые объекты, наиболее вероятно, не являются искомыми плодами томатов. Для фильтрации более крупных объектов служит следующая стадия.
Шаг фильтрации объектов по внешней форме. - итерация поиска на изображении объектов, формой похожих на плод томата, и фильтрация всех остальных объектов. Анализ формы объекта основывается на следующих основных параметрах: площадь; округлость; выпуклость; коэффициент инерции.
Задача распознавания формы заключается в отнесении исходных данных к определённому классу с помощью выделения существенных признаков, характеризующих эти данные, из общей массы данных.
Результатом этапа анализа изображения являются список с информацией о положении и размерах найденных объектов и их бинаризованные изображения для каждого отдельного цветового диапазона. В результате работы разработанной информационной системы формируется список найденных объектов в соответствии с исходными цветовыми диапазонами и возвращается внешней системе для дальнейшей обработки.
1.1. Предварительная обработка изображения. Перед тем как проводить непосредственно анализ и поиск объектов, необходимо подготовить исходное изображение. Это необходимо для того, чтобы минимизировать последствия воздействия искажений и усилить некоторые особенности объектов для преобразования изображения к форме, подходящей для дальнейшего анализа. Примеры таких операций включают коррекцию экспозиции, цветовую балансировку, уменьшение шума изображения, повышение резкости и коррекция формы изображения [4-6].
Данный этап в разработанной информационной системе имеет следующий алгоритм, представленный на
рисунке 2.
Наиболее существенные проблемы, которые могут препятствовать дальнейшему распознаванию, можно разделить на две категории:
проблемы, связанные с освещением;
проблемы, связанные с шумами и искажениями отдельных пикселей на изображении. Основная проблема распознавания связана с освещением. Это разный цветовой баланс на разных исходных изображениях. Данная проблема может являться результатом разных условий освещения сцены во время запе-чатления объекта и может приводить к тому, что один и тот же объект (или схожие по цвету объекты) на разных фотографиях при разных условиях освещения или настройках фотооборудования будут иметь разный цвет, что препятствует дальнейшему анализу изображения.
Баланс белого цвета изображения главным образом зависит от цветовой температуры освещения сцены. Цветовая температура (спектрофотометрическая или колориметрическая температура; обозначается Тс и измеряется в кельвинах) определяется, согласно формуле Планка, как температура абсолютно черного тела, при которой оно испускает излучение того же цветового тона, что и рассматриваемое излучение.
В разрабатываемом алгоритме предварительной обработки повышение контраста осуществляется за счет использования метода линейной растяжки гистограммы, суть которого заключается в присвоении уровням яркости пикселов исходного изображения, лежащим в интервале [/т;п, /тах] новых значений с тем, чтобы охватить весь возможный интервал изменения яркости. Преобразование уровней яркости осуществляется по формуле:
91 = а + Ь^П (1)
где ^ — старое значение яркости ьтого пиксела, — новое значение, а, Ь — коэффициенты, которые выбираются таким образом, чтобы дт1п = 0, дтах = 255, и могут быть определены по формулам:
^ = — (255 • [т1п) / С/тах — [т1п) (2)
Ь = 255 / ([тах-[т1п) (3)
Для фильтрации изображения используются двумерные фильтры, фильтрация в которых осуществляется за счет использования масок. При фильтрации маска перемещается по изображению, формируя отклик фильтра, значение которого присваивается пикселу нового изображения с координатами, соответствующими положению центра апертуры.
Рис. 2..Алгоритм предварительной обработки изображения
1.2. Корректировка цветового баланса изображения. Для решения вышеописанной проблемы в разработанной информационной системе применяется корректировка цветового баланса. Важной целью этой настройки является корректное отображение определенных цветов, особенно нейтральных. Следовательно, общий метод иногда называют балансом серого, нейтральным балансом или балансом белого. Цветовой баланс изменяет общую смесь цветов на изображении и используется для коррекции цвета. Преобразование в градации серого выполняются по формуле:
у = 0.2126 • г + 0.7152 • g + 0.0722 • Ь (4)
где г, g, Ь - цветовые компоненты исходного изображения, а у - выходное значение для пикселя изображения в оттенках серого.
Результаты работы описанного метода продемонстрированы ниже на рисунке 3 на примере двух одинаковых фотографий с различающимися параметрами баланса белого цвета.
Рис. 3. Корректировка цветового баланса у изображения с преобладающими теплыми оттенками (слева исходное изображение томата, справа со сбалансированным цветом и выровненной яркостью)
На этом примере можно увидеть, что на исходных фотографиях цвет одного и того же объекта, но с неодинаковыми параметрами баланса белого, различается, что может препятствовать дальнейшему анализу изображения и поиска на нем плодов томатов по характерному им цвету.
Стоит отметить, что в большинстве фотокамер уже реализован механизм коррекции цветового баланса. По этой причине в описываемой информационной системе предусмотрена возможность отключения балансировки в случае, если балансировка цвета проводится непосредственно при запечатлении объекта. Данное действие проводится аналогично выключению выравнивания освещения.
1.3 Поиск на изображении объектов, внешним видом похожих на плоды томатов. После предварительной обработки изображения следует основной этап работы данной информационной системы. На нем происхо-
дит непосредственно поиск объектов, похожих на плоды томатов. Данный этап можно разделить на следующие шаги, продемонстрированные на рисунке 4.
Первые два шага из представленных были частично освещены при описании общей схемы алгоритма (поиск по цвету и фильтрация небольших объектов). Стоит обратить внимание на последние три шага, представленных на рисунке 4.
Шаг заполнения черных внутренних областей объектов на бинаризованном изображении является подготовкой к последующему разделению соприкасающихся объектов. Нежелательные отверстия в объекте часто появляются, потому что условия освещения, при которых фотографируется объект, не идеальны. Необходимость этого этапа обоснована спецификой задачи разделения объектов, объединенных в бинаризованное изображение.
Шаг разделения соприкасающихся объектов необходим для решения соответствующей проблемы. Она заключается в том, что два объекта, имеющие близкие цвета и соприкасающиеся друг с другом, образуют на бинари-зированном изображении один большой общий объект, что ведет к ошибкам в распознавании. Завершающим шагом распознавания является поиск на получившемся бинаризованном изображении объектов, с формой, похожей на плод томата.
Поиск по цвету
"Удаление неэначительныз объектов с бинаризованного
Заполнение внутренних
О ] KfJH" Е ИЙ DllhiCK I МИ HM
бинаризованном изображении
Ph.; чгп t* ниг iO г i ] i пк игяющихгн объеьсгоЕ
Ф [til >ъ ] I in Н oíyht^ КЗ LJK ]]il
форме
1-71"-J
о
Рис. 4. Диаграмма с шагами поиска tuiodoe томата на изображении
Основой детектирования плодов томатов на изображении в разработанной информационной системе служит цветовой поиск. Принцип его работы заключается в последовательной проверке всех пикселей изображения на вхождение в заданный цветовой диапазон.
Удаление фона и листьев в разработанной системе основано на исключении пикселей определенных цветов с изображения. А именно пикселей, у которых в цветовом диапазоне Lab значение канала b* меньше значения 138 и в цветовом диапазоне RGB красная составляющая итогового цвета меньше значения 72.
Цветовой поиск в данной информационной системе проводится с использованием изображения в цветовой модели HSV.
В случае HSV цветовыми координатами являются:
тон (англ. hue);
насыщенность (англ. saturation);
яркость (англ. brightness, но в данном случае используется value).
Напротив, модель HSV облегчает работу с цветами, поскольку позволяет напрямую управлять светлотой и насыщенностью, не влияя на цветовой тон. В контексте поиска цвета она позволяет более точно выбирать цветовой диапазон.
1.4 Поиск по цвету. Результатом работы данного шага является бинаризованное изображение с выделенными найденными объектами, где белым цветом обозначены пиксели, цвет которых входит в искомый диапазон. Пример представлен на рисунке 5.
а б в
Рис. 5. Результат работы шага цветового поиска: а - исходное изображение; б - бинаризованное изображение,
в - совмещенное демонстрационное изображение
Как видно на примере на предыдущем рисунке выделение по цвету работает не идеально. Некоторыми моментами можно пренебречь (например, неровными краями), а нейтрализации более существенных (например,
277
черной области внутри объекта или множества разрозненных белых пикселей, которые не принадлежат основному объекту) посвящены последующие итерации. Также, в данной информационной системе, как было упомянуто, предусмотрена возможность поиска по нескольким цветовым диапазонам параллельно. Демонстрация данной функции представлена на рисунке 6.
9
Рис. 6. Пример поиска по нескольким цветовым диапазонам
Для этого внешней системе, использующей данную информационную систему, необходимо передать словарь (в данном контексте словарь - одна из структур данных языка Python) с минимальными и максимальными значениями для нескольких диапазонов, как в примере ниже на рисунке 7.
color_ranges = {"red": {"min": (0, 132, 0), "max": (179, 255, 255)}, "green": {"min": (32, 50, 40), "max": (50, 255, 237)}}
Рис. 7. Пример словаря с параметрами цветовых диапазонов
Словарь в Python - это тип данных, представляющий собой коллекцию пар «ключ-значение», в рамках которых ключи не повторяются (также словари иногда называют ассоциативными массивами).
1.5 Удаление внутренних черныш областей объектов на бинаризованном изображении. Для более удобного подбора значений для цветовых диапазонов можно использовать разработанное для этой цели специализированное ПО, не входящее в рассматриваемую информационную систему.
В результате цветового поиска, производимого разработанной системой, может получиться так, что объект, потенциально являющийся плодом томата, на бинаризованном изображении будет иметь черное пятно даже при корректной настройке диапазонов поиска. Данный эффект продемонстрирован на рисунке 8.
U
9
Рис. 8. Пример неидеального выделения по цвету
Указанный дефект изображения может повлиять на корректное разделение близко расположенных объектов из-за специфики этой операции.
Решение этой проблемы основано на нахождении внешнего контура объекта и заполнении всего пространства внутри этого контура; библиотека OpenCV предоставляет такую возможность.
Контур изображается ломаной линией, вершины которой называются узлами; предположим, даны две линии - эталонная и тестового объекта. Сравним объекты с помощью следующей модели. Предположив, что оба объекта сделаны из проволоки, сравним близость этих ломаных линий, оценив количество механической работы, необходимой для превращения одного объекта в другой. Определим элементарную работу, которую надо совершить для перевода отдельных прямолинейных элементов ломаных. Достаточно рассмотреть два основных вида деформации: растяжение (сжатие) и изгиб в узлах.
Назначим элементарную работу для каждой из этих деформаций: 10-1 — 12) - работа по изменению длины при растяжении и сжатии, [(ф1 — (р2) - работа по изменению угла при изгибе.
Задача состоит в поиске такого преобразования, чтобы затраченная работа была минимальной, т.е. надо
найти
Гц = ™п. (5)
Контур можно представить, как кривую, соединяющую все непрерывные точки вдоль границы, которые имеют одинаковый цвет или одинаковую интенсивность.
Эта задача сводится к установлению соответствия узлов одной ломаной узлам другой. При этом не требуется взаимно-однозначное соответствие, но требуется сохранение монотонности.
Для большей точности с разработанной информационной системе используются двоичные изображения. Данное решение основано на том, что в OpenCV поиск контуров заключается в поиске более светлого объекта на фоне более темного [7,8]. Пример найденного контура приведен на рисунке 9 (в целях демонстрации контур выделен зеленым цветом).
Рис. 9. Пример найденного внешнего контура объекта.
Как только контур найден, для удаления внутренних чёрных областей объектов на бинаризованном изображении можно использовать метод пороговой обработки с двойным ограничением (11 < 12). Он основан на сравнении каждого пикселя с двумя порогами: верхним (Ъ) и нижним ф). Если значение пикселя меньше нижнего порога, оно устанавливается равным нулю (белый цвет). Если значение пикселя больше верхнего порога, оно также устанавливается равным нулю (белый цвет). В противном случае пиксель остаётся чёрным (тёмный цвет).
Формула метода пороговой обработки с двойным ограничением:
Р'(т, п) = ¡0' П)> (6)
Ц, Р(т, п) < Ь2' у '
где F'(m, п) - преобразованное изображение, F(m, п) - исходное изображение, Н и t2 - пороги.
В результате все пространство внутри контура заполняется белым цветом. На рисунке 10 ниже показан пример того же изображения, что и в предыдущем методе удаления черных областей с объектов на бинаризованном изображении.
□
Рис. 10. Результат закрашивания черных областей у объектов с применением поиска контуров
При сравнении рисунков 8 и 10 можно увидеть, что на втором примере внешние контуры объектов никак не деформированы, и на основе этого при разработке было принято решение использовать метод закрашивания с поиском контуров в рассматриваемой информационной системе.
1.6 Разделение соприкасающихся объектов на бинаризованном изображении. При анализе требований к проектируемой информационной системе было выявлено, что зачастую могут происходить случаи, когда несколько объектов, обладающие искомым цветом и близко расположенные, соприкасаются и, тем самым, частично или полностью перекрывают друг друга. Результатом этого является, что на бинаризованном изображении такие объекты сливаются в одну большую белую область, как на рисунке 11.
Рис. 11. Слившееся в один большой объект томаты, слишком близко расположенные опшосительно друг друга
Попытка распознавания разработанной системы вышеприведенного изображения без предварительного разделения объектов приведет к тому, что в итоге будет распознан только один объект или вовсе ни одного (т.к. форма получившейся белой области имеет мало общего с формой плода томата). Для решения этой задачи был рас-сматрен способ - алгоритм водораздела (англ. Watershed Algorithm).
Первым шагом в применении алгоритма водораздела в разработанной информационной системе для сегментации является построение карты расстояний для бинаризованного изображения, как рисунке 12.
Карта расстояний основывается на евклидовом преобразовании расстояния (англ. Euclidean Distance Transform - EDT). Представленная на рисунке 14 карта является демонстрацией EDT. Для построения описанной карты использовалась функция distance_transform_edt библиотеки Scipy.
Евклидово расстояние между двумя точками p и q в n-мерном пространстве определяется формулой:
d(p, q)= №=1(p]-qi)2. (7)
где pi и qi - координаты точек p и q соответственно, а Z обозначает сумму по всем измерениям.
Следующий шаг - поиск локальных максимумов полученной карты расстояний. Эти точки представляют собой центры предполагаемых объектов, с которых непосредственно начинается сегментация объекта ("заполнение
водой", описанное выше). Для поиска локальных максимумов используется функция реак_1оса1_тах из библиотеки Skimage. Результатом работы этой функции является бинаризованное изображение для каждого отдельного объекта (сегмента исходного объекта), найденного алгоритмом водораздела. Пример показан на рисунке 13.
Рис. 12. Пример карты расстояний для бинаризованного изображения
Рис. 13. Сегменты исходного объединенного объекта
Полученные в результате вышеописанной сегментации объекты будут отдельно проанализированы на шаге фильтрации по внешней геометрической форме.
Стоит отметить, что данная итерация требует больших вычислений и, следовательно, требует большего времени. Если необходимо повысить скорость работы рассматриваемой системы и известно, что плоды томатов на исходных изображениях с высокой вероятностью не соприкасаются, то в разработанной информационной системе предусмотрена возможность отключения шага разделения частично перекрывающихся объектов (и вместе с ним шаг удаление черных областей объектов. Отключение происходит на шаге передачи исходных материалов для распознавания.
1.7 Фильтрация объектов по внешней геометрической форме на биноризованном изображении. Последним шагом работы разработанной информационной системы является поиск на изображениях, полученных на предыдущих итерациях, объектов, форма которых схожа с формой плода томата.
Существует несколько подходов решения данной задачи с применение средств библиотеки OpenCV. Нами выбран подход связанный с использованием simple blob detector, входящего в состав библиотеки OpenCV. Именно данный метод применяется в разработанной информационной системе. Он позволяет находить на изображении области, имеющие общее свойство (в контексте компьютерного зрения такая область называется «blob») по следующим ключевым характеристикам: цвет;
минимальное расстояние между центрами областей; площадь (минимальное и максимальное значения); округлость (минимальное и максимальное значения); выпуклость (минимальное и максимальное значения); инерция (минимальное и максимальное значения) [6].
Установка параметров производится перед созданием экземпляра детектора путем присвоения соответствующим полям класса SimpleBlobDetector_Params выбранных значений и булевых переменных для активации соответствующих фильтров [7-9]. Рассмотрим действия, производимые в данном алгоритме, подробнее.
Для начала необходимо создать сам экземпляр класса SimpleBlobDetector_Params, содержащего все настройки для дальнейшей фильтрации объектов детектором (simple blob detector). Важной и не совсем очевидной особенностью данного класса является то, что некоторые фильтры включены заранее и для последующей корректной работы с рассматриваемым детектором необходимо проследить, чтобы все фильтры, которые не планируется использовать, были выключены.
Следующим шагом, является отключение фильтра по цвету. Данный фильтр не понадобится для дальнейшего анализа объектов, поскольку выделение по цвету в данной разработанной информационной системе производилось на шаге цветового поиска.
Следующий шаг - включение фильтра по площади и загрузка минимального и максимального значений площади искомых объектов. Фильтр по площади применяется для фильтрации слишком малых или, напротив, слишком больших объектов. Диапазон искомых площадей в разработанной информационной системе рассчитываются на основе размеров исходного изображения. Это необходимо, поскольку объекты с абсолютными значениями площадей будут обладать разными относительными размерами на изображения с разными разрешениями. Для использования в разработанной информационной системе было принято решение использовать значения от 1/225 до 1/2,25 значений площади исходного изображения.
Последующими шагами являются включения и загрузка минимальных значений фильтров округлости, выпуклости и инерции. Значения данных фильтров были вычислены экспериментальным путем и равны 0,6, 0,5, 0,4 соответственно. Характеристики, используемые данными фильтрами, требуют отдельного пояснения.
Округлость - метрика, позволяющая определить, насколько фигура геометрической формой близка к окружности. Т.е. правильный шестиугольник имеет большую округлость, чем квадрат. Числовое значение округлости определяется по формуле [10-12].
С =4§ (8)
где: С - округлость; S - площадь; Р - периметр.
Рассмотрим два крайних значения для данного свойства. Наиболее лучшее значение должно быть для круга, оно равно
„ = 4пЯ = 4жтК2 = 4п2К2 = ..
= (Р)2 = (2жК)2 = 4ж2К2 = ' ()
Наиболее худший вариант (наименьшая "округлость") наблюдается у квадрата. Соответствующее значение равно
г _ 4п5 _ 4п^а2 _ 4па2 _ п /1п\
= (р)2 = (4а)2 = 16а2 = 4 ()
Из данной формулы следует, что круг имеет округлость равной 1, а округлость квадрата равна 0,785.
Числовое значение выпуклости вычисляется путем деления площади фигуры на площадь ее выпуклой оболочки [13-14]. Выпуклая оболочка фигуры - это наименьшая выпуклая геометрическая фигура, которая полностью охватывает исходную фигуру. Таким образом, значение выпуклости принадлежит множеству от 0 до 1.
Коэффициент инерции (энергия изгиба) показывает, насколько вытянута геометрическая фигура. Для наглядности на рисунке 14 изображены примеры фигур с разными коэффициентами инерции (зеленая фигура справа имеет меньшим коэффициентом, чем синяя справа) [15].
Я
я
ш
W
Рис. 14. Пример фигур с разными коэффициентами инерции
Пусть задано n точек фигуры, тогда энергия изгиба описывается следующей формулой:
Е(п)= \2, (11)
где kt = в1+1 — 8i и et = У1+1-У\ fc. характеризует изменение угла в вершине.
xi+1 xi
Для круга данный коэффициент равен 1, для эллипса - от 0 до 1, а для линии - 0.
После проведения вышеописанной настройки необходимо создать экземпляр класса SimpleBlobDetector, передав класс с настройками SimpleBlobDetector_Params в конструктор. Для применения детектора следует вызвать метод detect данного класса.
Стоит отметить, что в разработанной информационной системе имеется возможность изменить параметры детектора путем передачи класса SimpleBlobDetector_Params с соответствующими настройками вместе с исходным изображением на шаге вызова инициализирующей функции рассматриваемой системы.
1.8 Распознавание плода томата при оптимальных условиях и при зашумленном изображении. На рисунке 15 ниже изображены два плода томата. Можно утверждать, что данная фотография произведена при оптимальных условиях. Поскольку:
исходное изображение не зашумлено;
оптимальное освещение сцены (не резкое и не имеющее больших смещений в холодные или теплые тона);
плоды не повреждены;
плоды находятся на достаточном удалении друг от друга и не соприкасаются.
м
Рис. 15. Тестовое изображения для распознавания в оптимальных условиях
Распознаванию плодов при таких внешних условиях ничего не препятствует и плоды томатов распознаются с достаточно большой точностью, как на рисунке 16.
е»
Рис. 16. Результат распознавания при оптимальных условиях
281
Как видно на итоговом демонстрационном изображении, два плода томата были найдены (и впоследствии выделены) корректно.
В качестве тестового изображения для распознавания плода томата в условиях зашумленности будет использоваться тестовое изображение с искусственно наложенными шумами.
Для лучшей демонстрации шумов, был взят увеличенный фрагмент изображения. Как можно заметить, на изображении присутствует довольно сильная зашумленность. Данные шумы сильно не влияют на опознавание на данном изображении плода томата человеком, но в процессе распознавания методами компьютерного зрения точность можешь значительно упасть.
Удаление шумов с изображения включает использование метрики PSNR (Peak Signal-to-Noise Ratio) для оценки качества шумоподавления. Метрика PSNR определяется следующим образом:
PSNR =-4, (12)
MAXV1010
где MAXI - максимальное значение пикселя изображения, D - разность между исходным и обработанным изображением, L - количество бит на пиксель. Таким образом, чем ближе отфильтрованное изображение к оригинальному, тем больше значение PSNR и тем выше считается качество работы алгоритма шумоподавления.
Данная метрика определяет уровень искажений при сжатии и включает подсчёт среднеквадратичной ошибки (MSE). PSNR измеряется в логарифмической шкале в децибелах и имеет диапазон значений от 0 до 100. Т.е. чем выше значение PSNR, тем больше деталей осталось на изображении после сжатия и выше качество.
Среднеквадратичная ошибка (MSE) подсчитывается по формуле:
MSE = iZ?=i(y£ - 'Уд2. (13)
где n — количество пикселов, yi — фактические значения пикселя изображения, а 'yi — предсказанные значения.
Как продемонстрировано на предыдущем рисунке система отработала корректно и были распознаны все плоды томатов на изображении.
Рассмотрим воздействие зашумленности изображение подробнее. На рисунке 17 представлено сравнение фрагментов бинаризованных изображений, на которых изображен найденный плод томата при разных условиях.
Рис. 17. Бинаризованные изображения плода томата при распознавании в оптимальным условиях (слева), в условия зашумленности исходного изображения без сглаживания (в середине) и в условия зашумленности
исходного изображения со сглаживанием (справа)
На продемонстрированных выше примерах представлены негативное влияние зашумленности исходного изображения и следующая из этого необходимость борьбы с ней. Зашумленность может привести к некорректной работе детектора, фильтрующего объекты по форме их бинаризованного изображения.
Результатом некорректной работы с зашумленным изображением с отсутствующим сглаживанием в данном случае привел к неспособности разработанной информационной системы распознать на изображении плоды томатов.
1.9 Распознавание плода томата на изображении с некорректным балансом белого цвета. Для моделирования ситуации с анализом изображения с неправильными настройками цветового баланса используется представленное на рисунке 18 исходное изображение со смещенными цветами в сторону более теплых оттенков.
64
Рис. 18. Тестовое изображения с некорректным цветовым балансом
Как видно на приведенном рисунке, цвет объектов на изображении исказился (оттенок красных плодов томатов сместился ближе к оранжевому). Данный фактор может повлиять на корректную работу поиска по цвету. Для нейтрализации негативных последствий данного фактора проводится коррекция баланса белого. Демонстрация результата работы разработанной информационной системы представлен на рисунке 19.
Рис. 19. Результат анализа изображения с некорректным цветовым балансом
282
Как можно увидеть на приведенном рисунке разработанная информационная система успешно распознала томаты с искаженным цветом.
1.10 Распознавание нескольких соприкасающихся плодов томата на изображении. Существует проблематика процедуры разделения и распознавания нескольких частично перекрывающихся объектов на изображении.
В качестве исходного демонстрационного изображения в данном разделе будет рассматриваться рис. 20.
Рис. 20. Тестовое изображение с несколькими частично перекрывающимися плодами томатов
На данной фотографии присутствуют несколько перекрывающих друг друга плода томата. Распознать на данном изображении четыре плода томата для человека не составляет больших трудностей. Но в контексте компьютерного зрения это довольно распространенная задача. Проблема распознавания таких групп заключается в том, что на бинаризованном изображении все данные объекты по причине того, что у них всех схожие цвета, образуют единый большой белый объект, как на рисунке 21.
шЯМЙ
Яг
Рис. 21. Бинаризованное изображение, полученное на основе исходного
Для решения подобных задач в разработанной информационной системе используется алгоритм водораздела. Рассматриваемое изображение, продемонстрированное на рисунке 26 необходимо подготовить перед применение алгоритма водораздела.
Подготовка бинаризованного изображения подразумевает удаление (закрашивание) черных областей, находящихся в пределах белого объекта на подготавливаемом изображении. После данной подготовки можно приступать к сегментации алгоритмом водораздела. Результат решения поставленной задачи продемонстрирован на рисунке 22.
(Я г
Рис 22. Результат анализа изображения с несколькими частично пересекающимися плодами томата
На продемонстрированном выше изображении видно, что разработанная информационная система корректно определила все четыре плода томата. Стоит отметить, что рассматриваемая информационная система с большой долей вероятности определяет только те плоды томатов, у которых скрытая часть не превышает примерно половины плода. В противном случае точность распознавания резко уменьшится.
1.11 Распознавание плода томата на изображении, на котором присутствуют посторонние предметы. Зачастую на изображении присутствуют не только плоды томатов, а разного вида посторонние объекты (не учитывая фоновый объект). Как пример, рисунок 23
Объекты с нехарактерными для плодов томата цветами фильтруются на шаге поиска по цвету и поэтому не могут присутствовать на итоговом бинаризованном изображении и не вызывают больших трудностей на последующих итерациях анализа такого изображения. Проблему вызывают те объекты, чьи цвета входят в искомый диапазон. Бинаризованные изображения данных объектов необходимо отсортировывать по другим параметрам. Такими параметрами могут быть свойства внешних геометрических форм объектов на бинаризованном изображении.
Библиотека OpenCV содержит инструменты анализа параметров геометрических фигур.Результат фильтрации с использованием таких инструментов представлен на рисунке 24.
283
Рис. 23. Тестовое изображение с посторонними объектами.
Рис. 24. Результат анализа изображения с присутствующими на нем поспюронними предметами
Стоит отметить, что данный подход не защищает от ошибочного распознавания как плод томата объектов, очень схожих цветом и внешней формой с плодом томата (например, красный шар).
1.12 Распознавание плодов томата разных цветов на одном изображении. Для правильной классификации на основе цвета плода томата (например, классификация по стадиям созревания или по сортам), необходимо искать объекты на изображении сразу нескольких цветовых диапазонов. Рассмотрим пример следующей ситуации, изображенной на рисунке 25. На рисунке изображены два плода томата различных сортов. Стоит необходимость классифицировать данные плоды по сортам на основе их внешнего цвета и произвести подсчет их количества.
Для выполнения поставленной задачи в разработанной информационной системе последовательно производится поиск и формирование бинаризованных изображений для каждого цветового диапазона (соответствующему отдельному сорту). Далее каждое бинаризованное изображение обрабатывается отдельно и для каждого цветового диапазона формируются списки найденных объектов.
Рис. 25. Тестовое изображение с несколькими плодами томата разных сортов
Демонстрация результата работы разработанной информационной системы представлена на рисунке 26.
Рис. 26. Результат анализа изображения с несколькими плодами томата разны/х сортов
с классификацией их по сортам
Количество распознанных плодов томата можно получить, основываясь на длине списка с информацией о найденных объектах, возвращаемого разработанной информационной системой по окончании анализа изображения.
Точность распознавания плодов томатов разработанной информационной системы напрямую зависит от качества изображения и от того, насколько внешний вид плода томата не искажен на изображении. Из этого следует, что если объект обладает формой или цветом слишком нехарактерными для плодов томата (например, плод поврежден), то такой плод, наиболее вероятно, не будет распознан на изображении.
В эту категорию можно также отнести плоды, чья внешняя геометрическая форма бинаризованного изображения, полученного на шаге цветового поиска, искажена.
На примере выше изображены плоды томатов, перекрываемые стеблем и листьями. Поскольку данные перекрывающие объекты обладают другим цветом, они не присутствуют на итоговом бинаризованном изображении и на их месте расположены черные области. Из-за этого бинаризованное изображение плода оказывается разделенным на несколько частей. В следствие этого, каждая такая часть анализируется отдельно, что и приводит к ошибочному распознаванию. Точность распознавания разработанной информационной системы значительно снижается при перекрывании посторонними объектами плодов томатов. Для достаточно точного распознавания необходимо избегать визуального разделения плода томата на изображении.
Заключение. В данной статье были приведены примеры распознавания объектов, цветом и внешней формой схожих с плодами томата. Были продемонстрированы результаты работы методов минимизации последствий факторов, негативно влияющих на анализ изображения с целью поиска на нем плодов томата. Описаны слабые стороны разработанной информационной системы.
На основе материалов данной статьи можно сделать выводы. Разработанная информационная система мониторинга количества плодов томатов корректно решает следующие поставленные задачи: корректное распознавание плодов томата в условиях зашумленности изображения; корректное распознавание плодов томата при разных условиях освещения; корректное распознавание соприкасающихся и частично перекрывающихся плодов томата; корректную фильтрацию посторонних предметов, не обладающих особенностями внешнего вида плодов
томата;
корректную классификацию плодов томата основываясь на внешнем цвете Также стоит обратить внимание на слабые стороны данной информационной системы: Возможное некорректное распознавание излишне перекрытого (скрытого порядка наполовину) посторонним объектом плода томата (в данном случае скрытый плод наиболее вероятно будет распознан как часть плода на переднем плане);
Возможное некорректное распознавание визуально разделенного плода томата посторонним объектом на изображении (в данном случае плод наиболее вероятно будет распознан как несколько раздельных объектов).
Важно учитывать слабые стороны разработанной информационной системы и по возможности не допускать вышеперечисленные ситуации.
Следует также подчеркнуть, что разработанная информационная система построена с использованием алгоритма компьютерного зрения таким образом, что в ней не применялись нейронные сети (обучение по примерам) что можно выделить в преимущество так как для настройки на поиск необходимого объекта не нужно искать существенно большой массив изображений. Такой подход в разработке информационной системы, на наш взгляд, является более приемлемый для сельского хозяйства.
Список литературы
1. Боргоякова В.А. Разработка информационной модели автоматизации теплицы // Международный студенческий научный вестник. 2019. №1. С. 30-38.
2. Потапов В.И. Использование нейронной сети для построения краткосрочного прогноза электропотребления ООО "Омская энергосбытовая компания" / В. И. Потапов, А. С. Грицай, Д. А. Тюньков, Г. Э. Синицин // Известия Томского политехнического университета. Инжиниринг георесурсов. 2016. Т. 327. № 8. С. 44-51.
3. ГОСТ 1725-85. Томаты свежие. Технические условия. М.: Издательство стандартов. М., 1985.
4. Использование компьютерного зрения в тепличном хозяйстве / А.В. Шимохин, Е.Ф. Романова, И.Ф. Ричапов, О.В. Краснов // Инновационные технологии в АПК, как фактор развития науки в современных условиях: Сборник международной научно-исследовательской конференции, посвященной 70-летию создания факультета ТС в АПК (МЕХ ФАК). Омск: Омский государственный аграрный университет имени П.А. Столыпина, 2020. С. 334-339.
5. Использование нейронной сети для построения краткосрочного прогноза электропотребления ООО "Омская энергосбытовая компания" / В. И. Потапов, А. С. Грицай, Д. А. Тюньков, Г. Э. Синицин // Известия Томского политехнического университета. Инжиниринг георесурсов. 2016. Т. 327. № 8. С. 44-51.
6 Устюжанин С.А. АСУ «УМНАЯ ТЕПЛИЦА» / Устюжанин, С.А., Симахин В.А. // Математическое и информационное моделирование. 2017. С. 472-478.
7. Амонуллозода О.А. Методы расспознавания объектов по изображению при помощи библиотеки opencv // Вестник Технологического университета Таджикистана. 2019. № 1(36). С. 73-80. EDN HTMDAJ.
8. Кравцов Е.А. Контурный анализ с использованием библиотеки opencv // Медико-экологические информационные технологии - 2020: сборник научных статей по материалам XXIII Международной научно-технической конференции: в 2 ч. Том Часть 2. Курск: Юго-Западный государственный университет, 2020. С. 143149.
9. Магамедова Д.М. OpenCV - инструмент компьютерного зрения // Тенденции развития науки и образования. 2020. № 63-3. С. 42-48. DOI 10.18411/lj-07-2020-68.
10. Харитонов А.С. Автоматизация теплицы на базе одноплатного компьютера RaspberryPi и графического конфигуратора Node-RED // Наука настоящего и будущего. 2017. С. 120-122.
11. Шимохин А.В. Применение нейросетевого моделирования для принятия решения о передаче бизнес-процесса на аутсорсинг// Фундаментальные исследования. 2019. № 5. С. 160-166.
12. Chlorophyll fluorescence, non-photochemical quenching and light harvesting complex as alternatives to color measurement, in classifying tomato fruit according to their maturity stage at harvest and in monitoring postharvest ripening during storage / S.Dimitrios, Kasampalis, Pavlos Tsouvaltzis, Anastasios S. Siomos // Postharvest Biology and Technology.-Volume 1612020, 111036. DOI 10.1016/j.postharvbio.2019.111036.
13. Sharpening based on multi-objective decision for multi-band remote sensing images/ Lei Wu Pan, Yunqiang Yin, Xunyan Jiang, T.C.E. Cheng // Pattern Recognition, Volume 118, 2021, 108022. DOI 10.1016/j.patcog.2021.108022.
14. Sharpening enhancement technique for MR images to enhance the segmentation / Jeevakala S.,,Brintha Therese A. // Biomedical Signal Processing and Control, Volume 41, 2018. P. 21-30. DOI: 10.1016/j.bspc.2017.11.007.
285
15. Шипко В.В. Метод селекции объектов на гиперспектральном изображении на основе анализа их контуров / В.В. Шипко, М.Ф. Волобуев // Оптика и спектроскопия. 2022. Т. 130, № 8. С. 1248-1255. DOI 10.21883/OS.2022.08.52911.3268-22.
16. On Plant Detection of Intact Tomato Fruits Using Image Analysis and Machine Learning Methods/ Yamamo-to, Kyosuke & Guo, Wei & Yoshioka, Yosuke & Ninomiya // Sensors. 2014. №14. С. 12191-12206.
Грицай Александр Сергеевич, канд. техн. наук, доцент, aleksandr. gritsay@gmail. com, Россия, Омск, Омский государственный технический университет,
Шимохин Антон Владимирович, старший преподаватель, av.shimokhin@omgau. org, Россия, Омск, Омский государственный аграрный университет,
Лучинович Анастасия Александровна, магистр, ассистент, [email protected], Россия, Омск, Омский государственный аграрный университет,
Болтовский Сергей Николаевич, магистр, ассистент, sn. boltovskiy@omgau. org, Россия, Омск, Омский государственный аграрный университет,
Симоненко Александр Евгеньевич, магистр, ассистент, [email protected] Россия, Омск, Омский государственный аграрный университет,
Червенчук Игорь Владимирович, канд. техн. наук, доцент, [email protected], Россия, Омск, Омский государственный аграрный университет
INFORMATION SYSTEM FOR MONITORING THE NUMBER OF FRUIT AND THEIR CONDITION USING COMPUTER
VISION TECHNOLOGY
A.S.Gritsay, A. V. Shimokhin, A.A. Luchinovich, S.N. Boltovsky, A.E. Simonenko, I. V. Chervenchuk
In the article, the main goal of the designed information system is to recognize plant fruits in a digital image with subsequent classification based on previously known color ranges [1,2]. To achieve this goal, it is necessary to solve the following tasks: minimizing the possible negative effects of distortion of the original image and analysis of the image in order to search for tomato fruits on it.
Key words: crop production, computer vision, greenhouse automation.
Gritsai Alexander Sergeevich, candidate of technical sciences, docent, aleksandr. gritsay@gmail. com, Russia, Omsk, Omsk State Technical University,
Shimokhin Anton Vladimirovich, senior lecturer, [email protected], Russia, Omsk, Omsk State Agrarian
University,
Luchinovich Anastasia Alexandrovna, master's, assistant, [email protected], Russia, Omsk, Omsk State Agrarian University,
Boltovsky Sergey Nikolaevich, master's, assistant, sn. boltovskiy@omgau. org, Russia, Omsk, Omsk State Agrarian
University,
Simonenko Alexander Evgenievich, master's, assistant, alexsim99.99@mail. ru, Russia, Omsk, Omsk State Agrarian University,
Chervenchuk Igor Vladimirovich, candidate of technical sciences, docent, cherven-igor@yandex. ru, Russia, Omsk, Omsk State Agrarian University
