CC BY
71
МЕТОД ОСТАНОВКИ ПРОЦЕССА ПОСТРОЕНИЯ ИЕРАРХИЧЕСКОЙ РЕГРЕССИИ ПРИ РЕАЛИЗАЦИИ ВЫЧИСЛИТЕЛЬНЫХ ПРОЦЕДУР ЛОКАЛЬНОЙ ОБРАБОТКИ ИЗОБРАЖЕНИЙ
Копенков В.Н.
Институт систем обработки изображений РАН, Самарский государственный аэрокосмический университет имени академика С.П. Королёва (национальный исследовательский университет)
Аннотация
В работе рассматривается вопрос использования функционала полного скользящего контроля при решении задачи автоматического построения процедуры локальной обработки сигналов/изображений, настраиваемых по эмпирическим данным (иерархической регрессии). Предлагается методика остановки процесса формирования различных сочетаний обучающей и контрольной выборок и, как следствие, процесса построения процедуры обработки изображений, основанная на интервальной оценке функционала скользящего контроля качества.
Ключевые слова: локальная обработка, иерархическая регрессия, интервальная оценка, функционал полного скользящего контроля качества.
Введение
Задачи локальной обработки и анализа цифровых изображений находят широкое применение в различных областях человеческой деятельности. Традиционно локальная обработка связана с выполнением некоторого количества вычислительных процедур, предназначенных для решения таких задач, как восстановление и фильтрация изображений, контрастирование, повышение яркости, поэлементные преобразования, ранговые операции, поэлементная классификация, индексация и сегментация, классификация областей на изображении. При этом различие алгоритмов обработки и обработка больших объёмов информации (космические снимки, данные ДЗЗ, гиперспектральные данные, многомерные сигналы) с учётом требований высокой эффективности ведут к необходимости использования нелинейных локальных преобразований [3, 5, 7]. Один из наиболее распространённых на настоящий момент подходов к построению универсальных нелинейных алгоритмов обработки заключается в реализации кибернетического принципа «чёрного ящика» (термины других авторов: обработка через распознавание, обработка по прецедентам), когда само преобразование и его параметры определяются на основании анализа входных и выходных сигналов или изображений. Классическим подходом к построению таких процедур обработки является использование аппарата нейронных сетей [7]. Альтернативным, но менее развитым подходом является использование иерархических вычислительных конструкций, таких как дерево решений и дерево регрессии [4, 6]. При этом в обоих случаях одной из основных проблем является решение вопроса остановки процесса обучения, а также достоверность полученного результата.
Для выбора правила остановки процедуры обучения традиционно используется статистическая теория Вапника-Червоненкиса [1], которая устанавливает взаимосвязь трёх параметров обучения: ошибку обучения, достоверность (надёжность) и длину обучающей выборки. Однако получаемые с её помощью оценки оказываются чрезмерно завышенными. Более эффективным способом оценки обобщающей способности является использование комбинаторной теории
надёжности обучения по прецедентам К. Воронцова [2], основанной на оценке функционала полного скользящего контроля, предполагающего перебор всех возможных сочетаний обучающей и контрольной выборок. Решение же задачи построения процедуры локальной обработки с учётом всех сочетаний обучающей и контрольной выборок на практике нереализуемо вследствие гигантского перебора по различным сочетаниям выборок. Поэтому в работе предложена решающая процедура, позволяющая определить необходимость завершения или продолжения формирования обучающих и тестовых выборок, необходимых для построения алгоритма обработки по их конкретному числу.
Работа организована следующим образом. Формальная постановка задачи построения вычислительной процедуры локальной обработки изображений, а также схема построения процедуры обработки на основе иерархической регрессии представлены в первом разделе. Во втором разделе рассматривается описание особенностей решения, связанных с использованием функционала полного скользящего контроля Воронцова [2] и методикой остановки процесса перебора различных сочетаний обучающей и контрольной выборок. Далее, в третьем разделе, представлены результаты экспериментальных исследований по анализу особенностей построения процедур обработки. В заключение работы приведены выводы, рекомендации, благодарности и список использованной литературы.
1. Постановка задачи построения вычислительной процедуры локальной обработки изображений
Модель локальной обработки изображений, реализующей принцип «чёрного ящика» (обработка через распознавание, обработка по прецедентам), в большинстве случаев предполагает разбиение преобразования на два этапа: этап формирования описания фрагмента изображения (формирования признаков) и этап вычисления результатов преобразования [4]. Построение преобразования реализуется на основе прецедентов обработки -набора согласованных пар 2 изображений («входного» X и желаемого «результата обработки» 2) с минимизацией ошибки преобразования.
Затем проводится анализ обобщающей способности построенной процедуры на основе комбинаторной теории и функционала полного скользящего контроля:
1 М
б*' (т(О), О) = - X ), а'„),
N и=1
где ^ - конечный набор объектов для обучения (прецедентов), который в данном случае соответствует количеству отсчётов изображения, представляемого для обработки, ц(^) - алгоритм (метод) обучения на наборе для обучения (ОП,0'п), п = 1,2,...,N - все возможные варианты разбиения выборки О на обучающую и контрольную выборки, У(ц(ОП), О'п) -частота ошибок алгоритма |т(ОП), построенного на основе выборки ОП, проверяемого по выборке О'п.
При этом общее число всех N разбиений выборки равно СТ . Общая схема построения процедуры представлена на рис. 1.
Формирование выборки
X г
\ (ВД, 1=1,т
Формирование признаков 1=1, Т
, ({**},гг), 1=1,т
Формирование выборок а* П'
Построение преобразования Получение: а=ц(СУ) v(a,Q.s) у(а,П')
нет оконченг
да
Рис. 1. Схема построения процедуры обработки с перебором по выборкам
Вполне логичным является тот факт, что при работе с изображениями решение задачи построения процедуры обработки с учётом всех сочетаний обучающей и контрольной выборок на практике нереализуемо вследствие гигантского перебора по различным сочетаниям выборок. Поэтому необходимо разработать метод, позволяющий определить возможность завершения или необходимость продолжения формирования обучающих и тестовых выборок по их конкретному, конечному числу.
В качестве составляющих этапов для указанной вычислительной процедуры в настоящей работе выступают:
- для описания фрагмента изображения (формирование признаков) - семейство признаков на основе локальных дискретных вейвлет-преобразований (ДВП) сигналов и изображений,
- для вычисления результата преобразования (построение преобразования) - дерево регрессии/решений.
2. Предлагаемое решение
Одной из наиболее критических задач, требующих решения для эффективной реализации любой «универсальной» нелинейной схемы обработки, основанной на прецедентах, является обоснование критерия достаточности обучающей выборки и анализ обобщающей способности решающей процедуры, так как при ограниченном объёме имеющихся данных нельзя неограниченно увеличивать сложность решающего правила, иначе процедура обработки «максимально адаптируется» к обучающей выборке и будет демонстрировать плохие результаты на других изображениях рассматриваемого класса. С другой стороны, если «недоучить» процедуру, то ошибка преобразования будет неприемлемой как на обучающей, так и на контрольной выборках. Очевидно, что для всякой задачи существует оптимальная сложность модели, при которой достигается наилучшее качество обобщения.
При достаточно больших объёмах выборки можно предположить, что частота ошибок алгоритма имеет биномиальное распределение с ' степенями свободы (длина контрольной выборки) и вероятностью «успеха» р (качество работы алгоритма на контрольной выборке). То есть:
п(т(ОП), ОП)~ Бт(', р).
Функция вероятности задаётся в виде:
Рп (г) = СГрг (1 - р)'-г, г = 07.
Тогда распределение функционала полного скользящего контроля оценивается:
1 N
б*' (т(О), о) = - X п(т(оп), ОП) ~ бы^ •', р).
N п=1
На основе анализа функционалов б*' ~ Б,П(N1 •', р), 62' ~ Б,П(N2 •', р) для различных семейств признаков (в случае, когда мы принимаем решение о перерасчёте признакового пространства либо об окончании процесса построения процедуры обработки) в предположении р2 < р1, с достоверностью у (и соответственно р2 > р1, с достоверностью (1 -у)) можно принять решение либо о продолжении,
либо об остановке процесса генерации сочетаний обучающей и контрольной выборок (и переходе к следующему признаковому семейству).
Тогда качество алгоритма на выборке О , соответственно, можно оценить как:
п(т(О), от )~ -О x1 (о, т(о,)),
1° о,еО
[1, р
где I (о,, т(ю,.)) = ^ .
[О, 1 - р
При этом если п >> 1 (количество объектов, что является обоснованным фактом, с учётом размера
изображения) и параметр 1 фиксирован, получим распределение Пуассона с параметром 1
1
Б1п (п, Щ)» Р(1).
И в таком случае для принятия решения об остановке процесса генерации различных сочетаний обучающей и контрольной выборок и переходе к следующему признаковому семейству надо рассчитать доверительные интервалы для математического ожидания распределения Пуассона для функционала полного скользящего контроля по выборкам N и Ы2:
11 -
11 +-
2 л/^Т
12 -
\112 1 + Х1-а/2
л/1Т
где ть 1 -а/2 (а = 1 -у). Р1
- квантиль распределения Ж01 уровня
Рис.2. Построение доверительных интервалов
Решение о прекращении процесса генерации различных сочетаний выборок и переходе к следующему признаковому семейству принимается в тот момент, когда достигается разделение рассчитанных доверительных интервалов на соседних шагах.
3. Иллюстрация процесса построения (обучения) алгоритма обработки
В качестве семейства признаков было использовано семейство признаков на основе локальных ДВП сигналов и изображений. Такие признаки соответствуют следующим требованиям:
• существуют эффективные алгоритмы расчёта [8];
• полнота описания исходного сигнала;
• последовательное получение и использование, что снимает проблему перебора по признаковому пространству.
Вопросы, связанные с построением признаков на основе локальных ДВП, а также их достоинства и особенности при использовании в задачах локальной обработки изображений рассмотрены в работе [8]. Рассматривалось использование различных алгоритмов расчёта ЛДВП в зависимости от типа решаемой задачи обработки:
• на основе рекурсивного алгоритма - для работы с низкочастотной составляющей - задачи классификации объектов на изображениях, сегментации и т. д.;
• на основе модифицированного алгоритма - для работы и с низкочастотной, и с высокочастотной составляющими, что позволяет эффективно решать задачи фильтрации, восстановления, поэлементных преобразований изображений и т. д.
В качестве процедуры обработки (функции преобразования) были исследованы регрессионные деревья и нейронная сеть. Дерево регрессии [4, 6] представляет собой иерархическую структуру, нетерминальные вершины которой определяют разбиение пространства признаков, а терминальные - элементарную функцию преобразования значений признаков в значение результата преобразования.
Описание алгоритма построения (обучения) процедуры локальной обработки изображения, настраиваемой по обучающей выборке, представлено в статье [4]. Разработанный алгоритм предполагает последовательное наращивание набора признаков (локальных ДВП) до тех пор, пока функционал скользящего контроля убывает (происходит улучшение качества обработки) и вычислительная сложность процедуры локальной обработки на основе дерева регрессии находится в допустимых пределах.
На рис. 3 представлен пример обучения дерева регрессии для различного количества признаков (К=1,2,3,...,12). Приведены графики, показывающие коэффициент понижения шума (е2 / Д) при увеличении глубины дерева регрессии (Нср).
0 2 4 6 8 10 12 14 16 18
Рис. 3. Процесс обучения процедуры обработки на различных признаковых пространствах
0,230,220,210,200,190,180,170,16
2 3 4 5 6 7 8 9 10 11 12 К
Рис. 4. Статистика качества процедуры обработки на различных сочетаниях выборок и признаков
На рис. 4 - статистика построения дерева регрессии на различных сочетаниях обучающей и контрольной выборок (группы точек определённого цвета соответствуют оптимальному значению качества при решении задачи обработки в случае перебора некоторого количества вариантов (ОП,), п = 1,2,...,N разбиения
х
1-а/2
х
выборки Q на обучающую и контрольную для конкретного набора признаков K=1,2,3,...,12).
На рис. 5 представлен график процесса построения процедуры локальной обработки изображений с доверительными интервалами для оптимальных значений качества (зависимость коэффициента понижения шума от количества признаков), а на рис. 6 - расчёт необходимого числа сочетаний обучающей/контрольной выборок для принятия решения о переходе к следующему признаковому семейству (количество сочетаний, необходимое для разделимости доверительных интервалов на соседних шагах). E?/DV 0,23: 0,22 0,21 0,20 0,19 0,18 0,17
0,16
1 3 5 7 9 11 К
Рис. 5. Построение процедуры обработки
с доверительными интервалами
ln(N) 1000000
100000 10000 1000100
1 3 5 7 9
Рис. б. Расчёт количества сочетаний
11 К
Выводы и рекомендации
Предложенная методика оценки необходимого числа итераций обучения алгоритма обработки и, как следствие, правило остановки процесса формирования различных сочетаний обучающей и контрольной выборок по их конкретному числу позволяет использовать в полной мере комбинаторную теорию и функционал полного скользящего контроля при построении (обучении) процедур обработки, настраивающихся по обучающей выборке. В результате появляется возможность избежать проблем переобучения / недообучения алгоритмов обработки и при этом построить процедуру локальной обработки с заранее заданными вычислительной сложностью и надёжностью и наилучшим показателем качества (для существующей обучающей выборки). Основными достоинствами предложенного решения являются:
• автоматическая коррекция «архитектуры» преобразования;
• автоматическая локальная селекция признаков как следствие процесса разбиения;
• конечность процесса построения и настройки (вычислительная эффективность);
• простота параметрической настроики элементарной регрессии.
Что позволяет говорить об автоматической генерации инструмента обработки изображений с «открытым» для исследователя внутренним устройством, имеющим к тому же более высокую вычислительную эффективность (по сравнению, например, с нейронной сетью).
Кроме того, разработанный подход в силу принципов построения может быть использован как средство более глубокого анализа изображений различного типа, открывающего возможности (путём детального исследования структуры пространства признаков, а также вида и параметров конечного преобразования) для выявления общих закономерностей и уточнения и дополнения существующих физических и математических моделей, на основе которых строятся современные методы обработки изображений.
Благодарности
Работа выполнена при частичной финансовой поддержке:
- грантов РФФИ, проекты 12-07-3117512_мол_а, 12-07-31175\13, 12-07-00021-а, 12-07-00751-а, 13-07-97006-р_поволжье_а;
- Министерства образования и науки Российской Федерации
Литература
1. Вапник, В.Н. Теория распознавания образов / В.Н. Вап-ник, А.В. Червоненкис - М.: Наука, 1974.
2. Воронцов, К. В. Комбинаторный подход к оценке качества обучаемых алгоритмов / К.В. Воронцов. - Под ред. О.Б. Лупанова // Математические вопросы кибернетики.
- 2004. - Т. 13. - С. 5-36.
3. Вудс, Р. Цифровая обработка изображений / Р. Вудс, Р. Гонсалес - М.: Техносфера, 2005. - 1072 с.
4. Копенков, В.Н. Алгоритм автоматического построения процедуры локальной нелинейной обработки изображений на основе иерархической регрессии / В.Н. Копенков, В.В. Мясников // Компьютерная оптика. - 2012. -Т. 36, № 2. - С. 257-266.
5. Методы компьютерной обработки изображений / М.В. Гашников, Н.И. Глумов, Н.Ю. Ильясова, В.В. Мясников, С.Б. Попов, В.В. Сергеев, В.А. Сойфер, А.Г. Храмов, А.В. Чернов, В.М. Чернов, М.А. Чичева, В.А. Фурсов. - Под ред. В.А. Сойфера. - 2-е изд., испр. - М.: Физ-матлит, 2003. - 784 с.
6. Breiman, L. Classification and regression trees / L. Bre-iman, J.H. Friedman, R.A. Olshen, C.J. Stone. - Monterey, Calif., U.S.A.: Wadsworth, Inc., 1984.
7. Haikin, S. Neural Networks: A Comprehensive Foundation.
- Мoscow: Vilyams, 2006. - 1104 p.
8. Kopenkov, V. Effecient algorithms of local discret wavelet transform with HAAR-like bases // Pattern Recognition and Image Analysis. - 2008. - V. 18(4). - P. 654-661.
References
1. Vapnik, V.N. Theory of Pattern Recognition / V.N. Vap-nik, A.V. Chervinenkis. - Moscow: "Nauka" Publisher, 1974. - (In Russian).
2. Vorontsov, K. A combinatorial approach to assessing the quality of training algorithms / K. Vorontsov. - Ed. by O.B. Lupanov // Mathematical Problems of Cybernetics. -2004. - V. 13. - P. 5-36. - (In Russian)
3. Gonzalez, R. Digital image processing / R. Gonzalez, R. Woods. - Мoscow: "Tehnosfera" Publisher, 2005. -1072 p. - (In Russian).
4. Kopenkov, V. An algorithm for automatic construction of computational procedure of non-linear local image processing on the base of hierarchical regression / V. Kopenkov, V. Myasnikov // Computer Optics. - 2012. - V. 36 (2). - P. 257-266.
5. Computer Image Processing, Part II: Methods and algorithms / A.V. Chernov, V.M. Chernov, M.A. Chicheva, V.A. Fursov,
M.V. Gashnikov, N.I. Glumov, N.Yu. Ilyasova, A.G. Khra-mov, A.O. Korepanov, A.V. Kupriyanov, E.V. Myasnikov, V.V. Myasnikov, S.B. Popov, V.V. Sergeyev. - Ed. by V.A. Soifer. - VDM Verlag, 2009. - 584 p.
6. Breiman, L. Classification and regression trees / L. Brei-man, J.H. Friedman, R.A. Olshen, C.J. Stone. - Monterey, Calif., USA: Wadsworth, Inc., 1984.
7. Haikin, S. Neural Networks: A Comprehensive Foundation. - Мoscow: "Vilyams" Publisher, 2006. - 1104 p.
8. Kopenkov, V. Effecient algorithms of local discret wavelet transform with HAAR-like bases // Pattern Recognition and Image Analysis. - 2008. - V. 18(4). -P. 654-661.
METHOD FOR STOPPING OF THE BUILDING PROCESS OF HIERARCHICAL REGRESSION IN THE CASE OF CONSTRUCTION OF COMPUTATIONAL PROCEDURES OF LOCAL IMAGE PROCESSING
V.N. Kopenkov
Image Processing Systems Institute, Russian Academy of Sciences, Samara State Aerospace University
Abstract
The paper deals with the usage of the functional of full cross-validation when solving the problem of automatic building a local signal/images processing procedures, based on empirical data (hierarchical regression). It is proposed a methodology of stopping of the process of formation of various combinations of training and control samples, and the process of constructing of local image processing procedure, based on the interval estimation of the functional of sliding quality control.
Key words: local processing, hierarchical regression, interval estimation, functional of full cross-validation.
Сведения об авторе
Копенков Василий Николаевич, 1978 года рождения. В 2001 г. окончил Самарский государственный аэрокосмический университет (СГАУ). В 2011 г. защитил диссертацию на соискание степени кандидата технических наук. В настоящее время работает доцентом кафедры геоинформатики и информационной безопасности СГАУ и по совместительству научным сотрудником в Институте систем обработки изображений РАН. Круг научных интересов включает цифровую обработку сигналов и изображений, геоинформатику, распознавание образов. Имеет 42 публикации, из них 14 статей. Является членом Российской ассоциации распознавания образов и анализа изображений. E-mail: [email protected] .
Страница в интернете: http://www.ipsi.smr.ru/staff/kopenkov.htm .
Vasiliy Nikolaevich Kopenkov (1978 b.), graduated from S.P. Korolyov Samara State Aerospace University (SSAU) at 2001, received her PhD in Technical Sciences at 2011. At present he is a docent at SSAU's Geoinformatics and Information Security sub-department, holding a part-time position of a researcher at the Image Processing Systems Institute of the Russian Academy of Sciences. The area of interests includes digital signals and image processing, geoinformatics, pattern recognition. He is co-author of 42 scientific papers, including 14 articles. He is a member of Russian Association of Pattern Recognition and Image Analysis.
Поступила в редакцию 28 ноября 2013 г.
