CC BY
35
ВЕСТНИК БЕЛОРУССКОЙ ГОСУДАРСТВЕННОЙ СЕЛЬСКОХОЗЯЙСТВЕННОЙ
АКАДЕМИИ № 2 2016
МЕЛИОРАЦИЯ И ЗЕМЛЕУСТРОЙСТВО
УДК 528.854.4
СИСТЕМА РАСПОЗНАВАНИЯ ПЛОЩАДНЫХ ОБЪЕКТОВ С ЗАШУМЛЕННЫМИ ОБУЧАЮЩИМИ ОБРАЗАМИ А. С. ЯРМОЛЕНКО
ФГБОУ ВПО «Новгородский государственный университет им. Ярослава Мудрого» г. Великий Новгород, Российская Федерация, 173003
О. Н. ПИСЕЦКАЯ, О. А. КУЦАЕВА
УО «Белорусская государственная орденов Октябрьской Революции и Трудового Красного Знамени сельскохозяйственная академия» г. Горки, Могилевская область, Беларусь, 213407, e-mail: [email protected]
(Поступила в редакцию 02.02.2016)
С развитием систем дистанционного зондирования земли в Республике Беларусь остро встал вопрос об обработке значительного количества информации. Существующие методы распознавания образов широко используются в области изучения земных ресурсов средствами автоматизации аэрокосмических наблюдений, а также в других областях, связанных с обработкой больших массивов сложной видеоинформации различной природы. Однако отечественные разработки теории распознавания образов на современном этапе практически отсутствуют. Использование же фирменных программ, в основном зарубежных, не раскрывающих запрограммированных алгоритмов, не позволяет их дальнейшую разработку с целью повышения точности классификации. Кроме того существующие нейросетевые алгоритмы даже при отсутствии шумов входных сигналов могут приводить к неверным значениям выходных сигналов. В связи с этим разработана устойчивая система распознавания площадных объектов с зашумленными обучающими образами. А также выполнен расчет доли зашумленных входных сигналов при вероятности (0,64) корректного распознавания, которая составила 53 %.
Ключевые слова: обработка информации, обучающие образы, выходные сигналы, система распознавания.
With the development of remote sensing systems in the Republic of Belarus there was a question about processing large amounts of information. Existing methods ofpattern recognition are widely used in the field of research into earth resources by methods of automation of aerospace observation, as well as in other areas related to the processing of large volumes of complex video data of different nature. However, domestic developments ofpattern recognition theory are largely practically absent at present. And the use of brand-name programs, mainly foreign, not revealing the programmed algorithms, prevents their further development with the aim of increasing classification accuracy. Besides, the existing neural network algorithms, even in the absence of noise of input signals, can lead to false values of output signals. Therefore, we have developed a sustainable system of recognition ofpolygon objects with noisy training images. And we have also calculated the share of noisy input signals, the probability (0.64) of correct recognition amounting to 53 %.
Keywords: data processing, training images, output signals, recognition system.
Введение
В Республике Беларусь методы и алгоритмы теории распознавания образов широко применяются в области изучения земных ресурсов средствами автоматизации аэрокосмических наблюдений, а также в других областях, связанных с обработкой больших массивов сложной видеоинформации различной природы. К настоящему времени актуальной является задача оптимизация существующих методов классификации образов, разработка и реализация новых подходов к анализу данных дистанционного зондирования земли. Это вызывается ростом значимости пространственных данных и необходимостью повышения точности результатов их обработки.
Теорией распознавания и классификации занимались многие ученые: Айзерман, Браверман, Розо-ноэр (метод потенциальных функций [1]), Вапник, Червоненкис (статистическая теория распознавания, метод «обобщенный портрет» [2]), Загоруйко (алгоритмы таксономии и анализа знаний [3]), Лбов (логические методы распознавания и поиска зависимостей [4]), Журавлев (логический метод эффективного решения задач распознавания при малом числе обучающих прецедентов [5], алгоритм вычисления оценок [6]), Рудаков (общая теория проблемно-ориентированного алгебраического синтеза корректных алгоритмов [7], Матросов (статистическое обоснование алгебраического подхода [8]), Рязанов (оптимизация моделей классификации [9]), Дюкова (асимптотически-оптимальные логические алгоритмы [10]), Сенько (алгоритмы взвешенного статистического распознавания [11]), Донской (решающие деревья [12]) и многие другие исследователи России, СНГ и дальнего зарубежья. В настоящее время существует множество разнообразных подходов и конкретных эвристических алгоритмов для решения задач кластерного анализа (таксономии, или классификации без учителя), когда требуется найти естественные группировки похожих объектов (кластеры) по заданной выборке их векторных признаковых описаний.
Решения, найденные различными алгоритмами, могут существенно отличаться друг от друга и даже фактически не соответствовать заложенной в данных действительности. Поиск оптимального решения затруднен отсутствием общепризнанных универсальных критериев качества решений [13].
В современной отечественной геодезической, фотограмметрической литературе практически отсутствует разработка методов цифровой классификации образов. Использование же фирменных программ, в основном зарубежных, не раскрывает их алгоритмов, что не способствует их дальнейшей разработке с целью повышения точности классификации. Кроме того, существующие алгоритмы даже при отсутствии шумов входных сигналов могут приводить к неверным значениям выходных сигналов (например, сети Хопфилда в [14, с.114]), что в частности отражено в [15]. Даже незначительно зашумленные входные сигналы классифицируются существующими нейросетевыми алгоритмами неудовлетворительно [16, с. 182], [17, с. 202]; эксперименты же с ограниченными шумами в 0,2 пиксела подтверждают пренебрегаемо малое повышение точности лишь на 4 %, и, кроме того, они несущественны, так как не учитывают шумы в +1 пиксел. В связи с этим возникает проблема не только совершенствования алгоритмов классификации образов, но и повышения их устойчивости к значительным шумам входных сигналов.
Основная часть
Систему распознавания изображений можно усилить в отношении ее устойчивости по зашумлен-ным обучающим образам. В [17, 18] и других работах предлагается осуществлять обучение системы вначале по незашумленным образам, а затем - по зашумленным. Но в таком случае получают веса распознавания, которые с ошибками распознают те же незашумленные образы.
Очевидно, что в таком случае необходимо в алгоритм задавать устойчивость с целью безошибочного распознавания незашумленных образов при обучении с шумами. В связи с этим и настроим такой алгоритм. Данная статья является продолжением работы [19]. Пусть на вход в процессе обучения подаются незашумленные обучающие данные, представляемые в виде набора векторов, объединенных матрицей В. В результате, должен быть определен вектор весов h таким образом, чтобы всегда достигался отклик d, т. е. должно соблюдаться следующее условие:
BhT = d (1)
Пусть далее обучение осуществляется по зашумленным обучающим данным, чтобы расширить возможности системы по распознаванию образов. Такие зашумленные обучающие векторы объединяются матрицей А. И тогда можно записать следующее равенство:
AhT - d = V, (2)
где V - вектор отклонений от желаемого отклика.
Для обобщения задачи зададимся определенными весами зашумленных обучающих векторов и вектора hT . Пусть эти веса будут представлены весовыми матрицами Pj и Р2. Исходя из уравнений (1) и (2) необходимо найти такой вектор hT, чтобы система идеально распознавала незашумленные образы, а зашумленные - с минимальными ошибками, т. е. чтобы распознавание приводило к минимуму квадратичной формы:
VTPV = min. (3)
Настоящую задачу можно решать методом, предложенным в [20] профессором Г. Морицем.
Для такой задачи составляется следующий функционал Лагранжа:
ф = VTPVV + hphT + 2KT(BhT - d) + 2KT2(AhT - d - V) = min (4)
где K1, K2 - векторы коррелат.
По нашему мнению, в таком виде задача распознавания еще не ставилась.
Для определения весов продифференцируем (4) по h и V.
W =2VTP - 2KT . (5)
Яф гг, гг,
—ф = 2hP + 2KTB + 2KTA
dhT 21 2
Приравняв производные к нулю, запишем следующую систему уравнений:
. (6)
V'p - KT = 0 hP2 + KfB + KTA = 0 Подставляя значение K T из первого уравнения во второе получим:
hp + KTB + VTPА = 0 . (7)
С учетом (2) перепишем (6) так:
hp + KfB + (hAT - dT)PА = 0 (8)
или
рь1 + Б1 К+Л1 р (ЛЬ1 - а) = 0 ^
Из (9) совместно с (1) можно записать следующую систему нормальных уравнений:
I (P + AT pA)h' + BTK " A' Pd = 0 . {Бкт -d = 0
Ее решение заключается в исключении из первого уравнения hT:
hT = -(р + ATpA)-1(BTK - ATpd) . Подставим (11) во второе уравнение (10):
- В(р + ATpA)-1 BTK + В(Р2 + ATpA)-1 ATpd - d = 0
и определим
K = -(В(р + ATpA)-1 BT )-1(d - B( Р + ATpA)-1 ATpd
Полученное K подставляется в (11) и находится вектор весов hT:
hT =-(P + ATPA)-1 [BT (В(р + ATPA)-1BT )-1(d - B(?2 + ATpA)-1 ATpd) - ATpd)]. Рассмотрим пример. Пусть матрица идеальных сигналов В имеет следующий вид:
(11) (12)
(13)
(14)
(1 1 1 1 0 1 1 01 1 0 1 1 1 п
0 1 0 0 1 0 0 10 0 1 0 0 1 0
1 1 1 0 0 1 0 10 1 0 0 1 1 1
1 1 1 0 0 1 0 11 0 0 1 1 1 1
1 0 1 1 0 1 1 11 0 0 1 0 0 1
1 1 1 1 0 0 1 11 0 0 1 1 1 1
1 0 0 1 0 0 1 11 1 0 1 1 1 1
1 1 1 0 0 1 0 10 1 0 0 1 0 0
1 1 1 1 0 1 0 10 1 0 1 1 1 1
V1 1 1 1 0 1 1 11 0 0 1 0 0 1,
Вектор отклика равен:
d = (0 1 2 3 4 5 6 7 8 9)T
(15)
(16)
Весовые матрицы Р1 и Р2 - единичные. Матрица зашумленных обучающих образов, полученная из (15), равна:
1 0 1 1 0 0 1 0 1 1 0 1 0 1 01
1 1 0 0 1 0 0 1 0 0 1 0 1 1 1
0 1 1 0 0 1 0 1 0 1 0 0 0 1 0
0 1 1 0 0 0 0 1 1 0 0 1 0 1 0
0 0 1 1 0 0 1 1 1 0 0 1 1 0 0
0 1 1 1 0 0 1 1 1 0 0 1 0 1 0
0 0 0 1 0 1 1 1 1 1 0 1 0 1 0
0 1 1 0 0 1 0 1 0 1 0 0 0 0 0
0 1 1 1 0 1 0 1 0 1 0 1 1 1 0
0 1 1 1 0 1 1 1 1 0 0 0 0 0 0,
а матрица ошибок (шумов)
(17)
( 0 -1 0 0 0 -1 0 0 0 0 0 0 -1 0 -1~1
ДВ =
0
0 000 0 00000 0 -
0 000 0 00000 0 -
0 000 -1 00000 0 -
0 000 -1 00000 0 -
0 000 0 00000 0 -
0 000 1 00000 0 -
0 000 0 00000 0 -00000000000 00 -1
0 000 0 00000 -1 0 0 -1 ,
0 -1 00
(18)
Им соответствующая матрица
В(р + ATPA)-1 BT
1,32 0,37 - 0,61 - 0,40 1,16 0,10 - 0,15 0,43 - 0,10 -1,301
0,37 1,25 - 0,06 0,04 0,54 0,14 0,09 0,24 0,04 - 0,50
- 0,61 - 0,06 3,72 - 0,70 -1,20 -1,17 - 0,15 -1,33 -1,20 2,16
- 0,40 0,04 - 0,68 1,49 - 0,70 - 0,53 0,42 - 0,18 0,17 0,21
1,16 0,54 -1,23 - 0,70 3,80 1,48 - 0,62 1,05 0 - 3,90
0,10 0,14 -1,17 - 0,50 1,48 3,63 -1,25 0,77 - 0,10 - 2,10
- 0,15 0,09 - 0,16 0,425 - 0,60 -1,25 1,44 - 0,14 0,20 0,80
0,43 0,24 -1,33 - 0,20 1,05 0,77 - 0,14 1,52 0,09 -1,30
- 0,11 0,04 -1,16 0,17 0 - 0,09 - 0,18 0,09 2,18 - 0,70
-1,25 - 0,45 2,16 0,21 3,90 - 2,15 0,80 -1,25 - 0,70 5,23 ,
В
Вектор а вектор Матрица
(й - Б(Р2 + ЛтрЛ)-1 Лтрй) = (- 4,960 - 0,767 -1,677 -1,429 -1,543 0,810 3,476 2,020 2,287 1,799)' (20)
К1 =(9,106 3,382 3,211 -3,466 14,920 4,050 -6,030 0,290 -5,410 -14,820)
(21)
(р + лтрл)-1
' 0,60 0 - 0,06 - 0,01 - 0,15 0,10 - 0,07 0,12 - 0,05 - 0,12 - 0,10 0,05 - 0,04 - 0,10 - 0,10Л
0 0,50 - 0,22 0,01 - 0,06 - 0,09 0,09 - 0,20 0,03 0,08 - 0,10 0,07 0,04 - 0,12 - 0,10
- 0,06 - 0,22 0,43 - 0,03 0,09 0,03 - 0,03 - 0,07 - 0,08 - 0,08 0,09 - 0,05 - 0,04 0,04 0,09
- 0,01 0,01 - 0,03 0,56 0,03 - 0,11 - 0,26 0,03 - 0,07 - 0,01 0,03 - 0,12 - 0,13 - 0,01 0,03
- 0,15 - 0,06 0,09 0,03 0,86 0,03 - 0,02 - 0,07 0,01 0,03 - 0,10 0,06 - 0,10 - 0,05 - 0,10
0,10 - 0,09 0,03 - 0,11 0,03 0,50 - 0,02 - 0,16 0,03 - 0,25 0,03 0,13 0,02 0,02 0,03
- 0,07 0,09 - 0,03 0,26 - 0,02 - 0,02 0,58 - 0,06 - 0,23 0,01 0 0,01 0,07 0,04 0
0,12 - 0,20 - 0,07 0,03 - 0,07 - 0,16 - 0,06 0,54 - 0,11 0 - 0,10 - 0,06 - 0,13 - 0,05 - 0,10
- 0,05 0,03 - 0,08 - 0,07 0,01 0,03 - 0,23 - 0,11 0,56 0,10 0,01 - 0,15 0,13 - 0,03 0,01
- 0,12 0,08 - 0,08 - 0,01 0,03 - 0,25 0,01 0 0,10 0,45 0,03 - 0,07 0,03 - 0,13 0,03
- 0,15 - 0,06 0,09 0,03 - 0,14 0,03 - 0,02 - 0,07 0,01 0,03 0,86 0,06 - 0,10 - 0,05 - 0,10
0,05 0,07 - 0,05 - 0,12 0,06 0,13 0,01 - 0,06 - 0,15 - 0,07 0,06 0,54 - 0,11 - 0,19 0,06
- 0,04 0,04 - 0,05 - 0,13 - 0,10 0,02 0,07 - 0,13 0,13 0,03 - 0,10 - 0,11 0,47 0,05 - 0,10
- 0,10 - 0,12 0,04 - 0,01 - 0,05 0,02 0,04 - 0,05 - 0,03 - 0,13 - 0,10 - 0,19 0,05 0,42 - 0,10
0,15 - 0,06 0,09 0,03 - 0,14 0,03 - 0,02 - 0,07 0,01 0,03 - 0,10 0,06 - 0,10 - 0,05 0,86 ,
. (22)
Свободный член первого уравнения системы (10), вектор весов и вектор поправок равны соответственно:
(0,85 - 38,66 - 30,12 2,38 - 28,20 -16,80 - 48,90 - 23,20 - 21,83 2,38 - 27,60 - 27,6 -11,30 - 20,20 0,56) , (23) кт = (1,16 5,00 -4,57 3,39 -2,78 -0,83 -2,22 5,60 -0,18 1,43 -2,80 2,61 -0,79 -4,04 1,00) ^4) V = (-2,41 -0,60 0,60 1,43 -0,16 0,60 -0,23 -0,36 -0,20 -2,81) ' ^5)
Оценка точности распознавания образов. Для оценки точности распознавания образов используем формулу:
(26)
УТРУ
где выражение
п + г - к
п + г - к.
(27)
В нем п - число уравнений (2), г - число уравнений (1), к - размерность вектора весов (число неизвестных). Выражение (27) можно назвать эффективностью системы распознавания образов [21]. В нашем примере п =10, г =10, к =15. Значение формы V7ру равно:
VTP¡V = 17,07. (28)
Тогда:
' (29)
17,07
= 1,7(единиц).
110 +10 -15
Очевидно, что в данной задаче для безошибочного опознавания образов значение (26) не должно превышать 0,5 ед., т. е. точности округления для желаемых значений откликов.
Каждый пиксел может иметь максимальное отклонение (ошибку) ±1. Тогда средняя квадратиче-ская ошибка пиксела будет равна;
............(30)
3
■ = 0,33(единиц).
Растровое изображение любого объекта, как правило, состоит из нескольких пикселов, тогда средняя квадратическая ошибка такого изображения составит:
, (31)
т* = 0,33 Р2 ,
где Pi - вес каждого пиксела.
В нашем примере mx=3,5
Средняя квадратическая ошибка значения Х, вычисленная по формуле (31) соответствует случаю засорения (зашумления) всех составляющих входного вектора ! В действительности же зашумлению подвергается лишь часть составляющих этого вектора. Определим долю зашумленных составляющих, при которых осуществляется корректное распознавание образов.
Задачу сформулируем следующим образом. Поскольку выходной вектор X0 характеризуется составляющими 0, 1, 2, 3, ..., 9, то корректное распознавание будет считаться при предельной ошибке А, удовлетворяющей условию:
Д< 0,5. (32)
При таком ее значении распознавание ведет к истинному значению. Среднее квадратическое значение будет равно:
т =- = 0,17 • (33)
1 3
Определив среднее квадратическое значение необходимо определить долю уровня зашумленности входных составляющих, при котором распознавание корректно. Решение задачи осуществим на основе выражения (31). Будем считать, что загрязнению подвергается доля составляющих, равная д. Тогда число загрязненных пикселов будет:
к = д • п • (34)
С учетом (33) и (34) на основании формулы (31) можно записать среднеквадратическую ошибку распознавания входного образа при доле зашумленных составляющих, равной д:
т = V0,52 • д • п • 0.332 • (35)
В более общем случае, когда веса сильно различаются вместо выражения:
05 •д •п , (36)
где q - принято в качестве среднего значения веса пиксела, следует полагать:
Й"') • (37)
Тогда в общем виде формула (35) примет вид:
= Ш2)• 0.332 • (38)
Значение 0,33 справедливо для нашего примера. В общем случае вместо него следует подставить . А это значит, что среднеквадратическая ошибка распознавания будет:
д-п
Л
т~. • (39)
„2
т = № ",
Поскольку в (39) величина (37) зависит от д, то долю зашумленных сигналов, при которой осуществляется корректное распознавание, определим методом подстановки. Выражению (33) соответствует вероятность 0,999.
Принимая ошибку лишь одного пиксела в данном примере, т. е^ при (39):
т Ч0,52 -1- 0.332 • (40)
То есть с вероятностью 0,999 при одном зашумленном сигнале или:
(41)
д = — = 0,07. 15
осуществлено корректное распознавание. При вероятности 0,9
При
Поскольку
т =-| = 0,25 • (42)
Тогда при д - п = 1 (43)
т = л/0,52-1-0.332 = 0,17. (44)
д - п = 2 (45)
т = л/0,52 - 2 - 0.332 = 0,23. (46)
0,23 ^ 0,25 , (47)
то из этого следует, что с вероятностью 0,9 корректное распознавание возможно при:
(48)
а = — = 0,14. 15
При вероятности 0,64 интервал распределения ошибок ограничивается не предельной, а средне-квадратической ошибкой. Тогда при
д - п = 3. (49)
Получим
т = 0,33. (50)
При
д - п = 6. (51)
т = 0,40. (52)
тх
(=1
т
При
q - п = 8. (53)
т = 0,50. (54)
Сведем приведенные расчеты в таблицу (таблица), иллюстрирующую вероятность корректного распознавания в зависимости от доли зашумленных входных сигналов.
Зависимость вероятности корректного распознавания от доли зашумленных сигналов
Вероятность корректного распознавания, P 0,99 0,90 0,63
Доля зашумленных сигналов, q 0,07 0,14 0,53
Таким образом, если допускать вероятность 0,64, то доля зашумленных сигналов может достигать 53 %. Отметим, что настоящий вывод сформулирован при среднем значении пиксела, равном 0,5.
Заключение
В результате исследований разработана устойчивая система распознавания площадных объектов с зашумленными обучающим образам, позволяющая производить и оценку точности распознавания.
Выполнен расчет доли зашумленных входных сигналов, при вероятности (0,64) корректного распознавания, которая составила 53 %.
Все расчеты выполнялись с использованием программы Excel и могут быть доступны при необходимости всем заинтересованным лицам.
ЛИТЕРАТУРА
1. Айзерман, М. А. Метод потенциальных функций в теории обучения машин / М. А. Айзерман, Э. М. Браверманн, Л. И. Розоноэр. - М.: Наука, 1970. - 384 с.
2. Вапник, В. Н. Теория распознавания образов (статистические проблемы обучения) / В. Н. Вапник, А. Я. Червонен-кис. - М.: Наука, 1974. - 415 с.
3. Загоруйко, Н. Г. Методы распознавания и их применение / Н. Г. Загаруйко. - М.: Сов.радио, 1972. - 206 с.
4. Лбов, Г. С. Методы обработки разнотипных экспериментальных данных / Г. С. Лбов. - Новосибирск: Наука, 1981.
- 160 с.
5. Дмитриев, А. Н. О математических принципах классификации предметов и явлений. / А. Н. Дмитриев, Ю. И. Журавлев, Ф. П. Кренделев // Сборник "Дискретный анализ". Вып. 7. - Новосибирск, ИМ СО АН СССР, 1966. - С. 3-11.
6. Журавлев, Ю. И. Алгоритмы распознавания, основанные на вычислении оценок / Ю. И. Журавлев, В. В. Никтфо-ров // Кибернетика. - 1971. - №3. - С. 1-11.
7. Рудаков, К. В. Об алгебраической теории универсальных и локальных ограничений для задач классификации / К. В. Рудаков // Распознавание, классификация, прогноз: Матем. методы и их применение. - 1988. - Вып.1. - С. 176-200.
8. Матросов, В. Л. Синтез оптимальных алгоритмов в алгебраических замыканиях моделей алгоритмов распознавания / В. Л. Матросов // Распознавание, классификация, прогноз: Матем. методы и их применение. - 1988. - Вып.1. - С. 229279.
9. Рязанов, В. В. Комитетный синтез алгоритмов распознавания и классификации / В. В. Рязанов // ЖВМ и МФ. -1981. - Том 21. - № 6. - С. 1533-1543.
21. Дюкова, Е. В. Асимптотически оптимальные тестовые алгоритмы в задачах распознавания / Е. В. Дюкова // Проблемы кибернетики. - 1982. - Вып. 39. - С. 165-199.
10. Дюкова, Е. В. Алгоритмы распознавания типа «Кора»: сложность реализации и метрические свойства / Е. В. Дюкова // Распознавание, классификация, прогноз (матем. методы и их применение). - 1989. - Вып.2. - С. 99-125.
11. Сенько, О. В. Использование процедуры взвешенного голосования по системе базовых множеств в задачах прогнозирования / О. В. Сенько // Журнал вычисл. матем. и матем. физ. - 1995. - Т. 35. - № 10. - С. 1552-1563.
12. Донской, В. И. Алгоритмы обучения, основанные на построении решающих деревьев / В. И. Донской // Журнал выч. мат. и матем. физики. - 1982. - Т. 22. - № 4. - С. 963-974.
13. Журавлев, Ю. И. Распознавание. Математические методы. Программная система. Практические применения. / Ю. И. Журавлев, В. В. Рязанов, О. В. Сенько. - М.: Издательство Фазис, 2005. - 159 с.
14. Каллан, Р. Основные концепции нейронных сетей / Р. Каллан; пер. с англ. - М.: Издательский дом «Вильямс», 2001. - 288 с.
15. Ярмоленко, А. С. Применение теории нейронных сетей в геоинформатике. / А. С. Ярмоленко // Изв. вузов. Геодезия и аэрофотосъемка. - 2008. - № 2. - С. 33-44.
16. Осовский, С. Нейронные сети для обработки информации / С. Осовский; пер. с польского И. Д. Рудинского. - М.: Финансы и статистика, 2002. - 344 с.
17. Медведев, В. С. Нейронные сети. MATLAB 6 / В. С. Медведев, В. Г. Потемкин / Под общ. ред. В. Г. Потемкина. -М.:ДИАЛОГ-МИФИ, 2002. - 496 c.
18. Хайкин, С. Нейронные сети: полный курс / С. Хайкин; пер. с англ. . - 2-е изд. испр. - М.: ООО «И. Д. Вильямс», 2006. - 1104 с.
19. Ярмоленко, А. С. Разработка и исследование нейроаналитического алгоритма распознавания образов и его устойчивость при наличии шумов / А. С. Ярмоленко, О. А. Куцаева // Известия вузов. Геодезия и аэрофотосъемка. - 2014.
- № 1. - С. 105-111.
20. Мориц, Г. Современная физическая геодезия / Г. Мориц; пер. с англ. - М.: Недра, 1983. -392 с.
21. Мазмишвили, А. И. Способ наименьших квадратов / А. И. Мазмишвили. - М.: Недра, 1968, - 435 с.
