CC BY
11SUN'IY INTELLEKTNI O'RGATISH JARAYONIDA SPLAYN FUNKTSIYaLARINING QO'LLANISHILI
Zaynidinov H.N.,
Toshkent Axborot texnologiyalari universiteti sun'iy intellekt kafedrasi mudiri t.f.d., prof. [email protected] Nurmurodov J.N.
Toshkent Axborot texnologiyalari universiteti sun'iy intellekt kafedrasi assistenti [email protected]
Anotatsiya. So'nggi o'n yillikda sun'iy neyron tarmoqlar va mashinani o'rganish murakkab real muammolarni hal qilishda eng ko'p foydalanilayotgan yo'nalishga aylanib bormoqda. Xususan, kompbyuterlar tomonidan juda qiyin yoki ba'zi hollarda imkonsiz deb hisoblangan muammolarga ilmiy va sanoat tomonidan ham qiziqishlar ortib bormoqda. Biz ushbu maqolada sun'iy neyron tarmoq yordamida bir va ikki o'lchovli signallarga raqamli ishlov berishni ko'rib chiqamiz. Neyron tarmoqlarning negizida neyronlarning faollashtiruvchi funktsiyasi deb ataladigan qismi joylashgan. Ushbu funktsiya tarmoq ishlash samaradorligida katta ahamiyaitga ega, lekin ko'pincha e'tibordan chetda qoladi. Ko'p hollarda faollashtirish funksiyasi sifatida moslashti'rilmaydigan funktsiyalardan biri tanlanadi. Adaptiv sigmasimon yoki ReLU funktsiyalaridan juda ko'p holatlarda foydalaniladi, ammo bu funktsiyalar kamchiliklarga ega, chunki bitta cheklangan hududdan olingan ma'lumotlarning moslashuvi umumiy natijalarga ta'sir qiladi. Shuning uchun maqolada erkin tugunlar bilan moslashuvchan kvadratik B-splayn funktsiyalaridan foydalanish taklif qilindi. Splayn o'z qo'llanilish ko'lamini kengaytirayotgan faollashuv funktsiyasi bo'lib, aynan approksimatsiya shartini qanoatlantiradi. Bu esa neyron tarmoqlarda (overfitting) keragidan ortiq moslashishning oldini oladi. Shu jumladan splayn takrorlanish xossasi takrorlanuvchi neyron tarmoqlar strukturasiga mos tushadi.
Kalit so'zlar: ReLU, neyron tarmoq, bipolyar bog'lanish, monopolyar bog'lanish, splayn funktsiyalar, kvadratik B-splayn, bo'lak-polinomial usullar.
Abstract In the last decade, artificial neural networks and machine learning have become the most used areas for solving complex real-world problems. In particular, problems that are considered too difficult or in some cases impossible to solve with computers are of increasing interest in both academia and industry. This paper considers the digital processing of one- and two-dimensional signals using an artificial neural network. Neural networks are based on the so-called activating function of neurons. This feature is critical to network performance but is often neglected. In most cases, one of the non-adaptive functions is chosen as the activation function. Adaptive sigmoid or ReLU functions are used in many cases, but these functions have disadvantages because adapting data from one limited area affects the overall results. Therefore, the paper proposes the use of flexible quadratic B-spline functions with free nodes. Spline is an activation function that expands the scope and exactly satisfies the approximation condition. This prevents overfitting in neural networks. Including the recurrence property of splines corresponds to the structure of recurrent neural networks.
Key words: ReLU, neural network, bipolar coupling, monopolar coupling, spline functions, quadratic B-spline, piecewise-polynomial methods. I. KIRISH
Bugungi kunda olimlar tomonidan geofizika sohasida ko'plab izlanishlar olib borilmoqda. Ayniqsa yer osti qazilma boyliklarini aniqlashda juda ko'p qiyinchiliklar yuzaga kelmoqda. Yer qaridan radiatsiya nurlarini tarqatuvchi radiaktiv elementlarning qanday chuqurlikda joylashganligini aniqlash hozirgi kungacha muammoli masala bo'lib kelmoqda. Bu masalani yechish uchun olimlar tomonidan har xil algoritmlar taklif eti'lmoqda. Ammo yer usti radiatsion signallaridan foydalanib yer qaridagai kimyoviy elementlarning joylashgan joyini bashoratlashda, bugungi kundagi foydalinalayotgan model va usullarda katta xatoliklar borligi sababli, yangi model va usullarga ehti'yoj sezilmoqda. Bu usullardan biri mashinali o'qiti'sh. Mashinali o'qitishda asosan chiziqli regressiya dastlabki o'rganiladigan algoritmlardan biri. Uni turli xil ma'lumotlar to'plamlariga qo'llanilganda turli hil afzalliklari va cheklovlari aniqlangan. U lokal va global o'zgaruvchilar o'rtasidagi chiziqli munosabatni bog'lashda
asosiy vazifani bajaradi. Ushbu modelni yaxshilash sifatida ko'p o'lchovli regressiyadan foydalaniladi va bu ko'pincha yaxshi natijalarni beradi. Ammo o'zgaruvchanligi yuqori bo'lgan ma'lumotlar to'plamlarida polinomli regressiyadan foydalanish haddan tashqari moslashishga olib keladi. Bu esa neyron tarmoq qurilganda, ularning yashirin qatlamlaridagi ma'lumotlar bilan yaxshi ishlamaydi. SHuning uchun hozirgi kundu regression Splayn funktsiyalaridan foydalanish tafsiya etilmoqda. Neyron tarmoqlarning negizida neyronlarning faollashuv funktsiyasi deb ataladigan qismi joylashgan. Ushbu funktsiya neyron tarmoqning tezkor va aniq ishlashida eng asosiy ahamiyat kasb etadi. Ko'p holatlarda faollashtirish funktsiyasi sifatida moslashuvchan funktsiyalar tanlab olinadi. Misol uchun sigmasimon yoki ReLU funktsiyalaridan foydalaniladi. Ularning asosiy kamchiliklari shundaki, funktsiyalarning qiymatlari hardoim 0 va 1 oralig'ida yotadi. Bu qiymatlar esa logistik regressiya muammolarini yechishda ko'proq talab etiladi. Signallarni qayta ishlash va bashoratlarni to'g'ri amalga oshirish uchun, neyron tarmoqlarda bu funktsiyalardan foydalanish approksimatsiya jarayonida absalyut xatoliklarning oshib ketishiga olib keladi. SHuning uchun biz erkin tugunlar bilan moslashuvchan splayn funktsiyalaridan foydalanishni taklif qilamiz.
Bir o'zgaruvchili B-splayn funktsiyalar - bu tugun nuqtalar to'plamini bog'laydigan silliq egri chiziqli bo'laklariga nisbatan ta'riflanishiga aytiladi. Ikki ketma-ket tugun o'rtasidagi splaynning har bir qismi bo'lak deb ataladi. Har bir bo'lakda splayn d darajali polinom funktsiyasi bilan ifodalanadi. Kvadratik splayn doirasida u ikkinchi tartibli polinomlarga e'tibor qaratiladi, d = 2.
B ,2 ( ' Ht^B, ( t j+T^ B ( t )
t+2 -
t — t
S+3 S+1
(1)
B.2 ( t ) =
t -t t -
t+2 - t t+1 " -t
t+2 - t t - -t
t -t +2 +l t +2
t +3 -1 t +3 -t
-t +3 +1 t +3 - t +2
+ ■
t -1
t +3 -1
f t . t+1 ] f t e[tI-+l, t+2 ]
f t ^+2, t+3 ]
axe xonda
(2)
Yuqoridagi keltirilgan formulani [0, 3] vaqt oralig'ida ochib chiqadigan bo'lsak quyidagicha ifoda paydo bo'ladi.
9r 2 N ,
X x) - y ) x)'
N i=o
dr N X ( x) - y+i) • ( x)'
dWi+i N i=o
dr N X (^+2 (x) - y+2 ) • %+2 (x)'
5w+2(x) N t0 (3)
Bu funktsiyalarga [0,3] vaqt oralig'ida 0.1 qadam bilan qiymat kiritadagan bo'lsak 1.1-rasm ko'rinishidagi grafik paydo bo'ladi.
0
1-rasm. Oraliqlarda takrorlanuvchi B-splayn
Splayn funktsiyasi har uchta oraliqda takrorlanadi va signallarning qiymatini tiklaydi. Signallarning qiymatini ti'klash jarayonida approksimatsiya shartini qanoatlantiradi va shuning uchun bu funktsiya interpolyatsiya shartiga bo'ysinuvchi funktsiyalarga nisbattan aniqligi past hisoblanadi. Bu funktsiya asosida bir o'lchovli geofizik signallarni tiklashni amalga oshiramiz.
i+d
c(t ) = X QiBi, d ( t )
(S)
it) = Гx (t ), y (t )1
v/ l c w cv/j Dgkart koordinata sistemasida t da baholangan splayn egri chiziq
H й y) Q.
koordinatalari
tugun nuqtasi koordinatalari, d - parametrik egri chiziqning darajasi,
в
d V ! d-darajali aralash funktsiyalar. 2-rasm. Kvadratík B-splayn asosida bir o'zgaruvchili signallarni tíklash
Yu^oVi dagi grafikda geofizik signalni approksimatsiya qilish ifodalangan. 1-jadval.
Bir o'zgaruvchili geofizik signalni kvadratik B-splayn asoaida approksimatsiya nati'jalari
x(t)
№ Xi(t) Bi(t) № Xi(t) Bi(t)
1. 0.381000 0.377S00 9. 0.4S1000 0.461000
2. 0.428000 0.404S00 10. 0.422000 0.436S00
3. 0.381000 0.404S00 11. 0.4S2000 0.437000
4. 0.432000 0.406S00 12. 0.386000 0.419000
S. 0.468000 0.4S0000 13. 0.398000 0.392000
6. 0.4S6000 0.462000 14. 0.417000 0.407S00
7. 0.433000 0.444500 15. 0.391000 0.404000
В. 0.425000 0.429000 16. 0.416000 0.403500
Jadvaldagi Xi(t) - kiruvchi signalning qiymati. Bi(t)-signalning approksimatsiya qilishdan olingan
natijalar. Yuqoridagi jadvalda ^ - 0.0155 absolyut xatolik. ^2 -3.5% nisbiy xatolik. II. ASOSIY QISM
Ikki o'zgaruvchili B-splayn funktsiyalarda asosan x va У yo'nalishlari bo'ylabtugunlarningalohida tashkil etilishi eng asosiy omil hisoblanadi. Haqiqatan ham, parametrik sirtni qurish uchun tugunlarning uyushgan to'r tarmog'iga ega bo'lishi juda muhimdir. Tugunlar to'g'ri mos tugunlarning ortonormal
(x, y, z)
koordinatalari to'plamiga mos keladi [4;2].
+d j+d
S (u V )=EE QjBd (u )• j (v)
j (б)
Bu yerda:
u - fazoviy tizimning parametrik sirtni birinchi yo'nalishda kuzatíb boruvchi ichki parametri; v - ikkinchi yo'nalishda parametrik sirtni kuzatíb boradigan fazoviy tízimning ichki parametri,
S (uv ) = [ x(uv); y(uv); (uv)],
sirt koordinatalari;
d-har ikki yo'nalishdagi splayn darajasi;
Q''j - boshqaruv nuqtasi koordinatalari,
B ■ d (u ) B. d ( v )
',d v / va ' v ' o'zlarining tegishli ichki parametrlari uchun d-darajali B-splayn funktsiyalardir[1;101].
S(u' v)-bu C1 sinfining funktsiyasi, chunki bikvadratík splaynlar chegaralardan tashqari barcha parametrik sirtlarda birinchi hosilalarning uzluksizligini kafolatlaydi. Kvadratik B-splayn funktsiyalarining yana bir xossasi shundaki, u mablum bir nuqtada takrorlanuvchi [2;15]. Bu esa neyron tarmoqlarda faollashtíruvchi funktsiya sifatida qo'llash imkonini beradi.
S(u' v) - bu C1 sinfining funktsiyasi, chunki bikvadratík splaynlar chegaralardan tashqari barcha parametrik sirtlarda birinchi hosilalarning uzluksizligini kafolatlaydi. Yuqoridagi (б) formula yordamida ikki o'lchovli signallarni qayta tiklash amalga oshirilsa 1.3 - rasm ko'rinishidagi grafik paydo bo'ladi.
'da baholanadigan Dekart koordinata tizimidagi parametrik
3-rasm. Kvadratik B-splayn asosida ikki o'zgaruvchili signallarni tiklash
Yuqoridagi grafikda ikki o'zgaruvchili geofizik signallarni raqamli ishlash jarayoni tasvirlangan. Bu grafikdagi eng baland cho'qqilar radiatsiya miqdori yuqori ekanligini va kimyoviy elementlarning o'sha
joyda ko'p miqdorda joylashganligini ko'rsatadi. Yuqoridagi jadvalda ^ -0.7 absolyut xatolik. ^2 -0.59% nisbiy xatolik. Jadvalda ko'rinib turibdiki absalyut xatolik yuqori. Bu xatolikni kamaytirish
maqsadida B-splayn funktsiyalar yordamida neyron tarmoq qurishni va shu yordami yer osti radiaktiv elementlarining joylashgan joyini bashoratlashni ko'rib chiqamiz.
Ma'lum bir davrda takrorlanuvchi tarmoq qandaydir boshlang'ich holatdan boshlanadi va u boshqa holatga yetguncha rivojlanadi. Bu vaqtda mashg'ulotlar to'xtati'ladi va tarmoq asl holati'ga qaytariladi, shundan so'ng keyingi o'quv davri boshlanadi. Dastlabki holat barcha davrlar uchun bir xil bo'lishi shart emas. Har bir davrning dastlabki holati avvalgisining yakuniy holati'dan farq qilishi muhimdir [9;205].
4-rasm. Eng sodda takrorlanuvchi neyron tarmoq arxitekturasi
Yuqoridagi arxitekturada ko'k rangdagi RNN bloki hisoblanadi. Uning kirish vektoriga va oldingi holati'ga takrorlanish algoritmi qo'llaniladi. Bunday holda, birinchi kiruvchi qiymatdan xi-1, oldin hech qanday qiymat mavjud emas. SHuning uchun ikkinchi kirish Xi, qiymati'dan takrorlanish algoritmni qo'llashni boshlaymiz [9;207].
ht =f(ht-i, xt) (7)
ht - hozirgi holat, ht-i - oldingi holat, Xt - kirish holati.
ht =tanh(Whh ht-i + Wxh Xt) (8)
Whh - takrorlanuvchi neyrondagi og'irlik,Wxh - neyron kirish qiymati'dagi og'irlik.
yt =Why, ht (9)
yt - chiqish, Why - chiqish og'irligi. Kirishning birinchi qiymati, xt tarmoqga beriladi [9;210]. Neyron tarmoqning aniqligini oshirish uchun faollashtiruvchi funktsiyasi sifati'da B-splayn
funktsiyasi taklif etildi. Buning uchun rekurrent neyron tarmog'ining arxitekturasi va algoritmi ishlab chiqildi [9;212].
5-rasm. Taklif etilayotgan rekurrent neyron tarmoq arxitekturasi
Hosil qilingan neyron tarmoq avvalgi qazilgan hududlardagi rudalar joylashgan qatlamlardan olingan signallar bilan o'qitiladi. Bu jarayonda yangi bashoratlanayotgan hududdagi yer sirtidan olingan signal bilan gradientlar integratsiya qilinib, yer ostidagi rudalar qatlamini bashoratlash uchun testlash jarayoni amalga oshiriladi [11;217].
Ikki o'lchovli radiatsion signallar rudalar joylashgan joylar va yer usti qatlamlarida har xil holatda aks etadi. CHunki, yer osti qatlamlarda aynan rudalarning aniq spektral energiyalari aniqlansa, boshqa qatlamlarda radiatsion signallarga aks ta'sir etuvchi qatlamlar mavjud bo'ladi. Ayniqsa, qo'rg'oshin qatlami rudalardan keyin joylashgan bo'lsa, unda yer sirtiga juda kam miqdorda radiatsion signal tarqaladi. Qo'rg'oshin yo'q joylarda esa radiatsion signalni ko'proq ko'rsatadi [7;10]. SHuning uchun yer sirtida aniqlangan radiatsion signallar orqali yer osti qatlamlarini bashoratlashda katta xatoliklar yuzaga keladi. Bu xatoliklarni kamaytirish va yer ustki signallar yordamida yer qariga chuqurlik qazimagan xolda rudalar qatlamini aniqlash hamda bu orqali quduqlar qazish sonini kamayti'rib iqti'sodiy samaradorlikka
erishish masalalari o'rganilmoqda. Taklif etilayotgan arxitekturada softmax aktivlash funktsiyasidan keyin, aktivlash funktsiyasi sifatida kvadratik B-splayn olingan va algoritmi quyidagicha.
2-jadval.
Geofizik signallarni tiklashda absolyut va nisbiy xatoliklarni baholash
№ Si(t) NT Si(t)
Ai 0.0155 0.00В7В
A,
3.5%
1.7%
Jadvaldagi natijalardan B-splayn asosida qurilgan neyron tarmoqlar aniqligi yuqori ekanligi ko'rinib turibdi[11;85].
Signallarni qayta ti'klashda haqiqiy qiymatga yaqin qiymat olish uchun kvadrati'k B-splayn asosida neyron tarmoq arxitekturasini qurishning matematik modelini ko'rib chiqamiz. Buning uchun quyidagi formuladan foydalanamiz:
Cr 2 n _N
—. = — Y YM> ■ ) - y. .) .)'
cW. . Ni=0 '' ''
i, j * = 0 j = 0
CT 2 NN
+1,J+1 N i=0 J=0
Cr 2 NN
Cwi+2,J + 2 = N Y Y(^(X+2, J+2 ) - y.+2,J + 2 ) ■ KX+2, J + 2 )'
CWi+2, J+2 N ¿=0 .=0 (10)
Aniqlangan gradient qiymatlaridan foydalanib, yer usti'dan olingan signallar yordamida, yer qarini qazilmagan hududidagi rudalar joylashgan qatlamlarni aniqlashni testlab ko'ramiz [11;208].
5-rasm. Rekurrent neyron tarmoq asosida yer ostki qatlamini aniqlash jarayoni 3-jadval.
Ikki o'zgaruvchili geofizik signallarni tiklash va rudalar qatlamlarini bashoratlashda absolyut va nisbiy xatoliklarini baholash
№ Si(t) NT Si(t) Sij(t) RNN NT Sij(t)
Ai 0.015 0.0087 0.4110 0.62 0.01
A 2 3.5% 1.7% 4.3% 5.1% 3.2%
tL 2.3ms 2.7 min 6.9ms 7.3min 7,5-9 min
III. XULOSA
Bugungi kunda barcha sohaga sun'iy intellekt usullari kirib kelmoqda. Bu usullarning samaradorligi ehtimoliy qiymatlardan foydalanib xatolikni minimal darajaga tushirish, bashorat qiymatlaridan foydalanib kerakli natijalarni yuqori aniqlikda keltirib chiqarishdan iborat. SHu bois, bu o'rinda bir nechta faollashtirish funktsiyalari orasidan B-splayn funktsiyasi tanlab olindi va ularni bu funktsiya yordamida neyron tarmoqlarda qo'llash ko'rib chiqildi. Ushbu metodika yordamida yer ostida joylashgan foydali radioaktiv rudalar o'rni va ularning o'lchamlarini burg'ulash ishlarini o'tkazmay turib ham aniqlash mumkinligini ko'rsatadi. Bu metodika asosida olingan dasturiy natijalarni real o'lchash natijalari qiymatlariga mosligini 20 foizgacha oshirishi mumkin. Mazkur metodikaning yer ostida joylashgan foydali radioaktiv rudalardan chiquvchi ionlashtiruvchi nurlar asosida hosil bo'ladigan spektral energiya va chastotaga bog'liq radiatsion fon qiymatlarini baholashda qo'llanilishi isti'qbolli hisoblanadi.
Adabiyotlar ro'yxati
Isroilov M.I., Hisoblash metodlari. №1, 1988. Toshkent. - B. 45-52.
Завялов Ю.С., Квасов Б.И., Миросх,нисх,енко В.Л. Методы сплайн-функсий. Москва: Наука,1980. - 352 с.
Касимов С.С., Зайнидинов Х.Н. Базисные сплайн в задачах восстановления одномерных и многомерных зависимостей // Известия международной академии наук высчей школы. № 1, 2002, Москва. - С. 162- 167.
Shadimetov Kh.M., Hayotov A.R. Construction of interpolation splines minimizing semi-norm in space// BIT Numer. Math. 2013. - 152 p.
Zaynidinov X.N., Azimov R.K., Azimov B.R. Funksiyalarni splayn funksiyalar bilan yaqinlashtirish // «Nazorat, optimallashtirish va dinamik tizimlar» nomli Respublika ilmiy anjuman. Andijon, 2019. - B. 49-50.
Алберг Дж., Нильсон Э., Уолш Дж. Теория сплайнов и ее приложения. - Москва: Мир, 1972. -316 с
Гребенников А.И. Об одном методе построения интерполирующих кубических и бикубических сплайнов на равномерной сетке // Вест. Моск. Университета, вычисл. матем. и и кибер. 1978. - №4. - С. 12-17.
Завьялов Ю.С., Квасов Б.И., Мирошниченко В.Л. Методы сплайн-функций. - Москва: Наука, 1980. - 352 с.
Z.Xakimjon and A.Bunyod, "Biomedical signals interpolation spline models," in 2019 International Conference on Information Science and Communications Technologies (ICISCT), Nov. 2019, pp. 1-3, doi: 10.1109/ICISCT47635.2019.9011926
D. Singh, M. Singh, and Z. Hakimjon, "Evaluation methods of spline," in SpringerBriefs in Applied Sciences and Technology, 2019
H. Zaynidinov, S. Ibragimov, G. Tojiboyev, and J. Nurmurodov, "Efficiency of Parallelizati'on of Haar Fast Transform Algorithm in Dual-Core Digital Signal Processors," in 2021 8th International Conference on Computer and Communication Engineering (ICCCE), Jun. 2021, pp. 7-12, doi: 10.1109/ICCCE50029.2021.9467190.
H. Zaynidinov, S. Ibragimov, G. Tojiboyev, and J. Nurmurodov, "Efficiency of Parallelizati'on of Haar Fast Transform Algorithm in Dual-Core Digital Signal Processors," in 2021 8th International Conference on Computer and Communication Engineering (ICCCE), Jun. 2021, pp. 7-12, doi: 10.1109/ICCCE50029.2021.9467190.
H. Zaynidinov, S. Ibragimov, and G. Tojiboyev, "Comparative Analysis of the Architecture of Dual-Core Blackfin Digital Signal Processors," in 2021 International Conference on Information Science and Communications Technologies (ICISCT), Nov. 2021, pp. 1-4, doi: 10.1109/ICISCT52966.2021.9670135.
Xaykin S. Neyronnbiye seti: polnbiy kurs. 22ye izd. per. s angl.- M. Izd. dom «Vilyams» 2006-452s
Мусаев А.А, Сердюков Ю.П. Модели сигналов с оптималными характеристиками во временной и частотных областях // Математические методы в технике и технологиях: сб.тр. ХХИХ междунар. науч. конф.: в 12 т. Т. 3 / Саратов. гос. техн. ун-т. 2016. С. 116-123.
