CC BY
2УДК 04.912
ТАБИГИ Т1ЛДЕГ1 РЕФЕРЕНЦИЯЛЫЦ ЦАТЫНАСТАРДЫ ШЕШУ МОДЕЛ1НЕ
ШОЛУ
ЦАЛМАН ГYЛЖАМАЛ
^ауымдастырылган профессор, PhD доктор,
Ш.Уэлиханов атындагы Кекшетау университетi, ^азакстан, Кекшетау к.
СЕИТОВА ТОТЫ ШАУКЕНОВНА
Сеньор лектор,
Ш.Уэлиханов атындагы Кекшетау университет^ ^азакстан, Кекшетау к.
ОЖИБАЕВА ЗАМЗАГУЛЬ МАНАПОВНА
Сеньор лектор,
Ш.Уэлиханов атындагы Кекшетау университетi, ^азакстан, Кекшетау к.
МАКАТОВА АСИЯ ЕНШЛЕСОВНА
Лектор,
Ш.Уэлиханов атындагы Кекшетау университет^ ^азакстан, Кекшетау к.
ИСМУКАНОВА АЙГЕРИМ НАУРЫЗБАЕВНА
Ш.Уэлиханов атындагы Кекшетау университет^ ^азакстан, Кекшетау к.
Аннотация. Табиги mindezi референциялыц цатынастарды шешу табиги т1лд1 оцдеудег1 (NLP) мацызды мтдеттердщ 6ipi болып табылад. Бул тапсырма Mdmmdezi 6ip нысанга сштеме жасайтын орнeкmeрдi аныцтауды жэне байланыстыруды цамтиды. Референциялыц цатынастарды сэmmi шешу машиналыц аударма, ацпаратты алу жэне сурац-жауап ЖYйeлeрi сияцты цолданбалар Yшiн rnzi3zi болып табылады. Бул мацалада 6i3 референциялыц цатынасты шешу моделдерт, эд^тердт, деректер жиындарын жэне циындыцтарды царастырамыз. Буган цоса, бiз лингвистикалыц нюанстарды, техникалыц эдiсmeмeneрдi жэне болашац перспективаларды терещрек зeрmmeймiз.
Ty^h свздер: автоматтандыру, референция, гылыми мэттдер, табиги miлдi оцдеу, машиналыц оцыту.
Kipicne
Тшдеп референциялык катынастар сейлеушшер мен жазушыларга сездердi немесе сез тсркестерш накты элемдеп немесе мэтш шшдеп нысандармен байланыстыруга мYмкiндiк береди Мысалы, «Мария акпараттык жYЙе мамандыгыньщ Yздiгi, ол елiмiздегi ец уздш оку орынын бтрген» деген сейлемдеп «ол» есiмдiгi «Мария» дегендi бiлдiредi. Негiзгi референциялык шешiм ретiнде белгш мундай катынастарды шешу NLP-де мацызды косалкы тапсырма болып табылады. Бул тапсырма анык емес, синтаксистiк к¥рылымдар жэне контекстiк тэуелдiлiктер сиякты факторларга байланысты кYPделi. Бул есiмдiктерден баска сштеу есiмдiктерi («осы», «бул») де юредь
Бул шолу макаласында ережеге непзделген жYЙелерге, машиналык окыту Yлгiлерiне жэне нейро архитектурадагы соцгы жетютштерге назар аудара отырып, референциялык катынастарды шешудщ эртYрлi тэсiлдерi зерттеледi. Бiз сондай-ак осы саладагы прогрестi калыптастырган деректер жиынын, багалау метрикасын жэне тшаралык байланыстарды карастырамыз.
Референциялык катынасты зерттеулердщ тарихи дамуын зерттегенде, лингвистикалык, статистикалык, детерминистiк жэне машиналык окыту, корпустык эдiс, терецдетшген эдiстерiне негiзделген тэсшдердщ бiрнеше тYрi пайда болганы белгш болады [1, 3-4б].
ОФ "Международный научно-исследовательский центр "Endless Light in Science"
Лингвистикалык эдютер эдетте синтаксистiк ережелердi (мысалы, талдау агашы, грамматикалык курылым) жэне лингвистикальщ теорияларды колданады. Мысалы, [2, 5б] есiмдiктердi шешудщ алгашкы алгоритмдершщ 6ipÍH усынды, оны Хоббс алгоритм деп атайды.
Бул алгоритм эрбiр сeйлемнщ синтаксистiк талдау агаштарын бершген еамдштщ eцделуi кезiнде оныц непзп референциалды антецеденттерiн табу Yшiн пайдаланады. Анафоранын шешу алгоритмi (RAP) [3,1б] - есiмдiктердi танудыц тагы бiр лингвистикалык алгоритмi.
RAP пен Хоббс алгоритмшщ басты айырмашылыгы - RAP алдын ала аныкталган кейбiр параметрлердi ескере отырып, эрбiр Yмiткердi багалайды. Лингвистикалык теорияларга негiзделген есiмдiктердi шешуге арналган бiрнеше баска зерттеулер бар. Бреннан жэне баскалар [4, 10б] орталыктандыру теориясын ойлап тапты. Орталыктандыру теориясы дискурс курылымын колдана отырып, анафора жэне кореференция сиякты кубылыстарды тYсiндiру Yшiн колданылатын жаца алгоритм.
Орталыктандыру теориясында мэтiнде бiрнеше «айтуларды» байланыстыратын нысан ретiнде аныкталды. Бул алгоритм барлык мYмкiн байланыстарды, ягни жуп тYзу орталыктар мен керi объектiлердi курудан басталды. Жогарыда аталган тэсiлдер референцияны шешу жYЙелерiнiц кепшшп бiлiм негiзiнде курылган, соцгы зерттеулер окытуга негiзделген есептеу эдiстерi мен модельдерге кeбiрек сYЙенедi.
Статистикалык модельдер [5,16б; 6, 7б] аннотацияланган корпус бойынша есептелген ыктимал тсзбектердщ референциалды екендшн шешу кезiнде колданады. Ли жэне баскалар [8, 31б] агылшын тiлiне арналган кiлт сeздердi шешудщ детерминистiк жYЙесiн енгiздi. Бул эдю кеп децгейлi каскадты курылымда жумыс iстейдi. Ягни, агымдагы децгейдщ кiрiсi шыгысы децгей ретiнде кабылданады.
Окытуга непзделген референцияны шешу тэсiлдерi эдетте Yш мацызды сыныпка бeлiнедi: референция жубыныц модельдерi, нысанды еске ту^ру модельдерi жэне референция жубыныц рейтингак модельдерi жай гана сiлтеме жубын eцдейдi жэне агымдагы сiлтеме жубыныц алдыцгы пiкiрлердi ескермей, бiр-бiрiмен салыстырмалы екенiн аныктайды. Дегенмен, транзитивтiлiк бул модельдщ кемшшктердщ бiрi болып табылады.
Мысалы, A, B жэне C Yш тYрлi ескерту бар болсын. А В-га, ал В С-ге сштеме жасалса, бiрак А С-ге сштеме жасамаса, бул модель мундай байланысты ала алмайды. Сонымен, бул эдю C мэшмен кореференция жасайды, сонымен катар, жуп сiлтемелерi бар модельдер жасау Yшiн кейiнгi eцдеу кадамы ретiнде кластерлеу механизмiн кажет етедi. Баска авторлар [9,16б;10, 34б] жiктеу YДерiсi кезiнде шешiм агашын, SVM немесе шартты модельдердi (мысалы, максималды энтропия) пайдаланып, содан кешн кластерлеу тэсiлiн колдана отырып, олардыц кореференциялык шешiмдерiнде жуптык сiлтеме эдiсiн колданады.
Сонымен катар, [11,19б] сштеме жуптарыныц жiктелуiне негiзделген кореференцияны шешудi зерттеуге жаца кeзкарас экелдi.
Бул архитектурада барлык сштемелер басынан аягына дейiн кeрiнедi. Бул айналма жолда байланыстырушы тiзбектер жасалады жэне бул тсзбектер агаш курылымыныц тYЙiндерiнен жасалады. Эрбiр жиектiц максималды энтропия бойынша есептелген сешмдшк мэнi бар.
Бул процестщ максаты сiлтемелер жиынтыгынан олардыц непзп сштеме тсзбектерше дейiн ец жаксы жолды табу. Айта кету керек, аталган алгашкы жYЙелермен катар, кейбiр заманауи зерттеулер FrameNet, WordNet жэне баска тезаурустарды, википедияны, Yago жэне DBpedia сиякты онтологияларды, семантикалык жэне дискурстык талдауды, кYPделi корытынды механизмдерiн пайдалана отырып, пэндiк аймак туралы косымша акпаратты тартуда.
Сонымен, [12,36б] жумысында эртYрлi дереккeздерден (WordNet, Википедия) семантикалык белгшерд^ сондай-ак семантикалык рeлдер туралы акпаратты пайдаланатын машиналык окытуга негiзделген кореференцияны шешу жYЙесi сипатталган. WordNet-тен
ОФ "Международный научно-исследовательский центр "Endless Light in Science"
алынган аппарат тшелей семантикалык байланыстыц (синоним, гипероним) немесе бурынгы YMiTKep мен референциялык ернек арасындагы жанама байланыстыц болуын аныктауга мYмкiндiк бередi.
90-шы жылдардыц екiншi жартысында куатты автоматты анализаторлар мен аннотаторлардыц, сондай-ак анафора мен кореференцияны бiрге шешуге негiзделген мэтшдер корпусыныц пайда болуымен "корпус" тэсiлдерi пайда болды (машиналык окыту эдютерш колдана отырып) [13, 7-8Б; 14, 38б]. Келесi жумыста [15, 6б] Чех мэтiндерiнiц PTD синтаксистiк аннотацияланган корпусындагы референцияны шешу эдiсi баяндалган.
Мунда референцияны табудыц Yш кезещ карастырылады - кореференцияны белгiлеу, онда антецедент осы тшдщ грамматикалык ережелерi негiзiнде алынады, есiмдiк анафораны атаулы топтарды белгiлеу негiзiнде. жэне ассоциативт анафораны белгiлеу аркылы жасалды.
Корпустык эдiске CYЙене отырып жасалган тагы да бiр жумыс - Кибриктщ референциялды талдау моделi. Бул эдю референцияныц кеп факторлы табигатына неiзделген (Кибрик, 1996, 1999, 2011) [16, 6б; 17, 15б] Басты мшдет тек референциялык катынаска эсер ететш факторларды табу жэне зерттеу гана емес, сонымен катар олардыц санын кажеттi минимумга дейiн азайту (ецбект азайту). Сондай-ак, кейбiр жалпы дискурсивт сипаттарды камтиды.
1. Референттiц белгiлерi: жанды не жансыз, протагонизм (дискурстагы референттщ мацызы), гендерi мен саны. 2. Кесемшенщ белгiлерi: тура сейлеу мYшесi ме, синтаксистiк топтыц тYрi, грамматикалык кызмет!, сiлтеу формасы, сездегi кесемшенщ узактыгы, казiргi орнынан толык есiмдi сез тiркесiне дейiнгi тiзбектегi кесемшелердщ саны.
3. Анафораныц белгiлерi: дискурста бiрiншi айтылмаганы, оныц тiкелей сейлеу мYшесi ме, синтаксистiк топтыц тYрi, грамматикалык релi, тiзбектегi референтке сштемелер саны.
4. Анафора мен антецедент арасындагы кашьщтьщ: сездердегi сызыктык кашыктык, сейлемдердегi сызыктык кашыктык, сейлемдердегi сызыктык кашыктык карапайым дискурсивтi бiрлiктердiц риторикалык кашыктыгы, абзацтардагы кашыктык.
^урылган риторикалык желi бойымен мэтiн Yзiндiлерi арасындагы жолдыц узындыгы болып табылатын риторикалык кашыктык аныктамалык тацдаудыц мацызды факторы болып саналады, ейткенi ол сызыктык кашыктыкта бiр-бiрiнен алыс мэтш Yзiндiлерi арасындагы байланысты есепке алуга мYмкiндiк бередi деп есептеген.
Осы жумыс нэтижесiнде мэтiн iшiнде ец ыктимал референт жубын табу мYмкiндiгi жаксарды. 90-шы жылдардыц соцы корпустык эдюпен катар референцияны шешу де мультиагентпк тэсiл катар дамып келдь Бул эдiс агенттердiц тYрлерiмен жэне олардыц функцияларымен ерекшеленедi. Осы тэсiлдi колдана отырып зерттелген бул жумыста [18, 14б] орыс тiлiндегi кореференциялык катынасты шешудiц мультиагенттiк тэсiлi усынылды. Осы жумыста усынылган кореференцияны шешу алгоршм пэндiк сала онтологиясын толыктыру Yшiн мэтiндi талдау жэне акпаратты алудагы жалпы кезкарастарын усынды.
Автордыц пайымдауы бойынша бул эдiс жеке багдарламалык модульдермен дэйектi тYPде орындалатын келесi Yдерiстердi камтиды:
1) лексикалык талдау модулi берiлген мэтiннен пэндш сала терминдердi алдын ала шыгарып алуды жYзеге асырады [19, 8б];
2) сегментация мэтiндi формалды жэне жанрлык фрагменттерге белу (сейлемдерге, белiмдерге жэне т.б.) [20, 4б];
3) непзп талдау модулi пэндiк сала онтология [21,8б] даналарына сэйкес келетш терминдерден объектiлердi курастырады жэне непзп кореференциялык мэселеш шешедi ;
4) ею уштылыкты шешу модулi лексикалык жэне синтаксиспк екiуштылыкты жояды [22, 9б];
5) толыктыру модуш алынган объектiлердi бершген онтологияга косады. Жогарыдагы теориялык зерттеуден керiп отырганымыздай, референциялык катынасты шешу элi кYнге дейiн толык шешiмiн таппады, мундагы басты себеп референция типтершщ толык аныкталмауы.
Референциялык катынас баска тшдерде теориялык жэне практикалык тургыдан зерттелген болса, typkï тшдес тiлдер iшiнде Ka3ipre дейiн тек typïk тiлiнде [23, 14б] гана кейбiр жумыстарды табуга болады, дамушы тiл ретiнде казак тiлiнде элi кYнге дейiн зерттелмеген, бул осы жумыстыц негiзгi факторларыныц 6îpî.
Аталган моделдердщ кемшiлiктерi де жок емес, теменде модельдердщ негiзгi кемшiл тYCтары атап етiлдi.
Кеп магыналылык: «ол» сиякты есiмдiктерде кебiнесе бiрнеше элеуетп антецеденттер болады, эсiресе кYрделi курылымдары немесе бiрнеше тулгалары бар сейлемдерде.
Пэндш салага бейiмдеу: Жацалык макалалары бойынша дайындалган модельдер гылыми мэтшдерге, эдеби шыгармаларга немесе сухбаттык диалогтарга жаксы жалпылама болуы мYмкiн.
Ресурстардыц жетiспеушiлiгi: Кептеген тiлдерде референцияны шешу Yшiн аннотацияланган корпус жетiспейдi, бул модельдердщ ресурстарга бай тiлдерге колданылуын шектейдi.
¥зак аукымды тэуелдiлiктер: узак мэтiн аралыгымен белiнген нысандарды шешу агымдагы архитектуралар Yшiн киын болып кала бередi.
Деректер жиынындагы киындыктар: Аннотацияланган деректер жиындары кебiнесе окытылган Yлгiлердiц эдiлдiгi мен жалпылыгына эсер ететш мэдени жэне лингвистикалык бейiмдiлiктердi керсетедi.
Пэндт саласызреференцияны шешудщ алгоритмдерг мен эс1лдер1
Токсаныншы жылдардыц соцында табиги тiлдi ецдеу саласында ережеге негiзделген эвристикалык тэсiлдерден окытуга непзделген тэсшдерге ауысу кезещ басталды. Бул езгерiс референцияны шешудщ жаца эдiстерiмен толыктрылды. Осы уакытка дешн референцияны шешу шешiм агаштар алгоритмдердщ [24, 6б] генетикалык алгоритмдердi [25,52б, 26, 153б] жэне Байес ережесш [27, 78б] колданылган едi. Бул тэсшдер уакыт ете келе дэйект тYрде жетiлдiрiлген жэне акырында ережеге непзделген алгоритмдерден асып тYсетiн референцияны шешудщ окытуга непзделген тэсшдершщ непзш калады. Бул ауысым CR зерттеу кауымдастыгын лингвистерден машиналык окыту эуескойларына дейiн кецейттi. [28, 55б] макалада карапайым статистикалык Байес Yлгiсiнен бастап шешiм агаштары мен шартты кездейсок ерiстердi пайдаланатын эдiстерге дейiнгi непзп референцияны шешу мэселес Yшiн машиналык окыту эдютерше шолу жасайды. Эюшшке орай, шектеулi пэндiк салаларда (мысалы, гылым мен ендiрiстiц накты салаларында) жогардагы эдiстердi колдану тиiмсiз жэне оларды жасау бiршама ецбектi кажет етедi. Мундай жагдайларда классикалык ережелерге непзделген эдiстердi колдану тиiмдi болмак.
Референцияны шешу мэселесiне колданылатын бiрнеше жумыстар бар, олар мультиагенттiк жэне Yлестiрiлген эдiстер: [29, 30б; 30, 87б]. Бул жYЙелер агенттердiц тYрлерiмен жэне олардыц функцияларымен ерекшеленедi. Жумыста [31, 87б ] кореференцияны шешу факторлары (сандык жэне гендерлiк сэйкеспк, анимация, бiр-бiрiне сэйкес келмейтiн сштеме, семантикалык сэйкеспк, жаhандык фокус, катафора жэне логикалык колжетiмдiлiк) белгiлi кореференция теорияларына топтастырылган. сэйкес келетiн кептеген шектеулерге [32, 90б]-да морфологиялык жэне семантикалык келiсiмге жалпы агент жауап беред^ ал референцияныц сан алуан тYрлерi (мысалы, анафора, кореференция) арнайы агенттерге берiледi. Екi кужатта да агенттер негiзгi референция факторларына сэйкес келедг Негiзгi Yмiткерлердi табу репмен жYзеге асырылады. [33, 5б]-те белгш бiр кандидаттыц параллельдi кабылдануы туралы агенттер шешiм эзiрлейдi жэне агенттер дэйекл шешiм CYЗгiлерiнiц жYЙесiн курайды . Окытуга негiзделген референция модельдерш Yш аукымды категорияга белуге болады: Ескерту-жуп моделi, мэнге сштеме жэне рейтинг модель
Ескерту-жуп моделг кореференцияны жуптык сштемелердщ жинагы ретшде карастырды. Ол екi есiмдi пркестер тец референт болып табылатынын аныктау Yшiн классификаторды пайдаланды. Бул кезецнен кешн NP белiмiн жасау Yшiн кластерлеу сиякты
ОФ "Международный научно-исследовательский центр "Endless Light in Science"
эдiстердi колдану аркылы сiлтемелердi сэйкестендiру кезещ етп. Бул идея алгаш рет 90-шы жылдардыц басында шешiм агашыныц классификаторын пайдалана отырып усынылды, Атап еткен жуптык модельде Yш непзп кезец болды, олардыц эркайсысында мацызды зерттеу назары болды. Бул жерде атап етшетш жуптык модельдiц эрбiр фазасы тэуелсiз болды жэне бiр кезецнiц енiмдiлiгiн жаксарту келесi фазалардыц дэлдiгiн жаксартуды бiлдiрмейдi.
Ескерту-жуп моделш колдануда бiрiншi кезец окыту даналарын жасау болды. Мэтiндегi объектiлердiц кепшшп сэйкес келмейтiндiктен, окыту данасын курудыц максаты оку Yлгiлерiмен байланысты асимметрияны азайту болды. Бул модельге оку данасын курудыц ец танымал алгоритмш Soon [34,178б] сiлтемелердi курудыц эвристикалык эдiсiн ойлап тапты, Soon's эдiсi A1 есiмдiк тiркестерi мен оныц ец жакын алдыцгы A2 алдыцгы катарлы тiркестерi арасында оц дананы жэне A1 мен A2 арасында араласатын есiмдiк тiркестердiц эркайсысымен A1^i жуптау аркылы терiс дананы курады. Ол мысал жасау Yшiн тек аннотацияланган зат есiмдi тiркестердi карастырды. Бул тэсiлдiц модификациясы есiмдi тсркес болмаса A1 данасы мен алдыцгы A2 данасы арасындагы оц дананы тек A2 де есiмдi тсркес болмаса гана жасауга болатындыгы туралы баска шектеудi енгiздi.
Ескерту-жуптык модельдердщ екiншi кезецi классификаторды окыту болды. Бул кезецге кещнен колданылган классификаторлар шешiм агаштары (Decision trees) мен кездейсок ормандар (random forests) жштеуштер ретiнде кецiнен колданылды. Ескерту-жуптык модельдердщ екiншi кезецi классификаторды окыту болды. Бул кезецге кещнен колданылган классификаторлар шешiм агаштары (Decisiontrees) мен кездейсок ормандар (randomforests) жiктеуiштер ретшде кецiнен колданылды.
^орытындылай келе, референциялык катынастарды шешу тшдш ернектер мен олардыц контекспк магыналары арасындагы алшактыкты етейтiн табиги тiлдi тYсiнудiц таптырмас курамдас белiгi болып табылады. Эдютемелердщ эволюциясы — ережеге негiзделген жYЙелерден жетiлдiрiлген нейрондык архитектурага дейiн — бул тапсырманыц дэлдiгi мен келемш айтарлыктай арттырды. Дегенмен, белгiсiздiк, пэндш саланы бейiмдеу жэне ресурс шектеулерi сиякты киындыктар, эсiресе жеткiлiксiз усынылган тшдер мен кYPделi мэтiндiк курылымдар Yшiн сакталады. Болашак зерттеулер инновациялык гибридтi модельдер, ресурстарды дамыту жэне NLP кец тапсырмаларымен интеграция аркылы осы мэселелердi шешуге багытталуы керек. Пэнаралык ынтымактастыкты дамыта отырып жэне лингвистикалык тYсiнiктер мен есептеу жет1ст1ктерш колдана отырып, бул ерiс негурлым нюансты жэне эдiл шешiмдерге кол жетюзу Yшiн жаксы орналастырылган, осылайша NLP-тiц эртYрлi домендер мен тшдерде колданылуын кецейтедi.
ПАЙДАЛАНГАН ЭДЕБИЕТТЕР
1. Sikdar U.K., Ekbal A., Saha S., Uryupina O., Poesio M. Differential evolution-based feature selection technique for anaphora resolution // Soft Comput. - 2014. - P. 1-13
2. Hobbs J.R. Resolving pronoun references // Lingua. - 1978. - Vol. 44, Issue 4. - P. 311-338. 27 Bernal S., Lidz J., Millotte S. et al. Syntax constrains the acquisition of verb meaning // Language Learning and Development. - 2007. - Vol. 3. - P. 325-341.
3. Aone C., Bennett S.W. Evaluating automated and manual acquisition of anaphora resolution strategies // Proceed. of the 33rd Annual Meeting of the Association for Computational Linguistics (ACL). - Cambridge, 1995. - P. 122-129.
4. McCarthy J., Lehnert W. Using decision trees for coreference resolution // Proceed. of the 14th internat. conf. on Artificial Intelligence (IJCAI). - Amherst, 2018. - P. 1050-1056.
5. Bengtson E., Roth D. Understanding the values of features for coreference resolution // Proceed. of the 2008 conf. on Empirical Methods in Natural Language Processing (EMNLP). - Honolulu, 2018. - P. 294-303.
6. Lee K., He L., Lewis M. et al. End-to-end neural coreference resolution // Proceed. conf. on Empirical Methods in Natural Language Processing. - Copenhagen, 2017. - P. 188-197.
ОФ "Международный научно-исследовательский центр "Endless Light in Science"
7. Luo X. On coreference resolution performance metrics // In: Proceedings of the Conference on Human Language Technology and Empirical Methods in Natural Language Processing, Association for Computational Linguistics. - Stroudsburg, - P. 25-32.
8. Stoyanov V., Gilbert N., Cardie C. et al. Conundrums in noun phrase coreference resolution: Making sense of the state-of-the-art // Proceed. of the Joint conf. of the 47th Annual Meeting of the ACL and the 4th internat. joint conf. on Natural Language Processing of the AFNLP (ACL-IJCNLP). - Singapore, 2009. - P. 656-664.
9. Soon W.M., Ng H.T., Lim D.C.Y. A machine learning approach to coreference resolution of noun phrases // Computational Linguistics. - 2001. - Vol. 27, Issue 4. - P. 521-544.
10. Yang X., Zhou G., Su J. et al. Coreference resolution using competitive learning approach // Proceed. of the 41st Annual Meeting of the Association for Computational Linguistics (ACL).
- Cambridge, 2003. - P. 176-183.
11. Ponzetto S.P., Strube M. Exploiting semantic role labeling, WordNet and Wikipedia for coreference resolution // Proceed. of the Human Language Technology conf. and conf. of the North American Chapter of the Association for Computational Linguistics (HLT/NAACL). -Stroudsburg, 2006. - P. 192-199.
12. Harabagiu S.M., Bunescu R.C., Maiorano S.J. Text and Knowledge Mining for Coreference Resolution // Proceed. of the 2nd meeting of the North American Chapter of the Association for Computational Linguistics on Language technologies. - Pittsburgh, 2001. - P. 1-8.
13. Brennan S.E., Friedman M.W., Pollard C.J. A Centering Approach to Pronouns // Proceedings of the 25th annual meeting on Association for Computational Linguistics. - Stanford: California, 1987. - P. 155-162.
14. Nedoluzhko А, Michal N, Silvie C, Marie M, Jiri M. Coreference in Prague Czech-English Dependency Treebank // In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), -2016. - P. 169-176.
15. Кибрик А. А. Механизмы устранения референциального конфликта // Моделирование языковой деятельности в интеллектуальных системах. Москва: Наука, - 1987, - C. 128-45
16. Kibrik A.A., Dobrov G.B., Khudyakova M.V. et al. A corpus-based study of referential choice: Multiplicity of factors and machine learning techniques // Text processing and cognitive technologies. Cognitive modeling in linguistics: proceed. of the 13th internat. conf. - Corfu, 2013. - P. 118-126.
17. Aref M.M. A Multi-Agent System for Natural Language Understanding // Proceed. conf. Managing Technologically Driven Organizations: The Human Side of Innovation and Change (IEMC '03). - Cambridge, 2003. - P. 36-40.
18. Гаранина Н.О., Сидорова Е.А., Серый А.С. Мульти-агентный подход к разрешению кореференции на основе многофакторного сходства при пополнении онтологий // Программирование. - 2018. - №1. - С. 31-45.
19. Kononenko I.S., Sidorova E.A. Language Resources in Ontology-Driven Information Systems // Proceed. of the 1st Russia and Pacific conf. on Computer Technology and Applications. -Vladivostok, 2010. - P. 18-23.
20. Sidorova E.A., Kononenko I.S. Representation and Use of the Jenre Structure of Documentation in Text Processing // Proceed. of the Science Intensive Software Workshop. - Novosibirsk, 2009.
- P. 248-254.
21. Garanina N., Sidorova E. Ontology Population as Algebraic Information System Processing Based on Multi-agent Natural Language Text Analysis Algorithms // Programming and Computer Software. - 2015. - Vol. 41, Issue 3. - P. 140-148.
22. Garanina N., Sidorova E. Context-dependent Lexical and Syntactic Disambiguation in Ontology Population // Proceed. of the 25th internat. Workshop on Concurrency, Specification and Programming. - Rostock, -2015. - P. 101-112.
23. Tüfek9i P., Kili9aslan Y. A syntax-based pronoun resolution system for Turkish // Proceed. of the 6th Discourse Anaphora and Anaphor Resolution Colloquium (DAARC-2007). - Lisbon, Portugal, - 2007. - P. 1-6.
24. Yildirim S., Kili9aslan Y., Yildiz T. Pronoun resolution in Turkish using decision tree and rule-based learning algorithms // Human Language Technology. Challenges of the Information Society: procced. 3rd Language and Technology conf. (LTC 2007). - Poznan, - 2007. - P. 270278.
25. Say B., Zeyrek D., Oflazer K., Özge U. Development of a corpus and a treebank for present-day written turkish // in Proceedings of the eleventh international conference of Turkish linguistics, 2002, - P. 183- 192.
26. Kü9ük D., Yöndem M.T. A knowledge-poor pronoun resolution system for Turkish // arXiv preprint arXiv:1504.04751. 10.05.2022.
27. Nair V, Hinton G.E. Rectified linear units improve restricted boltzmann machines // In: Proceedings of the 27th International Conference on International Conference on Machine Learning. - Omnipress, 2010 -P. 807-814.
28. Rudinger R, Naradowsky J, Leonard B, Van Durme B. Gender bias in coreference resolution // In: Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Association for Computational Linguistics. - New Orleans. 201. - P. 8-14.
29. Recasens M, de Marneffe MC, Potts C. The life and death of discourse entities: Identifying singleton mentions // In: Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, -Atlanta: Georgia. 2013. - P.627-633
30. Ge N., Hale J., Charniak E. A statistical approach to anaphora resolution // https://aclanthology.org/W98-1119.pdf. 25.09.2022.
31. Sukthanker R., Poria S., Cambria E. et al. Anaphora and coreference resolution: A review // Information Fusion. 2020. - Vol. 59. - P. 139-162.
32. Rich E., LuperFoy S. An Architecture for Anaphora Resolution // Proceed. of the 2nd conf. on Applied Natural Language Processing. - Austin, 1988. - P. 18-24.
33. Zhou G.D., Su J. A High-Performance Coreference Resolution System using a Constraint-based Multi-Agent Strategy // Proceed. of the 20th internat. conf. on Computational Linguistics. -Geneva, 2004. - P. 522-528.
34. Yangy X., Su J., Zhou G. et al. An np-cluster based approach to coreference resolution // Proceed. of the 20th internat. conf. on Computational Linguistics, Association for Computational Linguistics. - Geneva, 2004. - P. 226-232.
