CC BY
410
Hisamova Venera Nafikovna, Sitdikova Farida Bizyanovna, Usmanov Timur Ravilevich MACHINE TRANSLATION ERRORS (ON THE BASIS OF ANALYSIS ...
philological sciences -linguistics
УДК 81'32
DOI: 10.26140/bgz3-2019-0802-0079
"ПЕРЕДНЯЯ ЧАСТЬ ПРАВОГО ТЕЛЕНКА", ИЛИ ОШИБКИ МАШИННОГО ПЕРЕВОДА (НА ОСНОВЕ АНАЛИЗА АВТОМАТИЧЕСКИХ СУБТИТРОВ)
© 2019
Ситдикова Фарида Бизяновна, кандидат филологических наук, доцент
Хисамова Венера Нафиковна, доктор филологических наук, профессор Усманов Тимур Равилевич, кандидат педагогических наук, доцент Казанский федеральный университет (420008, Россия, Казань ул. Кремлевская, 18, e-mail: [email protected])
Аннотация. Статья посвящена анализу ошибок, сделанных машинным переводчиком Google Translate при переводе с английского на русский. Проблема качества машинного перевода является крайне актуальной в настоящее время в связи с возрастающей интенсивностью интернет-коммуникаций. В статье рассматриваются как достоинства, так и недостатки машинного перевода. Решение поставленной задачи - оценка качества машинного перевода - проводилось на материале автоматических субтитров, переведенных машинным переводчиком. На основании большого количества языковых примеров проведен анализ наиболее характерных ошибок переводчика Google Translate. Ошибки были поделены на несколько типов. Лексико-семантические ошибки включали в себя следующие: 1) неспособность выбрать нужное по контексту значение; 2) перевод семантических конструкций; 3) перевод имен собственных; 4) перевод аббревиатур. Рассматривались также морфологические, синтаксические и стилистические ошибки. Собрана статистика по количеству ошибок каждого типа. Делается вывод по количеству ошибок каждого типа. На основании проведенного опроса делается вывод о возможности использовать машинный перевод субтитров в практических целях в качестве сигнальной версии перевода субтитров. Материалом для исследования послужили автоматические субтитры, переведенные на русский язык Google Translate, которые сравнивались с английским оригиналом. Статья может представлять интерес для исследователей, интересующихся проблемами и перспективами машинного перевода.
Ключевые слова: компьютерная лингвистика, машинный перевод (МП), MT, машинный переводчик, автоматический перевод, автоматический переводчик, статистический МП, SMT, нейронный МП, NMT, система машинного перевода (СМП), постредактирование, ошибки машинного перевода
MACHINE TRANSLATION ERRORS (ON THE BASIS OF ANALYSIS OF AUTOMATIC SUBTITLES)
© 2019
Hisamova Venera Nafikovna, Doctor of Philology, professor Sitdikova Farida Bizyanovna, Candidate of Philological Sciences, Associate Professor Usmanov Timur Ravilevich, Candidate of Pedagigics, Associate Professor Kazan Federal University (420008, Russia, Kazan, Kremlevskaya St., 18, e-mail: [email protected])
Abstract. The article describes typical errors made by Google Translate in the process of translation from English into Russian. Quality of machine translation is an acute problem due to increasing intensity of Internet communication. The article discusses both advantages and disadvantages of machine translation. The work objective was to evaluate the quality of machine translation. Subtitles generated automatically served as a study material. We used a large number of language examples to perform analysis of the most characteristic mistakes made by Google Translate. The errors were divided into several types. The lexico-semantic errors included: 1) choosing a wrong contextual meaning; 2) incorrect translation of semantic constructions; 3) incorrect translation of proper names; 4) incorrect translation of bbreviations. Morphological, syntactic and stylistic mistakes were also considered. We performed statistical analysis of each type of the detected errors. Based on the obtained data, it was shown that it is possible to use automatically generated subtitles for practical purposes as a signal version of the subtitle translation. The article may be of interest to researchers studying the problems and prospects of machine translation.
Keywords: computational linguistics, machine translation (MT), MT, machine translator, automatic translation, automatic translator, statistical MP, SMT, neural MT, NMT, machine translation system (SMP), post-editing, machine translation errors
В статье исследуется проблема качества машинного перевода на основе анализа автоматических субтитров. Для начала уточним, что машинный перевод (МП, MT, Machine Translation) - это перевод текстов с одного естественного языка на другой специальной компьютерной программой. Такое же название носит направление научных исследований, связанных с построением подобных систем [1].
Актуальность статьи связана с возрастающей интенсивностью интернет-коммуникаций, соответственно возникает проблема быстрого и качественного, по возможности дешевого перевода. В настоящее время все больше людей в связи с растущими объемами информации используют системы машинного перевода. Поэтому значение автоматизированных систем перевода постоянно повышается [2]. К сожалению, на сегодняшний день переводы, сделанные машинными переводчиками, остаются несовершенными. В связи с этим исследование проблем машинного перевода представляется актуальным в целях повышения качества таких переводов [3].
Целью нашего исследования было рассмотреть возможность применения машинных переводчиков без участия переводчика-человека в практической сфере, а именно, для перевода автоматических субтитров. Для достижения данной цели были поставлены следующие задачи:
1) рассмотреть понятие МП и кратко описать различные системы МП;
2) раскрыть достоинства и недостатки МП;
3) сделать выборку переведенных предложений, содержащих ошибки того или иного рода;
4) проанализировать ошибки, провести классификацию и разбить их на группы;
5) сделать выводы относительно качества МП и возможностей практического применения.
Для начала отметим, что существуют различные типы систем машинного перевода:
1) основанные на правилах грамматики;
2) использующие в своей работе статистический анализ;
филологические науки -
языкознание
Ситдикова Фарида Бизяновна, Хисамова Венера Нафиковна, Усманов Тимур Равилевич MACHINE TRANSLATION ERRORS (ON THE BASIS OF ANALYSIS ...
3) системы гибридного типа;
4) основанные на нейронных сетях и характеризующиеся способностью к обучению [4, 5].
Первый подход является традиционным и используется большинством разработчиков систем машинного перевода (например, ПРОМТ в России (год создания 1991), SYSTRAN во Франции, Linguatec в Германии и т.д.). Ко второму типу относятся такие сервисы, как Яндекс. Переводчик (2009), Переводчик Google (2003), а также новый сервис от ABBYY [6].
Особенностью статистического МП является то, что системы такого рода в своей работе используют статистический анализ. В систему загружается корпус текстов на двух языках, после этого система выдает анализ статистики языковых соответствий и различных синтаксических конструкций в двух языках. Преимущество системы в том, что она является самообучаемой, т.е. при выборе нужного варианта перевода она исходит из полученной ранее статистики. Чем больше объем словаря для языковой пары и чем выше его качество, тем лучше результаты данного виде перевода. К наиболее значительным недостаткам систем SMT можно отнести наличие многочисленных лексических и грамматических ошибок и нестабильность перевода [7].
За последние годы произошел ряд технологических прорывов и существенный рост вычислительной мощности компьютеров, благодаря чему интенсивное развитие получила технология машинного обучения. Эта концепция нашла применение и в области машинного перевода. Так, в 2016 года сразу несколько крупных компаний объявили о создании новейших технологий MT, основанных на нейронных сетях (англ. Neural MT (NMT)).
Нейронный машинный перевод (Neural Machine Translation, NMT) — это вид МП, в котором используется искусственная нейронная сеть. Этот способ принципиально отличается от использованных ранее методов [8]. Модели NMT способны обучаться во время работы и со временем их перевод становится более эффективным.
В сентябре 2016 года компания Google представила систему нейронного машинного перевода (Google Neural Machine Translation system, GNMT) [9]. Как утверждают разработчики, она превосходит по качеству все предыдущие технологии в этой области. Применение GNMT сокращает количество ошибок в машинном переводе на 55-85% [10]. В 2016 г. движок перевода был включен в обе стороны для девяти языков: английского, французского, немецкого, испанского, португальского, китайского, японского, корейского и турецкого. В марте 2017 г. были добавлены ещё три языка: русский, хинди и вьетнамский [11]. Преимуществом нейронной сети является сам подход к обработке текста. Большинство переводчиков обрабатывают каждое слово по отдельности, а нейросеть переводит фразы и предложения целиком, с учетом контекста. Это дает надежду на то, что уже в ближайшие годы мы можем ожидать улучшения качества машинного перевода.
В 2017 г. компания Yandex запустила нейросетевой перевод, главным достоинством которого была заявлена гибридность. СМП Yandex переводит предложение сразу двумя методами — статистическим и нейросетевым, а потом с помощью алгоритма CatBoost, в основе которого лежит машинное обучение, находит наиболее подходящий вариант [12].
У существующих онлайн-переводчиков есть ряд достоинств, которые нужно признать и которые способствуют повышению их популярности у пользователей Интернета:
1) бесплатный перевод;
2) доступность в любое время дня и ночи, был бы интернет;
3) скорость перевода - практически сразу после ввода;
4) большое количество языковых пар (например, раз-
работчики Гугла сообщили, что их система в настоящее время способна понимать 90% человечества [13]);
5) простой и понятный интерфейс;
6) отметим также такой важный фактор, как конфиденциальность информации;
7) наконец, онлайн переводчики могут встраиваться в различные сервисы, например, переводить страницы на сайтах [14].
С другой стороны, несмотря на то, что ежегодно вкладываются миллиарды долларов в развитие систем машинного перевода, на сегодняшний день нет машинного переводчика, который давал бы перевод, сравнимый с результатом работы переводчика-человека. В связи с этим представляет интерес анализ наиболее характерных ошибок, допускаемых машинными переводчиками, а также их классификация и сбор статистических данных.
Анализ ошибок машинного перевода проводился рядом авторов. В частности, Переходько И.В., Мячин Д.А. [15] предприняли попытку анализа текстов переводов Интернет-сайтов, выполненных с помощью систем компьютерного перевода, на основе лингвостилистического анализа и на основе автоматической обработки текстов с использованием метрики METEOR по методу N-грамм. Авторы делают вывод о том, что наибольшее количество ошибок в машинных переводах связано с переводом семантических конструкций.
Ряд авторов [16, 17], ставят целью использовать автоматическую оценку качества МП и анализ качества перевода научно-технического текста с помощью различных метрик. При этом сами авторы отмечают, что важным недостатком автоматических метрик является то, что они не могут предоставить оценку качества МП на уровне смысла.
Наше исследование по оценке качества машинного перевода представляло анализ переводов, выполненных машинным переводчиком Google Translate. Методическая новизна заключалась в материале исследования, которым послужили автоматические субтитры, сделанные этой СМП. Анализ автоматических субтитров проводился при просмотре детективного сериала «Парочка следователей» ("Partners for Justice») [18], который переводился с английского на русский с использованием английских субтитров. Задолго до «человеческого» перевода выкладывались автоматические субтитры. Для этой цели использовался скрипт Translate Shell, доступный по адресу: https://github.com/soimort/ translate-shell. Субтитры в формате SRT скачивались либо с https://avistaz.to/, либо с https://subscene.com/. В результате появлялся текст, который вполне давал возможность понять большую часть содержания, за исключением некоторых моментов, на которых мы остановимся далее.
Несколько слов о том, как собирались и анализировались примеры. Просматривались серии с автоматическими субтитрами и методом сплошной выборки отбирались предложения, не соответствующие языковым нормам или не позволяющие вывести смысл.
После этого просматривалась соответствующая серия с английскими субтитрами и сравнивалась с машинным переводом, сделанным Google Translate. Другими словами, использовались метод сплошной выборки, сравнительно-сопоставительный метод и лексико-се-мантический анализ.
Google Translate — бесспорно одна из самых лучших СМП на сегодняшний день. При создании текста перевода она использует примеры из миллионов документов, чтобы выбрать правильный вариант. Тем не менее, в отличие от переводчика-человека, система может допускать ряд ошибок, которые мы разбили на следующие группы:
I. Лексико-семантические ошибки. Это, на наш взгляд, самые существенные ошибки, которые часто препятствуют пониманию смысла высказывания. Среди
Hisamova Venera Nafikovna, Sitdikova Farida Bizyanovna, Usmanov Timur Ravilevich MACHINE TRANSLATION ERRORS (ON THE BASIS OF ANALYSIS ...
philological sciences -linguistics
них важнейшей ошибкой является 1) неспособность выбрать нужное по контексту значение лексической единицы - то, с чем без труда справляется переводчик-человек. Возьмем пример, использованный в заголовке. Машинный перевод приведен во втором столбце, верный перевод - в третьем.
The front of right calf, multiple skin abrasions. Передняя часть правого теленка, множественные царапины на коже. Передняя часть правой голени, множественные царапины на коже (ер.25, 0:12).
Контекстом являлись слова паталогоанатома, делающего вскрытие. Понятно, что имелась в виду передняя часть правой голени. Приведем еще один пример:
Darn it, this jerk! Оберните это, этот рывок! Черт побери, этот придурок! (ep. 29, 11:30).
Этот и другие многочисленные случаи говорят о том, что машинным переводчиком выбираются значения слова без учета контекста. Среди лексических ошибок можно также выделить 2) перевод словосочетаний с переносным значением (назовем их семантическими конструкциями), которые переводились дословно. Например:
If this becomes one more cold case, we'll all have to retire. Если это станет еще одним холодным случаем, мы все должны уйти в отставку. Если это станет еще одним нераскрытым случаем, мы все должны уйти в отставку ^.29, 07:59).
Переносное значение выделенного словосочетания - нераскрытое дело, "глухарь". При таком переводе смысл предложения может быть не понят зрителем. Еще один пример:
The murderer's gone out of the grid for 30 years. Убийца ушел с сетки в течение 30 лет. Убийца затаился на 30 лет. (ep. 3, 0: 22).
Ошибки такого рода свидетельствуют о том, что машинные переводчики на сегодняшний день не справляются с переводом семантических конструкций и выдают калькированный перевод, который приводит к нелепым результатам, далеким от настоящего смысла. Приведем третий пример:
You are normally this straightforward once you have set your mind on something. Ты обычно такой прямолинейный, после того, как вы установили свой ум на что-то. Вы обычно идете напролом, если что-то задумали. ^. 10, 31: 50).
Where's So Hi? (женское имя)
Где такХи?
Где Со Хи? (ep. 22, 23:02).
I am such a bad boss. I owe Sang An so much.
Я паршивый начальник. Я должна спеть так много.
Я неблагодарный начальник. Я так многим обязан Сан Ан. (ep. 22, 27:12).
Справедливости ради надо отметить, что Гугл с годами все же улучшает качество перевода имен собственных. Вспоминается случай, когда несколько лет назад при переводе с русского на английский сочетания улица Горького выдавался перевод Bitter street, то есть имя собственное воспринималось как нарицательное bitter - горький. Но если сейчас ввести это словосочетание в переводчик Гугл, то на выходе получим верный перевод: Gorky Street. Огромная работа, проводимая разработчиками этой СПМ, позволяет надеяться на то, что в перспективе можно ожидать более качественных результатов автоматического перевода.
Наконец, следует сказать несколько слов о 5) переводе аббревиатур. Нам встретился только один подобный пример, но автоматический переводчик оставил его без перевода, в исходном виде. Возможно, это связано с тем, что это латинское выражение (modus operandi):
Она была
She was murdered Она была убита с убита тем же
with the same MO. той же МО. способом^. 23,
3:09).
2. Морфологические ошибки, связанные с переводом частей речи и их употреблением, т.е. ошибки в переводе рода, числа, склонения, падежа существительных, видо-временных форм глагола т.д. Приведем несколько примеров ошибок этого типа.
Are you kidding me? Вы меня издеваетесь? Вы надо мной издеваетесь? ^. 23, 10:12).
You can't do an autopsy on my Dad. Вы не можете сделать вскрытие моей папе. Вы не можете сделать вскрытие моему папе. ^.24, 15:48).
Didn't Dad go to hospital regularly? Разве папа не пошел в больницу регулярно? Разве папа не ходил в больницу регулярно? ^.24, 7:56).
Объясняя причины калькированного перевода, некоторые исследователи считают, что система МП на основе переводных соответствий не всегда может справиться с одной из принципиальных задач перевода, а именно, перехода от конструкции исходного языка к конструкции выходного языка, поэтому в тексте перевода появляются конструкции, характерные языку оригинала, но не языку перевода [19].
Таким образом, мы можем наблюдать, как при МП могут нарушаться языковые нормы того языка, на который осуществляется перевод.
Отдельным случаем лексико-семантических ошибок является 3) перевод имен собственных. Часто система переводит имена собственные (особенно короткие, в данном случае корейские) как нарицательные слова, например:
В первом случае использован неверный падеж, во втором ошибка в переводе рода существительного, в третьем примере неверный вид глагола. Но хотя перевод данных предложений не соответствует нормам русского языка, эти ошибки не являются такими серьезными, как ошибки первого типа, т.к. не препятствуют извлечению смысла.
3. Стилистические и синтаксические ошибки.
Стилистические ошибки включают нарушение сочетаемости слов, тавтология, лексическая недостаточность, частые повторы слов, смешение стилей и т.д. Сюда также относятся нарушение порядка слов в предложении, нарушение согласования с главным словом, пропуск или неверное употребление предлога, синтаксическая неоднозначность, отсутствие смысловой законченности предложения. Так же, как и морфологические, эти ошибки вполне позволяют извлечь смысл фразы или высказывания. Приведем несколько примеров:
Интересен случай, когда имя переведено с английского как глагол прошедшего времени, потому что по написанию совпадало с ним:
Thanks to your care-taking, I think I healed quickly. Благодаря вашей заботе, я быстро зажила. Благодаря вашей заботе, у меня всё быстро зажило. ^.7, 6:55).
The fridge and cabinets are bare. Холодильник и шкафы голые. Холодильник и шкафы пустые.(ер.23. 27:54).
You are to take this position after me. Вы должны забрать этот пост за мной. Ты должен занять это место после меня22, 19:34).
Подводя итоги, следует отметить, что наиболее существенными для понимания и самыми многочисленны-
филологические науки -языкознание
Ситдикова Фарида Бизяновна, Хисамова Венера Нафиковна, Усманов Тимур Равилевич MACHINE TRANSLATION ERRORS (ON THE BASIS OF ANALYSIS ...
ми были лексико-семантические ошибки (около 53%). Морфологические ошибки не мешали пониманию текста, но также были довольно многочисленными (28%). Оставшуюся часть (19%) составляли стилистические и синтаксические ошибки. Наши результаты хорошо кор-релируются с выводами других исследователей, например [15], [20].
Далее был организован опрос пользователей группы в ВК, смотревших данный сериал. Было опрошено 57 пользователей с целью выяснить, насколько часто при просмотре сериала с автоматическими субтитрами им приходилось пересматривать серии с «человеческим» переводом. Полученные результаты описываются в выводах.
Выводы.
1. За последние десятилетия разработок области машинного перевода качество перевода улучшилось, и машинные переводчики вполне способны выстраивать разумные фразы. Уже сейчас системы МП оказывают большую помощь, делая для переводчиков черновую работу и оставляя человеку лишь постредактирование.
2. Наше исследование продемонстрировало, что сегодняшний день МП, хотя и является несовершенным, но вполне успешно может использоваться в практических целях. Примером того служит автоматический перевод субтитров, выполненный Google Translate, который, как показала практика, с успехом можно использовать как сигнальную версию, дающую представление о содержании текста (в данном случае содержании сериала). В 89,5% случаев (51 зрителей из 57) просмотра серий с автоматическими субтитрами не потребовался просмотр серий с переводом.
Возможно, такой высокий процент объясняется тем, что перевод субтитров - это не перевод текста в чистом виде. При просмотре фильма зритель получает также визуальную информацию и при понимании руководствуется не только текстом, но и контекстом и ситуацией.
3. В отличие от переводчика-человека машинный переводчик Google Translate при переводе допускает ошибки, которые мы разбили на несколько групп.
Общее количество ошибок 200 100%
1) лексико-семантические 106 53
2) морфологические 56 28
3) стилистические и синтаксические 38 19
4. Говоря о статистических результатах, следует отметить, что наиболее существенными для понимания и самыми многочисленными были лексико-семантиче-ские ошибки (около 53%).
5. К досадным ошибкам приводил калькированный перевод семантических конструкций, к которым относятся фразеологические обороты, образные выражения, метафоры, фразовые глаголы английского языка и т.д. В объяснении причин такого явления мы согласны с исследователями, утверждающими, что система МП на основе переводных соответствий не может совершить переход от конструкции исходного языка к конструкции выходного языка [18], поэтому в тексте перевода появляются конструкции, характерные языку оригинала, на языке перевода звучащие нелепо.
6. Морфологические ошибки не мешали пониманию текста, но также были довольно многочисленными (примерно 28%).
7. Стилистические и синтаксические ошибки составляли оставшуюся часть (19%).
8. Пока сложно сделать прогноз, насколько может улучшиться качество машинного перевода в ближайшие десятилетия. Но даже если системы МП не смогут достичь того же уровня, что «человеческий перевод», тем не менее сложно представить будущее без машинных переводчиков, т.к. их помощь человеку сложно переоценить.
СПИСОК ЛИТЕРАТУРЫ:
1. Воронович В.В. Машинный перевод. Конспект лекций для студентов 5-го курса специальности «Современные иностранные языки». Минск, 2013 - 39 с.
2. Евдокимов А.С. Искусство машинного перевода //Hard'N'Soft.
- 2005. -№ 7. - С. 86-91.
3. Марчук Ю.Н. Компьютерная лингвистика : учеб. пособие /Ю. Н. Марчук. -М. : АСТ : Восток-Запад, 2007. - 317 с.
4. Ситдикова Ф.Б. Эволюция машинного перевода./Янбекова Г.Б., Галимзянова З.В., Ситдикова Ф.Б. // Научные революции: Сущность и роль в развитии науки и техники: Сборник статей по итогам Международной научно-практической конференции (Оренбург, 30 апреля 2018 г.). - Стерлитамак: АМИ, 2018. С. 53-58.
5. О термине «машинный перевод». [Электронный ресурс] URL: http://ru.wikipedia.org/wiki/Машинный_перевод (дата обращения: 9.04.2019).
6. Андреева А.Д., Меньшиков И.Л., Мокрушин А.А. Обзор систем машинного перевода //Молодой ученый. — 2013. — №12. — С. 64-66.
- [Электронный ресурс] URL https://moluch.ru/archive/59/8581/ (дата обращения: 9.04.2019).
7. Леонтьева Н.Н. Автоматическое понимание текстов. Системы, модели, ресурсы. - Москва: ACADEMIA, 2006. 7. Google Translate начал использовать нейроперевод. [Электронный ресурс] URL: https://www.armadaboard.com/topic59199.html (дата обращения: 9.04.2019).
8. Нейронный машинный перевод. Вводный курс. [Электронный ресурс]URL:http://datareview.info/article/neyronnyiy-mashinnyiy-perevod-s-primeneniem-gpu-vvodnyiy-kurs-chast-1/ (дата обращения: 9.04.2019).
9. Google Translate подключил русский язык к переводу с глубинным обучением. [Электронный ресурс]. URL: https://habr.com/post/370243/ (дата обращения: 9.04.2019).
10. Краткая история машинного перевода. [Электронный ресурс]. URL: http://linguisticus.com/ru/TranslationTheory/OpenFolder/ ISTORIJA_MASHINNOGO_PEREVODA (дата обращения: 9.04.2019).
11. Нейронный машинный перевод Google [Электронный ресурс]. URL: https://habr.com/ru/post/414343/ (дата обращения: 9.04.2019).
12. Яндекс запустил гибридную систему перевода. [Электронный ресурс]URL: https://yandex.ru/blog/company/kak-pobedit-mornikov-yandeks-zapustil-gibridnuyu-sistemu-perevoda (дата обращения: 9.04.2019).
13. Нейросеть Google Translate составила единую базу смыслов человеческих слов. [Электронный ресурс]URL: https://habr.com/ru/ post/369913/(дата обращения: 9.04.2019).
14. Анализ машинного перевода и сравнение онлайн-переводчиков
- новая жизнь старого проекта. [Электронный ресурс]. URL: http:// news.flarus.ru/?topic=632 (дата обращения: 9.04.2019).
15. Переходько И.В., Мячин Д.А. Оценка качества компьютерного перевода. -Вестник Оренбургского государственного университета.
- 2017. - № 2. - С. 92-96.
16. Улиткин И.А. Автоматическая оценка качества перевода научно-технического текста. [Электронный ресурс]. URL: https:// vestnik-mgou.ru/Articles/Doc/10973 (дата обращения: 9.04.2019).
17. Кедрова Г.Е., Потемкин С.Г. Автоматическая оценка качества машинного перевода на основе семантической метрики // Вiсник Луганського нащонального педагогiчногоунiверситету iменi Т. Шевченка. - № 15(95). - С. 35-41.
18. Парочка следователей | Partners for Justice. [Электронный ресурс]. URL: http://doramatv.ru/partners_forjustice (дата обращения: 9.04.2019).
19. Томин В.В. О проблемах машинного перевода научно-технического текста в информационном поле кросс-культурного взаимодействия. [Электронный ресурс]. URL: http://vestnik.osu.ru/2015_1/5.pdf (дата обращения: 9.04.2019).
20. Кочеткова Н. С., Ревина Е.В. Особенности машинного перевода // Филологические науки. Вопросы теории и практики Тамбов: Грамота, 2017. - № 6(72): в 3-х ч. Ч. 2. C. 106-109. ISSN 1997-2911
Статья поступила в редакцию 23.03.2019 Статья принята к публикации 27.05.2019
