CC BY
133
КОМПЬЮТЕРНЫЕ СРЕДСТВА КОММУНИКАЦИИ
УДК 004.82
М. Г. Гриф, Ю. С. Мануева
Новосибирский государственный технический университет пр. К. Маркса, 20, Новосибирск, 630073, Россия
grifmg@mail. ги; juleno4eknot1@rambler. ги
РАЗРАБОТКА И ТЕСТИРОВАНИЕ АЛГОРИТМА СЕМАНТИЧЕСКОГО АНАЛИЗА РЕЧИ (ТЕКСТА) ДЛЯ ПЕРЕВОДА НА РУССКИЙ ЖЕСТОВЫЙ ЯЗЫК
Рассмотрены существующие системы сурдоперевода, выявлены их преимущества и недостатки. Основным недостатком данных систем является отсутствие блока семантического анализа исходного текста, направленного на решение проблемы многозначности слов в языке. Приведена общая схема перевода с русского языка на русский жестовый язык, которая состоит из анализа исходного текста, перевода на жестовую речь и визуализации жестовой речи. Разработан блок анализа исходного текста с учетом семантической составляющей русского языка, работа которого основана на словаре В. А. Тузова. Описан алгоритм семантического анализа. Приведена схема семантического анализа имени существительного. Анализ текста завершается в случае, когда у каждого слова остается только одно семантическое описание, таким образом решается проблема многозначности. К наиболее приоритетным направлениям модификации модуля семантического анализа можно отнести следующие: расширение базы жестов, осуществление разбора сложных предложений, добавление учета в алгоритме анализа классификаторных предикатов жестового языка. Далее проводится перевод текста на жестовую речь, который осуществляется с помощью анализа синтаксических конструкций русского языка и русского жестового языка. Проведено тестирование работы алгоритма.
Ключевые слова: русский жестовый язык, компьютерный сурдоперевод, семантический анализ, морфологический анализ, синтаксический анализ, омонимы, синтаксические конструкции, альтернативы.
Введение
По данным Всероссийской переписи населения, прошедшей в 2010 г., владение русским жестовым языком (далее - РЖЯ) отметили 120 528 чел. Из приведенной статистики следует, что разработка систем перевода со звучащего языка на язык жестов и наоборот имеет особую социальную значимость. Компьютерный перевод на данный момент представляет одно из доминирующих направлений в области прикладной лингвистики.
Язык жестов - это способ коммуникации слабослышащих людей, в котором информация передается за счет движения рук, тела, мимики [Прозорова, 2007. С. 44]. Жестовый язык представляет собой естественный человеческий язык, и для его анализа используются методы, основанные на исследованиях звучащих языков [Гриф и др., 2014. С. 170]. Несмотря на то, что жестовые языки задействуют не звуковой, а визуально-кинетический канал передачи информации, по своим фундаментальным свойствам они схожи со звучащими языками, что позволяет причислять их к естественным человеческим языкам и анализировать, исполь-
ГрифМ. Г., Мануева Ю. С. Разработка и тестирование алгоритма семантического анализа речи (текста) для перевода на русский жестовый язык // Вестн. Новосиб. гос. ун-та. Серия: Лингвистика и межкультурная коммуникация. 2017. Т. 15, № 2. С. 70-80.
ISSN 1818-7935
Вестник НГУ. Серия: Лингвистика и межкультурная коммуникация. 2017. Том 15, № 2 © М. Г. Гриф, Ю. С. Мануева, 2017
зуя методы и понятия, разработанные на материале звучащих языков [Гриф, Тимофеева, 2012. С. 211]. В повседневной жизни жесты применяются каждым, но особое значение они имеют для слабослышащих людей. Несмотря на все сложности взаимодействия с обществом, среди слабослышащих есть много талантливых людей. В качестве примера можно привести Виктора Гюго, Бетховена, Жан-Жака Руссо. Этим людям ничто не помешало реализовать себя. В настоящий момент существуют язык жестов, специальные школы, различные объединения для реабилитации слабослышащих людей. Но данные программы не решают в полной мере проблему коммуникации людей с дефектами слуха с обществом и государственной властью. В связи с этим возникает необходимость в использовании мультимедийных компьютерных систем, которые будут переводить речь на язык жестов и наоборот.
Постановка задачи
Основная сложность при реализации системы компьютерного сурдоперевода заключается в качестве перевода на РЖЯ. Под качеством перевода будем понимать правильность передачи смыслового значения предложения (его семантику). На первый взгляд можно ограничиться использованием субтитров, но при более подробном изучении можно сделать вывод, что использование субтитров не решает данную проблему. Во-первых, субтитры представляют собой калькирующую речь, т. е. происходит отображение на экране текста на русском языке, который не учитывает особенности жестового языка: грамматику, синтаксис, семантику. Вследствие этих особенностей у слабослышащих возникают сложности в понимании субтитров. Во-вторых, на основе поправки к закону «О соцзащите инвалидов в Российской Федерации» от 26 декабря 2012 г., русский жестовый язык получил статус «языка общения при наличии нарушений слуха и (или) речи, в том числе в сферах устного использования государственного языка», т. е. РЖЯ представляет собой самостоятельную языковую систему. Поэтому возникает необходимость в разработке системы компьютерного сурдоперевода, которая обеспечит достойную замену человеку-сурдопереводчику [Гриф, 2012. С. 4].
В качестве исходных данных используется текстовая строка, полученная в результате распознавания речи. Для повышения точности перевода разработаны программный модуль семантического анализа и модуль анализа на основе синтаксических конструкций. Суть данного подхода заключается в том, что впервые был применен словарь В. А. Тузова в алгоритме отбора многозначных слов, имеющих соответствующие жесты, и выделены основные конструкции жестового языка, на основе которых происходит перевод предложения. Таким образом, решается проблема перевода русской речи на РЖЯ. Целью данной статьи является описание способа построения модуля семантического анализа системы компьютерного сурдоперевода русского языка на основе словаря семантических отношений В. А. Тузова и представление результатов тестирования работоспособности модуля.
Обзор существующих систем компьютерного сурдоперевода
Последние 10 лет было замечено увеличение количества разработок систем машинного перевода со звучащего языка на язык жестов. Перевод на язык жестов фактически игнорировался сообществом разработчиков машинных переводов, хотя системы перевода на язык жестов имеют большое значение для людей с ограниченными возможностями по слуху [Гриф и др., 2014]. Рассмотрим системы перевода с английского языка на американский язык жестов.
Система Zardoz является системой перевода с английского языка на язык жестов с использованием языка-посредника (интерлингвы). Из-за большой трудоемкости применение системы возможно только для ограниченного количества предметных областей. Текущие исследования сосредоточены на разработке всеобъемлющей грамматики, морфологии и лексики для ирландского языка жестов [Veale, Conway, 1994]. Архитектура системы Zardoz представляет собой модульную систему, работающую в определенной структуре, которая представляет собой фреймовую структуру (рис. 1).
Рис. 1. Архитектура системы Zardoz
Процессно-ориентированный взгляд на систему отражает структуру системы в виде различных списков. Для решения конкретных задач и получения необходимых знаний происходит обращение к этим спискам с помощью операций чтения и записи. К входному документу, представляющему собой текст, применяются морфологические правила и эвристики для определения конструкции составного слова. Обработанный текст затем подвергается проверке на идиоматические выражения. Из этой унифицированной структуры можно выявить метафорические и метонимические структуры, как независимые от языка, так и характерные для исходного языка [Andre, 2000]. Далее проводится преобразование структуры текста языка-посредника в конструкции, которые отображаются на язык жестов с помощью аватара. Вместо попытки построить универсальную грамматику, обобщающую все синтаксические формы многих языков, используются данные, полученные путем моделирования смысла предложения посредством интерлингвы [Foster et al., 2005]. В этом отражается уникальность данной системы.
Система TEAM - это система машинного перевода с английского языка на американский жестовый язык. Перевод в системе TEAM состоит из двух этапов: первый - перевод введенного
предложения с английского языка на промежуточное представление с учетом синтаксической, грамматической и морфологической информации, второй - отображение промежуточного представления в виде движения с небольшим набором параметров, которые в дальнейшем преобразуются для управления моделью человека, воспроизводящей жесты. Гибкость системы позволяет адаптировать ее к другим же-стовым языкам [Zhao et al., 2000]. Для вывода предложения на американском жестовом языке необходима детально проработанная 3D модель человека. Модель должна иметь кисть с шарнирными пальцами, высокоточные руки и тело, а также лицо с управляемым выражением лица. Кроме того, нужны быстрые вычислительные модели для процедурной генерации широкого спектра естественно выглядящих жестов [Kopp et al., 2004]. В общей сложности модель человека имеет 80 суставов со 135 степенями свободы (рис. 2).
Рис. 2. Модель человека системы TEAM
Туловище состоит из 17 суставов в позвоночнике между талией и шеей [Cassell et al., 2000]. Обрабатывающий алгоритм движения используется для определения положения туловища по комплексу углов стыковки. Движения руки определяются через параметр времени и векторов конечных позиций (ключевых точек). Аналитический алгоритм обратного движения вычисляет вращение плеча и локтя вокруг ключевой точки. В итоге формируется движение руки.
Проект ViSiCAST является упрощенной системой, которая фиксирует движения и жесты человека сурдопереводчика, а затем эти координаты рук переводчика передаются для последующего анализа с целью получения реалистичного аватара [Wakefield, 2002]. Рассмотрим более подробно процесс обработки жестов. Сурдопереводчик показывает жесты, сопровождая телевизионную программу. В этот момент для получения данных, необходимых для анимации, записываются жесты сурдопереводчика с помощью технологии захвата движений. Для достижения данной цели используются отдельные датчики для рук, лица и тела. Для записи позиции рук используются специальные перчатки. Также используются магнитные датчики для записи координат запястья, плеча, головы и верхней части туловища в трехмерном пространстве. Видеодатчик лица, состоящий из нашлемной камеры с инфракрасными фильтрами, записывает выражение лица. Отражатели располагаются в областях лица, представляющих интерес, таких как рот и брови.
Далее последовательность жестов интерпретируется программным модулем, который управляет анимацией аватара. На этом этапе происходит перевод жеста на XML-язык с помощью промежуточного языка [Speers, 2001]. Затем модуль совмещает описание жеста с описанием геометрических свойств для управления аватаром. Главный модуль программы представлен на рис. 3.
Рис. 3. Главный модуль программы ViSiCAST
ГСоттишсаШг представляет собой систему, предназначенную для перевода с английского языка на американский язык жестов (рис. 4). Перевод осуществляется в режиме реального времени. Технология перевода состоит из следующих этапов: применяя современные технологии
Рис. 4. Главный модуль программы ICommunicator
распознавания речи, iCommunicator преобразует произнесенное слово в текст и переводит его на жестовый язык. Жестовый язык отображается с помощью набора видеофайлов, смонтированных в один видеоролик. После того как система закончила перевод, пользователь имеет возможность использовать встроенный словарь для получения определений, синонимов и антонимов, а также возможность поиска в Интернете дополнительной информации. ICommunicator представляет собой качественный инструмент для обучения и реабилитации лиц с ограниченными возможностями по слуху. Кроме того, iCommunica-tor помогает лицам с нарушениями речи улучшить разговорные навыки, узнав правильное произношение слов, с помощью голосового выхода системы.
Рассмотрим проект DePaul ASL Synthesizer, направленный на автоматический перевод на американский язык жестов, для обеспечения доступа слабослышащих к миру звуков. Основные отличия данной разработки заключаются в использовании высококачественного аватара для отображения жестовой речи. Разработанный аватар Paula может изобразить все языковые параметры жестового языка (рис. 5). Paula получила высокие оценки за четкость и естественность показанных жестов от пользователей, свободно владеющих языком жестов.
Ни одна из зарубежных систем за исключением разработки ICommunicator не может обрабатывать входную информацию, в форме звучащей речи. Для систем перевода, которые направлены именно на устный перевод, этот недостаток является существенным. Жестовые языки от звучащих отличаются тем, что используют пространственную информацию вокруг говорящего [Huenerfauth, 2009]. Следовательно, в данных системах необходим учет специфики жестового языка. Специфика воспроизведения жестов учитывается только в системе TEAM. Для более качественного перевода недостаточно только морфологической и синтаксической информации. В системе Zardoz делаются попытки учета семантической составляющей жестового языка. Технология перевода в системе ViSiCAST включает привлечение человека в процесс перевода, что является основным недостатком данной системы. Почти все системы отображают жесты с использованием авата-ра, но только в системах ViSiCAST и DePaul ASL Synthesizer достигнута максимальная реалистичность. В рассмотренных системах семантический анализ используется лишь в ограниченной степени. Более того, в этих системах использованы средства представления семантики, ориентированные на английский язык и не применимые для русского языка. На данный момент не разработаны качественные системы перевода с русского языка (как жестового, так и звучащего), основывающиеся на семантическом анализе. Учет се-
Рис. 5. Аватар Paula проекта DePaul ASL Synthesizer
мантической составляющей в процессе перевода является большим преимуществом системы, обладающей таким свойством [НиепейаиШ, 2008. Р. 21]. Качество перевода заметно повышается за счет этого улучшения. Для достижения наилучшего результата необходимо учитывать особенности семантики исходного языка и языка перевода.
Общая схема компьютерного перевода русской речи (текста)
на русский жестовый язык
Современные системы компьютерного перевода часто основываются на трехчленных моделях, одним из примеров которых может служить модель, предложенная З. М. Шаляпиной. Данная модель состоит из трех подсистем: анализ исходного текста, анализ межъязыковых преобразований и синтез жестовой речи.
Компьютерный переводчик также должен обеспечивать: загрузку текста, визуализацию результатов перевода, возможность изменения структуры системы (расширение, изменение словарей).
Анализ русского текста состоит из следующих этапов.
1. Морфологического анализа слов в предложении.
2. Синтаксического анализа структуры предложения и первичного семантического анализа.
3. Семантического анализа слов в предложении [Гриф и др., 2014. С. 173].
Морфологический, синтаксический, а также первичный семантический анализ выполняются на основе системы Диалинг [Сокирко, 2000]. В системе Диалинг морфологический анализ состоит из морфоанализа и лемматизации словоформ. Под лемматизацией будем понимать приведение различных форм слова к словарным, а под морфоанализом - определение морфологических характеристик слова. Работа морфологического модуля основана на использовании трех морфологических словарей: большой словарь, который базируется на грамматическом словаре А. А. Зализняка, словарь имен собственных (например: Петр, Иванович, Иванов), словарь географических слов (например: Москва, Россия). На этапе лемматизации происходит определение начальной формы слова, необходимой для дальнейшей работы со словарями. Морфологическая часть речи определяется традиционным образом. Граммема - это единица морфологического описания. Например, у слова «кошка» будет следующий список граммем: жр, ед, им, од. При анализе реальных текстов необходимо учитывать соседние слова, потому что от выбора конкретной интерпретации зависит выбор интерпретации другого слова. Объем морфологического словаря составляет более 130 тыс. лексем, но и этого оказывается недостаточно. Если в словаре отсутствует данная словоформа, то применяется алгоритм, который ищет в словаре словоформу, максимально совпадающую с конца со входной словоформой.
В качестве входной информации модуля синтаксического и первичного семантического анализа системы Диалинг поступают результаты морфологического анализа. На выходе получаем набор семантических отношений. Определим семантическое отношение как универсальную связь, которая усматривается носителем языка в конкретном контексте. Любой текст представляет собой набор различных отношений. Основная идея авторов списка отношений заключается в том, что связи в тексте можно определить через предложенные отношения или через их композицию. Большинство существующих семантических отношений считаются универсальными. Главный недостаток отношений заключается в том, что одни отношения похожи на другие, но определить общие черты отношений и их различия непросто.
Так как в существующих системах перевода отсутствует модуль, выполняющий семантический анализ, то ниже будет более подробно рассмотрена система семантического анализа.
Система семантического анализа русского текста
Значение слова в предложении определяется его соотношением с другими словами. Смысл предложения целиком зависит от смысла входящих в него единиц. Качество перевода с одного языка на другой в большей степени определяется корректностью работы семантического моду-
ля. Для разрешения проблемы лексической многозначности необходимо обработать омонимы и фразеологизмы в предложении. Омонимия - это совпадение по звучанию и написанию различных слов: ласка - животное и ласка - проявление нежности, такса - собака и такса - тариф. Словарь омонимов русского языка О. С. Ахмановой включает более 2 000 словарных статей, содержащих группы или пары омонимов. Фразеологизмы отличаются от обычных сочетаний слов тем, что общее значение фразеологического оборота не равно сумме отдельных значений слов. Например, фразеологизм «авгиевы конюшни» имеет значение очень грязное место.
Информация, полученная на этапах морфологического, синтаксического и первичного семантического анализа, является входной информацией для модуля семантического анализа: набор морфологических характеристик и набор семантических отношений. В некоторых случаях задача разрешения омонимии решается на основе данных морфологического анализа. В случае с примером «древние стены города» слово «древние» имеет 2 различных морфологических описания (прилагательное и существительное), как и слово «стен» (существительное женского рода и существительное мужского рода). При построении группы «прил-сущ» были отвергнуты вторые варианты слов, и это упрощает последующий семантический анализ.
Разработанный модуль семантического анализа основывается на словаре В. А. Тузова [2003]. В. А. Тузов каждое слово определил, как валентную структуру, состоящую из набора актантов. Каждый актант определяется набором характеристик, описанных в формуле 1:
А. = [СЫ, ВЬ, SD MD,, С , SP }, (1)
г ^ V у к 1 т р> '
где СЫ.- номер класса, г = 1 ... N ВЬ.- базисная лексема,у = 1 ...М, SDk - семантическое описание, k = 1 ... Р, MDl - морфологическое описание, I = 1 ... S, Ст - комментарий, т = 1 ... Ь, SPp - часть речи, р = 1 ... Ж.
Словарная статья компьютерного семантического словаря содержит заголовочное слово и его толкование на семантическом языке. Большинство слов словаря имеют несколько семантических описаний. В данном словаре предлоги являются частью речи, значение единиц которой может содержать более двухсот значений. В отдельные значения вынесены фразеологические обороты. Например, глагол «идти» имеет 25 словарных статей. Из них 12 значений относятся к фразеологическим оборотам: идти вразрез, впрок, на поправку, ва-банк, замуж и др. Основная семантическая информация содержится в номере класса, но, кроме этого, может содержаться и дополнительная информация.
На основе семантического словаря была разработана база данных. Логическая структура базы данных состоит из тринадцати взаимосвязанных таблиц. К основным таблицам отнесем: «Словарные статьи», «Семантические описания», «Слова», «Фразеологизмы». Таблица «Словарные статьи» насчитывает 163 903 записи. Кроме того, были разработаны таблица «Жесты» и таблица-связка «Жест - слово». На основе данных этих двух таблиц определяется соответствие «слово - жест».
Алгоритм семантического анализа состоит из следующих этапов.
1. Выделение списка альтернативных лексических значений.
2. Обработка фразеологизмов.
3. Обработка предлогов.
4. Закрепление лексических значений.
5. Поиск соответствующих жестов.
Основная задача семантического анализа - построение списка независимых альтернатив и вычисление семантико-грамматического типа каждой альтернативы, входящей в описание. Эти преобразования выполняются в несколько этапов. На первом этапе происходит поиск всех альтернативных значений для каждого слова в предложении. На втором этапе выполняется следующая вспомогательная работа: нумеруются и идентифицируются все альтернативы каждого слова, выносится номер семантического класса слова, из семантического описания выносятся все аргументы. Построенное описание состоит из набора альтернатив, каждая из которых содержит две основные части: морфологическую с указанием семантического класса слова
и семантическую. Первая часть альтернативы содержит информацию о том, к каким словам может присоединиться данное слово, вторая часть - какие слова оно может присоединить. При сборке во взаимодействие вступают две рядом стоящие конструкции.
Следующий этап работы семантического модуля заключается в обработке фразеологизмов. В семантическом словаре фразеологизмы определены в отдельные альтернативы. Для уменьшения количества альтернатив необходимо сначала обработать фразеологизмы. Для этого необходимо проверить все найденные альтернативы на вероятность вхождения во фразеологический оборот. Если альтернатива может входить во фразеологический оборот, то происходит сравнение связанных с ней слов с фразеологизмом. При нахождении в предложении фразеологизмов удаляются все остальные альтернативы, и остается только одна, представляющая собой фразеологический оборот. Иначе удаляются альтернативы, содержащие фразеологизмы. Таким образом, уже на первом этапе количество альтернатив уменьшается.
Процесс обработки предлогов начинается с определения списка предлогов предложения. На следующем шаге осуществляется поиск предложно-падежных сочетаний. Правильный выбор семантического описания предлога зависит от класса связанного с ним существительного. После определения подходящего значения предлога удаляются остальные альтернативы предлога. В итоге получаем, что каждому предлогу соответствует единственное семантическое описание.
Дальнейшие действия анализатора зависят от вида предложения. Выделим два вида предложений: первый - предложения, в составе которых только одно слово имеет несколько альтернатив, второй случай - в предложении несколько слов-омонимов. В первом случае цикл отсутствует, и анализируется только одно слово. Анализ зависит от части речи многозначного слова. На текущий момент проводится анализ глаголов, имен существительных, имен прилагательных, инфинитивов, причастий, деепричастий, наречий, вводных конструкций. Алгоритмы в каждом случае различны.
Рассмотрим алгоритм анализа имени существительного. Проводится анализ каждой альтернативы существительного. Делается заключение, является ли данное слово главным или зависимым в словосочетании. На основе семантических отношений, построенных на предыдущих этапах, определяется часть речи второго слова. Далее выполняется обработка словосочетания в зависимости от части речи второго слова. Значение существительного может зависеть от прилагательного, глагола, причастия или от другого существительного. Далее происходит поиск соответствующей альтернативы на основе соответствия семантического класса и падежа. Если для одного словосочетания подходящих альтернатив нет, то алгоритм продолжает свою работу с оставшимися, и так до тех пор, пока не остается одно значение имени существительного.
Для корректной обработки глагола необходимо учесть словосочетание, где глагол выступает в роли главного и зависимого слова. Гипотеза запоминается и подтверждается в случае, если второе словосочетание удовлетворяет исследуемой альтернативе.
Во втором случае анализ происходит в цикле. Каждая итерация начинается с проверки количества слов с множеством альтернатив. Предложение просматривается до тех пор, пока у каждого слова не останется только одно семантическое описание. Когда каждому слову соответствует только одна семантическая характеристика, то происходит поиск соответствующего жеста. Результатом работы системы является список соответствий «слово-жест».
Разработан программный комплекс, позволяющий выполнять семантический анализ предложений. В качестве примера работы семантического анализатора рассмотрим два предложения: «Никита купил у Андрея книгу» и «Никита купил Андрея». Сначала проведем анализ первого предложения. После этапа поиска списка альтернатив количество различных семантических значений равно 17: существительное «Никита» - 1 значение, глагол «купить» - 2 альтернативы, предлог «у» - 10 семантических значений, «Андрей» - 1, «книга» - 3 альтернативы. На этапе обработки фразеологизмов число альтернатив сократилось до 8. Несколько семантических описаний осталось у глагола и предлога. На этапе обработки предлогов определяем единственное значение предлога «у» со значением 'у живого', так как предложно-па-дежное сочетание образуется с существительным «Андрей». Далее происходит обработка гла-
гола «купить». Для определения значения анализируются слова, которые образуют с глаголом словосочетания. К таким словам относятся существительные «Никита», «книга», «Андрей». После анализа полученных словосочетаний у глагола остается его основное значение 'купить', а значение 'обмануть' удаляется. В результате получаем соответствие «слово-жест». Во втором предложении глагол «купить» будет иметь значение 'обмануть', так как оно соответствует требованиям этого семантического описания. Зависимое слово представляет собой существительное, относящееся к классу «человек» и находящееся в винительном падеже.
Тестирование модуля семантического анализа проводилось в 2 этапа.
1. Внедрение семантического модуля в систему перевода с русского язяка на русский язык жестов Сурдофон (подготовительный этап).
2. Проверка модуля слабослышащими студентами и сурдопереводчиками.
На основе проведенной работы получен следующий результат. Предложения, переведенные с помощью семантического модуля, определены слабослышащими студентами и сурдопере-водчками как корректно переведенные.
Последние разработки в данном направлении направлены на увеличение количества жестов и улучшение процесса обработки предложений. Для достижения первой цели были использованы три способа. В первом случае для увеличения количества жестов был использован словарь синонимов. Это позволило переводить большее количество слов звучащего языка на язык жестов. Другой метод заключается в использовании антонимов с отрицательной частицей не. Толкование значения слова является третьим способом увеличения количества жестов.
Заключение
В данной работе рассмотрена система компьютерного перевода с русского языка на русский жестовый язык. Проведен анализ существующих систем компьютерного сурдоперевода. Описана технология компьютерного перевода русской речи на русский жестовый язык. Впервые разработан блок анализа исходного текста с учетом семантической составляющей русского языка на основе словаря В. А. Тузова. Разработаны и реализованы алгоритмы семантического анализа для многозначных слов. Приведена схема семантического анализа имени существительного. Анализ текста завершается в случае, когда у каждого слова остается только одно семантическое описание; таким образом, решается проблема многозначности. К наиболее приоритетным направлениям модификации модуля семантического анализа можно отнести следующие: расширение базы жестов, осуществление разбора сложных предложений, добавление учета в алгоритме анализа классификаторных предикатов жестового языка.
Список литературы
Гриф М. Г., Мануева Ю. С., Козлов А. Н. Построение системы компьютерного сурдоперевода русского языка // Тр. СПИИРАН. 2014. № 6 (37). С. 170-183.
Гриф М. Г., Тимофеева М. К. Проблема автоматизации сурдоперевода с позиции прикладной лингвистики // Сиб. филол. журн. 2012. № 1. С. 211-219.
Гриф М. Г. Методы и технологии компьютерного сурдоперевода: Учеб. пособие. Новосибирск, 2012. 71 с.
Прозорова Е. В. Российский жестовый язык как предмет лингвистического исследования // Вопр. языкознания. 2007. № 1. С. 44-61.
Сокирко А. Семантические словари в автоматической обработке текста (по материалам системы Диалинг). М., 2000. 108 с.
Тузов В. А. Компьютерная семантика русского языка: Учеб. пособие. СПб.: Изд-во СПбГУ, 2003.391 с.
Andre E. The generation of multimedia presentations, in A Handbook of Natural Language Processing: Techniques and Applications for the Processing of Language. Marcel: Dekker, 2000. 327 p.
Cassell J., Stone M., Yan H. Coordination and context-dependence in the generation of embodied conversation // International Natural Language Generation Conference, 2-5 September 2000. Stroudsburg, USA, 2000. P. 171-178.
Foster M. E., White M., Setzer A. Multimodal generation in the COMIC dialogue system // Proc. of the ACL Interactive Poster and Demonstration Sessions, 12-14 June 2005. Association for Computational Linguistics, 2005. P. 40-48.
Huenerfauth M. Improving Spatial Reference in American Sign Language Animation through Data Collection from Native ASL Signers // 5th Int. Conf. UNHCI, 5-7 August 2009. Berlin: Springer, 2009. P. 530-539.
Huenerfauth M. Spatial, temporal, and semantic models for American Sign Language generation: implications for gesture generation // Int. Journ. of Semantic Computing. 2008. Vol. 2, iss. 1. P. 21-45.
Kopp S., Tepper P., Cassell J. Towards integrated microplanning of language and iconic gesture for multimodal output // 6th Int. Conf. on Multimodal interfaces, 6-9 August 2004. State College, USA, 2004. P. 136-144.
Speers A. L. Representation of American Sign Language for Machine Translation. Washington: Georgetown Univ., 2001. 136 p.
Veale T., Conway A. Cross modal comprehension in ZARDOZ an English to sign-language translation system. Trinity College, 1994. 326 p.
WakefieldM. VisiCAST. Milestone: Final Report, 2002. 97 p.
Zhao L., Kipper K., Schuler W. A Machine Translation System from English to American Sign Language // Lecture Notes in Computer Science. 2000. Vol. 1934. P. 54-67.
Материал поступил в редколлегию 19.04.2017
Mikhail G. Grif, Yuliya S. Manueva
Novosibirsk State Technical University 20 Karl Marks Ave., Novosibirsk, 630073, Russian Federation
[email protected]; juleno4eknot1@rambler ru
DEVELOPMENT AND TESTING OF THE ALGORITHM OF SEMANTIC ANALYSIS OF SPEECH (TEXT) FOR TRANSLATION INTO RUSSIAN SIGN LANGUAGE
The paper makes analysis of some current computer sign language interpretation systems. Their advantages and disadvantages are revealed. The main disadvantage is the lack of an original text semantic analysis unit capable to solve the problem of homonyms. A general scheme of translation system from sounding Russian into Russian Sign language, including semantic analysis unit, is presented. The block of source code analysis, taking into account the semantic component ofthe Russian language, is proposed. The work of the semantic module is based on Tuzov's dictionary. A semantic analysis algorithm is described. The text analysis isn't completed until each word has only one semantic description thus solving the problem of ambiguity. The major features of the new semantic analysis module include the following: expanding the base of gestures, implementing parsing complex sentences, adding the account in the algorithm analyzer of classifier predicates of Russian Sign Language. Testing of the algorithm is made.
Keywords: Russian Sign language, computer sign language interpretation, semantic analysis, morphological analysis, syntactic analysis, homonyms, syntax constructions, alternatives.
References
Grif M. G., Manueva J. S., Kozlov A. N. Postroenie sistemy komp'iuternogo surdoperevoda russkogo iazyka [Development of computer interpretation system of Russian language]. Trudy SPIIRAN - SPIIRAS Proceedings, 2014, no. 6 (37), p. 170-183. (In Russ.)
Grif M. G., Timofeeva M. K. Problemi avtomatizacii surdoperevoda s pozicii prikladnoi lingvistiki. [The problem of automation of sign language from the perspective of applied linguistics]. Siberian Journal of Philology, 2012, no.1, p. 211-219. (In Russ.)
Grif M. G. Metodi I tehnologii kompyuternogo surdoperevoda: uchebnoe posobie [Methods and techniques of computer sign language: a tutorial]. Novosibirsk, 2012. 71 p. (In Russ.)
Prozorova E. V. Rossiiskii zhestovyi iazyk kak predmet lingvisticheskogo issledovaniia: [Russian sign language as an object of linguistic research: Problems of Linguistics]. Problems of Linguistics, 2007, no. 1, p. 44-61. (In Russ.)
Sokirko A. Semanticheskie slovari v avtomaticheskoi obrbotke teksta [Semantic dictionary in automated text processing]. Moscow, 2000. 108 p. (In Russ.)
Tuzov V. A. Komputernay semantika russkogo yazuka: uchebnoe posobie [Computer semantic of Russian language: a tutorial]. St.-Petersburg, SpbGU, 2003, 391 p. (In Russ.)
Andre E. The generation of multimedia presentations, in A Handbook of Natural Language Processing: Techniques and Applications for the Processing of Language. Marcel Dekker, 2000, 327 p.
Cassell J., Stone M., Yan H. Coordination and context-dependence in the generation of embodied conversation // International Natural Language Generation Conference, 2-5 September 2000. Stroudsburg, USA, 2000, p. 171-178.
Foster M. E., White M., Setzer A. Multimodal generation in the COMIC dialogue system // Proceedings of the ACL Interactive Poster and Demonstration Sessions, 12-14 June 2005. Association for Computational Linguistics, 2005, p. 40-48.
Huenerfauth M. Improving Spatial Reference in American Sign Language Animation through Data Collection from Native ASL Signers // 5th International Conference UNHCI, 5-7 August 2009, Springer, Berlin, 2009, p. 530-539.
Huenerfauth M. Spatial, temporal, and semantic models for American Sign Language generation: implications for gesture generation // International Journal of Semantic Computing, 2008, vol. 2, iss. 1, p. 21-45.
Kopp S., Tepper P., Cassell J. Towards integrated microplanning of language and iconic gesture for multimodal output // 6th International conference on Multimodal interfaces, 6-9 August 2004, State College, USA, 2004, p. 136-144.
Speers A. L. Representation of American Sign Language for Machine Translation. Washington, Georgetown University, 2001, 136 p.
Veale T., Conway A. Cross modal comprehension in ZARDOZ an English to sign-language translation system. Trinity College, 1994, 326 p.
Wakefield M. VisiCAST. Milestone, Final Report, 2002, 97 p.
Zhao L., Kipper K., Schuler W. A Machine Translation System from English to American Sign Languag. Lecture Notes in Computer Science, 2000, vol. 1934, p. 54-67.
