Комплекс психофизиологического исследования восприятия вербальной команды Текст научной статьи по специальности «Математика»

УДК 612.821; 004.9

КОМПЛЕКС ПСИХОФИЗИОЛОГИЧЕСКОГО ИССЛЕДОВАНИЯ ВОСПРИЯТИЯ ВЕРБАЛЬНОЙ КОМАНДЫ

Н.Л. Коржук, Е.А. Кузнецова, Е.И. Косарева

Приведены результаты предварительного психофизиологического исследования восприятия вербальных команд с использованием когнитивного стимулятора при регистрации и обработке электроэнцефалограммы.

Ключевые слова: нейроинтерфейс, биотехническая система, когнитивный стимулятор, вызванные потенциалы, электроэнцефалограмма.

В настоящее время все большее применение находят комплексы психофизиологического и психологического тестирования, позволяющие оценить профессиональную пригодность, адекватность реакции и степень утомления испытуемого.

Электроэнцефалографические исследования, являющиеся, по выражению академика А.С. Батуева, незаменимым окном в мозг, долгое время оставались в стороне, замыкаясь в рамках сугубо медицинских задач. Причиной этому была громоздкость применяемого оборудования и отсутствие адекватных методов обработки электроэнцефалограммы (ЭЭГ). Благодаря развитию микроэлектроники первая причина практически снята, и уже есть примеры портативных измерительных комплексов. Известны также разработки [1], позволяющие значительно ускорить процесс регистрации отклика нервной системы на афферентный стимул, вплоть до единичной реализации. Таким образом, открыта дорога для использования ЭЭГ в психофизиологических исследованиях.

Нейроинтерфейс - термин, относящийся к новому направлению в нейрофизиологии (электрофизиологии), в развернутом виде он звучит как «интерфейс мозг - компьютер» (ИМК, англ. ВС1). Он представляет собой аппаратно-программный комплекс, предназначенный для регистрации и обработки в реальном времени биоэлектрической активности головного мозга - электроэнцефалограммы, с целью выявления каким-либо способом мысленного намерения человека и преобразования его в некую команду (систему команд) для управления внешними устройствами или коммуникации [2, 3, 4]. Такая задача имеет неоднозначное решение, отсюда достаточно большой набор методов.

Различают зависимые и независимые ИМК. Первые используют внешнюю стимуляцию для формирования команд. Например, в поле зрения оператора располагаются источники света, мигающие с разной частотой. Если человек фиксирует взгляд на одном из источников, то в ЭЭГ появляется составляющая с конкретной частотой (реакция усвоения ритма), и можно выделить с некоторой вероятностью определенную, заранее обусловленную команду [5].

Уровень вероятности зависит, в основном, от выбранного алгоритма обработки сигнала ЭЭГ и устройства используемого стимулятора, которое в свою очередь тоже зависит от способа обработки. Так, если используется метод вызванных потенциалов (ВП), то стимулятор должен многократно предъявить один и тот же стимул [6].

Так как когнитивные процессы (распознавание, принятие решения, память) находят свое отражение в изменении биопотенциалов, регистрируемых со скальпа испытуемого, то можно использовать когнитивный стимулятор (КС), который с определенным интервалом времени, подает на экран вербальные команды, которые пациент должен осознать.

Работает КС следующим образом. Программное обеспечение (ПО) выводит на экран персонального компьютера (ПК) последовательно ряд слов - вербальные стимулы (рис. 1). Обследуемый сидит в кресле с открытыми глазами и читает (мысленно произносит) предъявляемые слова -предполагаемые команды ИМК.

Когнитивные стимулы представлялись следующими командами: «вверх», «вниз», «влево», «вправо». Команды, которые появлялись на мониторе с интервалом 2 секунды, испытуемый должен был прочесть про себя и осознать.

На голове пациента закреплен шлем с электродами для записи ЭЭГ, сигналы с электродов поступают на соответствующие входы усилителя. Поскольку на данном этапе исследований предполагается использование КС со штатными электроэнцефалографами (в нашем случае «Нейро-картограф-5» фирмы МБН, Москва), к ПК подключается согласующее устройство, обеспечивающее одновременно с предъявлением стимула подачу на один из входов ЭЭГ-усилителя синхроимпульсов.

СОГЛАСУЮЩЕЕ УСТРОЙСТВО

Рис. 1. Схема эксперимента с когнитивной нагрузкой

Как показано в [7], использование вербальных стимулов в ИМК открывает возможности создания независимого интерфейса (без применения внешней стимуляции), по быстродействию практически не уступающего традиционным манипуляторам (кнопка, джойстик, «мышь»), однако использование КС необходимо на первоначальном этапе настройки.

286

Настройка ИМК заключается в поиске слова, которое для конкретного клиента является наиболее значимым, имеющим специфический «след» в ЭЭГ. В этом плане разработка нейроинтерфейса пересекается с одной из основных задач нейролингвистики, заключающейся в поиске временных и топологических особенностей формирования в коре головного мозга образа произносимого слова [8].

Как известно, решение этой задачи лежит не в характеристиках фоновой ЭЭГ, а в когнитивной активности мозга, что и обусловило применение в исследованиях ВП. Предлагаемый КС в сочетании со способом [6] может помочь в детализации получаемых результатов.

Регистрация вызванной активности не входит в опции штатных систем, поэтому определенный интерес вызывает возможность косвенной оценки ВП с применением функций когерентности (ФК). Функции когерентности представляют собой функции частоты, и для оценки используются их средние уровни в стандартных частотных диапазонах и средневзвешенные частоты, которые делят площадь под кривой в заданном диапазоне пополам.

Параметр, оценивающий синхронность изменений ЭЭГ в двух различных отведениях, называют когерентностью. Когерентный анализ аналогичен корреляционному анализу, но в частотной области. Такая оценка когерентности проводится в каждой точке непрерывного частотного спектра или как средняя в пределах частотных диапазонов. Для наглядности процесса когерентности его выражают на схеме стандартного отведения линиями, соединяя области - отведения, имеющие высокие показатели.

Когерентность Гху(ю) двух функций х^) и у^) является функцией круговой частоты ю = 2п/ и определяется соотношением:

2

8ху (ю)

Гху (ю) =

хуЧ 8хх (ю)(о)'

где Б(т)ху, Б(т)хх, 8(т)уу - спектральные Фурье-преобразования, ¥ ¥ ¥ 8ху(ю) = | СХу(т)ео8ютйт-у {СХу(т^тюхйх, 8хх (ю) = {Схх (х)еоз шхйх,

— ¥

8уу (ш) = | Суу (х)ео8 шт йт, — ¥

где Сху(т), Схх(т), Суу(т) - корреляционные функции,

¥¥

Сху (t, = М{х (t) у (гх }= | | х (t) у (А (х, t, у, йхйу ,

— ¥ — ¥

где М{а} - момент первого порядка (математическое ожидание); и(х, t, у, tl) - двумерная плотность вероятности (вероятность того, что в момент времени t величина х находится в интервале (х, х+йх), а в момент времени t1 величина у находится в интервале (у, у+йу) будет и(х, t, у, t1)).

—оо

—оо

оо

Функция когерентности позволяет определить ту часть спектра, в которой x(t) и y(t) когерентны, то есть ту область частот, в которой процессы, представленные функциями x(t) и y(t), обмениваются информацией.

Как показывают приведенные формулы, определение функций когерентности связано с вычислением кросскорреляционных и автокорреляционных функций, несколькими преобразованиями Фурье, интегрированием и алгебраическими операциями.

Объектами исследования были несколько пациентов в возрасте от 20 до 23 лет без нарушений. Суммарная биоэлектрическая активность мозга отводилась монополярно в точках F3, F4, F7, C3, C4, T5, P3, P4, O1, O2 относительно референтных электродов, располагавшихся на мочках ушей. Основные среди них: центр формирования речи (область Брока) - F7 и центр понимания речи (область Вернике) - T5.

После регистрации сигнала редактирование, деление на эпохи и расчет функций когерентности производились в программе «Нейрокарто-граф-5». Запись ЭЭГ разбивалась на эпохи анализа по 1,3 секунды, в обработке участвовало 5 эпох: четыре эпохи во время предъявления вербальных стимулов и одна контрольная в состоянии покоя. Последовательность действий для осуществления расчетов когерентности в программе была следующая:

1. Был произведен выбор эпохи длиной в 1,3 с.

2. Выбранная эпоха была зафиксирована в программе.

3. Был произведен расчет функций когерентности и полученные данные были сведены в таблицу.

Для пяти частотных диапазонов (дельта - 0-4 Гц, тэта - 4-8 Гц, альфа - 8-13 Гц и бета - 13-20 Гц) определены значения когерентности. Процесс расчета функций когерентности по одной эпохе занимал приблизительно 15-20 минут. Затем в MS Excel были построены графики зависимости значений когерентности в каждом частотном диапазоне для каждой пары отведения у четырех пациентов. Для подведения итоговых результатов был выбран частотный диапазон дельта, так как именно в этом диапазоне сосредоточена основная мощность когнитивного ответа коры головного мозга. На рис. 2 видно, что в данном частотном диапазоне достигнуты значительные различия в значениях когерентности для четырех вербальных стимулов.

В диапазоне дельта в парах отведений, имеющих отношение к формированию (F7) и распознаванию (T5) речи, биолектрическая активность изменяет параметры синхронизации (когерентности). В других диапазонах разница не так очевидна, что подтверждает необходимость разработки более детального алгоритма анализа ЭЭГ, прежде всего с точки зрения временных параметров [7].

Частотный диапазон дельта

Рис. 2. Значения функций когерентности для фоновой ЭЭГ (контроль) и при предъявлении вербальных стимулов для одного из пациентов

Выводы

1. Предварительное исследование восприятия вербальной команды показало, что параметры психофизиологической реакции - возбуждение моторной зоны коры головного мозга, отличаются в зависимости от подаваемого стимула, что открывает возможности использования их в системе независимого нейроинтерфейса.

2. Для реального использования обнаруженных данных расчет функций когерентности не может быть рекомендован ввиду больших временных затрат и сложности расчетов.

Список литературы

1. Коржук Н.Л., Индюхин А.А., Индюхин А.Ф., Савельев В.В. Способ электроэнцефалографической диагностики неврологических нарушений // Известия ЮФУ. Технические науки. Таганрог: Изд-во ТТИ ЮФУ. 2010. № 8 (109). С. 121 - 127.

2. Rak R.R.J., Kolodziej M., Majkowski A. Brain-computer interface as measurement and control system: the review paper // Metrol. Meas. Syst. 2012. Vol. 19. P. 427-444.

3. Wolpaw J., Birbaumer N., McFarland D., Pfurtscheller G., Vaughan T. Brain-computer interfaces for communication and control // Clin. Neurophys-iol. 2002. Vol. 113. P. 767-791.

4. Владимирский Б.М. Пути создания интерфейса «мозг - компьютер» (BCI) // Нейробиология и новые подходы к искусственному интеллекту и к науке о мозге. Тезисы трудов научной школы для молодежи. Таганрог: Изд-во ТТИ ЮФУ. 2010. С. 46 - 57.

5. Kelly S.P., Lalor E.C., Finucane C., McDarby G., Reilly R.B. Visual spatial attention control in an independent brain-computer interface // IEEE Trans. Biomed. Eng. 2005. V. 52 (9). P. 1588-1596.

6. Патент 2502466 РФ. Способ диагностики вызванного потенциала мозга и устройство для его осуществления. / А. А. Хадарцев, В. А. Жереб-цова, Н.Л. Коржук, А.Ф. Индюхин, А.А. Индюхин. Опубл. 27.12.2013. Бюл. № 2.

7. Коржук Н.Л., Индюхин А.Ф., Поляков А.В. Способ визуализации вызванной активности головного мозга // Медико-экологические информационные технологии-2017: сборник научных статей по материалам ХХ Международной научно-технической конференции / Редкол. Н.А. Коре-невский и др. Юго-Зап. гос. ун-т. Курск. 2017. С. 80 - 88.

8. Черниговская Т.В. Экспериментальное исследование языка и мышления в XXI веке: традиции и возможности //Перспективные направления развития науки в Петербурге / Отв. ред. Ж. И. Алферов и др. 2015. C.489 - 494.

Коржук Николай Львович, канд. техн. наук, профессор, nikolaikorzhnk a mail. ru, Россия, Тула, Тульский государственный университет,

Кузнецова Елизавета Андреевна, магистрант, [email protected], Россия, Тула, Тульский государственный университет,

Косарева Екатерина Игоревна, магистрант, revoluttionsa mail.ru, Россия, Тула, Тульский государственный университет

COMPLEX PSYCHOPHYSIOLOGICAL RESEARCH PERCEPTION OF THE VERBAL COMMAND

N.L. Korzhuk, E.A. Kuznetsova, E.I. Kosareva

The results of a preliminary psychophysiological study of the perception of verbal commands using a cognitive stimulator in the registration and processing of electroencephalogram are presented.

Key words: neurointerface, biotechnical system, cognitive stimulator, evoked potentials, electroencephalogram.

Korzhuk Nikolay Lvovich, candidate of technical science, professor, nikolaikorzhuka mail. ru, Russia, Tula, Tula State University,

Kuznetsova Elizaveta Andreevna, undergraduate, lizabis 7a rambler. ru, Russia, Tula, Tula State University,

Kosareva Ekaterina Igorevna, undergraduate, revoliittions amail.ru, Russia, Tula, Tula State University