CC BY
65
Заключение
| Литература
Предложена и описана система нечеткого логического вывода для формирования кардиорит-мограммы на основе ЭКС. Система описывает последовательность этапов нечеткого логического вывода, включающих задание входных и выходных лингвистических переменных, формирование совокупности правил нечетких продукций, фаззи-фикацию, агрегирование, активацию, аккумуляцию и дефаззификацию. Предложенный подход к формированию кардиоритмограммы позволяет учитывать неопределенность (нечеткость) входных данных, характерную для ЭКС, с помощью понятий теории нечетких множеств как ЛП и ЛВ, а также с помощью операций фаззификации и дефаззификации.
1. Локтюхин В. Н., Черепнин А. А. Поддержка принятия решений на основе нейронечеткой технологии при диагностике патологий желудочно-кишечного тракта // Биотехносфера. 2009. № 2. С. 20-23.
2. Круглов В. В., Дли М. И. Интеллектуальные информационные системы: компьютерная поддержка систем нечеткой логики и нечеткого вывода. М.: Изд-во физ.-мат. литер., 2002. 256 с.
3. Демидова Л. А., Кираковский В. В., Пылькин А. Н. Алгоритмы и системы нечеткого вывода при решении задач диагностики городских инженерных коммуникаций в среде МАТЬАБ. М.: Радио и связь; Горячая линия — Телеком, 2005. 365 с.
4. Трахтенгерц Э. А. Компьютерная поддержка принятия решений. М.: Синтег, 1998. 252 с.
5. Ярушкина Н. Г. Основы теории нечетких и гибридных систем. М.: Финансы и статистика, 2009. 320 с.
УДК 612.822.3.08; 612.821.2 С. И. Артемов, аспирант,
ФГБОУ ВПО «Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В. И. Ульянова (Ленина)» В. А. Дюк, д-р техн. наук, ведущий научный сотрудник, Е. А. Попова, канд. физ.-мат. наук, научный сотрудник, Ю. И. Сенкевич, д-р техн. наук, ведущий научный сотрудник,
ФГБУН «Санкт-Петербургский институт информатики и автоматизации» Российской академии наук
Поиск устойчивых паттернов в электроэнцефалограмме человека в ответ на предъявление ему коротких подпороговых визуальных стимулов
Ключевые слова: нейрокомпьютерный интерфейс, обработка и анализ электроэнцефалограмм, сублиминальное восприятие.
Key words: brain-computer interface, processing and analysis of the electroencephalogram, subliminal perception.
Представлены исследования в целях обнаружения признаков сублиминалъного восприятия человеком визуалъных стимулов по данным обработки и анализа электроэнцефалограмм специ-алъными методами, разработанными авторами.
Исследования в области нейрокомпьютерных интерфейсов получили признание как отдельное направление развития технологий. Об этом свидетельствует анализ достаточно большого числа научных статей на страницах специализированных изданий [1, 2] и сайтов [3, 4]. Устойчивые результаты
в практических разработках интерфейсов «мозг — компьютер» (ИМК) показывают интерфейсы, использующие волну Р300 вызванных потенциалов в ответ на зрительно представляемый пользователем стимул (образ). Тем не менее эффективность подобных систем ограничивается особенностью методики обнаружения волны Р300 в электроэнцефалографическом (ЭЭГ) сигнале, основу которой составляет процедура накопления фрагментов этого сигнала, синхронизированных с многократным предъявлением того или иного стимула. При этом нередко умалчивается тот факт, что подобные реакции вызываются предъявлением и других
разнообразных визуальных, слуховых стимулов, а также могут являться результатом мыслительной деятельности, связанной с адаптацией человека в процессе его повседневной жизни. Избирательность современных методов к определению классов стимулов остается крайне низкой. По нашему мнению, сегодня очевидна необходимость совершенствования методов обработки электрофизиологических сигналов, в том числе с использованием семантического анализа сигналов ЭЭГ с позиций современного информационного подхода [5]. Несмотря на значительную сложность вычислений при поиске специфических реакций ЭЭГ в ответ на определенные виды предъявляемых стимулов, такой подход представляется перспективным.
В данной статье представлены результаты эм-пирико-статистического исследования в русле методологии вызванных потенциалов (ВП), основу которой составляет регистрация биоэлектрических реакций мозга в ответ на внешнее раздражение (в случае сенсорных ВП) и при выполнении когнитивной задачи (в случае когнитивных ВП). Основное отличие используемого нами экспериментального материала от известных методов состоит в чрезвычайно малой длительности визуальных стимулов (30—40 мс). Такие визуальные стимулы испытуемые принципиально не могут воспринимать осознанно (так называемое сублиминальное восприятие). Кроме того, использованные визуальные стимулы не относятся к категории простых раздражителей типа световых вспышек, это различные структурированные образы, предъявляемые в разных областях зрительного поля, на фоне хаотически распределенных фрагментов этих же образов. По нашему мнению, ожидаемая реакция, отражаемая в регистрируемых электрофизиологических сигналах, должна носить сложный системный характер и возникать эпизодически, без жесткой привязки к конкретному стимулу. В таких условиях испытанная традиционная методология анализа ВП с использованием процедур накопления и усреднения сигналов, очевидно, недостаточно эффективна. Другие, более специализированные методы выделения ВП на одиночные стимулы (например, метод взаимной корреляции и оптимальной фильтрации) требуют наличия некоторого известного априори шаблона и тоже неприменимы для обработки описанных экспериментальных данных.
Для исследований неосознанного восприятия визуальной информации потребовалась разработка нового метода анализа электрофизиологических сигналов. Этот метод синтезирован на базе современных компьютерных методов препроцессин-га и анализа электрофизиологических сигналов с учетом оригинальных разработок авторов данной работы.
Для получения экспериментального материала была использована следующая методика психофи-
зиологического эксперимента. Перед испытуемым располагался экран, на котором непрерывно отображались кольца Ландольта для концентрации внимания и два различных неосознаваемых контурных изображения неизвестных оператору объектов. Обнаружив изменение ориентации кольца Ландольта, испытуемый нажимал кнопку, обозначая осознанную реакцию. Каждый участник присутствовал на двух сеансах с записью ЭЭГ по 7 мин с перерывом 10 мин. В ходе сеанса на экран выводили серию неосознаваемых изображений, поступающих через случайные интервалы времени, но не менее 2 с между соседними предъявлениями. Расположение ЭЭГ-электродов на голове испытуемого соответствовало международной системе «10—20». Регистрация сигналов производилась с частотой 500 Гц. Общее количество обследованных — 24 человека (10 мужчин и 14 женщин в возрасте от 19 до 23 лет).
Метод исследований включал следующие этапы:
• многовариантный препроцессинг электрофизиологических измерений и переход от абсолютных значений измеряемых показателей к многомерным ипсативным (автонормирующимся) данным;
• поиск многомерных ипсативных инвариантов, отражающих электрофизиологическую реакцию биологического объекта, на основе современных технологий анализа многомерных данных (в статье приводится сжатое описание анализа).
Задача в общем виде формулировалась как задача классификации. На входе задавалось множество описаний объектов — эпох ЭЭГ, подвергнутых тому или иному препроцессингу. Для каждой эпохи указывалась метка, соответствующая классу визуального стимула. С использованием известных и разработанных методов анализа многомерных данных на обучающей выборке осуществлялся поиск связей меток классов с описаниями объектов. Устойчивость найденных связей проверялась на контрольной выборке.
Метки (имена) классов — «Неосознаваемый стимул» и «Фон». В зависимости от вида препроцес-синга выбирались различные варианты обработки. Например, в частотной области это были значения амплитуд различных составляющих спектра, а во временной области — результаты символьного представления временного ряда. Для препроцес-синга использовались как традиционные методы обработки последовательностей данных: полосовая фильтрация, сглаживание, усреднение, широко используемые на практике преобразования Фурье, так и специальные авторские методы лингвистической обработки и анализа [6].
Обработка и анализ данных во временной области осуществлялись в определенной последовательности. Формировалось признаковое пространство объектов классификации с использованием лингвистического анализа ЭЭГ [6]. По стандартным электрическим отведениям исходный сигнал раз-
биотехносфера
| № 1(25)/2013
бивался на эпизоды, началом каждого из которых было известное время предъявления визуального стимула. Затем искали устойчивые паттерны (символов) в сигнале ЭЭГ с применением компьютерной программы, реализующей алгоритмы лингвистического анализа. В результате формировалось некоторое множество символов — алфавит выбранного сигнала ЭЭГ. На следующем этапе проводили сравнительный анализ полученных алфавитов с целью обнаружить связи между сравниваемыми эпизодами эксперимента. Показателем связи была выбрана количественная характеристика — отношение числа совпадающих символов для каждого из эпизодов к общему числу символов в двух сравниваемых эпизодах.
По результатам предварительного сравнения пространственного распределения числа символов алфавитов для двух последовательных сеансов в эксперименте была выдвинута рабочая гипотеза доминантного подавления структурного разнообразия генерируемых символов алфавита. Это выражалось в снижении размерности выделяемых алфавитов (количества символов в каждом из алфавитов) во всех 20 стандартных отведениях при предъявлении стимула на первом сеансе и восстановлении размерности выделяемых символов во время последующих сеансов.
Физиологической моделью такого явления может служить теория доминантного возбуждения Ухтомского (2002), основу которой составляет принцип: во все моменты жизнедеятельности создаются условия, при которых выполнение какой-либо функции становится более важным, чем выполнение других функций, причем последние подавляются. Этот принцип объясняет понижение общей электрической активности мозга, связанной с управлением функциональным состоянием организма из-за целенаправленной активности,
связанной с появление объекта, отображенного в визуальном стимуле. Во время второго сеанса появление ранее предъявленных визуальных стимулов в определенных случаях не вызвало сигнальную реакцию подтверждения приоритета концентрации внимания на них. Это проявлялось в том, что электрическая активность ЭЭГ в определенных каналах снижалась. Таким образом, стимулы, которые не выделяются мозгом как приоритетные, не порождают электрическую активность в виде вызванных потенциалов с повышенной амплитудой и тем самым не изменяют структурную картину колебаний сигнала ЭЭГ, то есть при генерации мозгом сигналов управления не подавляется значительное число других возбуждений, возникающих в процессе нормальной жизнедеятельности.
В качестве иллюстрации результата проверки рабочей гипотезы на рисунке представлен типовой пример распределения размерностей алфавитов по стандартным отведениям, полученный для двух последовательно проведенных сеансов сублиминаль-ного предъявления визуальных стимулов испытуемой П0. Можно предположить, что наблюдаемое снижение размерности алфавитов от одного сеанса к другому, характеризуемое переходом доминанты мыслительной деятельности мозга в подпороговое состояние, связано с подсознательным восприятием визуального стимула. Подобное явление наблюдалось у всех испытуемых по всем пространственным каналам (стандартным отведениям ЭЭГ).
Для дальнейшего выявления в наборах символов информативных паттернов, отражающих факт того или иного воздействия на биологический объект, пригоден достаточно широкий спектр алгоритмов поиска в данных ассоциативных связей. В частности, одним из инструментов статистического исследования являлся пакет WEKA [7], в котором используются в основном четыре метода: предвари-
н
и
се ■&
Ч св
О
н &
св
рц
9800 9600 9400 9200 9000 8800 8600 8400 8200 8000 7800
---1-1-1-1-1-1-1-1-1-|
10 11 12 13 14 15 16 17 18 19 20
Стандартные отведения ЭЭГ
Пространственное (по стандартным отведениям) распределение размерностей алфавитов, полученных для двух последовательно проведенных сеансов визуального восприятия на испытуемую П0: 1 — сеанс 2; 2 — сеанс 1
тельная селекция признаков, наивный Байесовский классификатор (naïve Bayes), алгоритм построения деревьев решений ID3 и алгоритм поиска if-then правил JRip. Все оценки эффективности того или иного метода проводились с использованием процедуры кросс-проверки с разбиением выборки на 10 блоков. Иногда эти оценки дополнялись таблицами классификаций на тестовой выборке, размер которой варьировал.
Изначально для каждой эпохи были приняты цепочки символов разной длины и различного состава. Для соблюдения условий представления данных в пакете WEKA эти цепочки преобразовывались в нормализованную форму, которая представляла собой плоскую таблицу со столбцами — бинарными признаками и строчками, каждая из которых соответствовала своей эпохе ЭЭГ. К строчкам были привязаны значения целевой классификационной переменной S (стимул) и P (фон). Оценивались следующие параметры найденных паттернов: прирост частоты при сублими-нальной визуальной стимуляции, средняя частота встречаемости на протяжении времени эксперимента, относительная частота встречаемости, рассчитанная к размерности выделенного алфавита. О результатах исследования можно судить по данным сводной таблицы результатов анализа. Расчетные данные приведены для характерных измерений в 1, 12, 14 и 19-м отведениях ЭЭГ.
Признаки проявления реакции мозга на предъявляемые визуальные стимулы в сигналах ЭЭГ искали путем сравнения алфавитов, полученных на
фиксированных временных интервалах. Последние нарезались серией из четырех последовательных эпизодов длительностью от 200 до 400 мс, причем начало первого интервала в серии было синхронизировано со временем предъявления каждого стимула в ходе сеанса наблюдения. Сравнение каждой выбираемой пары алфавитов выполнялось по правилам логической операции, соответствующей выделению элементов пересечения двух множеств. Серия последовательных сравнений алфавитов в затылочных и лобных отведениях ЭЭГ позволила выделить ряд символов, которые наиболее часто встречались на участках анализируемых временных интервалов на каждом сеансе. Такие символы были классифицированы как значащие показатели восприятия предъявляемых визуальных стимулов.
Результат сравнения показал, что совпадение символов в выделенных алфавитах сигналов ЭЭГ в одноименных отведениях для каждого испытуемого, полученное на разных сеансах, оказалось низким (в среднем 20 %). Символы, которые на первом сеансе классифицировались как значимые показатели, на повторных сеансах отсутствовали. Было отмечено и снижение частоты появления значащих символов от начала к концу первого сеанса в соответствующих эпохах анализа ЭЭГ сигнала. Кроме того, было обнаружено, что зрительная реакция в виде наиболее часто встречающихся символов в сигнале ЭЭГ проявляется на интервале от 100 до 200 мс, а затем с меньшей частотой — на интервале от 200 до 600 мс. Поиск повторяющихся символов на других интервалах не дал положитель-
Таблица
Результаты исследования сигналов ЭЭГ
Прирост частоты паттерна Частота встречаемости паттерна
Испытуемый при сублиминальной стимуляции, % абсолютная относительная
1-е отведение
Б0 77 23 3,8
ДО 45 42 7,О
Д1 63 13 2,2
П1 75 28 4,7
12-е отведение
БО 8О 27 4,5
ДО 88 3О 5,О
Д1 51 59 9,8
П1 1ОО 26 4,3
14-е отведение
БО 89 17 2,8
ДО 52 44 7,3
Д1 93 27 4,5
П1 - - -
19-е отведение
БО 73 38 6,3
ДО 63 26 4,3
Д1 4О 49 8,2
П1 67 1О 1,7
биотехносфера | № 1(25)/2013
ных результатов.
Факт отсутствия значащих признаков восприятия на втором сеансе по отношению к первому сеансу, на наш взгляд, обусловлен двумя причинами:
• известным феноменом восприятия внешних стимулов, когда такие стимулы, не подкрепленные какой-либо дополнительной важной для живого организма информацией, переводятся мозгом в разряд фоновых по своему приоритету;
• возможным ослаблением внимания вследствие утомления.
Обнаружение значащих признаков зрительного восприятия на двух отдельных временных интервалах может быть объяснено поведением модели многоуровневой обработки информации мозгом. Однако полученный результат не подтвержден статистически, поэтому пока его можно рассматривать лишь как гипотезу.
В результате проведенного исследования были сделаны следующие выводы:
• Появление информативных паттернов в ЭЭГ является относительно редким событием. Частота таких паттернов в смешанной выборке данных (сигнал и фон) на разных отведениях колеблется от 3 до 6 %.
• Информативные паттерны являются индивидуальными для каждого испытуемого.
• Восприятие неосознаваемых, сложно структурированных визуальных стимулов сопровождается увеличением частоты встречаемости информативных паттернов в ЭЭГ. В сигнале с 1-го отведения частота встречаемости паттернов увеличивается в среднем на 67,4 %, на 12-м отведении — на 79,8 %, на 14-м отведении — на 78,0 %, на 19-м отведении — на 60,8 %.
• По результатам обработки шести файлов случайно выбранной группы испытуемых численно подтверждена гипотеза о проявлении доминантной теории Ухтомского путем измерения размерности алфавитов и их преимущественной пространственной локализации. Обнаружено, что воздействие визуального стимула приводит к единой тенденции изменения числа обнаруживаемых символов во всех пространственных каналах (стандартных отведениях ЭЭГ). Выявлена закономерность понижения размерности алфавитов (на 7—18 %) в шестом,
седьмом и восьмом пространственных каналах при анализе трех последовательных эпизодов (по 400 мс) при первых 25 моментах визуальной стимуляции с последующим восстановлением размерностей до среднестатистического уровня в оставшихся 75 моментах аналогичной сублиминальной визуальной стимуляции. Во время второго сеанса с использованием выборки из трех испытуемых подобного феномена не выявлено.
• Применение попарного сравнения алфавитов для анализа не выявило общих связей между пространственно распределенными каналами (стандартными отведениями ЭЭГ). Пересечение множеств соответствующих алфавитов составило от 2 до 5 %.
Экспериментальная проверка комплексного применения разработанных методов лингвистической обработки и анализа сигналов с последующей обработкой методами Data Mining позволила выявить статистически значимые (информативные) паттерны, связанные с восприятием визуальных стимулов, практически у всех испытуемых (у 13 из 14 человек), что подтвердило применимость выбранного подхода к обработке ЭЭГ человека.
| Литература |
1. Ганин И. П., Шишкин С. Л., Кочетова А. Г. и др. Интерфейс «мозг — компьютер» на волне P300: исследование эффекта номера стимулов в последовательности их предъявления // Физиология человека. 2012. Т. 38, № 2. P. 5-13.
2. Santhanam G., Ryu S. I., Yu B. M. et al. A high-performance brain-computer interface // Nature Letters. 2006. Vol. 442. P. 195-198.
3. Афанасьев К. Мозговые интерфейсфы // Компьютерные вести. URL: http://www.kv.by/index2003493401.htm.
4. Hsu J. M., Tathireddy P., Rieth L. et al. Characterization of a-SiC(x):H thin films as an encapsulation material for integrated silicon based neural interface devices // Thin Solid Films. 2007. Vol. 516, N 1. P. 34-41.
5. Хакен Г. Принципы работы головного мозга: Синергетиче-ский подход к активности мозга, поведению и когнитивной деятельности. М.: Пер Сэ, 2001. 351 с.
6. Сенкевич Ю. И. Лингвистический анализ физиологических сигналов // Цифровая обработка сигналов. 2008. № 2. С. 54-57.
7. Machine Learning Group at the University of Waikato // WEKA. The University of Waikato. URL: http://www. cs.waikato.ac.nz/ml/index.html.
