CC BY
75
В.А.Дюк М.Р.Кравчик Ю.И. Сенкевич
Санкт-Петербург, Россия
ИНТЕЛЛЕКТУАЛЬНЫЙ АНАЛИЗ ДАННЫХ В ЗАДАЧЕ ВЫЯВЛЕНИЯ РЕАКЦИЙ ЭЭГ НА ЭМОЦИОНАЛЬНО ЗНАЧИМЫЕ ВИДЕОКЛИПЫ
Аннотация. Эмпирико-статистическое исследование лежит в русле методологии связанных с событиями потенциалов (ССП), основу которой составляет регистрация биоэлектрических реакций мозга в ответ на внешнее раздражение или при выполнении когнитивной задачи (в случае когнитивных ССП). В качестве стимулов выступали видеоролики с различным эмоционально насыщенным содержанием. Анализу подвергались значения автонормированных периодограмм ЭЭГ. Периодограммы были разбиты на 3 класса: «Глаза закрыты», «Релакс» и «Эмоции».
Показано, что в динамических спектрах ЭЭГ содержится информация, отражающая эффект эмоционального воздействия на испытуемых набором специально подобранных видеоклипов. Продемонстрировано, что использование методов интеллектуального анализа данных позволяет находить в динамических спектрах ЭЭГ паттерны, частота встречаемости которых при визуальном эмоциональном воздействии в несколько раз превышает такую частоту при предъявлении испытуемым эмоционально нейтральных видеоклипов.
Для выявления реакции испытуемых на видеоклипы с эмоционально насыщенным содержанием оказалось достаточно анализировать ЭЭГ сигнала всего с одного отведения FP2. Дополнительный анализ ЭЭГ сигналов с других отведений будет способствовать более оперативному и точному выявлению эмоциональной реакции.
Реакции испытуемых на видеоклипы с эмоционально насыщенным содержанием носят как общий, так и индивидуальный характер. Общее для всех испытуемых — характерная реакция ЭЭГ на отведении FP2. Вместе с тем, у испытуемой женского пола в отличие от испытуемых мужского пола эта реакция менее выражена. Для более четкой фиксации реакции у испытуемой женского пола, по-видимому, следует использовать комбинированный показатель — подсчет частоты встречаемости информативного паттерна в скользящем окне динамического спектра, дополненный вычисленным среднем значением в окне. Ключевые слова: интеллектуальный анализ данных;
электроэнцефалограмма; спектральный анализ._____
Сведения об авторах: Дюк Вячеслав Анатольевич1, ведущий научный сотрудник Санкт-Петербургского института информатики и автоматизации РАН; Кравчик Михаил Романович2, аспирант Санкт-Петербургского института информатики и автоматизации РАН; Сен-кевич Юрий Игоревич3, ведущий научный сотрудник
V.A.Diuk
M.RKravchik
Yu.I.Senkevich
St. Petersburg, Russia
DATA MINING TASK OF IDENTIFYING EEG REACTIONS TO EMOTIONALLY SIGNIFICANT VIDEOS
Abstract. This empirical and statistical study is in line with the methodology of event-related potentials (ERPs) based on registration of bioelectrical brain responses to external stimulation or cognitive tasks (in the case of cognitive ERPs). The stimuli were videos with diverse emotionally rich content. Values of EEG periodogram under analysis were divided into three classes: «Eyes closed», «Relax» and «Emotions».
The article shows that dynamic EEG range contain the information reflecting the effect of emotional impact the tested persons experience watching a number specially selected video clips. Data mining techniques allow locating such patterns in the dynamic EEG range that are much more frequent in case of visually emotional impact than the ones in case of emotionally neutral video clips. In order to determine which responses of test persons experience to videos with emotionally rich content it was enough to analyze the signal’s EEG with only one FP2 derivation. Apparently, additional analysis of signals’ EEG from other derivations will contribute to more rapid and accurate identification of emotional response.
Test subject showed both common and individual reactions to videos with emotionally rich content. A distinctive EEG response at FP2 derivation was common to all test subjects. However, this reaction is less prominent for the tested female unlike male subjects. For a more precise test response in females, a combined indicator should be used, including counting the frequency of the informative pattern in the moving window of the dynamic range and calculating the average value in the window.
Key words: data mining; EEG; spectral analysis.
About the authors: Viacheslav Anatolievich Diuk1, Leading Researcher, Saint Petersburg Institute of Informatics and Automation of RAS; Mikhail Romanovich Kravchik2, postgraduate student, Saint Petersburg Institute of Informatics and Automation of RAS; Yuri Igorevich Senkevich3, Leading Researcher, Saint Petersburg
Санкт-Петербургского института информатики и автоматизации РАН.
Место работы: 1 2 3 Федеральное государственное бюджетное учреждение науки «Санкт-Петербургский институт информатики и автоматизации Российской академии наук».
Контактная информация: 192283, г. Санкт-Петербург, Загребский бульвар, д. 35, к. 28, кв. 344; тел.: 9219412055. E-mail: v_duke@ mail.ru
Введение
Описываемое эмпирико-статистическое исследование лежит в русле методологии связанных с событиями потенциалов (ССП), основу которой составляет регистрация биоэлектрических реакций мозга в ответ на внешнее раздражение (в случае сенсорных ССП) и при выполнении когнитивной задачи (в случае когнитивных ССП).
В качестве стимулов в нашем исследовании выступают видеоролики с различным эмоционально насыщенным содержанием.
В работах, посвященных выделению показателей, отражающих воздействие эмоционально значимых стимулов ЭЭГ, используются два основных традиционных методических подхода:
1. Первый подход основан на анализе изменений компонентов N1, P1, N2, P2, P3 ... временных реализаций ЭЭГ при предъявлении стимулов.
2. Другим подходом к исследованию является анализ спектральных характеристик ЭЭГ при воздействии тех или иных стимулов.
Обзор литературы по отражению эмоций в ЭЭГ и в целом по эмпирико-статистическому анализу ССП дает основание сделать ряд других замечаний методологического характера.
1. ЭЭГ-сигнал, как известно, относится к наиболее сложным физическим сигналам. Это связано, прежде всего, с высокой (и принципиальной) нестационарностью ЭЭГ [1]. Поэтому анализ ЭЭГ следует проводить на квазистационарных участках. Этого не делается во многих исследованиях, хотя необходимость предварительного сегментирования ЭЭГ была ранее достаточно подробно обоснована [2]. Вместе с тем, на наш взгляд, процедура сегментирования ЭЭГ должна быть дополнена переходом к ипсативным измерениям путем автонормирования временного или спектрального представления ЭЭГ внутри квази-стационарных участков.
2. Многие современные исследования ССП пошли по экстенсивному пути развития, когда делаются попытки углубить область наших знаний простым наращиванием точности измерений (например, частота дискретизации сигналов), увеличением количества отведений сигнала ЭЭГ, уменьшением ширины полос в спектральном анализе и т.п. Однако огромные нераскрытые возможности электрофизиологических исследований лежат в области методов анализа экспериментального материала, позволяющих выявлять сложные системные эффекты.
Из вышесказанного следует актуальность разработки и совершенствования специальной методологии анализа электрофизиологических сигналов для исследований восприятия визуальной информации. Эта методология должна базироваться на современных компьютерных методах препроцессинга и анализа электрофизиологических сигналов, нацеленных на выявление многомерных системных эффектов с учетом индивидуальных особенностей объектов исследования.
Institute of Informatics and Automation of RAS.
Place of employment: 1 2 3 Federal State Budgetary Research Institute Saint Petersburg Institute of Informatics.
Исследование проведено с участием 3 испытуемых (2 мужчины и 1 женщина) в возрасте 20—35 лет. До начала показа стимулов проводилась запись электрофизиологических сигналов человека в состоянии покоя с закрытыми глазами. После этого делался перерыв порядка пяти минут.
В качестве стимульного материала использовались видеоклипы с различным эмоционально насыщенным содержанием. Во время предъявления стимулов испытуемый располагался сидя на расстоянии около 1,5 м перед экраном с диагональю ~1,8 м. Для минимизации мышечных артефактов испытуемому давали инструкцию сидеть расслабленно и не совершать мышечных движений. С целью уменьшения движений глаз испытуемого просили фиксировать взгляд в центре монитора.
Испытуемый был проинструктирован пассивно наблюдать изображения на экране. Не подразумевалось решение каких-либо когнитивных задач или физическое реагирование на какие-либо изменения.
Анализу подвергались значения составляющих автонормированных периодограмм. Периодограммы были разбиты на 3 класса: «Глаза закрыты», «Релакс» и «Эмоции».
Наилучшие результаты (по точности и воспроизводимости на контрольной выборке) получены для следующих параметров анализа:
- Эпоха составляет 800 отсчетов ЭЭГ;
- Периодограмма представлена 10 полосами шириной по 5 Гц от 0 до 50 Гц.
К наиболее продуктивным результатам привела следующая последовательность действий:
- Из 200 исходных полос (20 отведений х 10 полос от 0 до 50 Гц) для каждого испытуемого селектируются списки информативных полос периодограммы (по критерию Вил-коксона) с уровнем значимости р <0,05.
- Находится отведение, которое встречается во всех списках с наилучшим уровнем значимости статистических различий в классах. Дальнейший анализ спектров производится только для этого отведения.
- Выборка экспериментальных данных разбивается случайным образом на 2 равные части (обучающую и контрольную).
- В качестве процедуры анализа используются алгоритмы поиска логических закономерностей.
- Выявленные логические правила (паттерны ЭЭГ) проверяются на контрольной выборке.
Традиционный дисперсионный анализ. Основной целью традиционного дисперсионного анализа является исследование значимости различия между средними значениями показателя в различных выборках (в нашем случае в разных классах). Проверка статистической значимости различия проводится с помощью разбиения общей дисперсии (вариации) на части, одна из которых обусловлена случайной ошибкой (т.е. внутригрупповой изменчивостью), а вторая связана с различием средних значений. Последняя компонента дисперсии затем используется для анализа статистической значимости различия между средними значениями. Если это различие значимо, нулевая гипотеза отвергается и принимается альтернативная гипотеза о существовании различия между средними в разных классах.
По результатам дисперсионного анализа наибольшая статистическая значимость различий достигается для показателя FP2_5 (отведение FP2, 5-я спектральная полоса). На рис. 1 показаны средние значения этого показателя в разных классах, дополненные графическим отображением 95% доверительных LSD-интервалов.
Class
Рис. 1. Средние значения показателя FP2_5 в разных классах
На первый взгляд, различия в классах весьма существенны, и средние значения показателя на некотором интервале наблюдения могут служить эффективным индикатором эмоционального состояния испытуемого. Вместе с тем, оказывается, что интервал наблюдения должен быть весьма велик, так как показатель FP2_5 имеет значительную вариацию во всех классах. Расчеты показывают, что для получения статистически обоснованного вывода об эмоциональном состоянии испытуемого требуется использовать скользящее окно, содержащее не менее 200 значений FP2_5 (200 динамических спектров). Это примерно соответствует 3 минутам измерения ЭЭГ.
На основании результатов дисперсионного анализа можно предложить логическое правило для определения факта эмоционального воздействия на испытуемого. Например, зададим для FP2_5 порог 0.5 и будем фиксировать логические события FP2_5 <0.5. Значения статистики этого события приведены в табл. 1.
Таблица 1
Частота события FP2_5 <0.5 для разных классов
Класс FP2_5 < 0.5 Row Total
нет да
глаза_закрыты 732 615 1347
релакс 3587 4855 8442
эмоции 2455 5987 8442
Итого 6774 11457 18231
Как следует из табл. 1, частоты события FP2_5 <0.5 в классах «релакс» и «эмоции» статистически значимы, но не слишком сильно различаются. При полученном соотношении частот требуется накапливать примерно 100 событий для достижения уверенной фиксации факта изменения эмоционального состояния испытуемого. Эти события встречаются примерно в каждом втором спектре. Поэтому здесь также требуется скользящее окно, содержащее не менее 200 динамических спектров, а это приблизительно 2 минуты записи ЭЭГ.
Традиционный статистический анализ дает возможность выявить индивидуальные отличия реакции испытуемых на разные классы видеоклипов. Как следует из результатов этого анализа, все испытуемые при воздействии видеоклипов с эмоционально насыщенным содержанием демонстрируют снижение среднего значения показателя FP2_5. Вместе с тем,
наиболее ярко эти снижения проявляются у испытуемых мужского пола, тогда как у испытуемой женского пола такое снижение относительно слабо выражено. Подобные различия в спектрах ЭЭГ у мужчин и женщин, отражающие эмоциональные реакции, ранее отмечались, например, в [3].
Поиск паттернов в спектрах средствами интеллектуального анализа данных
Методы интеллектуального анализа данных (ИАД) позволяют выявлять сложные системные взаимосвязи, скрытые в многомерных психофизиологических данных. Использование системных взаимосвязей между различными показателями дает возможность существенно повысить точность и надежность правил выявления эффектов ССП по данным электрофизиологического эксперимента. Методы ИАД в сочетании с новейшими средствами получения электрофизиологической информации позволяют по-новому раскрыть информативность различных экспериментальных показателей, а также ускорить и удешевить процесс создания компьютерных систем в области психофизиологии.
В качестве инструментов ИАД для изучения эмоциональных реакций применялись алгоритмы поиска логических правил в данных из пакета WEKA, инструмент для построения деревьев решение SPSS Answer Tree и авторская разработка — программа Argos Data Mining.
Результаты работы алгоритмов WEKA
Наиболее выразительные результат показал алгоритм PART, который выявил в данных набор логических правил, характерных для класса «Эмоции». Ниже приводится наиболее выразительное логическое правило:
Fp2_2 > 1.52 AND
Fp2_4 <= 1.22 AND
Fp2_2 > 3.2 AND
Fp2_3 > 0.73 AND
Fp2_3 <= 1.93: эмоции (176.0/61.0)
Для этого правила в классе «Эмоции» наблюдается почти троекратное превышение частоты встречаемости выявленного паттерна над частотой его встречаемости в других классах.
Результат работы Answer Tree
Лучший результат показал алгоритм CHAID, который строит дерево решений с использованием множественного ветвления с использованием критерия хи-квадрат. Один из листов построенного дерева продемонстрировал пятикратное (176/35) превышение частоты встречаемости паттерна в классе «Эмоции» над частотой встречаемости этого паттерна в других классах.
Результат работы Argos Data Mining
Наша авторская разработка — программа Argos Data Mining — выявила в данных динамических спектров ЭЭГ весьма большое количество паттернов, характерных для класса «Эмоции». Ниже мы проиллюстрируем результат работы этой программы на характерном примере одного паттерна, обозначенного идентификатором «Rule 1»:
Rule 1: Если Fp2_1 <= 0.01 И Fp2_3 <= 0.14 И Fp2_4 <= 0.13 И Fp2_5 <= 0.098 И Fp2_6 <= 0.94 То Class=эмоции
Частота встречаемости паттерна «Rule 1» классе «Эмоции» более чем в 5 раз превышает частоты встречаемости этого паттерна в других классах.
Таблица 2
Частота паттерна «Rule 1» в разных классах
Класс Патте рн Итого
нет да
глаза закрыты 1345 2 1347
релакс 8361 81 8442
эмоции 8003 439 8442
Итого 17709 522 18231
Паттерн «Rule 1» по-разному «работает» у разных испытуемых. Наиболее ярко он выражен у испытуемого № 1.
Таблица 3
Частота паттерна «Rule 1» в разных классах у испытуемого № 1
Класс Частота паттерна
глаза закрыты 1
релакс 10
эмоции 253
Итого 264
На втором месте по выраженности паттерна «Rule 1» в классе «Эмоции» стоит испытуемый № 2.
Таблица 4
Частота паттерна «Rule 1» в разных классах у испытуемого № 2
Класс Частота паттерна
глаза закрыты 1
релакс 16
эмоции 105
Итого 122
И, наконец, наименее выражен в классе «Эмоции» паттерн «Rule 1» у испытуемой № 3.
Таблица 5
Частота паттерна «Rule 1» в разных классах у испытуемой № 3
Класс Частота паттерна
глаза закрыты 0
релакс 55
эмоции 81
Итого 136
Сравнительная динамика паттернов
Эффективность найденного паттерна «Rule 1» иллюстрируется динамикой этого паттерна в скользящем по динамическому спектру окне. Выберем величину окна, например, 100 спектров. В этом окне мы будем подсчитывать частоту встречаемости паттерна «Rule 1» и для сравнения будем подсчитывать среднее значение показателя FP2_5, информативность которого определена по результатам традиционного дисперсионного анализа.
У испытуемого № 1 в окне 100 спектров частота «Rule 1» достигает значения 20 в классе «эмоции», и только максимального значения 3 в других классах. Для среднего значения FP2_5 в окне эта разница гораздо менее значительна.
У испытуемого № 2 паттерн «Rule 1» встречается с частотой до 12 в классе «Эмоции», а в другие классах эта частота едва достигает значения 3. Порог, с которым нужно сравнивать частоту «Rule 1» для определения эмоциональной реакции, для первого и второго испытуемого можно выставлять равным 4 — превышение такого порога будет служить эффективным индикатором эмоционального воздействия. Вместе с тем, среднее значение FP2_5 в классе «Эмоции» у второго испытуемого мало отличается от значения в других классах.
У третьей испытуемой паттерн «Rule 1» не столь информативен. И даже наоборот, оказалось, что показатель среднего значения FP2_5 здесь более выразителен.
Выводы
1. В динамических спектрах ЭЭГ содержится информация, отражающая эффект эмоционального воздействия на испытуемых набором специально подобранных видеоклипов.
2. Продуктивной для выявления в ЭЭГ связанных с событиями потенциалов зарекомендовала себя процедура препроцессинга ЭЭГ, включающая сглаживание, дифференцирование, селекцию эпох ЭЭГ и переход к автонормированным периодограммам.
3. Все примененные виды статистического исследования (дисперсионный анализ и поиск логических закономерностей в многомерных данных средствами ИАД) позволили выявить в экспериментальном материале статистически достоверные закономерности, характерные для различных классов ЭЭГ.
4. Наиболее эффективно для выявления информативных паттернов зарекомендовали себя методы интеллектуального анализа данных и, в частности, авторская программа Argos Data Mining.
5. Использование методов интеллектуального анализа данных позволяет находить в динамических спектрах ЭЭГ паттерны, частота встречаемости которых при визуальном эмоциональном воздействии в несколько раз превышает такую частоту при предъявлении испытуемым эмоционально нейтральных видеоклипов.
6. Для выявления реакции испытуемых на видеоклипы с эмоционально насыщенным содержанием оказалось достаточно анализировать ЭЭГ сигнала всего с одного отведения FP2. По-видимому, дополнительный анализ ЭЭГ сигналов с других отведений будет способствовать более оперативному и точному выявлению эмоциональной реакции.
7. Реакции испытуемых на видеоклипы с эмоционально насыщенным содержанием носят как общий, так и индивидуальный характер. Общее для всех испытуемых — характерная реакция ЭЭГ на отведении FP2. Вместе с тем, у испытуемой женского пола в отличие от испытуемых мужского пола эта реакция менее выражена. Для более четкой фиксации реакции у испытуемой женского пола, по-видимому, следует использовать комбинированный показатель — подсчет частоты встречаемости информативного паттерна в скользящем окне динамического спектра, дополненный вычисленным средним значением в окне FP2_5.
ЛИТЕРАТУРА
1. Каплан А.Я. Нестационарность ЭЭГ: методологический и экспериментальный анализ // Успехи физиологических наук. 1998. Т. 29. № 3.
2. Лапшина Т.Н. Психофизиологическая диагностика эмоций человека по показателям ЭЭГ : Автореф. дис. ... канд. психол. наук. М., 2007.
REFERENCES
1. Kaplan A.Y. Nonstationarity of EEG: methodological and experimental analysis // Advances of Physiological Sciences. 1998. V 29. № 3.
2. Lapshina T.N. Psychophysiological diagnostics of human emotions in terms of EEG: Dissertation for the degree of the candidate of psychological sciences. Moscow, 2007.
