CC BY
15
измерение количестве с использованием моторно! человеко-компьютерного интер<
DOI: 10.17691/stm2019.11.1.16 УДК 004.81
Поступила 18.12.2018 г.
В.А. Антонец, к.б.н., д.ф.-м.н., профессор кафедры психофизиологии факультета со ведущий научный сотрудник отдела радиофизических методов в медицине2
Национальный исследовательский Нижегородский государственный университет им. Н.И. . проспект Гагарина, 23, Н. Новгород, 603950;
Федеральный исследовательский центр Институт прикладной физики Российской академии наук, ул. Ульянова, 46, Н. Новгород, 603950
Показаны возможности применения сугубо инструментального объективного количественного метода hand tracking для i рения характеристик перцепции стимулов различной модальности в реальном масштабе времени.
Метод основан на измерении динамической погрешности выполнения испытуемым с помощью бесконтактного ручного манипулятора задачи моторного управления реальным или виртуальным (генерируемым компьютером) стимулом. Свое название метод получил по аналогии с айтрекингом, так как в обоих случаях измерение психофизиологических характеристик осуществляется путем контроля параметров моторных актов испытуемого во время тестирования.
Приведены результаты использования метода, реализованного в форме программно-аппаратного комплекса Hand tracker, на примерах изучения восприятия виртуальных стимулов «угол ориентации отрезка» и «цвет фигуры на фоне».
В первом случае для здоровых испытуемых получены индивидуальные диаграммы точности восприятия угла наклона отрезка, которые позволили идентифицировать параметры нейронной модели первичного распознавателя угла наклона отрезка. Во втором случае установлено, что у пациентов с очаговыми поражениями головного мозга пороги цветоразличения выше, чем в норме и, в отличие от здоровых, не зависят от семантического содержания стимула.
Так как программно-аппаратный комплекс Hand tracker позволяет одновременно независимо управлять несколькими (до восьми) параметрами звуковых и зрительных стимулов, то перспективы развития метода могут быть связаны с исследованием межмодального взаимодействия, а также с изучением коллективного поведения, когда разные члены команды управляют разными параметрами стимула, пытаясь решить общую задачу.
В статье затрагивается также вопрос о реализации метода hand tracking в форме специальных приложений для смартфонов со встроенными сенсорами движения. Так как смартфоны все шире распространяются среди населения, то создание мобильных версий метода открывает перспективу эпидемиологических исследований перцепции (первичных когнитивных функций) с учетом региональной, возрастной, гендерной, социальной и иной стратификации популяций.
Ключевые слова: виртуальные стимулы; перцепция; hand tracking; количественные измерения перцепции; когнитивная диагностика и реабилитация; когнитивная эпидемиология.
Как цитировать: Antonets V.A. Quantification of human perception using the motor human-computer interface Hand tracker. Sovremennye tehnologii v medicine 2019; 11(1): 141-149, https://doi.org/10.17691/stm2019.11.1.16
English
Quantification of Human Perception
Using the Motor Human-Computer Interface Hand Tracker
V.A. Antonets, DSc, Professor, Department of Psychophysiology, Faculty of Social Sciences1; Leading Researcher, Department of Radiophysical Methods in Medicine2
1National Research Lobachevsky State University of Nizhny Novgorod, 23 Prospekt Gagarina, Nizhny Novgorod, 603950, Russia;
2Federal Research Center Institute of Applied Physics, Russian Academy of Sciences, 46 Ulyanova St., Nizhny Novgorod, 603950, Russia
Для контактов: Антонец Владимир Александрович, e-mail: [email protected]
Here, we propose an all-instrumental objective method (hand tracking) for the real time quantification of perception of stimuli presented in various modalities.
The method is based on measuring the dynamic error of performance by a subject of motor control over a real or virtual (computer generated) stimulus with the help of a contactless manipulator. The method got its name from its previous analogue — the eye tracking; in both cases, the measurement of psychophysiological characteristics of the subject is carried out by monitoring the parameters of his/her motor activities.
The above principle has been implemented in the form of a hardware-software complex Hand tracker, which has been tested for the ability to perceive the "segment orientation angle" and "figure color against the background" virtual stimuli.
With the first stimulus, individual diagrams of perception accuracy were obtained in healthy subjects who were asked to guess the segment inclination angle. The results allowed us to identify the parameters of the neural model simulating the respective primary recognizer. With the second visual stimulus, we found that in patients with focal brain lesions, the thresholds of color differentiation were abnormally high and, unlike the normal ones, did not depend on the semantic content of the stimulus.
Since the Hand tracker provides for the simultaneous control over several (up to eight) independent parameters of audial and visual stimuli, the proposed method can be used in studying the intermodal connections and/or the collective behavior, when different team members control different parameters of the stimulus, trying to solve a common problem.
The article also addresses the prospect of implementing the hand tracking method in the form of special applications for smartphones with embedded movement sensors. Such a portable device could be used for epidemiological studies of perception (primary cognitive functions) to elucidate the age- and gender-related, regional, social and other stratification of populations.
Key words: virtual stimuli; perception; hand tracking; quantification of perception; cognitive diagnostics and rehabilitation; cognitive epidemiology.
Введение
Знание индивидуальных количественных характеристик перцептивных систем человека важно для решения задач медицинской диагностики нарушений первичных когнитивных функций человека, вызванных патологиями и расстройствами, а также задач управления реабилитационными процедурами. В частности, речь может идти о настройке интерфейсов техногенных, информационных и экзомоторных компонентов тренажеров и систем, восполняющих утраченные функции.
Целью работы явилось обоснование, описание и демонстрация практических применений сугубо инструментального объективного количественного метода измерения характеристик перцепции стимулов различной модальности в реальном масштабе времени, без вербализации испытуемым силы его субъективного ощущения, вызванного действием стимула.
Метод основан на измерении динамической погрешности выполнения испытуемым задачи моторного управления реальным или виртуальным (генерируемым компьютером) стимулом [1]. При этом количественную зависимость погрешности решения задачи управления от величины физического параметра внешнего стимула используют как характеристику сенсорного анализатора. Метод назван hand tracking по аналогии с предложенным А.Л. Ярбусом устройством [2] для исследования объемного внимания, которое теперь принято называть айтрекером. Оба устройства предназначены для измерения психофизических характеристик человека путем контроля моторных актов.
Обоснование метода было последовательно проведено на реальных стимулах двух типов: а) «тяжесть
груза», когда изучались флуктуации напряжения двуглавой мышцы плеча при удержании в равновесии грузов разного веса; б) «высота тонального звука», когда сопоставлялись флуктуации частоты тональных звуков при их вокальном воспроизведении и воспроизведении с помощью электронного генератора, управлявшегося бесконтактным манипулятором.
Метод реализован в форме программно-аппаратного комплекса (ПАК) Hand tracker, позволяющего измерять в реальном масштабе времени количественные параметры перцепции различных звуковых и зрительных стимулов.
В статье демонстрируется использование ПАК на примерах изучения восприятия виртуальных стимулов «угол ориентации отрезка» и «цвет фигуры на фоне». В первом случае для здоровых испытуемых получены индивидуальные диаграммы точности восприятия угла наклона отрезка, позволяющие идентифицировать параметры нейронной модели первичного распознавателя угла наклона отрезка. Во втором случае показано, что у пациентов с очаговыми поражениями головного мозга пороги цветоразличения выше, чем в норме и, в отличие от здоровых, не зависят от семантического содержания стимула.
Так как ПАК Hand tracker позволяет одновременно независимо управлять несколькими (до восьми) параметрами звуковых и зрительных стимулов, то перспективы развития метода могут быть связаны с исследованием межмодального взаимодействия, а также с изучением коллективного поведения, когда разные члены команды управляют разными параметрами стимула, пытаясь решить общую задачу: например, добиться определенного размера и цвета круга. В обоих случаях процедура измерения является одновременно и тренирующей.
Часть опций Hand tracker может быть реализована на получивших широкое распространение смартфонах со встроенными сенсорами движения. Это открывает перспективу эпидемиологических исследований перцепции (первичных когнитивных функций) с учетом региональной, возрастной, гендерной, социальной и иной стратификации популяций.
Проблема инструментального исследования перцепции
В настоящее время наиболее известны два метода количественной оценки восприятия человеком чувственных стимулов.
Первый метод предложил в начале XVIII в. П. Бугер [3], исследовавший в интересах улучшения морской навигации восприятие человеком яркости светящихся объектов. Он установил постоянство отношения едва различимой разницы яркости AR свечения двух объектов к величине фоновой яркости R, которое сейчас принято называть относительным дифференциальным порогом восприятия. Более чем через 100 лет Э. Вебером, а затем и другими исследователями было показано, что в диапазоне величин стимулов, далеких от порогов восприятия и боли, правило Бугера соблюдается и для стимулов других модальностей [4, 5]. Это правило принято записывать в виде формулы:
ARIR=k, (1)
где величина k зависит от модальности стимула; в опытах Бугера k=1/64.
В предположении равенства субъективно оцениваемого человеком относительного изменения силы ощущения и относительного изменения величины стимула, т.е.
AS/S=AR/R, (2)
Г. Фехнер [6] сделал вывод о логарифмической связи между силой ощущения S и величиной стимула R.
Второй метод, созданный С. Стивенсом [7], основан на предположении, что относительное изменение силы ощущения AS/S связано с относительным изменением величины стимула AR/R линейным соотношением, где постоянный коэффициент а в зависимости от модальности стимула может быть как меньше единицы, так и больше:
AS /S=aAR/R. (3)
Из соотношения (3) при всех значениях а^1, т.е. отличных от единицы, следует степенная связь между ощущением S и стимулом R:
S IS o=(R/Ro)a. (4)
При а=1, что соответствует гипотезе Фехнера, из соотношения (3) следует логарифмическая связь между силой ощущения S и величиной стимула R.
Для стимулов, далеких по величине от порогов восприятия и боли, формула (4) была подтверждена
С. Стивенсом экспериментально [7]. Для многих модальностей ощущений величины к и а измерены и внесены в справочные руководства (например, [8]).
Общим недостатком обоих способов применительно и к диагностике, и к реабилитации является необходимость осознания испытуемым возникающего ощущения и вербального выражения субъективной оценки его силы. Это громоздко по времени и не гарантирует объективности и достоверности вербальной оценки силы субъективного ощущения.
В работе [9] нами был продемонстрирован принципиально иной, свободный от субъективизма и вербализации, сугубо инструментальный метод измерения количественных параметров перцепции индивидуума в реальном масштабе времени. Он основан на измерении величины динамической погрешности выполнения испытуемым задачи управления реальным или виртуальным (генерируемым компьютером) стимулом. При этом количественную зависимость погрешности решения задачи управления от величины физического параметра внешнего стимула используют как характеристику сенсорного анализатора. Этот подход опирается на простой факт, отмеченный еще И.М. Сеченовым [10], что человек использует ощущения в системе обратной связи для управления своими функциями, например движением.
Описание и обоснование использования метода
Обоснование возможности использования метода для исследования характеристик перцепции было проведено на реальных стимулах: «тяжесть груза» [11, 12] и «высота тонального звука» [13-15].
Так, при измерениях микроколебаний силы, развиваемой двуглавой мышцей плеча человека (при расслабленном его антагонисте — трехглавой мышце плеча), для удержания в равновесии груза, подвешенного на нерастяжимой нити к дистальной части предплечья руки, согнутой в локтевом суставе, было установлено, что средняя величина флуктуаций fфПyкт силы, удерживающей груз около состояния равновесия, меняется с изменением массы т удерживаемого груза [11, 12]. При этом с погрешностью около 10% эти изменения средней величины флуктуаций AfфПyl<т в ответ на изменение массы удерживаемого груза Ат подчиняются соотношению (3):
А^фпут^фпут = р-(Ат/т) (5)
Коэффициент р у разных испытуемых (10 человек) имел значение 2,0-2,5.
Полученное с помощью чисто физических измерений соотношение (5) и соотношение (3), полученное с помощью субъективного психофизического измерения, отличаются друг от друга только обозначениями величин и, возможно, значениями а и р. Однако из этого следует, что физическое измерение флуктуаций (погрешностей) управления удержанием груза — это и есть объективное измерение перцепции в реаль-
Преобразование Усилитель
D ^ F мощности
Компьютерная Ультразвуковой измеритель перемещений
схема
управления
кШ
F(t)
Л
AD(t)
Обратная связь
Г
D
J
Преобразование D^ ф
Компьютерная схема управления
Стимул Воспроизведение
ср.- I i
/
Видеомонитор
Ультразвуковой измеритель перемещений
AD(t)
б
Обратная связь
Рис. 1. Схема управления параметрами предъявляемых звуковых (а) и зрительных (б) стимулов с помощью бесконтактного манипулятора [1]
а
ном масштабе времени. Таким образом, погрешность управления — это и есть то, что формирует ощущение и восприятие тяжести, и, по-видимому, в данном контексте их можно просто отождествлять.
Такая интерпретация погрешностей управления стимулами подтвердилась и при исследовании флук-туаций частоты тонального звука, воспроизводимого испытуемыми голосом [13, 15] или звуковым генератором [14, 15], управление частотой которого осуществлялось за счет изменения расстояния между неподвижной координатной плоскостью и бесконтактным манипулятором, который испытуемый свободно перемещал рукой (рис. 1, а).
Это расстояние измерялось ультразвуковым локатором и преобразовывалось в сигнал управления частотой звукового генератора, т.е. стимулом. Так как испытуемый не опирался рукой ни на какую опору, то манипулировать частотой звука он мог, ориентируюсь только на слух, как и при вокальном воспроизведении. При воспроизведении и голосом, и генератором измеренное значение флуктуаций & частоты воспроизводимого звука оказалось пропорциональным значению воспроизводимой частоты /. Это в точности соответствует формулам (1) и (3) и укрепляет в мысли, что относительная погрешность управления стимулом, которое в обязательном порядке подразумевает наличие обратной связи, как раз и характеризует качество перцепции. При воспроизведении тонального звука голосом Д/0,15. При воспроизведении тонального звука управляемым генератором значение Д// / зависело от коэффициента К (Гц/мм), связывающего величину перемещения манипулятора с изменением частоты генератора звука. При К=0,17/значение Д/// становилось таким же, как при воспроизведении тонального звука голосом.
Таким образом, принципиальных отличий в качестве голосового и моторного управления тональностью звука не наблюдалось. Этого можно было и ожидать, так как воспроизведение тонального звука с помощью моторного акта является обычной работой музыкантов,
играющих на струнных и духовых инструментах и тер-менвоксе, которые вполне можно рассматривать как управляемые звуковые генераторы с обратной связью.
В дальнейшем техника бесконтактного манипулятора была применена нами для объективного измерения восприятия не только звуковых, но и зрительных стимулов разного типа.
Программно-аппаратный комплекс Hand tracker
Изложенный подход был реализован в разработке ПАК Hand tracker [16, 17], который позволяет измерять в реальном масштабе времени количественные параметры перцепции звуковых и зрительных стимулов.
Это устройство дает возможность формировать практически неограниченное разнообразие зрительных стимулов и режимов их предъявления. В нем реализованы следующие типы зрительных стимулов: гомотетическое сжатие-растяжение (изменение размера) плоских фигур; линейное сжатие-растяжение плоских фигур вдоль выбираемой экспериментатором оси; вращение плоских фигур; перемещение плоских фигур; изменение цвета фигур на фоне; сжатие-растяжение отрезка прямой или сегмента кривой; вращение отрезка прямой или сегмента кривой; перемещение отрезка прямой или сегмента кривой.
Программно-аппаратный комплекс Hand tracker позволяет также формировать большое разнообразие звуковых стимулов и режимов их предъявления: изменяющийся по громкости тональный и шумовой звук; изменяющийся по частоте тональный звук; последовательность пар звуковых импульсов с изменяемым межимпульсным интервалом и изменяемой интенсивностью, бинауральная последовательность звуковых импульсов с изменяемой частотой следования и изменяемой интерауральной задержкой (латерометрия); бинауральная последовательность звуковых импульсов с изменяемым периодом следования и назначаемым или цитируемым из внешнего контента заполнением.
По выбору экспериментатора испытуемый может управлять любыми стимулами с помощью бесконтактного манипулятора (собственно Hand tracker), джойстика, стрелок, назначенных клавиш клавиатуры, мыши, панели touchpad. Экспериментатор задает в ПАК коэффициенты преобразования величины управляющего воздействия (например, перемещения манипулятора или джойстика) в величину изменения характеристики стимула. Цвет фона и плоских фигур, а также прорисовка контура фигуры (цвет, толщина) также назначаются экспериментатором. Основой стимула может быть фигура, линия, звуковой сигнал из библиотеки стимулов или цитата из внешнего источника.
Экспериментатор формирует сценарии испытания путем назначения правила изменения параметров изображений и звуков. Правило может задаваться формулой или дискретным численным рядом.
Каждый из сформированных сценариев, т.е. совокупность параметров стимулов и режимов их предъявления, может быть сохранен в базе данных как конфигурация и вызываться при проведении серий экспериментов. Результаты каждого из экспериментов, а также анкета испытуемых, состав которых может неограниченно пополняться, также могут быть сохранены в базе данных.
Кроме изучения восприятия отдельных зрительных и слуховых стимулов комплекс позволяет изучать межмодальное взаимодействие, поскольку звуковой и зрительный стимулы можно предъявлять одновременно, что приводит к тому, что испытуемый одной и той же манипуляцией управляет ими обоими. Это позволяет сопоставлять ошибки восприятия звуков и изображений как по отдельности, так и совместно.
Программно-аппаратный комплекс Hand tracker предусматривает возможность одновременного независимого управления несколькими (до восьми) параметрами звуковых и зрительных стимулов. Поэтому управление разными параметрами стимулов или разными комбинациями параметров стимулов может быть поручено двум или нескольким испытуемым, что позволит сопоставлять качество их восприятия и изучать их коллективное поведение при решении задач управления стимулами. Это означает, что ПАК Hand tracker, разработанный как чувственный человеко-машинный интерфейс, решает также проблему создания человеко-человеческого чувственного интерфейса (homo-homini perception interface) и согласования субъективных чувственных образов взаимодействующих субъектов.
В комплекс включен ряд классических психологических тестов.
Пример применения:исследование восприятия зрительного стимула «угол ориентации отрезка»
Испытуемому ставилась задача: с помощью манипулятора (рис. 1, б) так управлять ориентацией
отрезка на мониторе компьютера углом ф, чтобы он постоянно был параллелен образцовому отрезку, предъявляемому экспериментатором на том же мониторе компьютера. При этом изучались отклонения ориентации управляемого отрезка от ориентации образцового.
Экспериментатор проводил три серии предъявлений стимулов: по нарастающей от -90 до +90 угловых градусов с шагом 22,5 угловых градуса, по убывающей и в случайном порядке. Испытуемый осуществлял управление каждым из углов наклона отрезка в течение 5 с. Через каждые 0,1 с проводился оцифрованный замер установленного им угла ориентации отрезка. Испытания однократно прошли 70 человек, считавших себя здоровыми, 10 из них проходили цикл тестирования по 4 раза по одному исследованию в день в течение одной рабочей недели.
На рис. 2, а приведен пример представления результатов единичного исследования. По окружности расположены миниатюрные графики изменения во времени угловой ориентации управляемого испытуемым отрезка для каждого значения углов ориентации образцового отрезка — стимула. В центре в полярных координатах приведена рассчитанная по этим данным диаграмма зависимости среднеквадратичного динамического отклонения (ошибки) угла наклона управляемого отрезка от угла наклона образцового отрезка. Исследование показало, что индивидуальные ориентационные диаграммы в разные дни могут изменяться. Поэтому для оценки текущего состояния анализатора измерения должны производиться в реальном масштабе времени. На диаграмме видно, что с наименьшей ошибкой испытуемый управляет вертикальным и горизонтальным отрезками. Этот же эффект подтверждается и ос-редненной ориентационной диаграммой для всех 10 испытуемых, прошедших четырехкратное тестирование (рис. 2, б).
Измерение индивидуальных ориентационных диаграмм (ошибок) открывает возможность для оценки параметров нейронной сети, выполняющей функцию первичного распознавателя, на основе ее моделирования. На рис. 3 сопоставлены экспериментальная и модельная ориентационные диаграммы (диаграммы динамических ошибок управления углом наклона отрезка).
Диаграмма 3, б отображена не в угловых градусах, а в условных единицах, поскольку экспериментальных данных для абсолютной калибровки радиальной оси модельной диаграммы было недостаточно. Однако по ним оказалось возможным осуществить идентификацию параметров межнейронных связей и порогов их возбуждения [18-20]. Интересным оказалось то, что невязка экспериментальной и теоретической диаграмм как функция величины рецептивного поля (числа нейронов в составе рецептивного поля) имеет минимум. В случае описываемой модели оптимум работы первичного распознавателя достигается для сети, состоящей приблизительно из 102 нейронов, что
Рис. 2. Пример результата единичного исследования (а) и осредненной ориентационной диаграммы для 10 испытуемых (б)
По окружности отмечены в градусах углы ориентации образцового отрезка; по радиальной координате отложена величина среднеквадратичной динамической погрешности угловой ориентации управляемого отрезка по отношению к ориентации образцового (в градусах) [1]
157,5
160
Рис. 3. Индивидуальная ориентационная диаграмма, полученная в эксперименте (а), и ее теоретическое воспроизведение (б), основанное на использовании нейронподобной модели первичного распознавателя (рецептивного поля) ориентации отрезков [1]
хорошо совпадает с числом нейронов в реальной распознающей колонке [21].
Пример применения:исследование цветоразличения зрительного стимула «фигура на фоне» при очаговых поражениях головного мозга
Для исследования зрительной перцепции пациентов с наличием очаговых поражений головного мозга была использована опция ПАК «кампиметрия», т.е. измерение порогов цветоразличения. Так как управление предъявляемыми стимулами с помощью бесконтактного манипулятора для пациентов с поражениями было затруднительно, динамические пороги цветоразличе-ния измерить было нельзя из-за нарушений моторики. Поэтому измерялись статические пороги цветоразли-чения при предъявлении цветных фигур на цветном фоне в режимах, когда управление цветом фигуры осуществлялось с помощью кнопок клавиатуры компьютера. Использовали три типа цветных фигур, отличающихся семантическим содержанием: а) геоме-
трические фигуры — круг, квадрат и прямоугольник; б) предметные изображения животных и плодов; в) буквы русского алфавита.
Цвет фона и цвет стимулов задавались в модели HLS (hue, lightness, saturation — цветовой тон, светлота, насыщенность) [22]. Цветовой тон фона H задавался по шкале от 0 до 240 с шагом 60 усл. ед. при фиксированных значениях насыщенности S=220 усл. ед. и светлоты L=100 усл. ед.
Вначале испытуемому предъявляли изображение, на котором цветовой тон фона и фигуры совпадали. Нажимая стрелку клавиатуры, испытуемый увеличивал значение H с шагом 1 усл. ед. до тех пор, пока не обнаруживал фигуру. При этом при нажатии им клавиши Enter в системе регистрировался порог обнаружения в условных единицах цветового тона H либо регистрировалась ошибка, если фигура была распознана неверно. Об этом сообщала возникающая иконка. При новом нажатии клавиши испытуемому предъявлялось новое изображение с иным значением цветового фона H.
Первичные данные были получены при работе с экспериментальной группой пациентов неврологической клиники с установленными диагнозами: «острое нарушение мозгового кровообращения по ишемичес-кому типу», «острое нарушение мозгового кровообращения по геморрагическому типу», «состояние после эндоскопического удаления кисты левого бокового желудочка» (5 мужчин, 4 женщины, возраст — 23-74 года) и контрольной группой условно здоровых — студентов кафедры психофизиологии очного и заочного отделений Нижегородского государственного
университета им. Н.И. Лобачевского (5 мужчин, 25 женщин, возраст — 18-41 года).
Критериями включения испытуемых в экспериментальную группу являлись стабильное состояние (удовлетворительное или средней степени тяжести), отсутствие воспалительных заболеваний, тяжелых соматических заболеваний в стадии декомпенсации на момент обследования, возможность речевого контакта с испытуемым (способность понимать обращенную речь), отсутствие тяжелого двигательного дефицита.
Исследование проведено в соответствии с Хельсинкской декларацией (2013). От каждого пациента было получено информированное согласие.
Для установления влияния семантического содержания стимула на пороги цве-торазличения был использован t-критерий Стьюдента для выборки данных, полученных для экспериментальной и контрольной групп (см. таблицу) при предъявлении однородных по цветовому оттенку, но разных по семантике цветовых стимулов.
Согласно этому критерию для всех предъявленных цветовых тонов фона установлены статистически значимые (p<0,05) различия результатов измерений порога цветоразличения у испытуемых контрольной и экспериментальной групп при обнаружении любого из трех типов цветовых стимулов. При этом у испытуемых экспериментальной группы не обнаружено достоверных различий дифференциальных порогов по цветовому тону при различающейся семантике стимулов. В контрольной группе для цветового тона 60 (зеленый, [22]) выявлено статистически значимое (p<0,05) уменьшение порога цве-торазличения букв русского алфавита по сравнению с предметными изображениями.
Таким образом, результаты эксперимента показали возможность выделения качественного отличия зрительной перцепции от нормы у пациентов с локальными поражениями головного мозга по двум признакам:
пороги цветоразличения выше, чем в норме, для всех предъявленных типов стимулов, отличающихся семантическим содержанием;
семантика зрительного стимула не влияет на порог цветоразличения ни для одного из предъявленных цветовых тонов.
Заключение
Приведенные примеры практического использования метода сугубо инструментального количественного измерения характеристик перцепции, реализованного в форме программно-аппаратного комплекса Hand tracker, позволяют заключить, что данный ме-
Значения порогов цветоразличения в эксперименте со зрительными стимулами
Семантика Цветовой тон фона, усл. ед.
стимула 0 60 120 180 240
Для экспериментальной группы
ГФ 7,33±3,56 11,61±5,44 8,03±2,70 9,85±4,92 9,45±4,25
ПИ 7,68±3,74 10,14±5,06 8,70±3,63 8,02±4,53 8,77
БРА 6,97±2,58 9,0±3,52 7,48±3,29 7,85±3,15 8,58±3,99
рГФ/ПИ 0,86 0,74 0,94 0,42 0,18
рГФ/БРА 1,0 0,13 0,56 0,34 0,61
рПИ/БРА 0,42 0,35 0,16 0,99 0,38
Для контрольной группы
ГФ 2,10±0,87 3,70±1,35 4,23±1,38 2,80±0,96 3,33±1,11
ПИ 2,37±0,84 4,13±1,05 4,73±1,25 2,90±0,98 3,40±1,21
БРА 1,93±0,87 3,33±0,96 3,90±1,17 2,43±0,92 2,70±1,01
рГФ/ПИ 0,38 0,28 0,26 0,77 0,86
рГФ/БРА 0,58 0,34 0,45 0,27 0,10
рПИ/БРА 0,13 0,02 0,05 0,13 0,06
Здесь: ГФ — геометрические фигуры; ПИ — предметные изображения; БРА — буквы русского алфавита.
тод может эффективно использоваться для широкого класса лабораторных и клинических исследований восприятия стимулов различной модальности. При этом сама по себе процедура измерения является одновременно и тренирующей.
По сравнению с каноническими методами исследования перцепции hand tracking имеет гораздо более высокое быстродействие и позволяет в условиях лаборатории и клиники получить количественные данные о перцепции, недоступные ранее.
Наличие в устройстве нескольких параллельных каналов предъявления стимулов и управления их параметрами открывает возможности объективного изучения восприятия мультимодальных стимулов, а также объективного изучения взаимодействия людей в команде, синхронно управляющей параметрами виртуального стимула (например, размером и цветом объекта). Таким образом, программно-аппаратный комплекс Hand tracker можно интерпретировать и как человеко-человеческий чувственный интерфейс (ho-mo-homini perception interface), обеспечивающий взаимодействующим субъектам согласование их субъективных чувственных образов объектов-стимулов.
Взрывной рост количества пользователей смартфонов открывает перспективы развития метода hand tracking в направлении эпидемиологических исследований перцепции (первичных когнитивных функций) с учетом региональной, возрастной, гендерной, социальной и иной стратификации популяций. Наличие в смартфонах встроенных сенсоров позволяет создавать специальные программные приложения [17, 23],
реализующие зрительные и слуховые перцептивные тесты. Более того, некоторые широко используемые приложения и опции управления смартфоном при определенной модификации, разумеется, согласованной с пользователем, могут быть превращены в непроизвольно выполняемый пользователем перцептивный тест. Это может дать самые неожиданные результаты, подобно тому, как создание сети метеостанций позволило открыть циклоны и антициклоны.
Благодарность. Автор выражает глубокую признательность С.А. Полевой и М.М. Цирковой за их вклад в проведение исследований, описанных в статье.
Финансирование исследования. Работа поддержана грантами Российского фонда фундаментальных исследований №13-04-12063, №05-08-33526-а, №97-06-80286-а, №00-06-80141-а и проектом №0035-20140008 в рамках государственного задания Институту прикладной физики РАН.
Конфликт интересов не просматривается.
Литература/References
1. Антонец В.А., Полевая С.А., Казаков В.В. Hand tracking. Исследование первичных когнитивных функций человека по их моторным проявлениям. В кн.: Современная экспериментальная психология. Том 2. Под ред. Барабанщикова В.А. М: Институт психологии РАН; 2011; с. 39-55. Antonets V.A., Polevaya S.A., Kazakov V.V. Hand tracking. Issledovanie pervichnykh kognitivnykh funktsiy cheloveka po ikh motornym proyavleniyam. V kn.: Sovremennaya eksperimental'naya psikhologiya. Tom 2 [Hand tracking. Study of the primary cognitive functions of a person by their motor manifestations. In: Modern experimental psychology. Vol. 2]. Pod red. Barabanshchikova V.A. M: Institut psikhologii RAN; 2011; p. 39-55.
2. Ярбус А.Л. Роль движений глаз в процессе зрения. М: Наука; 1965. Yarbus A.L. Rol' dvizheniy glaz v protsesse zreniya [The role of eye movements in the process of vision]. Moscow: Nauka; 1965.
3. Bouguer P. Sur la meilleure méthode pour observer l'altitude des étoiles en mer et Sur la meilleure méthode pour observer la variation de la boussole en mer. Paris; 1727.
4. Weber E.H. De pulsu, resorptione, auditu et tactu. Leipzig: Koehler; 1834.
5. Weber E.H. Der Tastsinn und das Gemeingefühl. In: Wagner R. (editor). Handwörterbuch der Phisiologie. Vol. III. Brunswick: Vieweg; 1846; p. 481-588.
6. Fechner G.T. Elemente der Psychophysik. Leipzig: Breitkopf und Härtel; 1860.
7. Stevens S.S. On the psychophysical law. Psychol Rev 1957; 64(3): 153-181, https://doi.org/10.1037/h0046162.
8. Ломов Б.Ф. Справочник по инженерной психологии. М: Машиностроение; 1982. Lomov B.F. Spravochnik po inzhenernoy psikhologii [Lomov B.F. Handbook of engineering psychology]. Moscow: Mashinostroenie; 1982.
9. Антонец В.А., Ковалёва Э.П., Зевеке А.В. и др. Новые человеко-машинные интерфейсы. В кн.: Нелинейные волны. Синхронизация и структуры. Ч. 2. Под ред. Рабиновича М.И., Сущика М.М., Шалфеева В.Д. Н. Новгород: Издательство Нижегородского государственного
университета; 1995; с. 87-98. Antonets V.A., Kovaleva E.P., Zeveke A.V., et al. Novye cheloveko-mashinnye interfeysy. V kn.: Nelineynye volny. Sinkhronizatsiya i struktury. Ch. 2 [New human-machine interfaces. In: Nonlinear waves. Synchronization and structure. Part 2]. Pod red. Rabinovicha M.I., Sushchika M.M., Shalfeeva V.D. [Rabinovich M.I., Sushchik M.M., Shalfeev V.D. (editors)]. Nizhny Novgorod: Izdatel'stvo Nizhegorodskogo gosudarstvennogo universiteta; 1995; p. 87-98.
10. Сеченов И.М. Физиология нервных центров. СПб; 1891. Sechenov I.M. Fiziologiya nervnykh tsentrov [Physiology of the nerve centers]. Saint Petersburg; 1891.
11. Антонец В.А., Ковалёва Э.П. Оценка управления статическим напряжением скелетной мышцы по ее микродвижениям. Биофизика 1996; 41(3): 711-717. Antonets V.A., Kovaleva E.P. Evaluation of the static voltage control in the skeletal muscle by its micromovements. Biofizika 1996; 41(3): 711-717.
12. Антонец В.А., Ковалёва Э.П. Статистическое моделирование непроизвольных микроколебаний конечности. Биофизика 1996; 41(3): 704-710. Antonets V.A., Kovaleva E.P. Statistical modeling of involuntary micro oscillations in a limb. Biofizika 1996; 41(3): 704-710.
13. Антонец В.А., Анишкина Н.М., Казаков В.В., Тима-нин Е.М. Количественная оценка восприятия частоты звуков слуховым анализатором. В кн.: XI сессия Российского акустического общества. М; 2001; с. 180-183. Antonets V.A., Anishkina N.M., Kazakov V.V., Timanin E.M. Kolichestvennaya otsenka vospriyatiya chastoty zvukov slukhovym analizatorom. V kn.: XI sessiya Rossiyskogo akusticheskogo obshchestva [Quantification of the perception of the sound frequency by the auditory analyzer. In: XI session of the Russian Acoustic Society]. Moscow; 2001; p. 180-183.
14. Антонец В.А., Анишкина Н.М., Грибков А.Л., Казаков В.В., Тиманин Е.М. Количественная оценка восприятия частоты звуков человеком с использованием управляемого звукового генератора. В кн.: XIII сессия Российского акустического общества. Том 3. М; 2003; с. 107-110. Antonets V.A., Anishkina N.M., Gribkov A.L., Kazakov V.V., Timanin E.M. Kolichestvennaya otsenka vospriyatiya chastoty zvukov chelovekom s ispol'zovaniem upravlyaemogo zvukovogo generatora. V kn.: XIII sessiya Rossiyskogo akusticheskogo obshchestva. Tom 3 [Quantifying human perception of the sound frequency using a controlled sound generator. In: XIII session of the Russian Acoustic Society. Vol. 3]. Moscow; 2003; p. 107-110.
15. Antonets V.A., Kazakov V.V., Anishkina N.M. Quantitative evaluation of tonal sound frequency perception by a man. Biophysics 2010; 55(1): 104-109, https://doi. org/10.1134/s0006350910010173.
16. Антонец В.А., Антонец М.А., Казаков В.В., Ильин Н.Э., Кальвасер И.Б., Крюков А.Ю., Погодин В.Ю., Полевая С.А. Программно-аппаратный комплекс «Handtracker» для изучения первичных когнитивных функций человека по их моторным проявлениям. В кн.: Экспериментальный метод в структуре психологического знания. М: Институт психологии РАН; 2012; с. 317-318. Antonets V.A., Antonets M.A., Kazakov V.V., Il'in N.E., Kal'vaser I.B., Kryukov A.Yu., Pogodin V.Yu., Polevaya S.A. Programmno-apparatnyy kompleks "Handtracker" dlya izucheniya pervichnykh kognitivnykh funktsiy cheloveka po ikh motornym proyavleniyam. V kn.: Eksperimental'nyy metod v strukture psikhologicheskogo znaniya [The software-hardware complex
"Handtracker" for the study of the primary human cognitive functions by their motor manifestations. In: Experimental method in the structure of psychological knowledge]. Moscow: Institut psikhologii RAN; 2012; p. 317-318.
17. Антонец В.А., Антонец М.А., Погодин В.Ю., Крюков А.Ю., Ильин Н.Э. Лабораторная и мобильная версии метода handtracking для исследования первичных когнитивных функций человека по их моторным проявлениям. В кн.: Процедуры и методы экспериментально-психологических исследований. Под ред. В.А. Барабанщикова. М: Институт психологии РАН; 2016; с. 639-645. Antonets V.A., Antonets M.A., Pogodin V.Yu., Kryukov A.Yu., Il'in N.E. Laboratornaya i mobil'naya versii metoda handtracking dlya issledovaniya pervichnykh kognitivnykh funktsiy cheloveka po ikh motornym proyavleniyam. V kn.: Protsedury i metody eksperimental'no-psikhologicheskikh issledovaniy [Laboratory and mobile versions of the hand tracking method for studying the primary cognitive functions by their motor manifestations In: Procedures and methods of experimental psychological research]. Pod red. Barabanshchikova V.A. [Barabanshchikova V.A. (editor)]. Moscow: Institut psikhologii RAN; 2016; p. 639-645.
18. Яхно В.Г, Нуйдель И.В., Иванов А.Е. Модельные нейроноподобные системы. Примеры динамических процессов. В кн.: Нелинейные волны — 2004. Под ред. Гапонова-Грехова А.В., Некоркина В.И. Н. Новгород: ИПФ РАН; 2004; с. 362-375. Yakhno V.G, Nuidel I.V., Ivanov A.E. Model'nye neyronopodobnye sistemy. Primery dinamicheskikh protsessov. V kn.: Nelineynye volny — 2004 [Neuronlike model systems. Examples of dynamic processes. In: Nonlinear waves - 2004]. Pod red. Gaponova-Grekhova A.V., Nekorkina V.I. [Gaponov-Grekhov A.V., Nekorkin V.I. (editors)]. Nizhny Novgorod: IPF RAN; 2004; p. 362-375.
19. Яхно В.Г, Полевая С.А., Парин С.Б. Базовая архитектура системы, описывающей нейробиологические механизмы осознания сенсорных каналов. В кн.: Когнитивные исследования. Том 4. М: Институт психологии РАН; 2010; p. 273-301. Yakhno V.G., Polevaya S.A., Parin S.B. Bazovaya arkhitektura sistemy, opisyvayushchey neyrobiologicheskie mekhanizmy osoznaniya sensornykh kanalov. V kn.: Kognitivnye issledovaniya. Tom 4 [The basic architecture of the system that describes the neurobiological mechanisms of awareness of sensory channels. In: Cognitive studies. Vol. 4]. Moscow: Institut psikhologii RAN; 2010; p. 273-301.
20. Антонец В.А., Нуйдель И.В., Полевая С.А. Адаптивный симулятор: компьютерная технология для реконструкции ориентационных модулей зрительной коры человека. В кн.: Материалы XVI международной конференции по нейрокибернетике. Том 2. Ростов-на-Дону; 2012; с. 142-145. Antonets V.A., Nuidel I.V., Polevaya S.A. Adaptivnyy simulyator: komp'yuternaya tekhnologiya dlya rekonstruktsii orientatsionnykh moduley zritel'noy kory cheloveka. V kn.: Materialy XVI mezhdunarodnoy konferentsii po neyrokibernetike. Tom 2 [Adaptive simulator: computer technology for the reconstruction of the orientation modules of the human visual cortex. In: Materials of the XVI International conference on neurocybernetics. Vol. 2]. Rostov-on-Don; 2012; p. 142-145.
21. Buxhoeveden D.P., Casanova M.F. The minicolumn hypothesis in neuroscience. Brain 2002; 125(5): 935-951, https://doi.org/10.1093/brain/awf110.
22. Русак Л.В., Калина В.А., Стасевич Н.А. Компьютерная графика. Минск; 2009. Rusak L.V., Kalina V.A., Stasevich N.A. Komp'yuternaya grafika [Computer graphics]. Minsk; 2009.
23. URL: http://ma-tec.ru/handtracker.html.
