CC BY
1
оценка точности пространственной яокаяиза! с помощью MOHO- и стереорежи визуаяьно-аудиаяьного сенсорного у лиц с ограниченными возможностям! (пилотное исследование)
DOI: 10.17691/stm2024.16.4.03 УДК 617.75:621.397 Поступила 1.02.2024 г.
А.С. Буторова, младший научный сотрудник1;
Е.А. Корюкин, аспирант2; лаборант-исследователь лаборатории искусственного интеллекта2; Н.М. Хоменко, студент2; лаборант-исследователь лаборатории искусственного интеллекта2;
А.П. Сергеев, к.ф.-м.н., ведущий научный сотрудник1
1 Институт промышленной экологии УрО РАН, ул. С. Ковалевской, 20, Екатеринбург, 620990;
2Уральский федеральный университет имени первого Президента России Б.Н. Ельцина, ул. Мира, 19, Екатеринбург, 620002
Цель исследования — оценить точность пространственной локализации объекта в моно- и стереорежимах визуально-ау-диального сенсорного замещения путем тестирования разработанной системы на испытуемых с нормальным или скорректированным до нормального зрением.
Материалы и методы. Изготовлен прототип устройства визуально-аудиального сенсорного замещения на основе видеокамеры с двумя объективами. Разработано программное обеспечение, выполняющее преобразование сигнала с видеокамеры в звуковой сигнал в моно- и стереорежимах.
Для тестирования разработанной системы проведено экспериментальное исследование с участием 30 зрячих лиц с завязанными глазами. 15 человек проходили тестирование в монорежиме, 15 — в стереорежиме. Все испытуемые прошли обучение работе с системой визуально-аудиального сенсорного замещения. Во время эксперимента участники должны были определить местоположение белого пластикового куба размером 4*4*4 см3 на рабочей поверхности. Куб устанавливался экспериментатором в одно из 20 положений на рабочей поверхности псевдослучайным образом.
Результаты. Для оценки точности локализации куба вычислялись отклонения по осям X и Y и абсолютные отклонения. Общая динамика точности локализации куба была положительной как в моно-, так и в стереорежиме. Абсолютное отклонение и отклонение по оси X были значимо выше в стереорежиме, значимого различия в отклонении по оси Y между режимами не наблюдалось. В среднем участники были склонны недооценивать расстояние до куба, когда он находился слева, справа или в дальней части рабочей поверхности, и переоценивать его, когда куб находился в ближней части рабочей поверхности.
Заключение. Исследования показали, что точность локализации объекта в стереорежиме можно повысить, если увеличить время, отведенное на тренировку испытуемых, и продемонстрировать им большее количество предъявлений. Результаты исследования могут быть использованы при разработке ассистивных технологий для лиц с ограниченными возможностями по зрению, изготовлении медтехники, создании нейроинтерфейсов.
Ключевые слова: ограниченные возможности зрения; визуально-аудиальное сенсорное замещение; звуковое представление объекта.
Как цитировать: Butorova А^., Koryukin Е.А., Khomenko N.M., Sergeev А.Р. Assessment of accuracy of spatial object localization by means of mono and stereo modes of visual-to-auditory sensory substitution in people with visual impairments (a pilot study). Sovremennye tehnologii v medicine 2024; 16(4): 29, https://doi.org/10.17691/stm2024.16.4.03
Для контактов: Буторова Анастасия Сергеевна, e-mail: [email protected]
Assessment of Accuracy of Spatial Object Localization by Means of Mono and Stereo Modes of Visual-to-Auditory Sensory Substitution in People with Visual Impairments (a Pilot Study)
A.S. Butorova, Junior Researcher1;
E.A. Koryukin, PhD Student2; Research Assistant, Artificial Intelligence Laboratory2;
NM Khomenko, Student2; Research Assistant, Artificial Intelligence Laboratory2;
А.P. Sergeev, PhD, Leading Researcher1
11nstitute of Industrial Ecology of the Ural Branch of the Russian Academy of Sciences, 20 S. Kovalevskoy St.,
Ekaterinburg, 620990, Russia;
2Ural Federal University named after the First President of Russia B.N. Yeltsin, 19 Mira St., Ekaterinburg,
620002, Russia
The aim of the study is to assess the accuracy of spatial object localization in mono and stereo modes of visual-to-auditory sensory substitution by means of the developed system tested on persons with normal or corrected-to-normal vision.
Materials and Methods. A prototype of a visual-to-auditory sensory substitution device based on a video camera with two lenses was prepared. Software to convert the signal from a video camera into an audio signal in mono and stereo modes was developed.
To assess the developed system, an experimental study with 30 blindfolded sighted participants was conducted. 15 persons were tested in mono mode, 15 — in stereo mode. All persons were trained to use the visual-to-auditory sensory substitution system. During the experiment, participants were to locate a white plastic cube with dimensions of 4*4*4 cm3 on a working surface. The researcher placed the cube in one of 20 positions on the working surface in a pseudo-random order.
Results. To assess the accuracy of the cube localization, deviations along the X- and Y-axes and absolute deviations were calculated. The general dynamics of localization accuracy was positive both in mono and stereo modes. Absolute deviation and X-axis deviation were significantly higher in stereo mode; there was no significant difference in Y-axis deviation between modes. On average, participants tended to underestimate the distance to the cube when it was on the left, right, or far side of the working surface, and overestimate the distance to the cube when it was on the near side of the working surface.
Conclusion. Tests demonstrated that the accuracy of object localization in stereo mode can be improved by increasing the time for training the participants and by showing them more presentations. The results of the study can be used to develop assistive techniques for people with visual impairments, to manufacture medical equipment, and create brain-computer interfaces.
Key words: visual impairments; visual-to-auditory sensory substitution; sound representation.
English
Введение
По данным Всемирной Организации Здравоохранения (ВОЗ), различными формами нарушения зрения, в том числе слепотой, страдают минимум 2,2 млрд человек по всему миру [1]. В ближайшие годы ожидается значительный рост числа таких людей по причине демографического роста и старения населения. В России, согласно статистике Минздрава, ежегодно регистрируется в среднем 4,7 млн случаев офтальмологических заболеваний. В течение 2022 г. диагностировано 3,6 млн случаев заболеваний глаз [2].
Для повышения качества жизни лиц с ограниченными возможностями зрения разрабатываются различные технологии, которые призваны решить проблему их самостоятельной навигации. В настоящее время для этого используются как традиционные подходы, такие как собаки-поводыри, шрифт Брайля,
тактильные индикаторы, так и современные инвазив-ные и неинвазивные технологии.
Инвазивные технологии включают в себя процедуры имплантации микрочипов непосредственно в сетчатку глаза или зрительный нерв [3]. Микрочипы могут преобразовывать световые сигналы в электрические импульсы, которые передаются в мозг и интерпретируются как зрительные сигналы. Данные технологии сопряжены с риском осложнений и отторжения имплантата организмом и требуют комплексной операции.
Неинвазивные технологии в отличие от инва-зивных не требуют хирургического вмешательства. К ним относятся транскраниальная магнитная стимуляция [4], магнитная стимуляция мозга при помощи наночастиц [5], сенсорное замещение [6].
Сенсорное замещение — процесс, в результате которого утраченная функция органа или чувства компенсируется другими органами или чувствами
/////////////////////^^^^
30 СТМ | 2024 | том 16 j №4 А.С. Буторова, Е.А. Корюкин, Н.М. Хоменко, А.П. Сергеев
[7]. Процесс сенсорного замещения зрения происходит с помощью двух основных видов устройств: визуально-тактильных и визуально-аудиальных. Визуально-тактильные устройства преобразуют изображение с камеры в тактильный сигнал, который подается на различные участки тела [8]. Визуально-аудиальное сенсорное замещение позволяет передавать информацию о внешней среде с помощью звуковых сигналов.
Одна из первых систем визуально-аудиального сенсорного замещения The vOICe была разработана П. Мейером [9]. По определенному алгоритму система The vOICe выполняет преобразование сигнала с видеокамеры в звуковой сигнал. Высота положения объекта в поле зрения видеокамеры кодируется звуковым тоном: чем выше положение объекта в поле зрения, тем выше тон его звучания. Яркость объекта кодируется громкостью: чем ярче (светлее) объект, тем громче он звучит.
Авторы работы [10] приводят 4 стадии формирования представлений, на которые опирается испытуемый при тренировке восприятия пространства и предметов с помощью системы сенсорного замещения The vOICe: диффузное восприятие, синкрет, предпонятие и понятие. Благодаря механизму обратной связи со временем обучающиеся выделяют из звучания предметы окружающего мира, отмечают различия между звуковыми паттернами и формами разных предметов и, наконец, могут определять принадлежность звучания незнакомого объекта к определенной категории.
В 1998 г. был разработан прототип другого устройства визуально-аудиального сенсорного замещения, который получил название PSVA (Prosthesis for Substitution of Vision by Audition) [11]. Принцип работы PSVA заключается в том, что каждому пикселю изображения ставится в соответствие синусоидальный сигнал звуковой частоты. Сумма этих синусоидальных сигналов воспроизводится через головные телефоны (наушники). The vOICe и PSVA преобразовывают черно-белые изображения и не передают цветовую информацию. Примерами систем, выполняющих преобразование в звук цветного изображения, являются EyeMusic [12] и SeeColOr [13]. В работе [14] для предварительной обработки сигнала с видеокамеры авторы использовали методы искусственного интеллекта.
При использовании устройств визуально-аудиаль-ного сенсорного замещения могут возникнуть ряд проблем. Одной из них является длительная тренировка пользователей устройств визуально-аудиаль-ного сенсорного замещения: от нескольких месяцев до нескольких лет [15-17]. Низкая доступность устройств визуально-аудиального сенсорного замещения влияет на их распространенность среди лиц с ограниченными возможностями зрения. Из-за ограниченного выпуска и высокой стоимости они проигрывают более доступным и удобным устройствам.
Кроме того, устройства сенсорного замещения тестируются преимущественно в лабораторных условиях, которые далеки от условий реальной среды обитания. Это может приводить к неполной или искаженной информации о реальной производительности устройств визуально-аудиального сенсорного замещения [18]. Наконец, пользователи таких устройств сталкиваются с сенсорной перегрузкой — состоянием, при котором мозг получает слишком большое количество ощущений от внешних раздражителей, что приводит к усталости и, как следствие, к снижению концентрации [18, 19]. В работе [20] в системе визу-ально-аудиального сенсорного замещения для предоставления пользователю звукового представления окружающей среды была использована видеокамера с двумя объективами. Систему применяли для навигации в различных сценариях, в том числе в условиях реальной среды обитания.
Авторы настоящей статьи предположили, что использование в системе визуально-аудиального сенсорного замещения стереорежима, выполняющего преобразование сигнала с видеокамеры с двумя объективами, позволит симулировать бинокулярное зрение человека и тем самым повысить точность пространственной локализации объекта. Была сформулирована следующая гипотеза: использование в системе визуально-аудиального сенсорного замещения стереорежима повысит точность решения задачи пространственной локализации объекта по сравнению с монорежимом.
Цель исследования — оценить точность пространственной локализации объекта в моно- и сте-реорежимах визуально-аудиального сенсорного замещения путем тестирования разработанной системы на испытуемых с нормальным или скорректированным до нормального зрением.
Материалы и методы
Прототип устройства и экспериментальная установка. Прототип устройства визуально-ауди-ального сенсорного замещения изготовлен на основе очков и цифровой видеокамеры с двумя объективами (рис. 1, а). Сигнал с видеокамеры передается через USB-порт на ноутбук. Этот сигнал преобразуется в звук с помощью оригинального программного обеспечения. Звуковой сигнал считывается с ноутбука и воспроизводится через проводные наушники.
Данное устройство предназначено для лиц с нарушениями зрения с 3-й по 5-ю категорию по классификации МКБ-10 степеней тяжести нарушения зрения (группа Н54 Нарушения зрения, включая слепоту) [21]. В эти категории входят лица с ограниченными возможностями зрения, которые нуждаются в помощи в повседневной жизни, используют белую трость, собаку-поводыря или человека-поводыря для навигации.
Экспериментальная установка состоит из стола, покрытого черной тканью (рис. 1, б). С каждой из
оригинальные: исследования
Рис. 1. Экспериментальная установка:
а — прототип устройства визуально-аудиального сенсорного замещения; б — белый куб на черной поверхности стола
четырёх сторон, чтобы исключить засветы и шум, он окружен черной тканевой ширмой. Размеры рабочей поверхности составляют 600x600 мм2. Над ней установлено локальное освещение, основного освещения в помещении нет. Для видеофиксации эксперимента над рабочей поверхностью установлена видеокамера таким образом, чтобы ее фокальная плоскость была параллельна плоскости стола. В качестве манипулируемого объекта используется белый пластиковый куб размером 4x4x4 см3.
Программное обеспечение. На вход разработанной программы поступает изображение с цифровой видеокамеры с двумя объективами, которые создают два отдельных кадра на двух отдельных матрицах. Программа захватывает изображения с двух объективов и изменяет цветовое пространство изображений с RGB на чёрно-белое. Для захвата изображений с видеокамеры использовали библиотеку OpenCV языка программирования Python, преобразование изображений в звук реализовано на языке С.
Программа может работать в двух режимах: моно или стерео (рис. 2). В монорежиме использован алгоритм The vOICe [9]. Стереорежим разработан авторами. В монорежиме из двух исходных изображений формируется одно в соответствии со средним значением яркости исходных изображений. Размер изображения уменьшается до 176x64 пикселей, а яркость и контрастность изображения изменяются в соответствии с заданными правилами. В стереорежиме программа выполняет те же преобразования отдельно для каждого из двух исходных изображений.
Затем в монорежиме программа разбивает изображение на строки и столбцы шириной 1 пиксель
и вычисляет значение звукового сигнала для каждого пикселя на пересечении строки и столбца. Вычисляются два параметра звукового сигнала: амплитуда и частота. Амплитуда звукового сигнала вычисляется пропорционально яркости пикселя, при этом чем выше яркость, тем больше амплитуда звукового сигнала. Частота звукового сигнала вычисляется пропорционально координате положения пикселя по вертикальной оси, при этом чем больше координата, тем выше частота его звучания. Затем программа суммирует значения звукового сигнала по столбцам пикселей последовательно слева направо и записывает их в аудиофайл. При воспроизведении аудиофайла громкость в правом канале устанавливается выше для первой половины файла, громкость в левом канале — выше для второй половины файла.
В стереорежиме программа выполняет разбиение и вычисление параметров звукового сигнала аналогично монорежиму, но для двух изображений по отдельности. Отличие от монорежима заключается в том, что в стереорежиме программа записывает значения сигнала с левого кадра в левый канал аудиофайла, а значения сигнала с правого кадра — в правый канал аудиофайла.
Экспериментальное исследование. Для оценки возможностей разрабатываемой системы проведено экспериментальное исследование в соответствии с этическими принципами, сформулированными в Хельсинкской декларации (2013). Получено разрешение Комиссии по этике УрФУ им. Б.Н. Ельцина (выписка из протокола заседания №02 от 10 марта 2023 г.).
//////////////////^^^^
32 СТМ f 2024 f том 16 f №4 А.С. Буторова, Е.А. Корюкин, Н.М. Хоменко, А.П. Сергеев
Исходное изображение
Сконвертированное изображение
Левый канал
Правый канал
О 1№ХЮ 20000 ЭОООО 40000 0 ЮООО 20«И) 30000 40000
Время, нс Время, нс
Рис. 2. Моно- (а) и стереорежимы (б)
Исходное изображение
Левый объектив Правый объектив
Левый канал
Правый канал
ui- IL
"т : г
О 10000 20000 30000 40000 0 10000 20000 30000 40000
Время, нс Время, нс
б
а
Все участники подписали информированное согласие на участие в исследовании и согласие на обработку данных, полученных в ходе исследования (данные участников были анонимизированы). Участие в эксперименте являлось добровольным, каждый испытуемый мог в любое время отказаться от участия без объяснения причин. Участники имели нормальное или скорректированное до нормального зрение и сообщили об отсутствии в анамнезе неврологических или психических заболеваний. Ни один из участников ранее не имел опыта использования устройств сенсорного замещения для определения местоположения объектов или исследования трехмерной среды.
В эксперименте приняли участие 30 человек в возрасте от 18 до 51 года. Было сформировано две группы: 15 человек протестированы в монорежиме, остальные 15 — в стереорежиме. Группы были сбалансированы по полу и возрасту: 15 мужчин со средним возрастом 30,2 года и 15 женщин со средним возрастом 30,7 года.
На время эксперимента участникам завязали глаза, таким образом никто из них не видел установку до окончания эксперимента. Перед началом работы проводилась калибровка: экспериментатор располагал куб в центре рабочей поверхности стола, участники прослушивали, как звучит куб, и накрывали его ладонью. Затем экспериментатор устанавливал куб в крайнее верхнее и крайнее нижнее положения на рабочей поверхности, чтобы участники получили представление о ее размерах.
Все участники прошли обучение работе с системой визуально-аудиального сенсорного замещения. Экспериментатор подробно рассказал о правилах перекодирования изображения в звук и просил ис-
пытуемых выполнить тренировочные задания: локализовать и захватить куб в центральном, правом нижнем и левом верхнем положениях на рабочей поверхности. Чтобы определить местоположение куба, участники должны были отцентрировать камеру таким образом, чтобы куб находился прямо перед ними. Отцентрированный куб звучал в средней тональности в середине звуковой дорожки. Инструкции по определению местоположения куба были взяты из русскоязычной версии Учебного пособия по использованию программы The vOICe без существенных изменений: «Для вертикального центрирования необходимо поднять голову вверх и потом наклонить вниз, пока сигнал объекта не зазвучит в среднем тоне (ни высоко, ни низко). Далее, поддерживая голову на выбранном уровне, необходимо повернуть ее влево, затем вправо, пока сигнал не зазвучит через полсекунды от начала звучания звукового ландшафта, т.е. в горизонтальной середине каждого скана звукового ландшафта продолжительностью в одну секунду. Таким образом, будет казаться, что звук объекта доносится от направления «прямо перед вами», а не справа или слева. Тогда вы можете протянуть руку и схватить предмет, представляя, что он находится в том направлении, в котором указывает ваш нос» [22]. После тренировки испытуемые переходили к этапу тестирования.
Во время тестирования белый куб случайным образом устанавливали в одно из 20 положений на рабочей поверхности стола. Каждому участнику предъявляли одну и ту же последовательность положений куба. Участник сидел на стуле перед столом и исследовал установку с помощью наклонов головы и корпуса. Вставать и передвигаться по комнате было нельзя. После первых 10 предъявлений куба всем
шашшамшшштшшштшашааммшшммшшмшм
Визуально-аудиальное сенсорное замещение для лиц с ограниченными возможностями по зрению СТМ | 2024 { том 16 { №4 33
участникам был предложен 10-минутный перерыв, при этом они могли отказаться от перерыва и продолжить эксперимент.
Для оценки точности места расположения куба вычисляли отклонения по осям X и Y с соответствующим знаком и абсолютные отклонения. Для этого были размечены центральные точки на гранях куба и тыльных сторонах ладоней испытуемых. Отклонения по осям X и Y вычисляли как разницу между центральной точкой верхней грани куба и точкой, отмеченной черным маркером на тыльной стороне ладони участника. Абсолютные отклонения del вычисляли по формуле:
del delX2+delY2,
где delX — отклонение по оси X; delY — отклонение по оси Y.
Статистическую обработку данных выполняли в программном пакете Statistica v. 12. Статистическую значимость различий результатов двух экспериментальных групп оценивали с помощью непараметрического критерия Манна-Уитни, поскольку рассматривались различия между независимыми группами.
В группе, которая тестировалась в монорежиме, абсолютное отклонение составило 125,9±98,1 мм; в группе, которая тестировалась в стереорежиме, — 173,6±113,2 мм.
Результаты
Общая динамика точности локализации куба.
Ее значения были положительными как в моно-, так и в стереорежиме. Наблюдаемое абсолютное отклонение снижалось с 1-го по 12-14-е предъявление. Затем наблюдался рост абсолютного отклонения с 14-15-го по 20-е предъявление, однако исходные абсолютные отклонения не были достигнуты (рис. 3).
Абсолютные отклонения. Их значения были статистически значимо выше в стереорежиме (тест Манна-Уитни, р<0,05). Отклонение по оси X оказалось статистически значимо выше также в стереорежиме (тест Манна-Уитни, р=0,03). Статистически значимого различия в отклонении по оси У между режимами не обнаружено (тест Манна-Уитни, р=0,38).
В обоих режимах участники были склонны к смещению к центру рабочей поверхности как по оси X, так и по оси У. В среднем участники были склонны к смещению по оси X вправо, причем смещение по оси X было немного выше в стереорежиме. В среднем участники недооценивали расстояние до куба по оси У при этом недооценка в моно- и стереоре-жимах была примерно сопоставимой (рис. 4).
Отклонения по осям X и У. Когда куб находился в левой части рабочей поверхности (рис. 4, область отрицательных значений по оси X), участники были склонны недооценивать расстояние до него. При этом, чем левее был расположен куб, тем сильнее испытуемые недооценивали расстояние до него. Недооценка расстояния до куба в стерео-режиме оказалась выше, чем в монорежиме. Когда куб находился в правой части рабочей поверхности (рис. 4, область положительных значений по оси X), испытуемые вновь недооценивали расстояние до куба. При этом, чем правее был расположен куб, тем сильнее испытуемые недооценивали расстояние до него (рис. 5, а).
Когда куб находился в нижней части рабочей поверхности (рис. 4, область отрицательных значений по оси У), участники были склонны переоценивать расстояние до него, а при нахождении куба в верхней части рабочей поверхности (рис. 4, область положительных значений по оси У) отмечена склонность участников недооценивать расстояние до него. При этом переоценка расстояния до куба, расположенного в нижней части рабочей поверхности, была в
350,0 300,0
s s
® 250,0
I
ф
I
0
g 150,0
1
Si ioo,o
о
ю <
50,0
. полиномиальная . полиномиальная функция (режим моно) функция (режим стерео)
2-1
y=U,4/1X l,97X+231,7
У= 3,695x2-1 7,343x+206 9
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21
Номер предъявления
Рис. 3. Общая динамика точности локализации куба
///////////////////^^^^^
34 СТМ i 2024 i том 16 j" №4 А.С. Буторова, Е.А. Корюкин, Н.М. Хоменко, А.П. Сергеев
Рис. 4. Абсолютные отклонения значений точности локализации объекта
□ положения куба ♦ режим стерео о среднее, режим стерео
□ □ 240
120
• режим моно
• среднее, режим моно
□ п
-240
□
-180
-И0
о 4— -^о о Офбо
120 » 180 ш 240
>-л
с
О
•Й -îfo
□ -240
-360
Ось X, мм
О
Положение испытуемого
150 100 ш s 50 s о о о ■= 0 а> s X ш о -50 ^ О 150 100 м м >-" 50 и о о g 0 (D и н Ф н
\х0 — ^х1 — режим моно режим стерео y0 — y1 — режим режим моно стерео
Чч
ч" ïj
ч ^4
ч. о т о -100 Ч
-150 ~2 х0=29 х1=44 3608-0 9115-0 1342*х 4934*х; 0,95 conf. int. 0,95 conf. int. y0=-2 y1=-2 3,07213,708-0 0,4403* ,5208*х х; 0,95 conf. int. ; 0,95 conf. int. -V
НО -150 -100 -£ 0 а SO 100 150 2 Координата X куба, мм ,0 -200 -150 -100 -50 0 50 100 150 200 Координата Y куба, мм б
Рис. 5. Отклонения по осям X (а) и Y (б)
2 раза меньше, чем недооценка расстояния до куба, расположенного в верхней части рабочей поверхности. Оба режима показали примерно сопоставимые отклонения по оси У (рис. 5, б).
Обсуждение
Исследование возможностей системы сенсорного замещения предполагает несколько этапов, первым
из которых является экспериментальное тестирование разрабатываемой системы на людях с нормальным или скорректированным до нормального зрением. В настоящей работе точность пространственной локализации куба в моно- и стереорежимах визуаль-но-аудиального сенсорного замещения была оценена именно путем тестирования на испытуемых с нормальным или скорректированным до нормального зрением.
Общая динамика точности локализации куба была положительной как в моно-, так и в стереорежиме. Наблюдаемый рост абсолютного отклонения с 14-15-го по 20-е предъявление может свидетельствовать об испытываемой тестируемыми сенсорной перегрузке, которая привела к снижению точности локализации куба. Этот эффект согласуется с результатами, полученными в других исследованиях [23, 24]. Однако для более качественного решения проблемы сенсорной перегрузки необходима модификация алгоритма визуально-аудиального сенсорного замещения. Преобразование и передача каждой части информации, снятой видеокамерой, создают дискомфортную стимуляцию. Поэтому при разработке алгоритмов визуально-аудиального сенсорного замещения принципиальный вопрос заключается в том, какой объем информации из поля зрения видеокамеры следует преобразовывать в звук и следует ли эту информацию просто транслировать или значительно пред-обрабатывать и упрощать при преобразовании в звук.
Авторами была выдвинута гипотеза о том, что использование стереорежима в системе визуально-ау-диального сенсорного замещения повысит точность решения задачи пространственной локализации куба. Однако абсолютное отклонение и отклонение по оси X оказались статистически значимо выше в стереорежиме. Испытуемые в среднем с одинаковой точностью оценивали расстояние до объекта по глубине в обоих режимах, однако в стереорежиме они значительно недооценивали расстояние до объекта по ширине вправо и влево. Таким образом, стерео-режим не продемонстрировал увеличения точности, что не позволило подтвердить гипотезу. Этот результат, однако, может указывать на недостаточность времени обучения для успешного освоения навыка использования стереорежима.
В обоих режимах участники были склонны к смещению объекта к центру рабочей поверхности как по оси X, так и по оси Y. Этот результат согласуется с предыдущей работой авторов по восприятию глубины при визуально-аудиальном сенсорном замещении [19]. Систематическая склонность к смещению объекта вправо по оси X может указывать на функциональную асимметрию мозга участников в задаче локализации объекта [25].
Полученные результаты дают возможность сформулировать дальнейшие направления исследований:
1) оценка субъективной сенсорной перегрузки испытуемых в моно- и стереорежимах визуально-ауди-
ального сенсорного замещения с помощью опросников, например индекса нагрузки NASA-TLX [26];
2) оценка точности пространственной локализации объекта в стереорежиме с предъявлением большего числа проб;
3) проведение экспериментального тестирования моно- и стереорежимов в реальной среде и их корректировка с учетом особенностей среды обитания;
4) тестирование разработанных режимов на испытуемых с ограниченными возможностями зрения.
Заключение
В настоящей работе предложены моно- и стерео-режимы визуально-аудиального сенсорного замещения и протестированы на испытуемых с нормальным или скорректированным до нормального зрением. Изготовлен прототип устройства визуально-аудиаль-ного сенсорного замещения на основе видеокамеры с двумя объективами, разработано программное обеспечение, выполняющее преобразование сигнала с видеокамеры в звук в моно- и стереорежимах.
Полученные результаты позволяют говорить о перспективах разработки ассистивных технологий для лиц с ограниченными возможностями по зрению, а также интерфейсов мозг-компьютер.
Благодарности. Авторы выражают благодарность добровольцам, принявшим участие в исследовании.
Финансирование. Исследование выполнено по государственному заданию ИПЭ УрО РАН (номер темы в ЕГИСУ НИОКТР 124022800166-4). Аспирант УрФУ Е.А. Корюкин и студент УрФУ Н.М. Хоменко принимали участие в исследовании в период практики и выполнения учебно-исследовательских работ.
Конфликт интересов. У авторов нет конфликта интересов.
Литература/References
1. World Health Organization. Blindness and vision impairment. URL: https://www.who.int/news-room/fact-sheets/detail/blindness-and-visual-impairment.
2. Федеральная служба государственной статистики (Росстат). Заболеваемость населения по основным классам болезней в 2000-2022 гг. URL: https://rosstat.gov. ru/storage/mediabank/zdr2-1.xls.
Federal State Statistics Service (Rosstat). Incidence in the population by main classes of diseases in 2000-2022. URL: https://rosstat.gov.ru/storage/mediabank/zdr2-1.xls.
3. Erickson-Davis C., Korzybska H. What do blind people "see" with retinal prostheses? Observations and qualitative reports of epiretinal implant users. PLoS One 2021; 16(2): e0229189, https://doi.org/10.1371/journal. pone.0229189.
4. Koponen L.M., Peterchev A.V. Transcranial magnetic stimulation: principles and applications. In: He B. (editor). Neural Engineering. Springer, Cham; 2020, https://doi. org/10.1007/978-3-030-43395-6_7.
/////////////////////^^^^
36 СТМ I 2024 j том 16 j №4 А.С. Буторова, Е.А. Корюкин, Н.М. Хоменко, А.П. Сергеев
5. Nguyen T., Gao J., Wang P., Nagesetti A., Andrews P., Masood S., Vriesman Z., Liang P., Khizroev S., Jin X. In vivo wireless brain stimulation via non-invasive and targeted delivery of magnetoelectric nanoparticles. Neurotherapeutics 2021; 18(3): 2091-2106, https://doi.org/10.1007/s13311-021-01071-0.
6. Farnum A., Pelled G. New vision for visual prostheses. Front Neurosci 2020; 14: 36, https://doi.org/10.3389/fnins. 2020.00036.
7. Bach-y-Rita P., Kercel S. W. Sensory substitution and the human-machine interface. Trends Cogn Sci 2003; 7(12): 541-546, https://doi.org/10.1016pcs.2003.10.013.
8. Brooks J., Kristjansson A., Unnthorsson R. Sensory substitution: visual information via haptics. In: Holmes N.P. (editor). Somatosensory Research Methods. Neuromethods. Vol 196. Humana, New York, NY; 2023, https://doi. org/10.1007/978-1-0716-3068-6_14.
9. Meijer P.B. An experimental system for auditory image representations. IEEE Trans Biomed Eng 1992; 39(2): 112121, https://doi.org/10.1109/10.121642.
10. Лебедева С.А. Звуковое зрение как современный способ реабилитации незрячих людей. В кн.: Cognitive Neuroscience — 2021. Екатеринбург: Издательство Уральского университета; 2022; с. 176-180. URL: https:// elar.urfu.ru/handle/10995/109097.
Lebedeva S.A. Zvukovoe zrenie kak sovremennyy sposob reabilitatsii nezryachikh lyudey. V kn.: Cognitive Neuroscience — 2021 [vOICe sound vision as a modern method for rehabilitation of blind people. In: Cognitive Neuroscience — 2021]. Ekaterinburg: Izdatel'stvo Ural'skogo universiteta; 2022; p. 176-180. URL: https://elar.urfu.ru/ handle/10995/109097.
11. Capelle C., Trullemans C., Arno P., Veraart C. A real-time experimental prototype for enhancement of vision rehabilitation using auditory substitution. IEEE Trans Biomed Eng 1998; 45(10): 1279-1293, https://doi. org/10.1109/10.720206.
12. Abboud S., Hanassy S., Levy-Tzedek S., Maidenbaum S., Amedi A. EyeMusic: introducing a "visual" colorful experience for the blind using auditory sensory substitution. Restor Neurol Neurosci 2014; 32(2): 247-257, https://doi.org/10.3233/RNN-130338.
13. Bologna G., Deville B., Pun T., Vinckenbosch M. Transforming 3D coloured pixels into musical instrument notes for vision substitution applications. EURASIP Journal on Image and Video Processing 2007; 2007: 1-14, https:// doi.org/10.1155/2007/76204.
14. Kim M., Park Y., Moon K., Jeong C.Y. Deep learning-based optimization of visual-auditory sensory substitution. IEEE Access 2023; 11: 14169-14180, https://doi.org/ 10.1109/ACCESS.2023.3243641.
15. Neugebauer A., Rifai K., Getzlaff M., Wahl S. Navigation aid for blind persons by visual-to-auditory sensory substitution: a pilot study. PLoS One 2020; 15(8): e0237344, https://doi.org/10.1371/journal.pone.0237344.
16. Ward J., Meijer P. Visual experiences in the blind
induced by an auditory sensory substitution device. Conscious Cogn 2010; 19(1): 492-500, https://doi.org/ 10.1016/j.concog.2009.10.006.
17. tukowska M., Kalwak W., Osinski D., Janik J., Wierzchon M. How to teach a blind person to hear colours? Multi-method training for a colour-to-sound sensory substitution device — design and evaluation. International Journal of Human-Computer Studies 2022; 168: 102925, https://doi.org/10.10167j.ijhcs.2022.102925.
18. Richardson M., Thar J., Alvarez J., Borchers J., Ward J., Hamilton-Fletcher G. How much spatial information is lost in the sensory substitution process? Comparing visual, tactile, and auditory approaches. Perception 2019; 48(11): 1079-1103, https://doi.org/10.1177/0301006619873194.
19. Буторова А.С., Сергеев А.П. Опыт использования неинвазивного сенсорного замещения при локализации объектов в пространстве. Траектория исследований — человек, природа, технологии 2023; 2(6): 16-27, https:// doi.org/10.56564/27825264_2023_2_16.
Butorova A.S., Sergeev A.P. Experience of using non-invasive sensory substitution in localization of objects in space. Traektoriya issledovaniy — chelovek, priroda, tekhnologii 2023; 2(6): 16-27, https://doi.org/10.56564/2782 5264_2023_2_16.
20. Caraiman S., Zvoristeanu O., Burlacu A., Herghelegiu P. Stereo vision based sensory substitution for the visually impaired. Sensors (Basel) 2019; 19(12): 2771, https://doi.org/10.3390/s19122771.
21. Международная классификация болезней 10-го пересмотра (МКБ-10). URL: https://mkb-10.com/.
International Classification of Diseases, 10th revision (ICD-10). URL: https://mkb-10.com/.
22. Учимся видеть. Учебное пособие по использованию программы The vOICe. URL: https://www. seeingwithsound.com/manual_ru/The_vOICe_Training_ Manual_ru.htm.
Seeing with Sound. A tutorial on using The vOICe program. URL: https://www.seeingwithsound.com/manual_ ru/The_vOICe_Training_Manual_ru.htm.
23. Froese T., Ortiz-Garin G.U. Where is the action in perception? An exploratory study with a haptic sensory substitution device. Front Psychol 2020; 11: 809, https://doi org/10.3389/fpsyg.2020.00809.
24. Yun O.T., Deng Q. Concerns regarding substitution: overload and conflict. Proceedings International Conference on Social Sciences an and Arts (SSHA 2022) 2022, https://doi. assehr.k.220401.185
25. Kiss D.S., Toth I., Jocsak G., Barany Z., Barth Frenyo L.V., Horvath T.L., Zsarnovszky A. Functional aspects of hypothalamic asymmetry. Brain Sci 2020; 10(6): 389 https://doi.org/10.3
26. Hart S
pment of NASAal and theoretical 2: 139-183,
9.
