CC BY
38
УДК 007:61, 681.3.01 М.Ю. Катаев, Я.А. Хамаганов
Исследование двигательной активности человека на основе анализа видеоизображений. Аппаратно-программный комплекс
Приводится описание разрабатываемого аппаратно-программного комплекса для задач исследования двигательной активности человека, для медицинских целей. Приводятся используемые методики обработки изображений.
Ключевые слова: изображение, алгоритмы обработки, движение человека.
Введение
Наблюдение является основным инструментом как врача времен Гиппократа, так и современности. Однако на пути, именно современного врача возникает множество проблем, прежде всего, связанных с приемом большого количества пациентов, дефицитом времени и невозможностью вести сосредоточенный осмотр, анализ. В этой связи на помощь врачу может прийти видеотехника, которая к настоящему времени развита по техническим параметрам достаточно сильно и вполне доступна при приобретении по цене. Видеотехника применяется активно уже во многих отраслях промышленности, контроле безопасности и охране, в том числе и в медицине, но редко и в основном в исследовательских целях. В последнее время получило развитие такое направление, как телемедицина [http://www.news:sci.med.telemedicine], которая стало играть значимую роль при проведении удаленных осмотров, проведении операций и др. Однако в таком разделе медицины, как осмотр пациента, видеотехника практически не применяется. Нами предлагается для проведения осмотра пациента, а именно в задаче определения двигательной активности, применять видеотехнику.
Существует неразрывная связь между двигательной активностью человека и его психофизиологическим состоянием [1]. В монографии отмечено, что форма нашего тела выражает сама по себе не только то, чем мы являемся, но и очень многое рассказывает о себе, когда мы начинаем двигаться. Известно, что фигура человека, при своем движении во времени претерпевает множество изменений, многие из которых являются типичными для большинства людей, а отклонения могут служить информацией для изучения соответствующих патологий.
Основные методы, которые применяются в настоящее время, связаны с применением специальных датчиков, перемещения которых фиксируются видеотехникой [2]. Этот способ является хорошим для проведения тестовых медицинских научных исследований и невозможным для практического использования ввиду того, что он является весьма затратным по времени. Нами предлагается применять непосредственно видеотехнику к определению характеристик двигательного состояния пациента при использовании математического аппарата обработки изображений.
К настоящему времени наработаны достаточно большие объемы информации о параметрах конституции человека [3]. Эта информация, совместно с информацией, которая определяется, как правило, личным опытом врача, должна стать первичной информацией для нашей аппаратно-программной системы. Эта система должна позволить решать следующие задачи:
1) Вести электронный протокол обследования (видеоинформация и впоследствии звук).
2) Фиксировать результаты тестовых упражнений в форме записи видео и звука.
3) Анализировать видеоизображения с определением некоторых фиксированных параметров, характеризующих тот или иной тест.
4) Позволять анализировать предыдущие посещения, которые фиксировались в графическом и табличном видах.
5) Сохранять информацию в специализированной базе данных.
Отметим, что в практике медицины применение видеотехники [4] носит множество ограничений (правовых [5], этических и др.), которые необходимо постепенно преодолевать. Это является существенным и сдерживающим фактором внедрения видеотехники в практику медицины.
Описание аппаратно-программного комплекса
Во время проведения тестов приходится проводить видеосъемку пациента, возникают психологическая (нежелание) и правовая коллизии, о которых сказано ранее. Разрешение коллизий возможно при сохранении лишь отдельных параметров и вычисленных характеристик, но не изображений (фотографии и видео) испытуемого. При наличии информированного согласия пациента имеется возможность сохранить фото в базе данных. Для того чтобы сторонние лица не смогли воспользоваться этими изображениями, нами планируется архивировать их в специальном формате, внутреннем для нашего программного комплекса.
Подход к решению. Разрабатываемая нами система в настоящее время базируется на применении вебкамеры, с типичным разрешением, которое составляет 640x480 пикселей и 30 кадров/c. Далее нами подготовлены процедуры преобразования видеопотока в статические изображения формата BMP с заранее известным шагом по кадрам (каждый второй кадр, третий или все подряд). Эта информация является первичной для анализа и определения цифровых характеристик. Например, возможно определение роста человека, площади фигуры (фас или анфас), головы, рук при помощи специальных методов обработки видеоинформации. Эта часть работы напрямую связана с таким направлением, как калибровка камеры. В настоящее время нами разрабатываются методики, которые позволили бы перейти от исследовательской фазы к практической фазе применения программы.
Структура программного комплекса показана на рис. 1. Источником изображения является вебкамера, видеопоток от которой принимается программой и разбивается на статические изображения, которые потом анализируются. Результаты анализа представляются врачу в табличном и графическом видах.
Рис. 1. Структура аппаратно-программного комплекса
Последовательность действий по использованию данного комплекса выглядит так: объектом исследования является человек, который в зависимости от того или иного тестового упражнения находится на некотором удалении от вебкамеры. Для каждого вида упражнения заранее подбираются расстояния между человеком и вебкамерой для того, чтобы алгоритмы обработки изображений позволили получить оптимальные решения. Это позволит избавиться от необходимости применять методики корректировки контрастности и резкости. Далее происходит получение изображения и его последующий анализ. Отметим, что реализация комплекса требует решения некоторых технических проблем, таких как: освещенность, размер помещения, возможность внесения изменений в интерьер и др., что будет вносить соответствующие изменения в алгоритмы анализа поступающих изображений.
Программа состоит из нескольких блоков: блоки выявления типичных ситуаций для тестовых занятий, таких как оценка скорости, формы пациента и особенности фигуры (отличие от некоторого идеального объекта). Оценка скорости выполнения тех или иных упражнений позволит врачу выявлять успехи в движении пациента к выздоровлению. Оценка формы необходима для контроля упражнений, выполняемых в движении, например оценка объема движения в локтевом суставе, симметрии движения рук и ног при ходьбе и др. Блок выявления особенностей поведения лица является вспомогательным в данном комплексе, на его возможности могут быть распространены различные врачебные направления (неврология, психиатрия и др.). Нами предлагается для анализа ре-
зультатов отдельных упражнений ввести базу данных эталонов, куда записываются результаты выполнения тех или иных упражнений здоровыми людьми. Тогда сравнение результатов (цифровых) теста для пациента и результата из базы данных для того же упражнения позволит врачу видеть степень удаленности или степень приближения пациента к состоянию здорового человека. Этот момент является подсказывающим, но не определяющим при анализе состояния пациента.
Применяемые алгоритмы
Поступающее изображение от стандартной вебкамеры не является устойчивым по своим характеристикам (освещенность, шумовые параметры). Для того чтобы методики анализа изображений работали автоматически, мы предварительно приводим все изображения к одному формату. Анализ контрастности и приведение всех изображений к одному формату мы проводим при помощи метода цветовых гистограмм. Этот подход широко используется при индексировании изображений [6].
Выделение фигуры человека на изображении проходит в два этапа. Первый из них связан с пространственным сегментированием изображения. Пространственное сегментирование - выделение областей с некими общими свойствами. Таковых две разновидности: анализ только данного изображения и сравнение с аналогом. Для сегментации нами применяется в настоящее время первый подход, основанный на применении меры Хемминга. Алгоритм:
1) находим максимальную и минимальную яркости на изображении и делим их на число предполагаемых областей (например, К=10). Получаем набор значений яркости ти, И = 1, ..., К;
2) для каждого пикселя изображения (х, у-) подсчитать Ди=|Дхг,у;-) - для И = 1,...,К;
3) текущий пиксель (хг, у-) приписывается к кластеру И при выполнени условия Ди>= тт{Дь И = 1, ..., К};
4) рассчитать заново величины ти, И = 1, ...,К1 для К < К;
5) повторяем шаги 2-4 до тех пор, пока -¿е, где е - заданный порог, в величинах яркости.
Полученные в результате такого подхода области определяются характерным расположением на изображении и размерами. Это затратная по времени процедура, однако в настоящее время наша задача связана с конечным результатом - доведение обработанных значений изображений до врача, и поэтому время обработки видеопоследовательности не является ограничением.
Для успешной работы алгоритма необходимы соответствующие условия проведения съемки: однородный фон и присутствие одного человека на изображении и освещение, падающее сверху, чтобы не создавать ярких теней. Далее определение границ объектов изображения (которое по сути однозначно связано с фигурой человека) выполняется нами по следующей схеме: цветное изображение переводится в черно-белое полутоновое и сглаживается, осуществляется пространственное дифференцирование - вычисляется градиент функции интенсивности в каждой точке изображения и, наконец, подавляются значения меньше установленного порога. За основу взят алгоритм по методу Собеля [7]. При этом подходе на границах между тёмными и светлыми областями вектор градиента указывает направление перехода от тёмной к светлой области, а его модуль имеет большое значение. Пусть функция I(х,у) - интенсивность изображения, состоящего из N х М пикселей. Тогда для каждого пикселя изображения для поиска границ областей изображения можно применить так называемые операторы Собеля (матрицы Н1 и Н2). Для примера рассмотрим участок изображения с центром в точке I (г, ¡) :
1 2 1 -1 0 1 Тi-l,j-l Тi+l,j+l
Н1 = 0 0 0 , Н2 = -2 0 2 , I = Тi-1,j Тг+l,j
-1 -2 -1 -1 0 1 ^-1,1-1 к]-1 Тi+l,j-1
Тогда свертка матриц Н1 и Н2 с частью изображения может быть представлена формулами:
«1 = Н1 *1 = (1г-1-+1 + 211-+1 +11+1,-+1)- (1г-1,--1 + г, + I+1,--1 ^ * Т = 1
«2 = Н2 * Т = (Тг+1,/+1 + 2Тi+1,j + Тг+1,/-1 )-(Тi-1,j+1 + 2Тг-1,- + Тг-1,/-1). При этом величина градиента gij (/) функции I в точке (г,¡) будет определяться выражением gij = ^«12 + «I , а направление вектора градиента в точке изображения (г, ¡) -
а^- = агеЬап52) . Вычисляя максимальное и минимальное значение градиента, при
задании определенного порога можно уверенно детектировать границы областей, которые существуют на изображении. Если съемка проходит в условиях однородного фона (например, напротив стены), то координаты расположения фигуры человека на каждом изображении выделяются однозначно. Теперь нам остается лишь анализировать изменения фигуры человека во времени.
Ввиду того, что изображения, получаемые с вебкамеры не являются хорошими по качеству (изменение яркости, выбросы яркости и другие эффекты), для более успешного поиска границ проводится предварительная фильтрация изображения. Для этих целей применяется фильтр Гаусса, который представляет собой квадратную матрицу нечётного порядка, значения элементов которой соответствуют нормальному распределению. Значения фильтра Гаусса рассчитываются следующим образом [8]:
Ъ(х,у) = ехр|-(х2 + у2/а2)|, Н(х,у) = Н(х,у)/ЦН(х,y)dxdy,
1ы = Е Н
1+п+1-+п+\1к+1,1+-
Ч=
где Н - ядро фильтра Гаусса; I - изображение; О - область покрытия фильтром части изображения (например, 3x3).
После того как в полученной последовательности изображений выделена фигура, нами выполняются расчеты динамических характеристик двигательной активности человека. Для этого выполняются расчеты центра массы всей фигуры человека и отдельных участков тела из пропорции: высота фигуры, равномерно деленная на 5 частей. Вычисляемые параметры:
1х=ЕЕ х11(х1 ,у-)/ЕЕ 1(х ,у-), 1У=ЕЕ У-1(Х ,У-)/ЕЕ 1(х ,у-),
(1)
1 ]
1 ]
1 ]
1 ]
4
м=, их +12
(2)
Таким образом, получаются наборы синусоидального вида кривых, анализ которых позволяет выделить соответствующие артефакты, связанные с той или иной патологией функций движения. Результаты анализа двигательной активности будут основой для следующей части статьи.
Описание программы
Нами описанные выше алгоритмы положены в основу программы, которая написана в первой версии в среде разработки Delphi-7, основной интерфейс которой представлен на рис. 2. В программе пять основных блоков: «Съемка», «Электронная карточка пациента», «Экспертная оценка», «Анализ упражнений и Моделирование». В настоящей версии программы два блока: «Экспертная оценка» и «Моделирование» - отсутствуют.
Рис. 2. Внешний вид интерфейса программы
п
Работа в программе начинается с электронной карточки пациента, куда заносится информация о пациенте и затем следует работа с блоком «Съемка». В зависимости от того или иного упражнения, которое должен выполнять пациент, врач, согласно требованиям, определяет соответствующее расстояние между вебкамерой и человеком. Врач оперирует всего двумя командами СТАРТ-СТОП. В момент съемки из видеопотока выделяются с выбранным интервалом (в зависимости от типа упражнения) изображения в формате BMP, которые поступают на вход блока «Анализ упражнений». В настоящий момент в виде информации выдается графическое представление параметров, рассчитываемых по формулам (1)-(2). Результаты работы программы приведены на рис. 3 и 4. На рис. 3 представлены фрагменты бинаризованных изображений, представляющих отдельные фазы движения. Графическая информация, представляющая двигательную активность человека через вычисление изменения положения центра массы фигуры человека, показана на рис. 4.
Рис. 3. Бинаризованные изображения движения человека
5,0 -
4,5
Я 4,0 -
а р
н е S е и н е
еж о л о
С
3,5
3,0
2,5
2,0
1,5
1,0
0 10 20 30 40 50 60 70 Номер кадра Рис. 4. Изменение положения центра массы фигуры человека при его движении вдоль камеры
Информация, представленная на рис. 4, является основой для анализа и получения данных о двигательной активности человека: длина шага, симметрия, энергия шага и др. Методики получения данной информации будут представлены во второй части этой статьи.
Заключение
Предлагаемая к рассмотрению система в настоящее время находится на начальном этапе развития. Идет сближение подходов обследования классической медицины с приемами, развитыми в области видеосъемки и обработки изображений. На наш взгляд, сочетание традиционных подходов к обследованию совместно с новыми подходами позволит повысить эффективность обследования и диагностирования заболеваний, на что и нацелена настоящая работа.
Выражаем благодарность зав. неврологической клиникой СИБГМУ Н.Г. Катаевой и зав. неврологическим стационаром Томской больницы ФГУ «СОМЦ Росздрава» В.А. Чистяковой за определение тематики исследований и консультации в ходе работы над проектом.
Литература
1. Тамар Г. Основы сенсорной физиологии. - М.: Медицина, 1976. - 520 с.
2. Пальчун В.Т. Тест высокочастотных колебаний головы в исследовании вестибуло-окулярного рефлекса у здоровых лиц / В.Т. Пальчун, С.Н. Деревянко // Вестник оториноларингологии. - 2000. - № 2. - С.и4-8.
3. Eysenk H.I. Personality structure and measurement / H.I. Eysenk, S.R. Eysenk. -London.: Routledge and Kegan, 1969. - 300 p.
4. Гусев А.В. Медицинские информационные системы. Петрозаводск, Изд-во ПетрГУ, 2005. - 404 с.
5. Федеральный закон Российской Федерации от 27 июля 2006 г. N 152-ФЗ «О персональных данных» (опубликовано 29 июля 2006 г.) [Электронный ресурс]. - Режим доступа: http://base.garant.ru/12148567.htm#doc, свободный (дата обращения: 24.05.2010).
6. Ardizzone E. Motion and Color Based Video Indexing and Retrieval / E. Ardizzone, La M. Cascia, D. Molinelli. - Proc. Int. Conf. on Pattern Recognition (ICPR-96). - Wien, Austria. - Aug. 1996 [Электронный реcурс]. - Режим доступа: http://www.cs.bu.edu/associates/marco/publications.html, свободный (дата обращения: 24.05.2010).
7. Базаров С.Б. Применение методов обработки изображений в вычислительной газодинамике // Труды 8-й Междунар. конф. по компьютерной графике и визуализации. Москва. 7-11 сентября 1998 г. - М., 1998. - С. 258-264.
8. Прэтт У. Цифровая обработка изображений. В 2 кн. / Под ред. Д.С. Лебедева. -М.: Мир, 1982. - 620 с.
Катаев Михаил Юрьевич
Д-р техн. наук, профессор каф. автоматизированных систем управления ТУСУРа
Тел.: (382-2) 41-42-79
Эл. почта: kmy@asu.tusur.ru
Хамаганов Яков Альбертович
Аспирант каф. автоматизированных систем управления ТУСУРа
Kataev M.Yu, Khamaganov A.Ya.
Human movement investigation with help of analysis of the video-images. Hardware-software complex
The article presents the description of a developed hardware-software complex for the research of the movement activity of human head, for medical use. The techniques used for image processing are shown in the article.
Keywords: image, processing algorithms, movement of a person.
