Метод бесконтактной оценки паттерна дыхания человека при помощи стереопары Текст научной статьи по специальности «Компьютерные и информационные науки»

Математика й Математическое

моделирование

Ссылка на статью: // Математика и Математическое моделирование. МГТУ им. Н.Э. Баумана. Электрон. журн. 2015. № 04. С. 66-80.

Б01: 10.7463/шаШш.0415.0813373

Представлена в редакцию: Исправлена:

© МГТУ им. Н.Э. Баумана

14.07.2015 29.07.2015

УДК 004.3+519.6

Метод бесконтактной оценки паттерна дыхания человека при помощи стереопары

Гнатюк В. С. , Анищенко Л. Н.

ашьЬсЬепкоЩдтаЦ.сот 1МГТУ им. Н.Э. Баумана, Москва, Россия

*

Предложен новый метод для бесконтактного мониторинга параметров дыхания человека с помощью двух веб-камер, образующих стереопару. Метод базируется на анализе полученных изображений и использует алгоритмы компьютерного зрения. Предложен подход к построению карты диспаратности и улучшению соотношения сигнал/шум для анализируемых изображений. Основным результатом исследования является алгоритм выделения дыхательного профиля на основе карт глубин, полученных при обработке стереопары изображений. Основным отличием предложенного метода от известных является более высокая точность и возможность получения профиля дыхания в режиме реального времени. Приведен пример применения разработанного метода для оценки параметров дыхания человека

Ключевые слова: карта диспаратности, детектирование дыхания, стереопара

Введение

Разработке бесконтактных методов мониторинга различных жизненных параметров человека в настоящее время уделяется достаточно большое внимание [1,2,3]. Особую актуальность данный вопрос приобретает при контроле состояния пациента в домашних условиях, например, с целью оценки параметров дыхания во сне, оценки качества сна и выявления нарушений сна различного рода. Метод полисомнографии, являющийся стандартным методом диагностики нарушений сна, требует использования нескольких десятков контактных датчиков и привлечения медицинского персонала для контроля за состоянием пациента во время проведения исследования. Имеется информация о бесконтактных методах мониторинга паттерна дыхания человека во сне, однако большинство из них на настоящий момент пока не внедрены в клиническую практику.

Разработано достаточно много схожих методов мониторинга человеческого дыхания

[3]:

1) респираторная плетизмография — синхронный мониторинг изменений торакального (грудного) и абдоминального (брюшного) периметров при помощи поясных датчиков;

2) аудио-анализ зарегистрированных с помощью микрофона записей с целью мониторинга активности человеческого дыхания и наличия храпа;

3) использование вибрационных бесконтактных сенсоров для анализа звука на расстоянии;

4) использование датчиков, работающих на эффекте Доплера, то есть регистрирующих изменения частоты и длины волны, вызванных движением их источника.

Представляет существенный интерес описанный в [2] метод бесконтактного мониторинга дыхания человека во сне, основная идея которого состоит в выделении фона, сегментации человеческого силуэта и применении специального метода анализа малых перемещений (SmallMotion Analysis) для непосредственного детектирования дыхания.

В данной работе предложен метод бесконтактного мониторинга паттерна дыхания при помощи двух жестко закрепленных и направленных на человека веб-камер, образующих стереопару (рис. 1).

Метод основан на вычислении карт диспаратности, восстановлении по ним карт глубины и выделении паттерна дыхания на основе полученных данных. При получении карты диспарантности основой проблемой является уменьшение шума, возникающего при применения различных алгоритмов. Для решения этой проблемы в работе предложен новый алгоритм, построенный на базе известных алгоритмов.

Работа организована следующим образом. В разделе 1 приведена общая схема метода, в разделе 2 обсуждается разработанный алгоритм построения карты диспарантности. Раздел 3 также посвящен улучшению карты диспарантности, в разделе 4 приведены основные расчетные соотношения для вычисления карты глубин, в разделе 5 приведены материалы, иллюстрирующие проведенные эксперименты по детектированию дыхания.

Камеры

Рис.1. Схема проведения эксперимента

1. Общая схема метода

Метод, предложенный в статье, базируется на алгоритмах компьютерного зрения. Для тестирования алгоритмов использовались стандартные стереопары изображений Tsu-kuba и Cones, представленные в MiddleBury dataset [4].

Приведем общую схему метода (см. рис. 2). Исходной информацией является пара видеорядов, зарегистрированных правой и левой веб-камерами, где каждые два изображения, снятые в один и тот же момент времени, образуют стереопару — пару изображений одной и той же сцены, имеющих смещение друг относительно друга.

Для каждой стереопары проводится вычисление карты диспаратности — изображения, в каждом пикселе которого находится значение, показывающее, на какое расстояние этот пиксель изображения в левом кадре стереопары удален от такого же пикселя изображения на правом кадре. Далее по картам диспаратности восстанавливаются карты глубины, с помощью которых вычисляется расстояние до объекта, и на основе полученных карт глубины выделяется сигнал, отвечающий за смещение выделенного объекта сцены или части такого объекта. Например, при анализе паттерна дыхания фиксировались смещения грудной клетки пациента.

Рис.2. Схема метода

2. Построение карт диспаратности

Для вычисления карты диспаратности необходимо найти одну и ту же точку объекта на каждом изображении из выбранной стереопары, зафиксировать соответствующие пиксели на изображениях и вычислить между ними расстояние в пискелях (рис. 3). Записав для каждого пикселя левого изображения значение расстояния, получим изображение в оттенках серого.

Рис.3. Пример вычисления диспаратности пикселя

При этом возникает проблема: как при выборе какого-либо пикселя с изображения стереопары находить соответствующий ему пиксель на другом изображении.

Будем предполагать, что каждый пиксель на правом изображении смещен относительно исходного пикселя только по "горизонтали".

Для каждого пикселя левого изображения функцию вычисляют функцию

CompPlx (d) = diff (IL (Pix), IR (Pix + d)),

где Pix - рассматриваемый пиксель на левом изображении,

d - смещение вдоль оси абсцисс относительно этого пикселя на правом изображении, diff - функция сравнения абсолютных значений пикселей с левого и правого изображений,

jL TR

1 , 1 - левое и правое изображения соответственно.

Минимум функции CompPlx(d) для конкретного пикселя на левом изображении (см. рис. 4) позволяет определить необходимое смещение d_min, которое и записывается в карту диспаратности:

disparity (Pix) = min(CompPlx (d)).

d

Рис.4. Нахождение диспаратности для конкретного пикселя

Выведем функцию сравнения diff(...) путем комбинаций известных функций AD (absolute differences) и Census [5, 6].

Функция AD - наиболее часто используемая функция для построения карт диспаратности. Однако, она не обладает достаточной степенью точности в текстурированных регионах изображения, так как для ее подсчета используются локальные данные исследуемого пикселя. Выразить данную функцию можно следующей формулой[5, 6]:

Cad (Р, Р + d) = 1 X (P) ~ JR (P + d)

3 1—

(1)

1 i=R,G,B

где p - исследуемый пиксель на левом изображении,

d - смещение вдоль оси абсцисс относительно этого пикселя на правом изображении, TL

I - левое изображение, jR

I - правое изображение.

Функция Census имеет более сложную структуру. Она учитывает локальные регионы исследуемого пикселя, тем самым проявляя устойчивость к радиометрическим изменениям в изображении и к шуму. Для регионов со схожим цветовым распределением она дает более робастные результаты, нежели функция AD, ориентированная на различие интен-сивностей пикселей.

В [6] предложена следующая формула для вычисления Census:

CCENSUS (p, p + d) =

= X X vIVL (q) - IL(p)){IR(q+d) -1 r (p+d))i (2)

i=R,G,B q€.Neighbours (p)

где 1 - - индикаторная функция

R

1, x e R -0, x € R'

Функция Census использует для подсчета регион исследуемого пикселя размером 9x7, переводя его в битовую строку и с помощью функции, вычисляющей расстояние Хэмминга, определяя долю схожести пикселей на левом и правом изображениях.

Результаты вычисления карт диспаратностей с помощью описанных выше функций приведены на рис. 5.

Рис.5. Построение карт диспаратностей с помощью функций AD и Census

Как видно из представленных результатов, карты диспаратности достаточно сильно зашумлены. Скомбинируем обе слабые метрики в одну сильную, чтобы улучшить результат путем повышения соотношение сигнал/шум.

Для этого выберем функцию, которая обеспечит наилучшую комбинацию функций сравнения, отображая их значения на отрезок [0,1], где 0 соответствует идеальному совпадению пикселей, 1 - полному несовпадению. Зададим указанную функцию в следующем виде:

cost

p(cost, Л) = 1 - e Л .

Эта функция позволяет регулировать влияние "выбросов" на изображении путем изменения параметра Л.

Таким образом, на основе формул (1), (2) и (3) создадим новую функцию AD-Census, определяемую следующим образом:

С (p, p + d) = p(Cad (A p + d X ллп ) + P(Ccensus (P, p + d X Census ) где ЛАО и ЛСЕти5 - параметры регулирования выбросов на карте диспаратности.

Результаты сравнения карт диспаратностей, построенных с помощью трех описанных выше функций, приведены на рис. 6.

Рис.б.Сравнение карт диспаратностей с помощью функций AD, Census, AD-Census

Анализ результатов показывает, что новая функция AD-Census позволяет улучшить соотношение сигнал/шум для карты диспаратности.

3. Агрегация карт диспаратностей

Для того, чтобы минимизировать шум на полученных картах диспаратности, целесообразно использовать метод агрегации [8]. Идея этого метода состоит в том, что пиксели, имеющие схожую интенсивность, признаются принадлежащим одним и тем же структурам на изображении, а значит, они имеют схожую диспаратность.

С этой целью, для каждого пикселя карты диспаратности выделим регион переменной формы, границы которого в [5,6] предложено определить следующим образом:

Ас (а» р) <т1»

Вс (р1, Р1 + (1,0)) <т1,

а (р1, р) < а, (4)

а(р1,р) < т2, если 12 < а(р1,р) < а.

где

Бс (рх, р) = тах.=адв \1. (рх) -1 (, д (р, р) = >/(Рх - Рх)2 +(Рх - РУ)2-

В данном случае, ^ - последний пиксель в заданном направлении, удовлетворяющий приведенным выше неравенствам, а ,Г2, Ьх, — параметры агрегации. Частный случай вычисленного региона агрегации представлен на рис. 7.

up ami

1 support region of p

horizontal arms of q <1

left ami of p

P 1 —, nalir nrm off г

i bottom arm of p

Рис.7. Частный случай региона аггрегации для пикселя p [5,6].

После построения такого региона для каждого пикселя итоговое значение обновленной диспаратности вычисляется суммированием по региону (см. рис. 8):

Р aggregated ^ 1 Pi

iesupport region

Рис.8. Получение итогового значения для диспаратности [5,6]

Данную процедуру необходимо повторить 2-4 раза и для упрощения вычислений целесообразно использовать интегральное представление для изображений[5, 7].

Точность агрегации зависит от выбранных параметров , Г2, L, L2 , которые регулируют форму и размер региона при помощи правил (4). При обработке больших тексту-рированных регионов может потребоваться увеличение параметров агрегации, для того чтобы включить достаточную вариацию интенсивностей пикселей. Но разумнее данные параметры подбирать адаптивно в зависимости от сцены, чтобы метод аггрегации не внес в карты диспаратности больше ошибок и разрывов на границе перепада интенсивностей.

Результаты применения метода агрегации для улучшения карт диспаратностей приведены на рис. 9.

Рис.9. Результаты после применения метода агрегации

4. Восстановление карт глубины

Для того, чтобы определить смещение грудной клетки, тем самым выделив паттерн дыхания, необходимо для каждой стереопары входного видеоряда получить карты диспа-рантности, затем на основе полученных карт диспаратности вычислить карты глубины, в каждой точки которых можно узнать расстояние до исследуемого объекта.

Рассмотрим схему используемого устройства (стереопары) (см. рис. 10). На этом рисунке В - расстояние между камерами, Сг, Сг - центры камер,/- фокусное расстояние, 2 -глубина, Р(Х, У, 2) - исследуемый объект, хг, хг - проекции данного объекта на каждое из изображений стереопары.

Рис.10.Схема устройства Значение глубины 2 можно легко вычислить из подобия треугольников:

В + хг - х В

г-/ - г' г - .

х1 хг

Принимая во внимание, что - диспаратность (по определению), получим

итоговое значение глубины

г -/В.

Полученная карта глубины будет иметь вид, представленный на рис. 10.

Рис.10.Преобразование карты диспаратности в карту глубины

5. Описание результатов эксперимента

Результаты эксперимента по детектирования дыхания проиллюстрированы на рис. 11. Приведенный на рисунке график колебания выделенной части изображения грудной клетки позволяет зарегистрировать дыхание обследуемого пациента бесконтактным методом.

Рис.11. Исходное изображение (левый кадр), результат обработки и полученный график смещения грудной клетки

Заключение

Разработанный метод позволяет бесконтактно фиксировать паттерн дыхания человека на основе видеоряда, получаемого стереопарой, образованной двумя WEB-камерами. Основной проблемой, возникающей при применении метода вне лабораторных условий, является необходимость нахождения на изображении участка, соответствующего грудной клетке пациента.

Метод может быть использован, например, для диагностики эпизодов апноэ во сне (состояния, для которого характерно прекращение легочной вентиляции более чем на 10 секунд и падение насыщения крови кислородом), или для бесконтактного мониторинга паттерна дыхания человека, например, в палатах пробуждения.

Отметим, что при проведении экспериментов был реализован режим реального времени. Соответствующей скорости вычислений удалось достичь за счет распараллеливания программного кода при помощи технологии OpenCL и выполнения вычислений на видеокарте.

Также при проведении исследований использовался пакет компьютерного зрения OpenCV, функции которого были применены для калибровки стереопары и ректификации изображений, полученных с веб-камер.

Список литературы

1. Алёхин М.Д., Анищенко Л.Н., Корчагина Д.А. Метод биорадиолокации в анализе перемещений грудной клетки при спокойном дыхании. Биомедицинская радиоэлектроника. 2009. № 10. C. 56-61. Режим доступа:

http://www.radiotec.ru/catalog.php?cat=ir6&art=6827 (дата обращения: 15.06.2015).

2. Heinrich A., Heesch F. van. Video based actigraphy and breathing monitoring from the bedside table of shared beds// Journal of Ambient Intelligence and Humanized Computing. 2014. № 6. Pp. 107-120. DOI: 10.1007/s12652-014-0247-6. Режим доступа: http://link.springer.com/article/10.1007%2Fs12652-014-0247-6#page-2 (дата обращения 15.06.2015).

3. Wang Ch. W., Hunter A. Unconstrained Video Monitoring of Breathing Behavior and Application to Diagnosis of Sleep Apnea// IEEE Transactions on Biomedical Engineering. 2014. Vol. 61. No 2. Pp. 396 - 404. DOI: 10.1109/TBME.2013.2280132. Режим доступа: http://ieeexplore.ieee.org/xpl/articleDetails.isp?arnumber=6587794 (дата обращения: 25.06.2015).

4. Middlebury Stereo Datasets. http://vision.middlebury.edu/stereo/data/ (дата обращения: 15.06.2015)

5. Mei X., Sun X.; Zhou M.; Jiao S.; Wang H.; Zhang X. On Building an Accurate Stereo Matching System on Graphics Hardware // 2011 IEEE International Conference on Computer Vision Workshops (ICCV Workshops). Barcelona. 2011. Рр. 467 - 474. DOI:

10.1109/ICCVW.2011.6130280.

(http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=6130280).

6. Tan P., Monasse P. Stereo Disparity through Cost Aggregation with Guided Filter// Image Processing On Line. 2014, N. 4. Pp. 252-275. http://dx.doi.org/10.5201/ipol.2014.78

7. Zhang K., Lu J. Cross-Based Local Stereo Matching Using Orthogonal Integral Images// IEEE Transactions on Circuits and Systems for Video Technology. 2009. Vol. 19, Issue 7. Pp. 1073 - 1079. DOI: 10.1109/TCSVT.2009.2020478. Режим доступа: http://ieeexplore.ieee.org/xpl/login.isp?tp=&arnumber=4811952&url=http%3A%2F%2Fiee explore.ieee.org%2Fxpls%2Fabs_all.jsp%3Farnumber%3D4811952 (дата обращения 15.06.2015).

8. Fang J., Varbanescu A. L. Accelerating Cost Aggregation for Real-Time Stereo Matching// IEEE 18th International Conference on Parallel and Distributed Systems (ICPADS). Singapore, 2012. Pp. 472 - 481. DOI: 10.1109/ICPADS.2012.71. Режим доступа: http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=6413661 (дата обращения: 15.06.2015).

Mathematics & Mathematical

Modelling

Mathematics and Mathematical Madelling of the Bauman MSTU, 2015, no. 04, pp. 66-80.

DOI: 10.7463/mathm.0415.0813373

Eh

"pnicjournal of th

nan MSTl'

Received: Revised:

14.07.2015 29.07.2015

© Bauman Moscow State Technical Unversity

A Stereo Pair Based Method for Contactless Evaluation of the Human Breathing Pattern

V.S. Gnatiuk1, L.N. Anishchenko1'* ' am&hchenkoig;gmaii.com

:Bauman Moscow State Technical University, Moscow, Russia

Keywords: map of disparity, the detection of breath, stereo pair

The development of contactless monitoring methods of human vital signs is an important goal for modern medicine. The particular relevance of this issue appears with the control of the patient at home on their own, for example, to estimate the parameters of breathing during sleep, quality assessment and identification of various kinds of sleep disorders, such as, for example, sleep apnea disorder (a condition, which is characterized by the cessation of pulmonary ventilation more than for 10 seconds and fall of blood oxygen saturation).

In this article we have implemented and tested an algorithm for non-contact monitoring of breathing pattern by two entrenched webcams aimed at the person. The algorithm is based on using the methods of computer vision and processing of video sequences.

Authors pay particular attention to disparity map construction approaches and improving the signal / noise ratio by a combination of known functions comparing the intensity of pixels: AD - a function of absolute differences, and Census function, comparing bit strings of investigated image regions.

An important role in the noise minimization plays a simple, but effective assumption for aggregation, the gist of which is that pixels having similar intensity belong to the same structures in the image, and hence have a similar disparity. The variability of input parameters of the method and the ability to adjust the number of iterations provide accurate disparity maps for the input image of almost any quality (testing was conducted for webcams CBR CW 833M).

The main result of this approach is the breathing profile based on the reconstructed depth maps, reflecting the respiration rate of the person under examination and presenting data on the amplitude variations of his chest.

The main difference of the proposed method from other publications is a high accuracy and the breath profile calculation in real-time. It was achieved through OpenCL technology and parallel computations using the graphics card.

The algorithm was tested on a variety of subjects with anthropomorphic characteristics and types of breathing to investigate the limited application of the proposed method in practice.

Reference

1. Alekhin M. D., Anishchenko L. N., Korchagina D. A. Bio-Radiolocation Method at Chest Wall Motion Analysis During Tidal Breathing // Biomedical Radioelectronics. 2009. № 10. Pp.56-61. (http://www.radiotec.ru/catalog.php?cat=ir6&art=6827).

2. Heinrich A., Heesch F. van. Video based actigraphy and breathing monitoring from the bedside table of shared beds// Journal of Ambient Intelligence and Humanized Computing. 2014. № 6. Pp. 107-120. DOI: 10.1007/s12652-014-0247-6. http://link.springer.com/article/10.1007%2Fs12652-014-0247-6#page-2.

3. Wang Ch. W., Hunter A. Unconstrained Video Monitoring of Breathing Behavior and Application to Diagnosis of Sleep Apnea// IEEE Transactions on Biomedical Engineering. 2014. Vol. 61. No 2. Pp. 396 - 404. DOI: 10.1109/TBME.2013.2280132. http://ieeexplore.ieee.org/xpl/articleDetails.isp?arnumber=6587794.

4. Middlebury Stereo Datasets. http://vision.middlebury.edu/stereo/data/

5. Mei X., Sun X.; Zhou M.; Jiao S.; Wang H.; Zhang X. On Building an Accurate Stereo Matching System on Graphics Hardware // 2011 IEEE International Conference on Computer Vision Workshops (ICCV Workshops). Barcelona. 2011. Pp. 467 - 474. DOI: 10.1109/ICCVW.2011.6130280.

(http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=6130280).

6. Tan P., Monasse P. Stereo Disparity through Cost Aggregation with Guided Filter// Image Processing On Line. 2014, N. 4. Pp. 252-275. http://dx.doi.org/10.5201/ipol.2014.78

7. Zhang K., Lu J. Cross-Based Local Stereo Matching Using Orthogonal Integral Images// IEEE Transactions on Circuits and Systems for Video Technology. 2009. Vol. 19, Issue 7. Pp. 1073 - 1079. DOI: 10.1109/TCSVT.2009.2020478.

(http://ieeexplore.ieee.org/xpl/login.isp?tp=&arnumber=4811952&url=http%3A%2F%2Fiee explore.ieee.org%2Fxpls%2Fabs all.isp%3Farnumber%3D4811952.)

8. Fang J., Varbanescu A. L. Accelerating Cost Aggregation for Real-Time Stereo Matching// IEEE 18th International Conference on Parallel and Distributed Systems (ICPADS). Singapore, 2012. Pp. 472 - 481. DOI: 10.1109/ICPADS.2012.71. (http://ieeexplore.ieee.org/xpl/articleDetails.isp?arnumber=6413661 ).