CC BY
1Приборы медицинского назначения, контроля среды, веществ, материалов и изделий
УДК 519.246.8:004.932.2 Научная статья
https://doi.org/10.32603/1993-8985-2024-27-3-108-123
Робастные методы оценивания характеристик двигательной активности по данным безмаркерных телевизионных наблюдений
М. И. Богачев1, 2н, К. Р. Григаревичюс1, Н. С. Пыко1, С. А. Пыко1, М. Цыганкова1, Е. А. Плотникова2, Т. В. Агеева2, Я. О. Мухамедшина2, 3
1 Санкт-Петербургский государственный электротехнический университет "ЛЭТИ"
им. В. И. Ульянова (Ленина), Санкт-Петербург, Россия
2Казанский (Приволжский) федеральный университет, Казань, Россия
3Казанский государственный медицинский университет, Казань, Россия
Аннотация
Введение. Изучение двигательной активности (ДА) актуально в рамках биомедицинских и фармакологических исследований, а также в задачах экологического мониторинга. Траектории движения биологических объектов представляются временными рядами, обладающими многокомпонентной структурой и нестационарной динамикой, что ограничивает эффективность классических спектрально-корреляционных методов. При регистрации ДА с помощью безмаркерных технологий типично наблюдается повышенный уровень шумов, включающих как инструментальные погрешности, так и аномальные ошибки, связанные с ложными оценками местоположения точки в кадре или с пропаданием фрагментов траекторий, что обусловливает актуальность разработки робастных методов оценивания характеристик ДА.
Цель работы. Разработка робастных методов оценивания характеристик ДА в биотехнических системах, устойчивых в условиях типичных искажений, возникающих при восстановлении траекторий по данным безмаркерных телевизионных наблюдений.
Материалы и методы. Для оценки характеристик ДА анализировалось взаимное движение частей тела лабораторных животных с использованием мер стабильности взаимного поведения траекторий, запаздывания одной траектории по отношению к другой и доли фрагментов стабильного взаимного поведения траекторий в общей длительности записи. В качестве метрик взаимной динамики использованы максимумы взаимной корреляционной функции между двумя фрагментами траекторий и минимумы среднеквадратического отклонения разности их мгновенных фаз, а также их временные положения.
Результаты. Установлено, что рассмотренные фазовые метрики чувствительны к изменениям ДА, однако оценка временных задержек в модели движения сопряжена с наличием череспериодной ошибки. При использовании корреляционных метрик указанное ограничение может быть в значительной степени преодолено, что обусловливает целесообразность комплексирования указанных метрик.
Заключение. Предложенные робастные методы позволяют получить устойчивые оценки характеристик ДА по данным безмаркерной телевизионной регистрации, что позволяет повысить эффективность диагностических процедур и оценки терапевтического эффекта в реабилитации.
Ключевые слова: робастные методы, безмаркерные телевизионные наблюдения, траектории движения, коэффициент корреляции, коэффициент фазовой синхронизации, направленный ациклический граф, непараметрическая байесовская сеть
Для цитирования: Робастные методы оценивания характеристик двигательной активности по данным безмаркерных телевизионных наблюдений / М. И. Богачев, К. Р. Григаревичюс, Н. С. Пыко, С. А. Пыко, М. Цыганкова, Е. А. Плотникова, Т. В. Агеева, Я. О. Мухамедшина // Изв. вузов России. Радиоэлектроника. 2024. Т. 27, № 3. С. 108-123. doi: 10.32603/1993-8985-2024-27-3-108-123
Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов.
Источник финансирования. Экспериментальные исследования выполнены на базе Института фундаментальной медицины и биологии Казанского (Приволжского) федерального университета при поддержке гранта Российского научного фонда № 23-75-10041, https://rscf.ru/project/23-75-10041/. Методологическое обеспечение анализа данных безмаркерных телевизионных наблюдений движения реализовано на базе Санкт-Петербургского государственного электротехнического университета "ЛЭТИ" в рамках Государственного задания Минобрнауки РФ, шифр проекта Б8ББ-2020-0002.
Статья поступила в редакцию 19.02.2024; принята к публикации после рецензирования 01.04.2024; опубликована онлайн 28.06.2024
108 © Богачев М. И., Григаревичюс К. Р., Пыко Н. С., Пыко С. А., Цыганкова М.,
Плотникова Е. А., Агеева Т. В., Мухамедшина Я. О., 2024
Medical Devices, Environment, Substances, Material and Product
Original article
Robust Methods for Assessing the Characteristics of Locomotor Activity Based on Markerless Video Capture Data
Mikhail I. Bogachev 1 2H, Konstantin R. Grigarevichius1, Nikita S. Pyko1, Svetlana A. Pyko1, Margarita Tsygankova1, Elizaveta A. Plotnikova2, Tatyana V. Ageeva2, Yana O. Mukhamedshina2, 3
1 Saint Petersburg Electrotechnical University, St Petersburg, Russia
2Kazan (Volga Region) Federal University, Kazan, Russia
3 Kazan State Medical University, Kazan, Russia
Abstract
Introduction. Analysis of locomotor activity is essential in a number of biomedical and pharmacological research designs, as well as environmental monitoring. The movement trajectories of biological objects can be represented by time series exhibiting a complex multicomponent structure and non-stationary dynamics, thus limiting the effectiveness of conventional correlation and spectral time series analysis methods. Recordings obtained using markerless technologies are typically characterized by enhanced noise levels, including both instrumental noise and anomalous errors associated with false estimates of the location of the points of interest, as well as gaps in the trajectories, promoting an urgent need in the development of robust methods to assess the characteristics of locomotor activity.
Aim. Development of robust methods for assessing the characteristics of locomotor activity capable of efficient processing of noisy recordings obtained by markerless video-based motion capture systems.
Materials and methods. In order to assess the characteristics of locomotor activity, the relative movements of body parts of laboratory animals were analyzed using the stability metrics of the mutual dynamics of their trajectories, their relative delays, as well as the relative duration of the recording fragments when relatively stable mutual dynamics could be observed. The local maxima of the cross-correlation function of two body fragments, the minima of the standard deviation of the difference between their Hilbert phases, as well as their relative delays, were used as the metrics of mutual dynamics. Results. The considered phase metrics were shown to explicitly reflect changes in locomotor activity, while the assessment of time delays using phase metric was shown to be prone to periodic error. The above limitation could be largely overcome using the correlation metrics, assuming that phase and correlation metrics could be combined. Conclusion. The proposed robust methods provide stable estimates of the characteristics of locomotor activity based on markerless video capture recordings, altogether increasing the efficiency of diagnostic procedures and assessment of the therapeutic effect during rehabilitation.
Keywords: robust methods, markerless television observations, motion trajectories, correlation coefficient, phase synchronization coefficient, directed acyclic graph, nonparametric Bayesian network
For citation: Bogachev M. I., Grigarevichius K. R., Pyko N. S., Pyko S. A., Tsygankova M., Plotnikova E. A., Ageeva T. V, Mukhamedshina Ya. O. Robust Methods for Assessing the Characteristics of Locomotor Activity Based on Markerless Video Capture Data. Journal of the Russian Universities. Radioelectronics. 2024, vol. 27, no. 3, pp. 108-123. doi: 10.32603/1993-8985-2024-27-3-108-123
Conflict of interest. The authors declare no conflicts of interest.
Source of funding. The experimental part of this study was performed at the Institute of Fundamental Medicine and Biology, Kazan (Volga region) Federal University, under support from the Russian Science Foundation grant No. 23-75-10041, https://rscf.ru/project/23-75-10041/. Methodological support of the markerless video motion capture data analysis has been developed and implemented at Saint Petersburg Electrotechnical University in the framework of the state assignment project No. FSEE-2020-0002.
Submitted 19.02.2024; accepted 01.04.2024; published online 28.06.2024
Введение. Эффективная оценка нарушений двигательной активности (ДА), возникающих на фоне различных неврологических патологий
и травматических повреждений, неразрывно связана с разработкой автоматизированных инструментальных методов регистрации и коли-
109
Робастные методы оценивания характеристик двигательной активности по данным безмаркерных телевизионных наблюдений Robust Methods for Assessing the Characteristics of Locomotor Activity Based on Markerless Video Capture Data
чественного анализа характеристик ДА. Профессиональные системы регистрации ДА позволяют получать подробные реконструкции с высокой точностью, однако характеризуются значительной стоимостью, технологической сложностью, требуют для развертывания специализированных помещений, а также предварительной калибровки, что ограничивает возможность их применения преимущественно специализированными исследовательскими центрами [1, 2]. В качестве доступной альтернативы значительным потенциалом обладают системы программного захвата движения по данным безмаркерной телевизионной регистрации, которые могут быть развернуты с использованием серийно выпускаемых регистраторов, в том числе в составе устройств широкого потребления (автомобильные регистраторы, веб-камеры, камеры мобильных телефонов и т. д.) при минимальном объеме подготовительных работ. При этом для регистрации ДА людей и животных может использоваться однотипное оборудование при минимальной адаптации алгоритмического обеспечения, что упрощает применение указанных методик для анализа ДА лабораторных животных на доклинической стадии исследований [3, 4]. Однако снижение стоимостных характеристик достигается ценой снижения качества реконструкции движений, что проявляется в виде высоких уровней измерительных шумов, аномальных выбросов, пропусков в данных траекторий движения. Указанные погрешности могут быть частично компенсированы на этапе вторичной обработки восстановленных моделей движения за счет использования робастных процедур оценивания характеристик ДА, обладающих устойчивостью к аномальным ошибкам, связанным с ложными оценками местоположения точки интереса в кадре или пропаданием фрагмента траектории, и представляющих интерес при диагностике исследуемых патофизиологических механизмов.
Результаты недавно опубликованных исследований, основанных на практическом применении указанных методик, включая инструменты анализа ДА лабораторных животных на бегущей дорожке (treadmill) и установке "лестница" (ladder) [5], а также в открытом поле [6],
110 '
подтверждают возможность их использования на этапе доклинических исследований. При этом одним из существенных условий является интерпретируемость показателей движения, определяемых с использованием предлагаемой аналитической модели. Так, в [5] рассмотрен набор из 44 геометрических признаков движения конечности, 3 из которых - высота шага, выраженные в градусах амплитуды движения коленного сустава при сгибании и разгибании -признаны авторами указанного исследования наиболее значимыми. В [6] оценен ряд показателей движения в открытом поле, определяемых на основании параметров сглаженной модели движения, представленной упрощенным описанием на основе двух асимптотических режимов флуктуационной динамики различных частей тела животного.
Значительный практический интерес при исследовании взаимной динамики движений представляет и так называемое DWT-расстоя-ние, расчет которого основан на динамической трансформации временной шкалы (Dynamic Warping Time) [7], подразумевающей оптимальное выравнивание двух временных последовательностей данных с целью минимизации расстояния между ними.
В настоящей статье представлена методика и результаты оценки показателей ДА конечностей животных после травмы спинного мозга, в том числе на фоне реабилитационных процедур. Были исследованы записи движений следующих групп лабораторных крыс: здоровые животные и животные на различных сроках восстановления после травмы спинного мозга, в том числе при реабилитации на беговой дорожке. Регистрировались траектории движения животных при проведении теста в открытом поле.
При представлении лабораторного животного как сложной динамической системы ключевую роль при исследовании параметров движения играют взаимодействия между движениями различных частей тела и способы их оценивания. При исследовании динамики движений не существует единого подхода к тому, какой должна быть универсальная метрика связности, характеризующая взаимную динамику наблюдаемых данных. На практике применяются принципиально разные метрики,
Робастные методы оценивания характеристик двигательной активности по данным безмаркерных телевизионных наблюдений Robust Methods for Assessing the Characteristics of Locomotor Activity
Based on Markerless Video Capture Data
включая варианты фазовой синхронизации, взаимный корреляционный или спектральный анализ, функцию когерентности, взаимную энтропию и др. [8-12]. Некоторые из перечисленных метрик требуют стационарности наблюдаемых процессов, другие разработаны специально для гармонических или узкополосных сигналов или же являются общими для довольно широкого класса рядов случайных данных. Метрики, базирующиеся на анализе мгновенных фаз, способны отслеживать сложные нелинейные взаимодействия, однако они имеют четкую физическую интерпретацию только для квазипериодических рядов данных. Классический взаимный корреляционный анализ не требует каких-либо предположений относительно квазипериодической структуры изучаемых наборов данных, но может выявить только линейную зависимость между ними. Переход к ранговым метрикам (например, использование ранговой корреляции Спирмена или Кендалла) позволяет выявить монотонную, а не только линейную связь. Граница применимости тех или иных метрик в настоящее время в значительной степени размыта, что приводит к появлению промежуточных вариантов. Более того, упомянутые ранее метрики в значительной степени дополняют друг друга, что позволяет комплексировать оценки взаимной динамики, получаемые различными методами.
Для визуализации выявленных взаимосвязей между движениями различных частей тела животного в рамках представленных исследований выбран математический аппарат, связанный с построением байесовской сети, узлы которой соответствуют частям тела, а ребра отражают степень взаимной динамики, оцениваемой с помощью выбранной исследователем метрики связности.
Экспериментальные исследования и регистрация двигательной активности. Экспериментальные исследования проводились на базе ИФМиБ Казанского федерального университета. Содержание и использование лабораторных животных соответствовало международным нормам и правилам, принятым и одобренным локальным этическим комитетом в Казанском федеральном университете (протокол № 15 от 22 сентября 2023 г.). Животных со-
держали в стандартных условиях вивария со свободным доступом к воде и корму ad libitum. В работе использованы 20 белых половозрелых лабораторных крыс линии Вистар, самок массой 200...250 г (питомник Стезар, Россия). Животные были разделены на две экспериментальные группы: контрольную и опытную. Контрольная группа с травмой спинного мозга (ТСМ), включала 10 животных, которым была выполнена стандартная операция ламиноэкто-мии на уровне позвонка Th8 с последующим нанесением мягкой контузионной травмы спинного мозга со скоростью 1.5 м/с при помощи импак-тора Impact One Stereotaxic Impactor-CCI (Leica Microsystems, США). Опытная группа включала 10 животных с аналогичной травмой и последующей реабилитационной терапией (ТСМ + РТ) в виде дозированной тренировки на беговой дорожке. Тренировочные сессии на беговой дорожке IITC Life Science Treadmill для крыс начинались на восьмой день после травмы и проводились 5 дней в неделю. Каждая тренировочная сессия длилась 20 мин и проводилась дважды в день с двухчасовым интервалом между сессиями.
Тестирование в открытом поле проводилось для оценки двигательной функции крыс после травмы спинного мозга и в ходе последующей физической реабилитации. Арена для тестирования представляла собой открытое поле размером 100.0 х 50.0 х 10.0 см с прозрачным ПВХ-полом. Для адаптации к условиям эксперимента крыс предварительно помещали на арену в течение трех дней перед операцией. Тестирование проводилось на 3-и, 7-е, 14-е, 21-е и 28-е сутки после операции для обеих исследуемых групп. Дополнительно, для определения интактного (базового) уровня двигательной функции, тестирование также проводилось до операции (в нулевой день (ИНТ)).
Для детализированного анализа походки животных видеозаписи выполнены с использованием видеокамеры Canon EOS 250D kit (EF-S 18-55 mm f/1:4-5.6 IS STM) с разрешением 1920 х 1080 и частотой 60 кадров в секунду с обычным сжатием IPB. Объектив был установлен под прозрачным полом арены открытого поля для получения видеозаписей снизу. Съемка проводилась в условиях нормального окружающего освещения, чтобы избежать влияния искус-
111
Робастные методы оценивания характеристик двигательной активности по данным безмаркерных телевизионных наблюдений Robust Methods for Assessing the Characteristics of Locomotor Activity Based on Markerless Video Capture Data
Рис. 1. Лабораторная крыса при регистрации движения в открытом поле
Fig. 1. Laboratory rat in an open field in movement recording
ственного освещения на поведение животных.
Исследовались траектории семи различных точек тела животного (рис. 1): A - носа; лап: B -правая передняя, C - левая передняя, E - правая задняя, F - левая задняя; D - середины тела и G - основания хвоста. Точки A-G, обозначенные на рис. 1 маркерами различных цветов, при построении упрощенной модели движения лабораторного животного на основе байесовской сети представляют собой узлы графа. Ребра графа, соединяющие части тела животного друг с другом, количественно характеризуются определенной метрикой связности, отражающей взаимную динамику соответствующих частей тела.
Взаимосвязь корреляционных и фазовых метрик при исследовании совместной динамики случайных рядов данных. Исследование взаимного поведения временных рядов традиционно проводится с помощью методов корреляционного анализа. Классический подход подразумевает рассмотрение коэффициента корреляции Пирсона (R) в качестве базовой корреляционной метрики двух рядов данных X и Y, содержащих по N отсчетов каждый:
N
Х(Xi -X)(Yi - Yi)
R = -
i=l
V
N / —ч2 N . —ч2
X(хг - хг) - Yi) i=l i=l
Исследование фазовых свойств случайного процесса основано на модели аналитического сигнала
X (/ ) = X ^) + х±(/),
являющегося комплексной функцией времени, вещественная часть которой представляет собой реально существующий вещественный сигнал 5 и), а мнимая часть t) формируется с помощью оператора Гильберта:
l Ю
х± (t) = - J
х (т)
d т.
п ' t-т
-Ю
Аргумент аналитического сигнала определяет его фазу, характеризующую закон угловой модуляции:
Ф( t ) = аге^ ^^.
х и)
Используя преобразование Гильберта, можно наиболее простым способом определить мгновенные значения фазы для любого процесса, хотя только для гармонического колебания или узкополосного процесса определенная таким образом фаза имеет ясный физический смысл.
Фазовые метрики связности двух процессов вычисляются на основе анализа среднеквадра-тического отклонения (СКО) разности мгновенных фаз процессов, определяемых на основе преобразования Гильберта. Согласно корреляционным метрикам наибольшая величина связи предполагает максимум коэффициента корреляции, а с точки зрения фазовых метрик -минимум СКО разности мгновенных фаз.
Рис. 2 отражает взаимосвязь коэффициента корреляции Пирсона и СКО разности гильбер-
0.5 -
0 -
-0.5 -
-1.0
0 0.8 1.6 2.4 о
Рис. 2. Зависимость коэффициента корреляции рядов данных R от СКО разности их гильбертовых фаз
Fig. 2. Dependence of the correlation coefficient of data series on the standard deviation R of the difference between their Hilbert phases
Робастные методы оценивания характеристик двигательной активности по данным безмаркерных телевизионных наблюдений Robust Methods for Assessing the Characteristics of Locomotor Activity
Based on Markerless Video Capture Data
R
товых фаз двух рядов случайных данных аф =а (фу -фх). Ряды данных формировались как методом гармонического синтеза в виде суперпозиции гармонических составляющих со случайными амплитудами, распределенными по закону Рэлея, и равномерно распределенными начальными фазами, так и методами синтеза случайных нормально распределенных данных с дальней корреляцией, описанных, например, в [13, 14]. Как показали проведенные исследования, метод синтеза случайных данных не оказал значимого влияния на взаимную зависимость корреляционных и фазовых метрик связности.
На рис. 2 маркерами черного цвета показаны полученные оценки, зеленым цветом - усредненная зависимость, красным - предлагаемая аппроксимация представленной зависимости:
R = cos
2arcsin (сф/п2)].
При экспериментальном исследовании выбор корреляционной или фазовой метрики связности определяется природой наблюдаемых данных и чувствительностью метрик к изменениям свойств данных. Необходимость пересчета метрик может быть обусловлена спецификой задач, решаемых в ходе исследований. Например, при представлении исследуемых данных на основе байесовской сети, узлы которой соответствуют наблюдаемым переменным, а ребра характеризуются метрикой связности между переменными, полезной для практических применений возможностью байесовской сети является прогнозирование целевой переменной на основе остальных переменных, выступающих в качестве предикторов. Как показано в [15], для этого необходимо знать структуру направленного графа сети, эмпирические распределения всех переменных и матрицу частных коэффициентов корреляции между ними. В том случае, если граф был построен на основе фазовых метрик связности, пересчет фазовых метрик в корреляционные становится необходимым.
Оценка двигательной активности на основе взаимного корреляционного анализа. Для формирования корреляционной метрики связности двух траекторий использовался под-
ход, адаптированным как к нестационарности данных, так и к значительному уровню помех, сопровождающих формирование траекторий по данным безмаркерного видеонаблюдения. Временные ряды, отражающие движение точек интереса (частей тела лабораторного животного), анализировались в скользящем окне размером 5 = 600 отсчетов, что при частоте 60 кадров в секунду соответствует временному интервалу 10 с. Для каждой пары рядов данных в каждом окне анализа осуществлялся последовательный сдвиг на число отсчетов
k = -s/2,..., -2, -1,0,1,2,..., s/2,
сопровождавшийся расчетом оценок максимума коэффициента взаимной корреляции в перекрывающихся сегментах и запаздывания, при котором этот максимум достигается. Далее из массива оценок запаздываний, полученных в скользящих окнах, исключались все значения, лежащие за пределами интервала [-s/ 4, s/ 4],
а также неопределенные значения, возникающие при пропуске точки интереса в кадре. Выбор порога отсечки, равного s/4, обусловлен как стремлением обеспечить робастность получаемых оценок, так и необходимостью исключить значения запаздывания, соответствующие достижению границы перекрывающихся сегментов, и близких к ним, поскольку получение таких значений означает, что в пределах окна анализа максимум взаимной корреляции не найден. Поскольку номера исключаемых из дальнейшего анализа элементов в массиве оценок запаздывания известны, осуществлялось исключение соответствующих этим номерам элементов из массива оценок максимальных значений взаимной корреляции. Результирующими характеристиками стабильности взаимной динамики траекторий пары частей тела животного являлись медиана модуля оставшихся оценок максимальных значений коэффициента взаимной корреляции (Rcor), медиана модуля соответствующих им запаздываний (Гсог),
а также коэффициент стабильности временной задержки максимума взаимной корреляции TDS (Time Delay Stability), определяемый как доля окон анализа, в которых не были исключены оценки запаздывания и корреляции, в об-
Робастные методы оценивания характеристик двигательной активности 113
по данным безмаркерных телевизионных наблюдений
Robust Methods for Assessing the Characteristics of Locomotor Activity
Based on Markerless Video Capture Data
P, % 25 20 15 10 5
P, %
20
10
10
15
20
_L
_L
Порог исключения значений запаздывания
_L
J_
0 50 100 150 200 250 T
Рис. 3. Оценивание запаздывания движений правой задней лапы здоровой крысы относительно левой передней лапы Fig. 3. Assessment of the delay in movements of a healthy rat right hind paw relative to the left front paw
щей длине записи траектории движения. На рис. 3 представлена гистограмма Р [%] запаздываний Т траектории движения левой передней лапы относительно правой задней лапы здорового животного при движении на беговой дорожке, иллюстрирующая описанную процедуру оценивания статистики Тсог. Вертикальная красная линия на рис. 3 соответствует порогу исключения значений запаздывания из анализа. В отдельном окне на рис. 3 представлен фрагмент гистограммы значений запаздывания, принадлежащих интервалу [-s|4, я/4], зеленая линия отмечает медиану распределения, соответствующую получаемой оценке Тсог.
Оценка двигательной активности на основе метрик фазовой синхронизации. В качестве альтернативы корреляционным измерениям в рамках проведенных исследований были рассмотрены метрики, отражающие фазовую синхронизацию каждой пары рядов данных, соответствующих траекториям движения пар частей тела лабораторного животного.
Для набора рядов данных, соответствующих траекториям движения частей тела животного, осуществлялся расчет массивов значений мгновенных фаз, которые и подвергались дальнейшей обработке. Анализ пар рядов значений фаз, как и при расчете корреляционных метрик, осуществлялся в скользящем окне размера 5 с последовательным сдвигом окна анализа для второго ряда относительного первого на к отсчетов. В перекрывающихся сегментах оценивались значения СКО разности мгновенных фаз. Фиксировалось минимальное значение СКО и запаздывание, при котором оно было достигнуто. Из массивов сформированных оценок исключались аномальные и неопреде-
ленные значения аналогично тому, как это производилось для корреляционных метрик. Итоговыми показателями фазовой синхронизации траекторий пар частей тела животного являлись медиана оставшихся оценок минимальных значений СКО разности мгновенных фаз ^phase, медиана модуля соответствующих им
запаздываний Tphase , а также коэффициент фазовой синхронизации Sync, определяемый как доля окон анализа, в которых не были исключены оценки запаздывания и СКО, в общей длине записи траектории движения.
Рис. 4 иллюстрирует изменения запаздываний движений лап здоровой крысы на беговой дорожке относительно левой передней лапы, определенные на основе фазовой синхронизации (рис. 4, а) и взаимного корреляционного анализа (рис. 4, б).
Как можно видеть на рис. 4, зависимости запаздываний от времени характеризуются участками стабильного поведения, а также наличием аномальных значений и областей неопределенности, вызванных пропаданием точек интереса в кадрах. Поэтому оценивание итоговых показателей взаимной динамики на основе медиан запаздываний, определяемых на основе интервалов стабильной взаимной динамики после исключения подобных областей, как и описано ранее, является обоснованным.
Предыдущие исследования [11] показали, что фазовые метрики обладают высокой чувствительностью к рассогласованию между исходными рядами данных. Также следует отметить, что их расчет не требует стационарности наблюдаемых данных. При этом необходимо учитывать ограничение, накладываемое на использование фазовых метрик связности раз-
Робастные методы оценивания характеристик двигательной активности по данным безмаркерных телевизионных наблюдений Robust Methods for Assessing the Characteristics of Locomotor Activity
Based on Markerless Video Capture Data
0
5
T
T с phase'
2 1 0 -1 -2 -3
20 40
60
80 100
а
120
140
160 180
t, c
Tcor, с
2 1 0 -1
11 i ■ Л ifliLji Ik^d
fJDJ
=ИШ=
20
40
60
80
100
120
140
160
180
t, c
б
Рис. 4. Запаздывание движений лапы здоровой крысы относительно левой передней лапы на беговой дорожке: а - определение на основе фазовой синхронизации; б - определение на основе взаимного корреляционного анализа
Fig. 4. Delay in movements of the paw of a healthy rat relative to the left front paw on a treadmill: а - determination based on phase locking; б - determination based on cross-correlation analysis
мерностью используемых данных. При движении лабораторного животного по беговой дорожке телевизионная камера устанавливалась сбоку от дорожки и обрабатывались одномерные массивы данных, содержащие отсчеты вертикальной координаты траектории части тела. При тестировании животного в открытом поле камера располагалась под прозрачным полом. При этом регистрировались и отдельно обрабатывались две декартовы координаты траектории. Комплексирование коэффициентов корреляции отдельных координат для формирования единой оценки основано на ортогональности приращений по отдельным координатам, определяющей их нулевую взаимную корреляцию. Возможность комплексирования фазовых метрик связности в такой ситуации требует отдельных исследований, выходящих за рамки настоящей статьи. Поэтому при оценивании фазовых метрик по траекториям движения в открытом поле обрабатывались массивы значений скорости движения отдельных частей тела. На рис. 5 различными цветами показаны графики изменения скорости лап здоровой крысы при движении на беговой дорож-
ке. Скорость движения определена в относительных единицах и представлена в зависимости от номера кадра.
Как следует из рис. 5, динамика изменения скорости движения характеризуется некоторой периодичностью, что является дополнительным аргументом в пользу применения фазовых методов оценивания совместной динамики движений.
Статистический анализ показателей двигательной активности. В результате статистического анализа были выявлены показатели взаимной динамики, значимо отличающиеся в рассмотренных группах лабораторных животных. Сравнение показателей проводилось с помощью непараметрического критерия Краскела-Уоллиса, представляющего собой многомерное обобщение непараметрического критерия Манна-Уитни. Для маркировки отдельных категорий животных на различных стадиях исследования приняты следующие обозначения: ИНТ (интактные) - здоровые животные до травмы; ТСМ3 - группа животных на третий день после травмы; ТСМ7, ТСМ14, ТСМ21 и ТСМ28 - группы животных на седьмой, четырнадцатый, двадцать первый и два-
Робастные методы оценивания характеристик двигательной активности по данным безмаркерных телевизионных наблюдений Robust Methods for Assessing the Characteristics of Locomotor Activity Based on Markerless Video Capture Data
2
3
0
v 200 100
2000
4000
6000 а
8000
10000
v 200 100 0
v 200 100 0
v 200 100
Рис. 5. Зависимость скорости движения лап здоровой крысы от номера кадра: а - правая передняя лапа (рис. 1, B); б - левая передняя лапа (рис. 1, C); в - правая задняя лапа (рис. 1, E);
г - левая задняя лапа (рис. 1, F)
Fig. 5. Dependence of a healthy rat paw movement speed on the frame number: а - right front paw (fig. 1, B); б - left front paw (fig. 1, C); в - right hind paw (fig. 1, E); г - left hind paw (fig. 1, F)
дцать восьмой день после травмы соответственно; ТСМ + РТ7 и ТСМ + РТ14 - группы животных на седьмой и четырнадцатый день после травмы на фоне дополнительной РТ. В качестве примеров полученных результатов на рис. 6 приведены боксовые диаграммы коэффициента стабильности временной задержки максимума взаимной корреляции между движениями левой задней и правой передней лап TDS и коэффициента фазовой синхронизации между движениями передних лап Sync в груп-
пах лабораторных животных. Результаты приведены для тестирования в открытом поле. Значения коэффициентов, отражающих синхронность поведения данных, нормированы к значениям медиан контрольной группы. На боксовых диаграммах приведены значения уровня значимости отличий показателей в группах животных p.
Исследование демонстрирует, что в первую неделю после травмы наблюдается увеличение метрик взаимной синхронизации на фоне вы-
TDS
1.5
1.0
0.5
0.0
и
о
H
i
о
H
p = 0.019
т т
т 1
о
H
о
H
о
H
т
1
H CM
о
H
Sync 1.2 1.0 0.8
0.6 0.4
T
H CM
о
H
о
H
ж
о
H
p = 0.008 T
1
о
H
о
H
о
H
T
H CM
о
H
1
H CM
о
H
Рис. 6. Боксовые диаграммы показателей синхронности взаимной динамики конечностей крысы при s = 10 с
Fig. 6. Boxplots of stability indicators of rat paws mutual dynamics at s = 10 s
Робастные методы оценивания характеристик двигательной активности по данным безмаркерных телевизионных наблюдений Robust Methods for Assessing the Characteristics of Locomotor Activity
Based on Markerless Video Capture Data
0
n
к
к
к
150
100
50
0
О н
о н
раженного снижения ДА. Животные испытывают трудности с координацией движений, в результате чего не могут двигать всеми конечностями одинаково эффективно. Подобные изменения в поведении могут служить индикаторами нарушений, обусловленных травмой.
С течением времени, особенно после начала реабилитационных тренировок, начинается процесс восстановления, который приводит к постепенному улучшению двигательной функции. Важно отметить, что, несмотря на внешнюю схожесть распределения метрик связности в норме и на 14-й день после травмы, терапия может способствовать более стабильному и устойчивому восстановлению. На основании полученных результатов можно предположить, что тренировки на беговой дорожке не только ускоряют процесс восстановления, но и обеспечивают более высокую степень функционального восстановления. Распределения метрик связности на 14-й день в группе с применением РТ характеризуются сходными медианами, но существенно меньшим разбросом полученных оценок по сравнению как с исходной группой интактных животных, так и с группами животных ТСМ14-ТСМ28, что также свидетельствует о более выраженном процессе восстановления.
Предложенные в настоящей статье методы анализа данных являются мультимасштабны-ми, что выражается в выборе размера окна анализа s. Использование при обработке данных различных значений окна анализа позволяет как пронаблюдать эффекты, связанные с движением животного в целом, так и устранить подобное влияние. Диагностически значимые отличия показателей в группах при этом могут быть выявлены на различных масштабах. На рис. 7 представлены боксовые диаграммы запаздываний Tcor между движениями правой передней и правой задней лап, определенные на основе взаимного корреляционного анализа, при проведении тестов в открытом поле, для размера окна анализа s = 30 c. Показатели сравнивались для 11 категорий животных. Символ ИНТ характеризует группу здоровых животных в начале исследований. Обозначения ТСМ3-ТСМ28 соответствуют показателям животных на третий и последующие до двадцать
Робастные методы оценивания характеристик двигательной активности по данным безмаркерных телевизионных наблюдений Robust Methods for Assessing the Characteristics of Locomotor Activity Based on Markerless Video Capture Data
I
_T_
T_L
О H
О H
о
H
H CM
о
H
H CM
о
H
,—1 00
(N (N
н н Н
СМ СМ СМ
+ 2
о о о
н н н
Рис. 7. Боксовые диаграммы запаздывания задней лапы крысы относительно передней лапы при s = 30 с
Fig. 7. Boxplots of the delay of the rat hind paw relative to the front paw at s = 30 s
восьмого дни после травмы. Обозначения ТСМ + РТ3, ТСМ + РТ7, ТСМ + РТ14, ТСМ + РТ21, ТСМ + РТ28 соответствуют опытной группе животных с применением РТ и контролем состояния на третий, седьмой, четырнадцатый, двадцать первый и двадцать восьмой дни после травмы соответственно. Уровень значимости отличий запаздывания в группах животных составляет p < 0.001.
Упрощенная модель движения лабораторного животного может быть представлена байесовской сетью, отражающей взаимную динамику частей тела животного. На рис. 8 приведены примеры байесовских сетей, отражающих паттерны движения животного в открытом поле.
Узлы графов на рис. 8 соответствуют частям тела животного, их обозначения и окраска тождественны маркерам на рис. 1. На ребрах графов обозначены представляемые ими измерения относительных движений отдельных частей тела. Значения запаздываний, полученные на основе взаимного корреляционного анализа траекторий движения, указаны в таблице. Результаты дают количественные оценки эффектов торможения, возникающих при травме, и последующего восстановления, связанного с уменьшением запаздываний и возрастанием ДА.
Заключение. Применение робастных методов оценивания взаимной динамики временных рядов позволяет получить оценки параметров движения, устойчивые к помехам, неизбежно сопровождающим извлечение траекторий из видеопотока, сформированного безмаркерной системой наблюдения. В качестве основных
Контрольная группа (ИНТ)
Группа животных с ТСМ: 3-й день после травмы
G
Группа животных с ТСМ: 21-й день после травмы
А
Группа животных с ТСМ и РТ: 7-й день после травмы
А
G
G
Рис. 8. Модели движения животного на основе байесовских сетей, s = 10 с Fig. 8. Animal movement models based on Bayesian networks, s = 10 с
показателей, характеризующих взаимную динамику движения частей тела живого объекта, рассмотрены корреляционные и фазовые метрики, включающие оценки коэффициентов взаимной корреляции, стабильности временной задержки максимума взаимной корреляции, СКО разности мгновенных фаз, коэффициентов фазовой синхронизации запаздываний траекторий движения одних частей тела по отношению к другим. Для оценивания данных показателей предложены робастные алгоритмы. Получена аналитическая аппроксимация, на основании которой можно осуществить взаимный пересчет корреляционных и фазовых метрик, что может быть использовано как при комплексировании корреляционных и фазовых
измерений, так и при прогнозировании целевых переменных на основе байесовских сетей.
На основании результатов статистического анализа траекторий движения лабораторных животных выявлена чувствительность предложенных метрик к особенностям движения, вызванным травмой спинного мозга в условиях естественного протекания посттравматического процесса и на фоне реабилитационных двигательных нагрузок.
Байесовские сети, узлы которых соответствуют частям тела исследуемых объектов, параметризованные метриками взаимной динамики движений лабораторных животных, отражают особенности их функционального состояния, воздействие реабилитационных мероприятий и иные влияющие факторы. Измене-
Робастные методы оценивания характеристик двигательной активности по данным безмаркерных телевизионных наблюдений Robust Methods for Assessing the Characteristics of Locomotor Activity
Based on Markerless Video Capture Data
Запаздывание относительных движений отдельных частей тела
Delay in relative movements of individual body parts
Точки измерения Группа животных
контрольная (ИНТ) с ТСМ: 3-й день после травмы с ТСМ: 21-й день после травмы с ТСМ и РТ: 7-й день реабилитации
Задержка, с
A-B -0.13 -0.29 -0.21 -0.22
A-C -0.14 -0.27 -0.20 -0.18
A-D -0.27 -0.46 -0.41 -0.35
A-E -0.60 -0.92 -0.69 -0.73
A-F -0.58 -0.47 -0.77 -0.68
A-G -0.74 -0.74 -0.62 -0.62
B-C - - - -0.017
B-D -0.10 -0.29 -0.25 -0.20
B-E -0.39 -0.79 -0.61 -0.55
B-F -0.42 -0.82 -0.59 -0.58
B-G -0.49 -0.63 -0.57 -0.57
C-D -0.11 -0.30 -0.20 -0.17
C-E -0.38 -0.89 -0.20 -0.50
C-F -0.41 -0.77 -0.53 -0.53
C-G -0.59 -0.63 -0.51 -0.50
D-E -0.22 -0.52 -0.39 -0.28
D-F -0.25 -0.47 -0.41 -0.33
D-G -0.35 -0.26 -0.21 -0.27
E-F - -0.017 - -0.017
E-G -0.20 -0.11 -0.11 -0.05
F-G -0.20 -0.15 -0.10 -0.067
ния метрик связности и запаздываний движений характеризуют ухудшение ДА после травмы и последующее частичное восстановление.
Применение предложенных методов для оценки ДА лабораторных животных на фоне
травмы спинного мозга позволяет выявить различия в эффективности функционального восстановления как на фоне реабилитации, так и при других дополнительно применяемых методах терапии.
Авторский вклад
Богачев Михаил Игоревич - разработка и исследование методологических подходов к анализу движения и алгоритмических решений на их основе.
Григаревичус Константин Ричардасович - первичная обработка видеопотока; извлечение траекторий движения с использованием технологий безмаркерного видеозахвата.
Пыко Никита Сергеевич - программная реализация и тестирование алгоритмов вторичного анализа двигательной активности.
Пыко Светлана Анатольевна - статистический анализ и визуализация результатов исследований.
Цыганкова Маргарита - анализ траекторий движения по данным безмаркерного видеозахвата.
Плотникова Елизавета Александровна - организация и реализация видеорегистрации объектов исследования.
Агеева Татьяна Вячеславовна - планирование и реализация плана экспериментальных исследований.
Мухамедшина Яна Олеговна - разработка концепции исследований и интерпретация результатов.
Author's contribution
Mikhail I. Bogachev, development and research of methodological approaches to motion analysis and algorithmic solutions.
Konstantin R. Grigarevichius, primary processing of the video stream, extraction of motion trajectories using markerless video capture technologies.
Nikita S. Pyko, software implementation and testing of algorithms for secondary analysis of motor activity.
Svetlana A. Pyko, statistical analysis and visualization of research results.
Робастные методы оценивания характеристик двигательной активности 119
по данным безмаркерных телевизионных наблюдений
Robust Methods for Assessing the Characteristics of Locomotor Activity
Based on Markerless Video Capture Data
Margarita Tsygankova, analysis of movement trajectories based on markerless video capture data. Elizaveta A. Plotnikova, organization and implementation of video recording of research objects. Tatyana V. Ageeva, planning and implementation of the experimental research. Yana O. Mukhamedshina, development of research concepts and interpretation of results.
Список литературы
1. Butte N. F., Ekelund U., Westerterp K. R. Assessing physical activity using wearable monitors: measures of physical activity // Medicine and science in sports and exercise. 2012. Vol. 44, № 1, suppl. l. P. S5-S12. doi: 10.1249/MSS.0b013e3182399c0e
2. Видеоанализ движений человека в клинической практике (обзор) / В. В. Борзиков, Н. Н. Руки-на, О. В. Воробьева, А. Н. Кузнецов, А. Н. Белова // Современные технологии в медицине. 2015. Т. 7, № 4. С. 201-210. doi: 10.17691/stm2015.7.4.26
3. Insafutdinov E., Dosovitskiy A. Unsupervised learning of shape and pose with differentiable point clouds // Proc. of the 32nd Intern. Conf. on Neural Information Processing Systems. Montreal. 2018. P. 2807-2817. URL: https://dl.acm.org/doi/10.5555/3327144.3327204 (дата обращения 19.02.2024)
4. DeepCut: Joint subset partition and labeling for multi person pose estimation / L. Pishchulin, E. Insa-futdinov, S. Tang, B. Andres, M. Andriluka, P. Gehler,
B. Schiele // Proc. of IEEE Conf. on Computer Vision and Pattern Recognition. 2016. P. 4929-4937. doi: 10.1109/CVPR.2016.533
5. A deep learning-based toolbox for Automated Limb Motion Analysis (ALMA) in murine models of neurological disorders / A. Aljovic, S. Zhao, M. Chahin,
C. de la Rosa, V. van Steenbergen, V Kerschensteiner, F. M. Bareyre // Communications biology. 2022. Vol. 5, № 1. Art. 131. doi: 10.1038/s42003-022-03077-6
6. Video-based marker-free tracking and multi-scale analysis of mouse locomotor activity and behavioral aspects in an open field arena: a perspective approach to the quantification of complex gait disturbances associated with Alzheimer's disease / M. Bo-gachev, A. Sinitca, K. Grigarevichius, N. Pyko, A. Lyanova, M. Tsygankova, E. Davletshin, K. Petrov, T. Ageeva, S. Pyko, D Kaplun, A. Kayumov, Ya. Mukhamedshina // Frontiers in Neuroinformatics. 2023. Vol. 17, № 2. P. 110-112. doi: 10.3389/ fninf.2023.1101112
7. Switonski A., Josinski H., Wojciechowski K. Dynamic time warping in classification and selection of motion capture data // Multidimensional Systems and Signal Processing. 2019. Vol. 30, № 6. P. 1437-1468. doi: 10.1007/s11045-018-0611-3
8. Network physiology: how organ systems dynamically interact / R. P. Bartsch, L. Kang, A. Bashan, P. Ch. Ivanov // PloS one. 2015. Vol. 10, № 11. Art. e0142143. doi: 10.1371/journal.pone.0142143
9. Bartsch R. P., Ivanov P. Ch. Coexisting forms of coupling and phase-transitions in physiological networks // Communications in computer and information science. 2014. Vol. 438. P. 270-287. doi: 10.1007/9783 -319-08672-9_33
10. Conditional entropy approach for the evaluation of the coupling strength / A. Porta, G. Baselli, F. Lombardi, N. Montano, A. Malliani, S. Cerutti // Biological Cybernetics. 1999. Vol. 81, № 2. P. 119129. doi: 10.1007/s004220050549
11. Assessment of cooperativity in complex systems with non-periodical dynamics: comparison of five mutual information metrics / N. S. Pyko, S. A. Pyko, O. A. Markelov, A. I. Karimov, D. N. Butusov, Y. V. Zolotukhin, Y. D. Uljanitski, M. I. Bogachev // Physica A: Statistical mechanics and its applications. 2018. Vol. 503, № 6. P. 1054-1072. doi: 10.1016/ j.physa.2018.08.146
12. Understanding the complex interplay of persistent and antipersistent regimes in animal movement trajectories as a prominent characteristic of their behavioral pattern profiles: Towards an automated and robust model based quantification of anxiety test data / M. I. Bogachev, A. I. Lyanova, A. M. Sinitca, S. A. Pyko, N. S. Pyko, A. V Kuzmenko, S. A. Romanov, O. I. Brikova, M. Tsygankova, D. Y. Ivkin, S. V. Okovityi, V A. Prikhodko, D. I. Kaplun, Y. I. Sysoev, A. R. Kayumov // Biomedical signal processing and control. 2023. Vol. 81, № 3. Art. 104409. doi: 10.1016/j.bspc.2022.104409
13. Bunde A., Havlin S. A brief introduction to fractal geometry. Fractals in science. Berlin, Heidelberg: Springer, 1994. 26 p. doi: 10.1007/978-3-642-77953-4_1
14. Kasdin N. J. Discrete simulation of colored noise and stochastic processes and 1/f/sup/spl alpha//power law noise generation // Proc. of the IEEE. 1995. Vol. 83, iss. 5. P. 802-827. doi: 10.1109/5.381848
15. Hanea A. M., Kurowicka D., Cooke R. M. Hybrid method for quantifying and analyzing Bayesian belief nets // Quality and Reliability Engineering International. 2006. Vol. 22, № 6. P. 709-729. doi: 10.1002/qre.808
Информация об авторах
Богачев Михаил Игоревич - доктор технических наук (2018), доцент (2011) кафедры радиотехнических систем Санкт-Петербургского государственного электротехнического университета "ЛЭТИ"
120 Робастные методы оценивания характеристик двигательной активности
по данным безмаркерных телевизионных наблюдений Robust Methods for Assessing the Characteristics of Locomotor Activity
Based on Markerless Video Capture Data
им. В. И. Ульянова (Ленина). Автор 200 научных работ. Сфера научных интересов - статистический анализ данных; математическое моделирование.
Адрес: Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В. И. Ульянова (Ленина), ул. Проф. Попова, д. 5 Ф, Санкт-Петербург, 197022, Россия E-mail: [email protected]. https://orcid.org/0000-0002-0356-5651
Григаревичюс Константин Ричардасович - бакалавр по направлению "Управление в технических системах" (СПбГЭТУ "ЛЭТИ", 2023), студент факультета компьютерных технологий и информатики Санкт-Петербургского государственного электротехнического университета "ЛЭТИ" им. В. И. Ульянова (Ленина). Автор двух научных публикаций. Сфера научных интересов - программирование; машинное обучение; интеллектуальные системы компьютерного зрения.
Адрес: Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В. И. Ульянова (Ленина), ул. Проф. Попова, д. 5 Ф, Санкт-Петербург, 197022, Россия E-mail: [email protected] https://orcid.org/0000-0001-6163-9607
Пыко Никита Сергеевич - преподаватель-исследователь по направлению "Электроника, радиотехника и системы связи" (СПбГЭТУ "ЛЭТИ", 2023), ассистент кафедры радиотехнических систем, младший научный сотрудник научно-образовательного центра "Цифровые телекоммуникационные технологии" Санкт-Петербургского государственного электротехнического университета "ЛЭТИ" им. В. И. Ульянова (Ленина). Автор 42 научных работ. Сфера научных интересов - статистический анализ данных; математическое моделирование. Адрес: Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В. И. Ульянова (Ленина), ул. Проф. Попова, д. 5 Ф, Санкт-Петербург, 197022, Россия E-mail: [email protected] https://orcid.org/0000-0002-6668-9512
Пыко Светлана Анатольевна - кандидат технических наук (2000), доцент (2003) кафедры радиотехнических систем Санкт-Петербургского государственного электротехнического университета "ЛЭТИ" им. В. И. Ульянова (Ленина). Автор 62 научных работ. Сфера научных интересов - статистический анализ данных; математическое моделирование.
Адрес: Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В. И. Ульянова (Ленина), ул. Проф. Попова, д. 5 Ф, Санкт-Петербург, 197022, Россия E-mail: [email protected] https://orcid.org/0000-0001-6625-3770
Цыганкова Маргарита - бакалавр по направлению "Радиотехника" (2022), инженер научно-образовательного центра "Цифровые телекоммуникационные технологии" Санкт-Петербургского государственного электротехнического университета "ЛЭТИ" им. В. И. Ульянова (Ленина). Автор двух научных публикаций. Сфера научных интересов - статистический анализ данных в биомедицинских и экологических приложениях.
Адрес: Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В. И. Ульянова (Ленина), ул. Проф. Попова, д. 5 Ф, Санкт-Петербург, 197022, Россия E-mail: [email protected] https://orcid.org/0000-0001-5184-3698
Плотникова Елизавета Александровна - студент бакалавриата, лаборант-исследователь научно-исследовательской лаборатории OpenLab "Генные и клеточные технологии" Казанского (Приволжского) федерального университета. Сфера научных интересов - поведенческие тесты; травма спинного мозга; нейрореабилитация.
Адрес: Казанский (Приволжский) федеральный университет, ул. Кремлевская, д. 18, корп. 1, Казань, 420008, Республика Татарстан, Россия E-mail: [email protected] http://orcid.org/0009-0001-4041-2435
Агеева Татьяна Вячеславовна - кандидат биологических наук (2018), старший научный сотрудник научной лаборатории OpenLab "Генные и клеточные технологии" Казанского (Приволжского) федерального университета. Автор 39 научных работ. Сфера научных интересов - генные и клеточные технологии в регенеративной медицине; травма спинного мозга; нейрореабилитация.
Адрес: Казанский (Приволжский) федеральный университет, ул. Кремлевская, д. 18, корп. 1, Казань, 420008, Республика Татарстан, Россия E-mail: [email protected] http://orcid.org/0000-0002-3384-1450
Мухамедшина Яна Олеговна - доктор медицинских наук (2021), доцент (2021), ведущий научный сотрудник научной лаборатории OpenLab "Генные и клеточные технологии" Казанского (Приволжского) фе-
Робастные методы оценивания характеристик двигательной активности 121
по данным безмаркерных телевизионных наблюдений
Robust Methods for Assessing the Characteristics of Locomotor Activity
Based on Markerless Video Capture Data
дерального университета, доцент кафедры гистологии, цитологии и эмбриологии Казанского государственного медицинского университета. Автор 110 научных работ. Сфера научных интересов - генные и клеточные технологии в регенеративной медицине; травма спинного мозга; нейрореабилитация. Адрес: Казанский (Приволжский) федеральный университет, ул. Кремлевская, д. 18, корп. 1, Казань, 420008, Республика Татарстан, Россия E-mail: [email protected] http://orcid.org/0000-0002-9435-340X
References
1. Butte N., Ekelund U., Westerterp K. Assessing Physical Activity Using Wearable Monitors: Measures of Physical Activity. Medicine and Science in Sports and Exercise. 2012, vol. 44, no. 1, suppl 1, pp. S5-S12. doi: 10.1249/MSS.0b013e3182399c0e
2. Borzikov V. V., Rukina N. N., Vorob'eva O. V., Kuznetsov A. N., Belova A. N. Human Motion Video Analysis In Clinical Practice (Review). Modern Technologies Med. 2015, vol. 7, no. 4, pp. 201-210. doi: 10.17691/stm2015.7.4.26
3. Insafutdinov E., Dosovitskiy A. Unsupervised Learning of Shape and Pose with Differentiable Point Clouds. Proc. of the 32nd Intern. Conf. on Neural Information Processing Systems. 2018, pp. 2807-2817. Available at: https://dl.acm.org/doi/10.5555/3327144.3327204 (accessed 19.02.2024)
4. Pishchulin L., Insafutdinov E., Tang S., Andres B., Andriluka M., Gehler P., Schiele B. Deepcut: Joint Subset Partition and Labeling for Multi Person Pose Estimation. Proc. of the IEEE Conf. on Computer Vision And Pattern Recognition. 2016, pp. 4929-4937. doi: 10.1109/CVPR.2016.533
5. Aljovic A., Zhao S., Chahin M., de la Rosa C., van Steenbergen V., Kerschensteiner V., Bareyre F. M. A Deep Learning-Based Toolbox for Automated Limb Motion Analysis (ALMA) in Murine Models of Neurological Disorders. Communications Biology. 2022, vol. 5, no. 1, p. 131. doi: 10.1038/s42003-022-03077-6
6. Bogachev M., Sinitca A., Grigarevichius K., Pyko N., Lyanova A., Tsygankova M., Davletshin E., Petrov K., Ageeva T., Pyko S., Kaplun D, Kayumov A., Mukhamedshina Ya. Video-Based Marker-Free Tracking and Multi-Scale Analysis of Mouse Locomotor Activity and Behavioral Aspects in an Open Field Arena: a Perspective Approach to the Quantification of Complex Gait Disturbances Associated with Alzheimer's Disease. Frontiers in Neuroinformatics. 2023, no. 17, p. 1101112. doi: 10.3389/fninf.2023.1101112
7. Switonski A., Josinski H., Wojciechowski K. Dynamic Time Warping in Classification and Selection of Motion Capture Data. Multidimensional Systems and Signal Processing. 2019, vol. 30, pp. 1437-1468. doi: 10.1007/s11045-018-0611-3
8. Bartsch R. P., Kang L., Bashan A., Ivanov P. Ch. Network Physiology: How Organ Systems Dynamically Interact. PloS one. 2015, vol. 10, no. 11, p. e0142143. doi: 10.1371/journal.pone.0142143
9. Bartsch R. P., Ivanov P. Ch. Coexisting Forms of Coupling and Phase-Transitions in Physiological Networks. Communications in Computer and Information Science. 2014, vol. 438, pp. 270-287. doi: 10.1007/978-3-319-08672-9_33
10. Porta A., Baselli G., Lombardi F., Cerutti S. Conditional Entropy Approach for the Evaluation of the Coupling Strength. Biological Cybernetics. 1999, vol. 81, no. 2, pp. 119-129. doi: 10.1007/ s004220050549
11. Pyko N. S., Pyko S. A., Markelov O. A., Kari-mov A. I., Butusov D. N., Zolotukhin Y. V., Uljanitski Y. D., Bogachev M. I. Assessment of Cooperativity in Complex Systems with Non-Periodical Dynamics: Comparison of Five Mutual Information Metrics. Physica A: Statistical Mechanics and its Applications. 2018, no. 503, pp. 1054-1072. doi: 10.1016/j.physa.2018.08.146
12. Bogachev M. I., Lyanova A. I., Sinitca A. M., Pyko S. A., Pyko N. S., Kuzmenko A. V., Romanov S. A., Brikova O. I., Tsygankova M., Ivkin D. Y., Okovityi S. V. Understanding the Complex Interplay of Persistent and Antipersistent Regimes in Animal Movement Trajectories as a Prominent Characteristic of Their Behavioral Pattern Profiles: Towards an Automated and Robust Model Based Quantification of Anxiety Test Data. Biomedical Signal Processing and Control. 2023, vol. 81, p. 104409.
13. Bunde A., Havlin S. A Brief Introduction to Fractal Geometry. Fractals in Science. Berlin, Heidelberg, Springer Berlin Heidelberg, 1994, pp. 1-26. doi: 10.1007/978-3-642-77953-4_1
14. Kasdin N. J. Discrete Simulation of Colored Noise and Stochastic Processes and 1/f/sup/spl alpha// Power Law Noise Generation. Proc. of the IEEE. 1995, vol. 83, no. 5, pp. 802-827. doi: 10.1109/5.381848
15. Hanea A. M., Kurowicka D., Cooke R. M. Hybrid Method for Quantifying and Analyzing Bayesian Belief Nets. Quality and Reliability Engineering International. 2006, vol. 22, no. 6, pp. 709-729. doi: 10.1002/qre.808
Information about the authors
Mikhail I. Bogachev - Dr Sci. (Eng.) (2018), Associate Professor (2011) of the Department of Radio Engineering Systems of Saint Petersburg Electrotechnical University. The author of 200 scientific publications. Area of expertise: statistical data analysis; mathematical modeling.
Address: Saint Petersburg Electrotechnical University, 5 F, Professor Popov St., St Petersburg 197022, Russia
122 Робастные методы оценивания характеристик двигательной активности
по данным безмаркерных телевизионных наблюдений Robust Methods for Assessing the Characteristics of Locomotor Activity
Based on Markerless Video Capture Data
E-mail: [email protected]. https://orcid.org/0000-0002-0356-5651
Konstantin R. Grigarevichius - Bachelor in Management in Technical Systems (2023, Saint Petersburg Elec-trotechnical University), student of the Faculty of Computer Technologies and Informatics of Saint Petersburg Elec-trotechnical University. The author of 2 scientific publications. Area of expertise: programming; machine learning; intelligent computer vision systems.
Address: Saint Petersburg Electrotechnical University, 5 F, Professor Popov St., St Petersburg 197022, Russia E-mail: [email protected] https ://orcid. org/0000-0001-6163-9607
Nikita S. Pyko - High-Research Teacher in Electronics, Radio Engineering and Communication Systems (2023, Saint Petersburg Electrotechnical University), Assistant of the Department of Radio Engineering Systems, Junior Researcher at the Scientific and Educational Center "Digital Telecommunication Technologies" of Saint Petersburg Electrotechnical University. The author of 42 scientific publications. Area of expertise: statistical data analysis; mathematical modeling.
Address: Saint Petersburg Electrotechnical University, 5 F, Professor Popov St., St Petersburg 197022, Russia
E-mail: [email protected]
https://orcid.org/0000-0002-6668-9512
Svetlana A. Pyko - Cand. Sci (Eng.) (2000), Associate Professor (2003) of the Department of Radio Engineering Systems of Saint Petersburg Electrotechnical University. The author of 62 scientific publications. Area of expertise: statistical data analysis; mathematical modeling.
Address: Saint Petersburg Electrotechnical University, 5 F, Professor Popov St., St Petersburg 197022, Russia
E-mail: [email protected]
https://orcid.org/0000-0002-4790-2840
Margarita Tsygankova - Bachelor in Radio Engineering (2022, Saint Petersburg Electrotechnical University), Engineer at the Scientific and Educational Center "Digital Telecommunication Technologies" of Saint Petersburg Electrotechnical University. Author of 2 scientific publications. Area of expertise: statistical data analysis in biomedical and environmental applications.
Address: Saint Petersburg Electrotechnical University, 5 F, Professor Popov St., St Petersburg 197022, Russia
E-mail: [email protected]
https://orcid.org/0000-0001-5184-3698
Elizaveta A. Plotnikova - Undergraduate student, Research Assistant at the OpenLab Research Laboratory of Gene and Cell Technologies, Kazan (Volga Region) Federal University. Area of expertise: behavioral tests; spinal cord injury; neurorehabilitation.
Address: Kazan (Volga Region) Federal University, 18, Kremlevskaya St., Bldg. 1, Kazan 420008, Republic of Ta-tarstan, Russia
E-mail: [email protected] http://orcid.org/0009-0001-4041-2435
Tatyana V. Ageeva - Cand. Sci (Biol.) (2018), Senior Research Scientist at the OpenLab Research Laboratory of Gene and Cell Technologies at Kazan (Volga Region) Federal University. The author of 39 scientific publications. Area of expertise: gene and cell technologies in regenerative medicine; spinal cord injury; neurorehabilitation. Address: Kazan (Volga Region) Federal University, 18, Kremlevskaya St., Bldg. 1, Kazan 420008, Republic of Ta-tarstan, Russia
E-mail: [email protected] http://orcid.org/0000-0002-3384-1450
Yana O. Mukhamedshina - Dr Sci. (Med.) (2021), Associate Professor (2021), Leading Research Scientist at the OpenLab Research Laboratory of Gene and Cell Technologies at Kazan (Volga Region) Federal University, Associate Professor of the Department of Histology, Cytology, and Embryology at Kazan State Medical University. Author of 140 scientific papers. Area of expertise: gene and cell technologies in regenerative medicine; spinal cord injury; neurorehabilitation.
Address: Kazan (Volga Region) Federal University, 18, Kremlevskaya St., Bldg. 1, Kazan 420008, Republic of Ta-
tarstan, Russia
E-mail: [email protected]
http://orcid.org/0000-0002-9435-340X
Робастные методы оценивания характеристик двигательной активности 123
по данным безмаркерных телевизионных наблюдений
Robust Methods for Assessing the Characteristics of Locomotor Activity
Based on Markerless Video Capture Data
