Программные продукты и системы

В активно развивающейся области экзоскелетных систем (ЭКЗ) крупным направлением являются системы поддержки физической   работоспособности человека. Одна из задач таких систем – распознавание образа совершаемого человеком движения и дополнение естественной локомоции для увеличения эффективности путем уменьшения физических затрат оператора. В отечественной [1–3] и зарубежной [4–7] литературе для анализа движения применяются методы, представленные следующими областями:

-     структурный и клинический анализ движения, имеющий комплексный характер (подометрическая, гониометрическая, динамометрическая, биоэлектрическая и кинематическая   составляющие), с экспертной оценкой на основании известных закономерностей и коррелирующих признаков локомоций [8, 9];

-     искусственные нейронные сети, в кото-  рых осуществляется анализ движения на нали-  чие ожидаемых паттернов в исследуемых данных; в работах [4, 6] для этого применяются глубокая сверточная сеть и сеть обратного распространения ошибки;

-     цифровая обработка сигналов, где в качестве примера для поиска ожидаемого паттерна движения применяется алгоритм динамического сжатия времени (DTW) [5].

Также перспективным направлением является анализ движения в виде электроэнцефалограммы оператора [10, 11]. Чаще всего локомоции рассматриваются путем траекторного (пространственного) способа представления и в виде кривых биоэлектрической активности мускулатуры [12, 13]. В настоящий момент большими преимуществами по сравнению с представленными выше методами обладает описание движения в виде траекторного представления. Это обусловлено количеством информационной составляющей в модели движения, большей простотой регистрации физиче-  ского параметра и особенностями применения измерительной системы в составе внешней конструкции ЭКЗ [9, 14]. На основании этого данный способ описания выбран в качестве основного при формировании информационной модели.

В отличие от ранее представленных методов распознавания движения межсегментная оценка предлагает анализ паттернов, выделенных из кинематических траекторий посредством взаимного сопоставления полученных признаков в активных (участвующих в локомоции) сегментах конечности. Данный метод применяется авторами в ЭКЗ нижних конечностей поддержки физической работоспособности оператора.

Построение метода обусловлено необходимостью обнаружения и классификации движений оператора ЭКЗ поддержки физической работоспособности в режиме реального времени для предиктивного управления исполнительными элементами конструкции, а также прогнозирования дальнейшего состояния человеко-машинной системы. Метод направлен на решение задачи выделения ожидаемого сигнала из регистрируемых траекторий с целью дальнейшего обнаружения. Для выполнения первичного прототипирования и оценки применимости предлагаемого метода при построении модели сделаны допущения об исключении ландшафтных особенностей местности при регистрации кинематических траекторий.

Идея, положенная в основу подхода к выделению ожидаемого паттерна, заключается в представлении совершаемого движения в виде кинематических траекторий, описанных в нескольких плоскостях для выделенной группы сегментов конечности [8, 9]. Алгоритм выделения предполагает обработку входных данных в несколько этапов:

-     проход группой паттернов движения по регистрируемой кинематической траектории с целью получения сырых (до прохождения через систему критериев фильтра) отметок потенциального расположения ожидаемого сигнала в каждой рассматриваемой плоскости;

-     фильтрация сырых отметок для подавления шума и сигналоподобных всплесков;

-     применение межсегментной режекции последовательностей с данными потенциаль-  ного местонахождения ожидаемого паттерна.

Применяемая информационная   модель движения

Формирование кинематических траекторий движения осуществляется путем обработки мгновенных значений инерциальных датчиков и датчиков абсолютных энкодеров, установленных на внешней конструкции исследовательской платформы ЭКЗ [14]. Для идентификации движений используются фронтальная (YOZ) и сагиттальная (YOX) плоскости (рис. 1) [9].

Значения, полученные измерительной системой, представляют собой временные ряды, сгруппированные по признаку принадлежности к рассматриваемой плоскости и к сегменту конечности, являются одним из входных наборов для алгоритма выделения ожидаемого паттерна и далее обозначаются как исследуемый сигнал. Сигнал представлен в виде двух наборов – Bin и Gin:

Из исследуемого сигнала выделяется ожидаемый сигнал, который представлен в виде набора дискретных последовательностей, являющихся участком определенного движения (паттерн движения). Аналогично исследуемому сигналу ожидаемые паттерны сгруппированы по признаку принадлежности конечности к плоскости, в которой описывается траектория, и типу движения. Формально паттерн дви-  жения представляется как один из наборов траекторий в Pm = pmotion1 … pmotionN. В общем случае  где

(incl – интервал действительных чисел на отрезке от –40 до 40, который справедлив только для текущего (рассматриваемого) набора паттернов циклического движения).

Модель выделения ожидаемого паттерна   из регистрируемых кинематических   траекторий на базе представленного метода

Архитектура блока выделения сигнала разделена на следующие основные сегменты: область буферизации входных данных, модуль первичной обработки, модуль фильтрации, модуль буферизации кластеров выходных данных (рис. 2).

Исходя из того, что общая формулировка задачи сводится к оценке корреляции известного сигнала с неизвестным, принято решение воспользоваться понятием согласованной фильтрации из области обработки сигналов.   В этом случае решение задачи эквивалентно свертке неизвестного сигнала с сопряженной версией шаблона, обращенной во времени. Согласованный фильтр является оптимальным линейным фильтром для максимизации отношения сигнал/шум (SNR) в присутствии аддитивного стохастического шума.

Общий принцип работы блока выделения базируется на применении к функциям f и g операции свертки, которая соответствует взаимнокорреляционной функции f(x) и g(–x).   В качестве функции f(x) выступают регистрируемые кинематические траектории движения Bin и Gin. Размерность f(x) зависит от параметра N (ширина окна). Этот параметр тесно связан с максимальным размером траектории паттерна ожидаемого движения и вычисляется в соответствии с отношением N = max(length(pi)), где  pi = xp[j, k]), xp – участок траектории ожидаемого сигнала, принадлежащий к сегменту конечности и рассматриваемой плоскости; j, k – индексы, формирующие интервал на рассматриваемой траектории.

Функция g(–x) представляет собой отраженную копию ожидаемого паттерна движения pi. Таким образом, операция свертки над траекториями, представленными в дискретной форме, имеет вид

где a(n) – исследуемая кинематическая траектория; b(n) – паттерн ожидаемого движения.

Полученная функция S размерностью   n + m – 1 (рис. 3) помещается в кластер данных, сгруппированных по критерию принадлежности к сегменту конечности и рассматриваемой плоскости.

После выполнения описанных действий для каждого из паттернов ожидаемого движения из функций S формируются наборы Gconv и Bconv. Наборы сверточных функций передаются в модуль фильтрации (рис. 1). Принцип его работы основан на пороговом занулении отсчетов входных значений и их режекции. Расчет порогового значения фильтрации определяется выражением thresholdi = kpb_i, где k ∈ [0, 1].

В первом приближении коэффициент k был выбран при помощи введенной оценки thresholdeff оптимальности подавления ложных отметок на выборке с известным количеством и значением отметок расположения ожидаемого сигнала. Параметр оптимальности представлен выражением

где Kt – количество теоретических отметок расположения сигнала; Kr – количество полученных отметок после прохождения пороговой фильтрации.

На рисунке 4 показано, как меняется количество отметок ожидаемого сигнала при изменении коэффициента порогового фильтра k.

В результате моделирования для паттернов движения (рис. 4) были рассчитаны коэффициенты k порогового фильтра наборов pb и pg. При выборе k допускается отклонение результирующего значения с учетом выполнения условия

k ∈ [tholdeff_max – (0.1*tholdeff_max);tholdeff_max], (2)

где tholdeff_max – значение параметра оптимальности подавления, максимально близкое к 1 (см. (1)).

Как видно из рисунка 4, при уменьшении коэффициента порогового фильтра увеличива-  ется количество отметок потенциального   расположения ожидаемого паттерна. Это приводит к увеличению ложных отметок, что снижает величину параметра оптимальности   подавления tholdeff_max. Уменьшение чувствительности пороговой фильтрации путем увеличения коэффициента k до значений, приближающихся к 1, также приводит к снижению значения параметра tholdeff_max. Это обусловлено тем, что фильтр вместе с шумовой составляющей подавляет полезный сигнал, в результате снижаются эффективность работы блока выделения и вероятность обнаружения ожидаемого паттерна. Исходя из выражений (1) и (2) и рисунка 4 выбраны значения коэффициента для Gconv i = 0.6, для Bconv i = 0.55.

При прохождении порогового фильтра в результирующей выборке могут присутствовать ложные отметки о потенциальном нахождении ожидаемого сигнала из-за того, что паттерны и исследуемый сигнал не оптимальны для операции свертки. Таким образом, наличие ярко выраженных по амплитуде выбросов рядом с отметкой максимума взаимнокорреляционной функции вполне ожидаемо. Помимо сигналоподобных всплесков, в выборке могут быть ложные отметки, полученные в результате наличия полезного сигнала, описывающего другой вид движения или случайное недетерминированное перемещение сегмента конечности.

В силу этого применяется метод межсегментной оценки для режекции выборок пороговой фильтрации. Принцип его работы основан на представлении движения как детерминированного набора локомоций сегментов конечности. Набор локомоций представляет собой признак движения и образует тесную связь между разными наборами данных, принадлежащих к исследуемым сегментам конечности по принципу их взаимного расположения во времени. Таким образом, рассматривая циклическое движение как шаг, можно дать оценку бедренного и голенного сегментов конечности в сагиттальной и фронтальной плоскостях относительно сформированного признака. Исходя из этого следует, что отметка расположения ожидаемого паттерна в траектории сегмента бедра должна находиться в окрестности теоретической точки относительно выделенной отметки паттерна движения сегмента голени (рис. 5). Данное утверждение справедливо и для отметки в сегменте голени по отношению к сегменту бедра.

Как видно из рисунка 5, в блоке режекции подавляется отметка теоретического расположения ожидаемого паттерна в траектории сегмента голени.

Описанный в работе алгоритм блока выделения сигнала реализован в виде программного прототипа на языке С++ в составе имитационного комплекса исследовательской платформы ЭКЗ.

Апробация представленного метода выделения проводилась на кинематических траекториях, зарегистрированных средствами исследовательской платформы ЭКЗ. В качестве исследуемого сигнала представлено циклическое движение – шаг. По результатам прохождения сигнала через блок выделения с описанными выше параметрами ожидается получение двух отметок потенциального расположения ожидаемого паттерна шага.

По итогам первичной апробации метод межсегментной оценки показал свою применимость для решения поставленной задачи: после режекции данных в результирующих последовательностях бедра и голени для сагиттальной плоскости присутствуют две отметки ожидае-  мого паттерна (рис. 6). Из исследуемых кине-  матических траекторий с двумя теоретическими отметками местонахождения ожидаемого движения были найдены все паттерны. Данные отметки несколько смещены относительно теоретического значения ожидаемого сигнала (рис. 6). Это смещение имеет плавающую величину и зависит от близости подобия ожидаемого паттерна и движения, описываемого регистрируемыми траекториями. Практически при наличии отметки выделения в траекториях сегментов величина смещения не превышает значения 0.18 от длины ожидаемого сигнала.

Заключение

В результате проработки метода межсегментной оценки была построена модель выделения ожидаемого паттерна движения из регистрируемых кинематических траекторий, в рамках которой представлены способ описания движения при помощи кинематических траекторий, применяемый математический аппарат, краткое алгоритмическое описание предлагаемого метода.

Модель реализована в виде программного прототипа с проведением его первичной апробации. Полученные результаты указывают на возможность применения метода межсегментной оценки для анализа кинематических траекторий средствами ЭКЗ в режиме реального времени, что допускает построение модели распознавания циклических движений оператора. Данная модель служит основой для построения и исследования возможных алгоритмов, решающих одну из задач предикции положения сегментов конечности оператора при взаимодействии с экзоскелетной системой.

Литература

1.    Бобе А.С., Конышев Д.В., Воротников С.А. Использование паттернов ЭМГ в задаче распознавания цикла ходьбы человека // Прикаспийский журнал: управление и высокие технологии. 2016. № 3.   С. 21–28. DOI: 10.21672/2074-1707-2016-35-3-021-028 (in Engl.).

2.    Давыдова Н.С., Васюк В.Е., Парамонова Н.А. Алгоритм анализа кинематических характеристик бега // Докл. БГУИР. 2020. Т. 18. № 8. С. 37–45. DOI: 10.35596/1729-7648-2020-18-8-37-45.

3.    Воронцова О.И., Лозовская М.В. Структура шагового цикла по данным анализа кинетических и кинематических параметров походки человека // Вестн. новых медицинских технологий. 2017. № 3.   С. 9–15. DOI: 10.12737/article_5975a4870397c0.15031094. URL: http://vnmt.ru/Bulletin/E2017-3/1-1.pdf (дата обращения: 10.05.2022).

4.    Han Y., Liu C., Ya L., Ren L. Design of decision tree structure with improved BPNN nodes for high-accuracy locomotion mode recognition using a single IMU. Sensors, 2021, vol. 21, art. 526. DOI: 10.3390/  s21020526.

5.    Wang M., Li Z., Lei Q., Wang Me., Zhang R. Research on gait recognition and prediction of exoskeleton robot based on improved DTW algorithm. J. of Physics Conf. Ser., 2020, vol. 1518, no. 1, pp. 012–019. DOI: 10.1088/1742-6596/1518/1/012019.

6.    Zhu L., Wang Z., Ning Z., Zhang Y., Liu Y., Cao W. et al. A novel motion intention recognition approach for soft exoskeleton via IMU. Electronics, 2020, vol. 9, art. 2176. DOI: 10.3390/electronics9122176.

7.    Feng Y., Chen W., Wang Q. A strain gauge based locomotion mode recognition method using convolutional neural network. Advanced Robotics, 2019, vol. 33, no. 5, pp. 1–10. DOI: 10.1080/01691864.2018.  1563500.

8.    Иванова Г.Е., Скворцов Д.В. Объективный клинический анализ походки. Обзор // Вестн. восстановительной медицины. 2015. № 4. С. 59–66.

9.    Скворцов Д.В. Диагностика двигательной патологии инструментальными методами: анализ походки, стабилометрия. М.: Т.М. Андреева, 2007. 640 c.

10. Gordleeva S.Y., Lukoyanov M.V., Mineev S.A. et al. Exoskeleton control system based on motor-imaginary brain-computer interface. Modern Technologies in Medicine, 2017, vol. 9, no. 3, pp. 31–38. DOI: 10.17691/stm2017.9.3.04.

11. Куркин С.А., Пицик Е.Н., Храмов А.Е. Использование искусственных нейронных сетей для классификации электрической активности головного мозга в процессе воображения движений у нетренированных испытуемых // Информационно-управляющие системы. 2019. № 6. С. 77–84. DOI: 10.31799/1684-8853-2019-6-77-84.

12. Лобов С.А., Миронов В.И., Кастальский И.А., Казанцев В.Б. Совместное использование командного и пропорционального управления внешними робототехническими устройствами на основе электромиографических сигналов // Современные технологии в медицине. 2015. Т. 7. № 4. С. 30–38. DOI: 10.17691/stm2015.7.4.04.

13. Будко Н.А., Медведев М.Ю., Будко А.Ю. Разработка и исследование метода векторного анализа ЭМГ предплечья для построения человеко-машинных интерфейсов // Изв. ЮФУ. Технические науки. 2021. № 2. С. 18–31. DOI: 10.18522/2311-3103-2021-2-18-31.

14. Провоторов Н.В., Таратонов И.А. Алгоритмы управления экзоскелетной системой нижних конечностей человека // Системный анализ в медицине: матер. XII Междунар. научн. конф. 2018.   С. 68–72.

References

1. Bobe A.S., Konyshev D.V., Vorotnikov S.A. Using EMG patterns for human gait cycle recognition. Caspian J.: Control and High Technologies, 2016, no. 3, pp. 21–28. DOI: 10.21672/2074-1707-2016-35-3-021-028.
2. Davydova N.S., Vasiuk V.Е., Paramonova N.A., Mezhennaya М.М., Guseinov D.I. Algorithm for the analysis of kinematic characteristics of running. Doklady BGUIR, 2020, vol. 18, no. 8, pp. 37–45. DOI: 10.35596/1729-7648-2020-18-8-37-45 (in Russ.).
3. Vorontsova O.I., Lozovskaya M.V. Structure of gait cycle based on kinetic and kinematical parameters. J. of New Medical Technologies, 2017, no. 3, pp. 9–15. DOI 10.12737/article_5975a4870397c0.15031094. Available at: http://vnmt.ru/Bulletin/E2017-3/1-1.pdf (accessed May 10, 2022).
4. Han Y., Liu C., Ya L., Ren L. Design of decision tree structure with improved BPNN nodes for high-accuracy locomotion mode recognition using a single IMU. Sensors, 2021, vol. 21, art. 526. DOI: 10.3390/s21020526.
5. Wang M., Li Z., Lei Q., Wang Me., Zhang R. Research on gait recognition and prediction of exoskeleton robot based on improved DTW algorithm. J. of Physics Conf. Ser., 2020, vol. 1518, no. 1, pp. 012–019. DOI: 10.1088/1742-6596/1518/1/012019.
6. Zhu L., Wang Z., Ning Z., Zhang Y., Liu Y., Cao W. et al. A novel motion intention recognition approach for soft exoskeleton via IMU. Electronics, 2020, vol. 9, art. 2176. DOI: 10.3390/electronics9122176.
7. Feng Y., Chen W., Wang Q. A strain gauge based locomotion mode recognition method using convolutional neural network. Advanced Robotics, 2019, vol. 33, no. 5, pp. 1–10. DOI: 10.1080/01691864.2018.1563500.
8. Ivanova G.E., Skvortsov D.V. An objectiv clinical gait analysis a survay. Overview. Bull. of Rehabilitation Medicine, 2015, no. 4, pp. 59–66 (in Russ.).
9. Skvortsov D.V. Diagnosis of Motor Pathology by Instrumental Methods: Gait Analysis, Stabilometry. Moscow, 2007, 640 p. (in Russ.).
10. Gordleeva S.Y., Lukoyanov M.V., Mineev S.A. et al. Exoskeleton control system based on motor-imaginary brain-computer interface. Modern Technologies in Medicine, 2017, vol. 9, no. 3, pp. 31–38. DOI: 10.17691/stm2017.9.3.04.
11. Kurkin S.A., Pitsik E.N., Khramov A.E. Classifying electrical activity of the brain during imaginary movements of untrained subjects using artificial neural networks. Information and Control Systems, 2019, no. 6, pp. 77–84. DOI: 10.31799/1684-8853-2019-6-77-84 (in Russ.).
12. Lobov S.А., Mironov V.I., Kastalskiy I.А., Kazantsev V.B. Combined use of command-proportional control of external robotic devices based on electromyography signals. Modern Technologies in Medicine, 2015, vol. 7, no. 4, pp. 30–38. DOI: 10.17691/stm2015.7.4.04 (in Russ.).
13. Budko N.A, Medvedev M.Y., Budko A.Y. Development and research of the method of vector analysis of EMG of the forearm for construction of human-machine interfaces. Izv. SFedU. Engineering Sciences, 2021, no. 2, pp. 18–31. DOI: 10.18522/2311-3103-2021-2-18-31 (in Russ.).
14. Provotorov N.V., Taratonov I.A. Algorithms of control of exoskeleton system of the lower extremities of a person. Proc. XII Int. Conf. System Analysis in Medicine, 2018, pp. 68–72 (in Russ.).