Software & Systems

Подвижность кистей и пальцев рук является одним из наиболее важных условий нормальной повседневной жизни человека. В настоящей работе описана разработанная програм-  мная система, которая потенциально может помочь в решении возникших у человека проблем с движением конечностей. Полученные результаты в той или иной степени могут быть применены при реабилитации пациентов с тяжелейшими заболеваниями: инсульт, апраксия, болезнь Паркинсона, рассеянный склероз, ожоги [1–5].

В 2016 году глобальный пожизненный риск инсульта для людей в возрасте 25 лет и старше составил примерно 25 % как для мужчин, так и для женщин [6]. Полностью восстанавливаются после инсульта меньше 3 % пациентов. В десятке приоритетов людей, переживших инсульт, на первом месте стоит необходимость реабилитации рук [7]. Дефицит подвижности конечностей возникает у 85 % людей, переживших инсульт, и оказывает значительное влияние на их обычную деятельность [8].

Постановка проблемы

Для выздоровления крайне необходимы регулярные тренировки. Поэтому очень важно сформировать у пациента мотивацию к выполнению ежедневных рутинных задач. С помощью геймификации можно значительно повысить вовлеченность пациента в процесс реабилитации.

Виртуальная реальность (ВР) позволяет обучать как медицинским упражнениям, так и действиям, имитирующим реальную жизнь. Все это можно сделать, не прибегая к поиску дополнительных предметов и инструментов, а также легко научить или напомнить о необходимых действиях во время тренировки. Важным преимуществом является возможность автоматически фиксировать прогресс в реабилитации пациента и отображать его в наглядной форме в любое время.

Кроме того, ВР может быть механизмом отвлечения, который потребляет когнитивные и аттенционные ресурсы, а также снижает психологический стресс, тем самым ограничивая процессы боли и действуя как нефармакологический анальгетик [9].

Рандомизированное перекрестное исследование показало [10], что при использовании виртуальной реальности время размышлений о боли сокращается на 56 % по сравнению с другими средствами самостоятельного отвлечения (например, медитацией, смартфоном).

Близкие исследования

В работе [3] предложена реабилитационная система с мягкими перчатками для пациентов с параличом рук после инсульта. Разработана пара перчаток: одна – для фиксации жестов на непораженной руке, другая с микродвигателями – для пораженной руки. Основная часть системы предназначена для идентификации конкретных жестов и основана на машинном обучении. Жесты отображаются на мониторе, поэтому пользователь может посмотреть, как данные передаются от перчатки к системе, и убедиться в их правильности.

Авторы [11] представили тест Box and Blocks Test (BBT) с использованием ВР для пациентов с болезнью Паркинсона. Для захвата руки использован контроллер Leap Motion Controller (LMC), проведены также оценка и сравнение физических и ВР-тестов. В результате эта система может стать надежным инструментом для оценки двигательной функции рук в более дружественной и стимулирующей среде.

В [12] проанализированы и описаны современное моделирование и анимация рук: анатомия кистей и пальцев рук, а также различные методы захвата движениями рук и их перевода в виртуальную среду или анимации без захвата.

В [13] предложена система захвата взаимодействия. Основными моментами являются управление двигателем, движение пальцев и реализм взаимодействия. Авторы описывают свою систему как простую, но гибкую и устойчивую к неизвестным объектам в реальном времени.

Автор статьи [14] предположила, что им-  мерсивная ВР может помочь в случае про-  странственного познания и использоваться для достоверной оценки производительности пространственной памяти. Разработаны два задания: первое – запоминание расположения объектов, второе –- переход через оживленную улицу.

Разработанная система

Структура системы. Детали перчатки подключаются к микроконтроллеру Arduino, который соединяется с персональным компьютером (ПК) через USB-кабель. Также к ПК подключаются шлем ВР HMD (Head-Mounted Dis­play), трекеры Vive и базовые станции. Трекеры Vive должны знать положение руки в перчатке. Базовые станции принимают сигналы от трекеров и HMD и обеспечивают их стабильную ориентацию в пространстве. Приложение Unity, запущенное на ПК, получает эту информацию, обрабатывает ее в соответствии с заданной программой и с помощью дополнительного меню помощника выводит изображение на экраны (HMD пользователя и монитор ПК).

На рисунке 1 показаны логические компоненты и связи между ними, реализованные в разработанной системе.

Оборудование. Основными компонентами аппаратной части являются ПК, гарнитура ВР HTC Vive с контроллерами и трекерами Vive, базовые станции (маяки) и разработанная перчатка. Перчатка (рис. 2) представляет собой концепцию [15, 16], а не окончательный вариант. Компоненты перчатки: обычная тканевая перчатка, гибкие датчики (производитель Spectra Symbol), Arduino Mega 2560 на базе микроконтроллера ATmega2560, USB-кабель и множество кабелей для подключения деталей пластины.

ПО. Поскольку перчатка основана на контроллере Arduino, сценарий был написан в среде Arduino IDE. Он считывает данные с гибких датчиков в виде значений сопротивления, а затем переводит значения сопротивления в новые значения в диапазоне 0–100 для лучшего понимания и удобства использования в Unity. Решение с открытым исходным кодом   Ardity [17] применено для соединения через COM-порт контроллера Arduino и Unity.

Для разработки приложения был использован движок Unity версии 2020 LTS, а для ВР-части – новый стандарт OpenXR, который облегчает расширение и обновление в будущем для других платформ.

Система взаимодействия. Движение руки фиксируется в компоненте под названием PhysicsPoser. Если рука находится рядом с другим физическим объектом с коллайдерами и недалеко от реального положения, то она плавно перемещается и вращается с помощью встроенного физического движка Unity, в противном случае помещается непосредственно в целевое положение, минуя физический движок.

На рисунке 3 показаны зеленые капсулы коллайдеров, которые являются их физическим представлением в движке.

В основании руки и на каждой фаланге пальцев прикреплены компоненты Articulation­Body. Они работают как суставы, поэтому при приложении внешней силы пальцы сгибаются. Сгибание также может быть выполнено путем установки нужных значений, что используется при хватании.

Конвейер с основными компонентами системы хватания и порядок потока информации следующие: GloveDevice + SerialController Þ GloveListener Þ GloveDetector Þ GloveMana­ger. Опишем компоненты более подробно.

Компоненты GloveDevice и SerialController отвечают за получение информации от перчатки и ее интерпретацию. GloveDevice опре-  деляет устройство и его характеристики в среде Unity. SerialController получает информацию из указанного COM-порта.

Компонент GloveListener на основе информации, полученной от предыдущих компонентов (степень сгибания), изменяет угол расположения суставов, сгибая пальцы виртуальной руки.

Компонент GloveDetector определяет, когда фаланги пальцев касаются объекта.

Компонент GloveManager работает с информацией от GloveDetector. Он проверяет две группы детектора: на большом пальце и на остальных. Условия для захвата: хотя бы один GloveDetector из каждой группы должен сигнализировать о контакте, ни один другой объект в данный момент не захватывается, и существует минимально необходимый уровень складки. Захват объекта осуществляется по средней точке, полученной из точек контакта, о которых сигнализируют GloveDetector.

Ощущение веса предметов также является важным моментом для погружения [18]: в зависимости от веса должно изменяться движение виртуального положения руки к реальному. Для более четкого понимания, когда достигается заметное различие в положениях виртуальной и реальной рук, появляется прозрачная проекция реальной руки (рис. 4).

Упражнения. Разработанные упражнения представлены в таблице.

Меню ассистента используется врачом или другим лицом для настройки параметров или помощи в выполнении некоторых полезных действий. В левой части экрана находятся универсальные настройки, в правой – специфические настройки текущего упражнения.

Ручное меню (рис. 5) позволяет пациенту самостоятельно использовать основные, наиболее часто используемые действия внутри ВР-приложения. Меню появляется при повороте лицевой стороны ладони к лицу. Таким образом, оно не будет мешать процессу выполнения упражнений.

На графике (см. http://www.swsys.ru/uploaded/image/2022-3/2022-3-dop/23.jpg) пациент или врач могут динамически просматривать прогресс. В выпадающем списке пользователь может изменить отображаемое упражнение,   а с помощью кнопок «+» и «–» – количество отображаемых сохраненных дней.

Если в один и тот же день было несколько сохранений, отображается лучшее из них. График автоматически подстраивает свой размер как под количество сохранений, так и под значения. При наведении курсора на элемент сохранения появляется всплывающая подсказка   с точным значением. Прогресс может отобра-  жаться в двух видах: график и гистограмма.

Заключение

Инсульт и многие другие заболевания являются проблемой для полноценной повседневной жизни многих людей. Поэтому применение развивающихся отраслей технологии является одним из наиболее вероятных способов улучшения процесса реабилитации. ВР, как одна из таких областей, может обеспечить существенно новый уровень погружения, который потенциально способствует повышению комфорта и эффективности, а также уменьшению боли.

В рамках настоящей работы как одно из возможных решений разработаны и представлены следующие основные компоненты програм-  мной системы [19]: взаимодействие, интеграция перчаток, а также различные дополнительные инструменты (описание прогресса, вспомогательные меню, разнообразные упражнения и др.).

В будущем запланировано сконструировать новую перчатку с Bluetooth, моторами и т.д., чтобы сделать ее более компактной и удобной в использовании, отшлифовать упражнения и пользовательские интерфейсы. В планах также эксперимент с группой пациентов, анкетирование и анализ результатов, получение рекомендаций специалистов-медиков.

Работа выполнена за счет средств Программы стратегического академического лидерства   Казанского (Приволжского) федерального университета («ПРИОРИТЕТ-2030»).

Литература

1.   Mekbib D.B., Han J., Zhang L., Fang S., Jiang H., Zhu J., Roe A.W., Xu D. Virtual reality therapy for upper limb rehabilitation in patients with stroke: a meta-analysis of randomized clinical trials. Brain Injury, 2020, vol. 34, no. 4, pp. 456–465. DOI: 10.1080/02699052.2020.1725126.

2.   Park W., Kim J., Kim M.Y. Efficacy of virtual reality therapy in ideomotor apraxia rehabilitation:   A case report. Medicine, 2021, vol. 100, no. 28, PMCID: art. e26657. DOI: 10.1097/MD.0000000000026657.

3.   Oña E., Cuesta-Gómez A., Garcia J., Raffe W., Sánchez-Herrera P., Cuerda R.C.L., Jardón A. Evaluating a VR-based box and blocks test for automatic assessment of manual dexterity: A preliminary study in Parkinson’s disease. Proc. VII IEEE Int. Conf. SeGAH, 2019, pp. 1–6. DOI: 10.1109/SeGAH.2019.8882472.

4.   Webster A., Poyade M., Rea P., Paul L. The co-design of hand rehabilitation exercises for multiple sclerosis using hand tracking system. In: Advances in Experimental Medicine and Biology, 2019, pp. 83–96. DOI: 10.1007/978-3-030-06070-1_7.

5.   Joo S.Y., Cho Y.S., Lee S.Y., Seok H., Seo C.H. Effects of virtual reality-based rehabilitation on burned hands: a prospective, randomized, single-blind study. J. of Clinical Medicine, 2020, vol. 9, no. 3, art. 731. DOI: 10.3390/jcm9030731.

6.   Feigin V.L., Nguyen G., Cercy K. et al. Global, regional, and country-specific lifetime risks of stroke, 1990 and 2016. New England J. of Medicine, 2018, vol. 379, no. 25, pp. 2429–2437. DOI: 10.1056/  NEJMoa1804492.

7.   Ciorap R., Andritoi D., Ciorap M., Munteanu M. Monitoring system for home-based hand rehabilitation. Proc. Int. Conf. and Exposition EPE, 2018, pp. 836–839. DOI: 10.1109/ICEPE.2018.8559682.

8.   Lai S., Studenski S., Duncan P., Perera S. Persisting consequences of stroke measured by the Stroke Impact Scale. Stroke, 2002, vol. 33, no. 7, pp. 1840–1844. DOI: 10.1161/01.STR.0000019289.15440.F2.

9.   Tran J.E., Fowler C.A., Delikat J. et al. Immersive virtual reality to improve outcomes in veterans with stroke: Protocol for a single-arm pilot study. JMIR Research Protocols, 2021, vol. 10, no. 5, art. e26133. DOI: 10.2196/26133.

10. Hoffman H.G., Boe D.A., Rombokas E. et al. Virtual reality hand therapy: A new tool for nonopioid analgesia for acute procedural pain, hand rehabilitation, and VR embodiment therapy for phantom limb pain. J. of Hand Therapy, 2020, vol. 33, no. 2, pp. 254–262. DOI: 10.1016/j.jht.2020.04.001.

11. Chen X., Gong L., Wei L., Yeh S., Xu L.D., Zheng L., Zou Z. A wearable hand rehabilitation system with soft gloves. IEEE Transactions on Industrial Informatics, 2020, vol. 17, no. 2, pp. 943–952. DOI: 10.1109/  TII.2020.3010369.

12. Wheatland N., Wang Y., Song H., Neff M., Zordan V.B., Jörg S. State of the art in hand and finger modeling and animation. Computer Graphics Forum, 2015, vol. 34, no. 2, pp. 735–760. DOI: 10.1111/cgf.  12595.

13. Oprea S., Martinez-Gonzalez P., Garcia-Garcia A., Castro-Vargas J.A., Orts-Escolano S., Garcia-Rodriguez J. A visually realistic grasping system for object manipulation and interaction in virtual reality environments. Computers & Graphics, 2019, vol. 83, pp. 77–86. DOI: 10.1016/j.cag.2019.07.003.

14. Belger J. DC: Clinical application of immersive VR in spatial cognition: The assessment of spatial memory and unilateral spatial neglect in neurological patients. Proc. IEEE Conf. VRW, 2021, pp. 723–724. DOI: 10.1109/VRW52623.2021.00244.

15. Shigapov M., Kugurakova V. Design and development of a hardware and software system for simulation of feedback tactility. Proc. SIBCON, 2021, pp. 1–6. DOI: 10.1109/SIBCON50419.2021.9438902.

16. Shigapov M., Kugurakova V., Zykov E. Design of digital gloves with feedback for VR. Proc. IEEE EWDTS, 2018, pp. 1–5. DOI: 10.1109/EWDTS.2018.8524807.

17. Ardity: Arduino + Unity over COM Ports. URL: https://ardity.dwilches.com/ (дата обращения: 14.06.2022).

18. Rietzler M., Geiselhart F., Gugenheimer J., Rukzio E. Breaking the tracking: Enabling weight perception using perceivable tracking offsets. Proc. CHI Conf. on Human Factors in Computing Systems, 2018,   pp. 1–12. DOI: 10.1145/3173574.3173702.

19. Аглямов Ф.Р., Кугуракова В.В., Шигапов М.И. Система реалистичного взаимодействия рук   с виртуальным пространством на основе тактильных перчаток с учетом прогресса пациентов: Свид.   о регистр. ПрЭВМ № 2022611166. Рос. Федерация, 2022.

References

1.      Mekbib D.B., Han J., Zhang L., Fang S., Jiang H., Zhu J., Roe A.W., Xu D. Virtual reality therapy for upper limb rehabilitation in patients with stroke: a meta-analysis of randomized clinical trials. Brain Injury, 2020, vol. 34, no. 4, pp. 456–465. DOI: 10.1080/02699052.2020.1725126.

2.      Park W., Kim J., Kim M.Y. Efficacy of virtual reality therapy in ideomotor apraxia rehabilitation: A case report. Medicine, 2021, vol. 100, no. 28, PMCID: art. e26657. DOI: 10.1097/MD.0000000000026657.

3.      Oña E., Cuesta-Gómez A., Garcia J., Raffe W., Sánchez-Herrera P., Cuerda R.C.L., Jardón A. Evaluating a VR-based box and blocks test for automatic assessment of manual dexterity: A preliminary study in Parkinson’s disease. Proc. VII IEEE Int. Conf. SeGAH, 2019, pp. 1–6. DOI: 10.1109/SeGAH.2019.8882472.

4.      Webster A., Poyade M., Rea P., Paul L. The co-design of hand rehabilitation exercises for multiple sclerosis using hand tracking system. In: Advances in Experimental Medicine and Biology, 2019, pp. 83–96. DOI: 10.1007/978-3-030-06070-1_7.

5.      Joo S.Y., Cho Y.S., Lee S.Y., Seok H., Seo C.H. Effects of virtual reality-based rehabilitation on burned hands: a prospective, randomized, single-blind study. J. of Clinical Medicine, 2020, vol. 9, no. 3, art. 731. DOI: 10.3390/jcm9030731.

6.      Feigin V.L., Nguyen G., Cercy K. et al. Global, regional, and country-specific lifetime risks of stroke, 1990 and 2016. New England J. of Medicine, 2018, vol. 379, no. 25, pp. 2429–2437. DOI: 10.1056/NEJMoa1804492.

7.      Ciorap R., Andritoi D., Ciorap M., Munteanu M. Monitoring system for home-based hand rehabilitation. Proc. Int. Conf. and Exposition EPE, 2018, pp. 836–839. DOI: 10.1109/ICEPE.2018.8559682.

8.      Lai S., Studenski S., Duncan P., Perera S. Persisting consequences of stroke measured by the Stroke Impact Scale. Stroke, 2002, vol. 33, no. 7, pp. 1840–1844. DOI: 10.1161/01.STR.0000019289.15440.F2.

9.      Tran J.E., Fowler C.A., Delikat J. et al. Immersive virtual reality to improve outcomes in veterans with stroke: Protocol for a single-arm pilot study. JMIR Research Protocols, 2021, vol. 10, no. 5, art. e26133. DOI: 10.2196/26133.

10.   Hoffman H.G., Boe D.A., Rombokas E. et al. Virtual reality hand therapy: A new tool for nonopioid analgesia for acute procedural pain, hand rehabilitation, and VR embodiment therapy for phantom limb pain. J. of Hand Therapy, 2020, vol. 33, no. 2, pp. 254–262. DOI: 10.1016/j.jht.2020.04.001.

11.   Chen X., Gong L., Wei L., Yeh S., Xu L.D., Zheng L., Zou Z. A wearable hand rehabilitation system with soft gloves. IEEE Transactions on Industrial Informatics, 2020, vol. 17, no. 2, pp. 943–952. DOI: 10.1109/TII.2020.3010369.

12.   Wheatland N., Wang Y., Song H., Neff M., Zordan V.B., Jörg S. State of the art in hand and finger modeling and animation. Computer Graphics Forum, 2015, vol. 34, no. 2, pp. 735–760. DOI: 10.1111/cgf.12595.

13.   Oprea S., Martinez-Gonzalez P., Garcia-Garcia A., Castro-Vargas J.A., Orts-Escolano S., Garcia-Rodriguez J. A visually realistic grasping system for object manipulation and interaction in virtual reality environments. Computers & Graphics, 2019, vol. 83, pp. 77–86. DOI: 10.1016/j.cag.2019.07.003.

14.   Belger J. DC: Clinical application of immersive VR in spatial cognition: The assessment of spatial memory and unilateral spatial neglect in neurological patients. Proc. IEEE Conf. VRW, 2021, pp. 723–724. DOI: 10.1109/VRW52623.2021.00244.

15.   Shigapov M., Kugurakova V. Design and development of a hardware and software system for simulation of feedback tactility. Proc. SIBCON, 2021, pp. 1–6. DOI: 10.1109/SIBCON50419.2021.9438902.

16.   Shigapov M., Kugurakova V., Zykov E. Design of digital gloves with feedback for VR. Proc. IEEE EWDTS, 2018, pp. 1–5. DOI: 10.1109/EWDTS.2018.8524807.

17.   Ardity: Arduino + Unity over COM Ports. Available at: https://ardity.dwilches.com/ (accessed June 14, 2022).

18.   Rietzler M., Geiselhart F., Gugenheimer J., Rukzio E. Breaking the tracking: Enabling weight perception using perceivable tracking offsets. Proc. CHI Conf. on Human Factors in Computing Systems, 2018, pp. 1–12. DOI: 10.1145/3173574.3173702.

19.   Aglyamov F.R., Kugurakova V.V., Shigapov M.I. A System of Realistic Interaction of Hands with Virtual Space Based on Tactile Gloves Taking Into Account the Progress of Patients. Patent RF, no. 2022611166, 2022.