Journal influence
Bookmark
Next issue
A rehabilitation simulator for patients with hand mobility problems using virtual reality technologies
Abstract:A hand is one of the most important parts of the human body; its injuries seriously affect even normal activities. Thus, restoring the hand function and mobility is one of the most complex and important top-ics for normal daily life. The subject of this study is a hardware-software simulator complex to reha-bilitate patients with hand mobility disorders using virtual reality technology. The topic is relevant due to a higher level of patient’s interest and motivation, which can potentially increase the interest and ef-fectiveness of rehabilitation procedures. The authors have analyzed modern motion modeling methods, as well as the use of a virtual reality technology for rehabilitation and tracking changes in motor functions of patients with cognitive prob-lems. The result of the study is a prototype glove and software for collecting information about the finger flexion degree, as well as a set of exercises for a patient and rehabilitation progress recordings for fur-ther analysis. The paper presents a possible architecture option for integrating the reading glove with modern VR systems. Practical relevance relates to the introduction of an experimental method for rehabilitation, the ef-fectiveness of which has been proven theoretically and will probably be effective in practice, which is planned to be proven later. Section 6 outlines further plans for the glove development, as well as the addition of functionality to the rehabilitation application.
Аннотация:Рука – одна из самых важных частей человеческого тела, травмы которой серьезно влияют да-же на обычную деятельность. Поэтому восстановление функций и подвижности руки является од-ной из самых сложных проблем, решение которой необходимо для обеспечения нормальной по-вседневной жизни человека. Предметом настоящего исследования является аппаратно-программный тренажерный комплекс для реабилитации пациентов с нарушениями подвижности руки, построенный с использованием технологии виртуальной реальности. Актуальность этой темы обусловлена высоким уровнем заинтересованности и мотивированности пациента, что потенциально может повысить интерес и эффективность реабилитационных процедур. Проанализированы современные методы моделирования движения, а также оценены возможности применения технологии виртуальной реальности для реабилитации и отслеживания изменения двигательных функций пациентов с проблемами когнитивного характера. Результатами проведенного исследования стали прототип перчатки и программное обеспечение для сбора информации о степени сгиба пальцев, а также комплекс упражнений для пациента и записи прогресса реабилитации для дальнейшего анализа. Представлен возможный вариант архитектуры интеграции считывающей перчатки с современными VR-системами. Названные результаты практически использованы в экспериментальном методе реабилитации, апробированном в медицинской практике. Приведены дальнейшие планы развития этого метода и расширения его функционала.
Authors: Aglyamov F.R. (aglyamov.fox@gmail.com) - Kazan Federal University (Master of Science), Kazan, Russia, Kugurakov V.S. (vladimir.kugurakov@kpfu.ru) - Kazan Federal University, SIM – Laboratory of Simulation Technologies in Biomedicine (Associate Professor, Leading Researcher), Kazan, Russia, Ph.D | |
Keywords: stroke, task-oriented therapy, exergaming, serious games, glove, hand rehabilitation, vr, virtual reality |
|
Page views: 3208 |
PDF version article |
Подвижность кистей и пальцев рук является одним из наиболее важных условий нормальной повседневной жизни человека. В настоящей работе описана разработанная програм- мная система, которая потенциально может помочь в решении возникших у человека проблем с движением конечностей. Полученные результаты в той или иной степени могут быть применены при реабилитации пациентов с тяжелейшими заболеваниями: инсульт, апраксия, болезнь Паркинсона, рассеянный склероз, ожоги [1–5]. В 2016 году глобальный пожизненный риск инсульта для людей в возрасте 25 лет и старше составил примерно 25 % как для мужчин, так и для женщин [6]. Полностью восстанавливаются после инсульта меньше 3 % пациентов. В десятке приоритетов людей, переживших инсульт, на первом месте стоит необходимость реабилитации рук [7]. Дефицит подвижности конечностей возникает у 85 % людей, переживших инсульт, и оказывает значительное влияние на их обычную деятельность [8]. Постановка проблемы Для выздоровления крайне необходимы регулярные тренировки. Поэтому очень важно сформировать у пациента мотивацию к выполнению ежедневных рутинных задач. С помощью геймификации можно значительно повысить вовлеченность пациента в процесс реабилитации. Виртуальная реальность (ВР) позволяет обучать как медицинским упражнениям, так и действиям, имитирующим реальную жизнь. Все это можно сделать, не прибегая к поиску дополнительных предметов и инструментов, а также легко научить или напомнить о необходимых действиях во время тренировки. Важным преимуществом является возможность автоматически фиксировать прогресс в реабилитации пациента и отображать его в наглядной форме в любое время. Кроме того, ВР может быть механизмом отвлечения, который потребляет когнитивные и аттенционные ресурсы, а также снижает психологический стресс, тем самым ограничивая процессы боли и действуя как нефармакологический анальгетик [9]. Рандомизированное перекрестное исследование показало [10], что при использовании виртуальной реальности время размышлений о боли сокращается на 56 % по сравнению с другими средствами самостоятельного отвлечения (например, медитацией, смартфоном). Близкие исследования В работе [3] предложена реабилитационная система с мягкими перчатками для пациентов с параличом рук после инсульта. Разработана пара перчаток: одна – для фиксации жестов на непораженной руке, другая с микродвигателями – для пораженной руки. Основная часть системы предназначена для идентификации конкретных жестов и основана на машинном обучении. Жесты отображаются на мониторе, поэтому пользователь может посмотреть, как данные передаются от перчатки к системе, и убедиться в их правильности. Авторы [11] представили тест Box and Blocks Test (BBT) с использованием ВР для пациентов с болезнью Паркинсона. Для захвата руки использован контроллер Leap Motion Controller (LMC), проведены также оценка и сравнение физических и ВР-тестов. В результате эта система может стать надежным инструментом для оценки двигательной функции рук в более дружественной и стимулирующей среде. В [12] проанализированы и описаны современное моделирование и анимация рук: анатомия кистей и пальцев рук, а также различные методы захвата движениями рук и их перевода в виртуальную среду или анимации без захвата. В [13] предложена система захвата взаимодействия. Основными моментами являются управление двигателем, движение пальцев и реализм взаимодействия. Авторы описывают свою систему как простую, но гибкую и устойчивую к неизвестным объектам в реальном времени. Автор статьи [14] предположила, что им- мерсивная ВР может помочь в случае про- странственного познания и использоваться для достоверной оценки производительности пространственной памяти. Разработаны два задания: первое – запоминание расположения объектов, второе –- переход через оживленную улицу. Разработанная система Структура системы. Детали перчатки подключаются к микроконтроллеру Arduino, который соединяется с персональным компьютером (ПК) через USB-кабель. Также к ПК подключаются шлем ВР HMD (Head-Mounted Display), трекеры Vive и базовые станции. Трекеры Vive должны знать положение руки в перчатке. Базовые станции принимают сигналы от трекеров и HMD и обеспечивают их стабильную ориентацию в пространстве. Приложение Unity, запущенное на ПК, получает эту информацию, обрабатывает ее в соответствии с заданной программой и с помощью дополнительного меню помощника выводит изображение на экраны (HMD пользователя и монитор ПК).
Оборудование. Основными компонентами аппаратной части являются ПК, гарнитура ВР HTC Vive с контроллерами и трекерами Vive, базовые станции (маяки) и разработанная перчатка. Перчатка (рис. 2) представляет собой концепцию [15, 16], а не окончательный вариант. Компоненты перчатки: обычная тканевая перчатка, гибкие датчики (производитель Spectra Symbol), Arduino Mega 2560 на базе микроконтроллера ATmega2560, USB-кабель и множество кабелей для подключения деталей пластины. ПО. Поскольку перчатка основана на контроллере Arduino, сценарий был написан в среде Arduino IDE. Он считывает данные с гибких датчиков в виде значений сопротивления, а затем переводит значения сопротивления в новые значения в диапазоне 0–100 для лучшего понимания и удобства использования в Unity. Решение с открытым исходным кодом Ardity [17] применено для соединения через COM-порт контроллера Arduino и Unity. Для разработки приложения был использован движок Unity версии 2020 LTS, а для ВР-части – новый стандарт OpenXR, который облегчает расширение и обновление в будущем для других платформ. Система взаимодействия. Движение руки фиксируется в компоненте под названием PhysicsPoser. Если рука находится рядом с другим физическим объектом с коллайдерами и недалеко от реального положения, то она плавно перемещается и вращается с помощью встроенного физического движка Unity, в противном случае помещается непосредственно в целевое положение, минуя физический движок.
В основании руки и на каждой фаланге пальцев прикреплены компоненты ArticulationBody. Они работают как суставы, поэтому при приложении внешней силы пальцы сгибаются. Сгибание также может быть выполнено путем установки нужных значений, что используется при хватании. Конвейер с основными компонентами системы хватания и порядок потока информации следующие: GloveDevice + SerialController Þ GloveListener Þ GloveDetector Þ GloveManager. Опишем компоненты более подробно. Компоненты GloveDevice и SerialController отвечают за получение информации от перчатки и ее интерпретацию. GloveDevice опре- деляет устройство и его характеристики в среде Unity. SerialController получает информацию из указанного COM-порта. Компонент GloveListener на основе информации, полученной от предыдущих компонентов (степень сгибания), изменяет угол расположения суставов, сгибая пальцы виртуальной руки. Компонент GloveDetector определяет, когда фаланги пальцев касаются объекта.
Ощущение веса предметов также является важным моментом для погружения [18]: в зависимости от веса должно изменяться движение виртуального положения руки к реальному. Для более четкого понимания, когда достигается заметное различие в положениях виртуальной и реальной рук, появляется прозрачная проекция реальной руки (рис. 4). Упражнения. Разработанные упражнения представлены в таблице.
На графике (см. http://www.swsys.ru/uploaded/image/2022-3/2022-3-dop/23.jpg) пациент или врач могут динамически просматривать прогресс. В выпадающем списке пользователь может изменить отображаемое упражнение, а с помощью кнопок «+» и «–» – количество отображаемых сохраненных дней. Если в один и тот же день было несколько сохранений, отображается лучшее из них. График автоматически подстраивает свой размер как под количество сохранений, так и под значения. При наведении курсора на элемент сохранения появляется всплывающая подсказка с точным значением. Прогресс может отобра- жаться в двух видах: график и гистограмма. Заключение Инсульт и многие другие заболевания являются проблемой для полноценной повседневной жизни многих людей. Поэтому применение развивающихся отраслей технологии является одним из наиболее вероятных способов улучшения процесса реабилитации. ВР, как одна из таких областей, может обеспечить существенно новый уровень погружения, который потенциально способствует повышению комфорта и эффективности, а также уменьшению боли. В рамках настоящей работы как одно из возможных решений разработаны и представлены следующие основные компоненты програм- мной системы [19]: взаимодействие, интеграция перчаток, а также различные дополнительные инструменты (описание прогресса, вспомогательные меню, разнообразные упражнения и др.). В будущем запланировано сконструировать новую перчатку с Bluetooth, моторами и т.д., чтобы сделать ее более компактной и удобной в использовании, отшлифовать упражнения и пользовательские интерфейсы. В планах также эксперимент с группой пациентов, анкетирование и анализ результатов, получение рекомендаций специалистов-медиков. Работа выполнена за счет средств Программы стратегического академического лидерства Казанского (Приволжского) федерального университета («ПРИОРИТЕТ-2030»). Литература 1. Mekbib D.B., Han J., Zhang L., Fang S., Jiang H., Zhu J., Roe A.W., Xu D. Virtual reality therapy for upper limb rehabilitation in patients with stroke: a meta-analysis of randomized clinical trials. Brain Injury, 2020, vol. 34, no. 4, pp. 456–465. DOI: 10.1080/02699052.2020.1725126. 2. Park W., Kim J., Kim M.Y. Efficacy of virtual reality therapy in ideomotor apraxia rehabilitation: A case report. Medicine, 2021, vol. 100, no. 28, PMCID: art. e26657. DOI: 10.1097/MD.0000000000026657. 3. Oña E., Cuesta-Gómez A., Garcia J., Raffe W., Sánchez-Herrera P., Cuerda R.C.L., Jardón A. Evaluating a VR-based box and blocks test for automatic assessment of manual dexterity: A preliminary study in Parkinson’s disease. Proc. VII IEEE Int. Conf. SeGAH, 2019, pp. 1–6. DOI: 10.1109/SeGAH.2019.8882472. 4. Webster A., Poyade M., Rea P., Paul L. The co-design of hand rehabilitation exercises for multiple sclerosis using hand tracking system. In: Advances in Experimental Medicine and Biology, 2019, pp. 83–96. DOI: 10.1007/978-3-030-06070-1_7. 5. Joo S.Y., Cho Y.S., Lee S.Y., Seok H., Seo C.H. Effects of virtual reality-based rehabilitation on burned hands: a prospective, randomized, single-blind study. J. of Clinical Medicine, 2020, vol. 9, no. 3, art. 731. DOI: 10.3390/jcm9030731. 6. Feigin V.L., Nguyen G., Cercy K. et al. Global, regional, and country-specific lifetime risks of stroke, 1990 and 2016. New England J. of Medicine, 2018, vol. 379, no. 25, pp. 2429–2437. DOI: 10.1056/ NEJMoa1804492. 7. Ciorap R., Andritoi D., Ciorap M., Munteanu M. Monitoring system for home-based hand rehabilitation. Proc. Int. Conf. and Exposition EPE, 2018, pp. 836–839. DOI: 10.1109/ICEPE.2018.8559682. 8. Lai S., Studenski S., Duncan P., Perera S. Persisting consequences of stroke measured by the Stroke Impact Scale. Stroke, 2002, vol. 33, no. 7, pp. 1840–1844. DOI: 10.1161/01.STR.0000019289.15440.F2. 9. Tran J.E., Fowler C.A., Delikat J. et al. Immersive virtual reality to improve outcomes in veterans with stroke: Protocol for a single-arm pilot study. JMIR Research Protocols, 2021, vol. 10, no. 5, art. e26133. DOI: 10.2196/26133. 10. Hoffman H.G., Boe D.A., Rombokas E. et al. Virtual reality hand therapy: A new tool for nonopioid analgesia for acute procedural pain, hand rehabilitation, and VR embodiment therapy for phantom limb pain. J. of Hand Therapy, 2020, vol. 33, no. 2, pp. 254–262. DOI: 10.1016/j.jht.2020.04.001. 11. Chen X., Gong L., Wei L., Yeh S., Xu L.D., Zheng L., Zou Z. A wearable hand rehabilitation system with soft gloves. IEEE Transactions on Industrial Informatics, 2020, vol. 17, no. 2, pp. 943–952. DOI: 10.1109/ TII.2020.3010369. 12. Wheatland N., Wang Y., Song H., Neff M., Zordan V.B., Jörg S. State of the art in hand and finger modeling and animation. Computer Graphics Forum, 2015, vol. 34, no. 2, pp. 735–760. DOI: 10.1111/cgf. 12595. 13. Oprea S., Martinez-Gonzalez P., Garcia-Garcia A., Castro-Vargas J.A., Orts-Escolano S., Garcia-Rodriguez J. A visually realistic grasping system for object manipulation and interaction in virtual reality environments. Computers & Graphics, 2019, vol. 83, pp. 77–86. DOI: 10.1016/j.cag.2019.07.003. 14. Belger J. DC: Clinical application of immersive VR in spatial cognition: The assessment of spatial memory and unilateral spatial neglect in neurological patients. Proc. IEEE Conf. VRW, 2021, pp. 723–724. DOI: 10.1109/VRW52623.2021.00244. 15. Shigapov M., Kugurakova V. Design and development of a hardware and software system for simulation of feedback tactility. Proc. SIBCON, 2021, pp. 1–6. DOI: 10.1109/SIBCON50419.2021.9438902. 16. Shigapov M., Kugurakova V., Zykov E. Design of digital gloves with feedback for VR. Proc. IEEE EWDTS, 2018, pp. 1–5. DOI: 10.1109/EWDTS.2018.8524807. 17. Ardity: Arduino + Unity over COM Ports. URL: https://ardity.dwilches.com/ (дата обращения: 14.06.2022). 18. Rietzler M., Geiselhart F., Gugenheimer J., Rukzio E. Breaking the tracking: Enabling weight perception using perceivable tracking offsets. Proc. CHI Conf. on Human Factors in Computing Systems, 2018, pp. 1–12. DOI: 10.1145/3173574.3173702. 19. Аглямов Ф.Р., Кугуракова В.В., Шигапов М.И. Система реалистичного взаимодействия рук с виртуальным пространством на основе тактильных перчаток с учетом прогресса пациентов: Свид. о регистр. ПрЭВМ № 2022611166. Рос. Федерация, 2022. References 1. Mekbib D.B., Han J., Zhang L., Fang S., Jiang H., Zhu J., Roe A.W., Xu D. Virtual reality therapy for upper limb rehabilitation in patients with stroke: a meta-analysis of randomized clinical trials. Brain Injury, 2020, vol. 34, no. 4, pp. 456–465. DOI: 10.1080/02699052.2020.1725126. 2. Park W., Kim J., Kim M.Y. Efficacy of virtual reality therapy in ideomotor apraxia rehabilitation: A case report. Medicine, 2021, vol. 100, no. 28, PMCID: art. e26657. DOI: 10.1097/MD.0000000000026657. 3. Oña E., Cuesta-Gómez A., Garcia J., Raffe W., Sánchez-Herrera P., Cuerda R.C.L., Jardón A. Evaluating a VR-based box and blocks test for automatic assessment of manual dexterity: A preliminary study in Parkinson’s disease. Proc. VII IEEE Int. Conf. SeGAH, 2019, pp. 1–6. DOI: 10.1109/SeGAH.2019.8882472. 4. Webster A., Poyade M., Rea P., Paul L. The co-design of hand rehabilitation exercises for multiple sclerosis using hand tracking system. In: Advances in Experimental Medicine and Biology, 2019, pp. 83–96. DOI: 10.1007/978-3-030-06070-1_7. 5. Joo S.Y., Cho Y.S., Lee S.Y., Seok H., Seo C.H. Effects of virtual reality-based rehabilitation on burned hands: a prospective, randomized, single-blind study. J. of Clinical Medicine, 2020, vol. 9, no. 3, art. 731. DOI: 10.3390/jcm9030731. 6. Feigin V.L., Nguyen G., Cercy K. et al. Global, regional, and country-specific lifetime risks of stroke, 1990 and 2016. New England J. of Medicine, 2018, vol. 379, no. 25, pp. 2429–2437. DOI: 10.1056/NEJMoa1804492. 7. Ciorap R., Andritoi D., Ciorap M., Munteanu M. Monitoring system for home-based hand rehabilitation. Proc. Int. Conf. and Exposition EPE, 2018, pp. 836–839. DOI: 10.1109/ICEPE.2018.8559682. 8. Lai S., Studenski S., Duncan P., Perera S. Persisting consequences of stroke measured by the Stroke Impact Scale. Stroke, 2002, vol. 33, no. 7, pp. 1840–1844. DOI: 10.1161/01.STR.0000019289.15440.F2. 9. Tran J.E., Fowler C.A., Delikat J. et al. Immersive virtual reality to improve outcomes in veterans with stroke: Protocol for a single-arm pilot study. JMIR Research Protocols, 2021, vol. 10, no. 5, art. e26133. DOI: 10.2196/26133. 10. Hoffman H.G., Boe D.A., Rombokas E. et al. Virtual reality hand therapy: A new tool for nonopioid analgesia for acute procedural pain, hand rehabilitation, and VR embodiment therapy for phantom limb pain. J. of Hand Therapy, 2020, vol. 33, no. 2, pp. 254–262. DOI: 10.1016/j.jht.2020.04.001. 11. Chen X., Gong L., Wei L., Yeh S., Xu L.D., Zheng L., Zou Z. A wearable hand rehabilitation system with soft gloves. IEEE Transactions on Industrial Informatics, 2020, vol. 17, no. 2, pp. 943–952. DOI: 10.1109/TII.2020.3010369. 12. Wheatland N., Wang Y., Song H., Neff M., Zordan V.B., Jörg S. State of the art in hand and finger modeling and animation. Computer Graphics Forum, 2015, vol. 34, no. 2, pp. 735–760. DOI: 10.1111/cgf.12595. 13. Oprea S., Martinez-Gonzalez P., Garcia-Garcia A., Castro-Vargas J.A., Orts-Escolano S., Garcia-Rodriguez J. A visually realistic grasping system for object manipulation and interaction in virtual reality environments. Computers & Graphics, 2019, vol. 83, pp. 77–86. DOI: 10.1016/j.cag.2019.07.003. 14. Belger J. DC: Clinical application of immersive VR in spatial cognition: The assessment of spatial memory and unilateral spatial neglect in neurological patients. Proc. IEEE Conf. VRW, 2021, pp. 723–724. DOI: 10.1109/VRW52623.2021.00244. 15. Shigapov M., Kugurakova V. Design and development of a hardware and software system for simulation of feedback tactility. Proc. SIBCON, 2021, pp. 1–6. DOI: 10.1109/SIBCON50419.2021.9438902. 16. Shigapov M., Kugurakova V., Zykov E. Design of digital gloves with feedback for VR. Proc. IEEE EWDTS, 2018, pp. 1–5. DOI: 10.1109/EWDTS.2018.8524807. 17. Ardity: Arduino + Unity over COM Ports. Available at: https://ardity.dwilches.com/ (accessed June 14, 2022). 18. Rietzler M., Geiselhart F., Gugenheimer J., Rukzio E. Breaking the tracking: Enabling weight perception using perceivable tracking offsets. Proc. CHI Conf. on Human Factors in Computing Systems, 2018, pp. 1–12. DOI: 10.1145/3173574.3173702. 19. Aglyamov F.R., Kugurakova V.V., Shigapov M.I. A System of Realistic Interaction of Hands with Virtual Space Based on Tactile Gloves Taking Into Account the Progress of Patients. Patent RF, no. 2022611166, 2022. |
Permanent link: http://swsys.ru/index.php?id=4910&lang=en&like=1&page=article |
Print version |
The article was published in issue no. № 3, 2022 [ pp. 285-292 ] |
Perhaps, you might be interested in the following articles of similar topics:
- Подсистема воспроизведения иммерсивных виртуальных тренажеров с биологической обратной связью
- Интеграция микроскопических и мезоскопических моделей при имитации дорожного движения
- Об одной тенденции развития алгоритмов, реализуемых в системах поддержки принятия решений
- Удаленное управление роботизированным устройством с использованием технологий виртуальной реальности
- Алгоритмы навигации на внешней поверхности модели международной космической станции
Back to the list of articles