Software & Systems

Введение. Автоматизация психологической диагностики является важной задачей цифровой трансформации здравоохранения. Реализация современных интерактивных пользовательских интерфейсов в составе ПО психологического тестирования позволяет сократить время, необходимое для полноценного психодиагностического обследования, и повысить достоверность установления и измерения индивидуально-психологических отличий пациентов. При этом на практике необходимо реализовать персонифицированный подход, подбирая последовательность и содержание тестов, а также способ их визуализации в пользовательском интерфейсе с учетом индивидуальных осо- бенностей восприятия.

Современные технологии программной реализации человеко-компьютерного взаимодействия предоставляют широкие возможности по персонализации пользовательских интерфейсов. Однако единого критерия, позволяющего интегрально оценивать вовлеченность пользователя и строить обратную связь в системе управления пользовательским интерфейсом, до настоящего времени нет. Для решения этой проблемы в данной статье предлагается модель иммерсивной среды с управляемой глубиной погружения, на основе которой создана система мониторинга вовлеченности пользователя и управления ею.

Анализ вовлеченности пользователей программного комплекса психологической диагностики позволяет дополнить результаты пси- хологического тестирования и адаптировать последовательность и содержание тестов, сохраняя интерес пользователя и снижая влияние внешних раздражителей.

Обзор существующих подходов

Интерактивные технологии человеко-компьютерного взаимодействия широко применя- ются в психологическом тестировании [1–3]. Программный инструментарий обычно включает онлайн-тестирование, заполнение опросных листов, дистанционные собеседования, выполнение различных упражнений в игровой форме и т.п. Прохождение тестов реализуется с помощью графических пользовательских интерфейсов [4], получивших широкое распространение и не требующих дополнительного обучения пользователей.

Анализ результатов тестирования может быть проведен с использованием технологий искусственного интеллекта [5, 6]. Известны разные позиции относительно объективности такого анализа, однако развитие искусственных нейронных сетей открывает все новые возможности. В свою очередь, применение технологий виртуальной реальности [7] позволяет повысить привлекательность систем психологического тестирования и обеспечить высокую вовлеченность пользователей.

Персонализация интерфейса как средство поддержки и реабилитации показывает высокую эффективность в современных приложениях [8]. Применение искусственного интеллекта обеспечивает достаточную гибкость и адекватность алгоритмов конфигурирования и персонализации пользовательского интерфейса [9], что расширяет возможности современных программных комплексов. В качестве технических средств персонализации довольно полезно применение систем окулографии (айтрекинга) [10, 11]. В этом случае формирование иммерсивной среды производится с помощью графического пользовательского интерфейса, а отслеживание реакции пользователя – посредством айтрекера или видеокамеры.

Применение интеллектуальных технологий компьютерного зрения в медицине повышает точность диагностики и снижает нагрузку на медицинский персонал [12]. Технологии анализа видео- и машинного обучения позволяют собирать данные об эмоциях пользователей компьютерной техники и использовать эту информацию в дальнейшем для изучения влияния человеческого фактора [13]. Автоматизация сбора и обработки данных с использованием облачных технологий повышает достоверность психологической диагностики [14], а контроль обратной связи [15, 16] сокращает время на психологическое тестирование за счет более адекватного подбора тестов.

Субъективная природа восприятия требует реализации персонифицированных пользовательских интерфейсов, способных адаптиро- ваться к индивидуальным особенностям пользователя и подстраиваться в случае их изменения. Иммерсивная среда обеспечивает высокое вовлечение пользователя в интерактивное взаимодействие путем формирования корректных последовательностей аудиовизуальных стимулов в результате высокореалистичного моделирования, симуляции и визуализации искусственного окружения в контексте естественного и реального опыта конкретного пользователя.

Материалы и методы

Программный комплекс психодиагностики с обратной связью на основе компьютерного зрения построен на базе интерактивного веб-интерфейса с возможностью подключения внешней видеокамеры для контроля движения лица и эмоций человека и системы окулографии (айтрекинга). Применение дополнительного аппаратного обеспечения позволяет фиксировать обратную связь от пользователя независимо от процессов функционирования программного комплекса, но синхронизированно со сценариями использования системы. Это обеспечивает контроль вовлеченности и при необходимости позволяет привлекать внимание пользователя.

Комплекс имеет сервис-ориентированную архитектуру. Основной интерфейс построен в виде одностраничного веб-приложения. Доступ к функциональным возможностям програм- много комплекса обеспечивается веб-сервисами, а основная информация о пользователях, тестах и результатах их прохождения хранится в реляционной БД.

Данные видеокамеры собираются сервисом видеостриминга в потоковом виде и передаются по протоколу пользовательских датаграмм UDP. Для сбора видеоаналитики используется видеоброкер mediamtx, реализованный на языке Go. Для распознавания лиц и эмоций применяется технология искусственных ней- ронных сетей. Для описываемого случая целесообразно использовать конфигурацию сверточной нейронной сети из библиотеки dlib. Это оптимальное решение для работы в режиме реального времени, позволяющее точно обрабатывать входные данные видеопотока и выполнять поставленные задачи.

Для автоматизации обнаружения и классификации изображений была использована библиотека FaceRecognition, предназначенная для распознавания лиц. К преимуществам использования этой библиотеки можно отнести следу- ющее: одна из самых быстрых библиотек; открытая лицензия MIT; доступ с языков Python, C++, C#; поддержка операционных систем Linux и Windows; использование библиотеки алгоритмов компьютерного зрения OpenCV. Библиотека позволяет анализировать ориентацию головы на изображении по ключевым точкам лица и производить анализ этих ключевых точек, делая доступной и удобной оценку поворота головы.

Сервис окулографии построен с помощью проводного игрового контроллера Tobii Eye Tracker 5. Устройство позволяет отслеживать положения головы и глаз, взаимодействие с устройством осуществляется через веб-приложение, обеспечивающее синхронизацию потоков видео и окулографии. При этом траектория глаз передается в пакетном режиме на сервер с использованием дополнительного порта. Финальная синхронизация потоков выполняется на сервере.

Управление погружением пользователя в иммерсивную реальность осуществляется путем мониторинга и контроля выполняемых действий в ответ на возникающие события. В качестве таких событий могут рассматриваться воздействия на пользователя в реальном мире, а также аудиовизуальные стимулы, формируемые в иммерсивной среде автоматически. Ответное поведение должно включать цепочки действий, выполненных пользователем посредством интерфейсов человеко-компьютерного взаимодействия и автоматически фиксируемых средствами компьютерной техники.

Архитектура разработанного программного комплекса

Система управления погружением пользователя в иммерсивную реальность была исполь- зована в психодиагностике при реализации программного комплекса психологического тестирования в рамках построения дополнительного контура обратной связи. При проведении психологического тестирования и реабилитации необходимо обеспечивать высокую вовлеченность пользователя, для чего предусмотрена персонификация пользовательского интерфейса и тестов. В ходе тестирования врач может корректировать перечень и содержание тестов, ускорять их прохождение или вводить специальные паузы в случае недостатка внимания.

Для этого в состав системы включен комплекс обратной связи на основе системы ком- пьютерного зрения, включающей видеокамеру и ПО видеоконтроля двигательной активности пациента. Это ПО отслеживает общий объем мимических движений, движений головы, а также идентифицирует текущее эмоциональное состояние пациента с помощью искусственной нейронной сети.

Случаи, например, потери внимания, роста и падения глубины погружения, эмоциональной перегрузки характеризуются соответствующими паттернами двигательной активности. Идентификация этих паттернов производится по результатам обработки временных рядов, описывающих двигательную активность человека. Рассматриваются корреляционные характеристики и результаты аппроксимации временных рядов.

Следует отметить, что характерные паттерны могут быть выделены для типичных состояний, характеризующих динамические изме- нения вовлеченности пользователя, однако для каждого человека они различаются. В связи с этим имеет смысл взамен классификации пользователей по типам психологической актив- ности рассматривать индивидуальные изменения глубины погружения для каждого отдельного пользователя, сравнивая его текущее состояние с предыдущим типовым.

Структурная схема программного комплек- са отображена на рисунке 1. Базовый контур психологического тестирования реализован модулями психодиагностики и реабилитации. Здесь предоставляется возможность прохождения различных тестов и процедур с помощью интерактивных пользовательских интерфейсов и комплексов виртуальной реальности. Результаты сохраняются в базу знаний. Дополнительный контур реализован модулем видеоконтроля, который предназначен для реализации обратной связи на основе системы компьютерного зрения.

В модуле мониторинга содержится информация обо всех пользователях и их активности. По каждому пациенту хранятся данные с резуль- татами прохождения психологических тестирований и реабилитационных мероприятий. В системе реализован функционал, позволяющий формировать отчетные формы с необходимым набором данных, а также графики по полученным результатам.

Разработка программного комплекса

Процесс создания программного комплекса включал разработку технического задания сов-местно с сотрудниками Центра психологии Самарского государственного медицинского университета, проектирование программного комплекса, обучение интеллектуальных компонентов компьютерного зрения, внедрение и апробацию в реальных условиях эксплуатации. Отдельное внимание было уделено созданию обучающего набора данных (датасета) для модели искусственной нейронной сети. Для получения необходимых весов модель обучалась на 5 000 изображений, разделенных на обучающую (80 %) и тестовую (20 %) выборки. Перед началом процесса обучения была проведена подготовка для оптимизации набора данных и обеспечения реакции модели на режим обучения.

Каждое изображение в наборе данных было подвергнуто единым процедурам изменения размера и обрезки для установления единого масштаба и обеспечения равного представления всех образцов. Кроме того, было выполнено тщательное выравнивание черт лица, чтобы центрировать его на каждом изображении и обеспечить стандартизированную перспективу. Для уменьшения возможного влияния неравномерности освещенности использован процесс нормализации света. Это позволило унифицировать уровни освещенности в наборе данных и тем самым снизить их влияние на процесс обучения модели.

Архитектура программного комплекса приведена на рисунке 2.

Серверная часть комплекса реализована на Django (Python 3.10), пользовательский интерфейс – на ReactJS (TypeScript + JS). Для обратной связи реализованы сервисы распознавания лица (на языке С#), захвата изображения с USB веб-камеры (PHP) и стриминга видео (bluenviron/ mediamtx), а также приложение для взаимодействия с айтрекером Tobii Eye Tracker 5 (на язы- ке C#). Базы знаний реализованы с помощью СУБД PostgreSQL 12. Серверная часть работает на Ubuntu 22.04. Клиентская часть адаптивна под все браузеры, например, Chrome, Firefox, Safari.

Результаты реализации программного комплекса

Программный комплекс психодиагностики представляет последовательность тестов, формируемых для пациента (рис. 3). Реализован- ные диагностические методики включают модифицированный вариант методики словесно-цветовой интерференции, тест «Социальный интеллект» Гилфорда, тест Бурдона, таблицыШульте, опросник эмоциональной эмпатии EETS, методику диагностики самооценки мотивации одобрения Марлоу–Крауна, оценку по Торонтской алекситимической шкале и шкале тревоги Спилбергера. Перечень методик может быть расширен через дополнительные настройки.

Рекомендации формируются для каждого респондента индивидуально в зависимости от результатов ранее пройденных тестов, его активности. В процессе формирования рекомендаций тесты приоритезируются следующим образом: сначала респонденту предлагается пройти тесты из группы «Восприятие» (группа А), затем из группы «Эмоции» (группа В), далее «Личность» (группа С). В первую очередь рекомендуется пройти тесты, которые не были пройдены ранее. Затем пользователю предлагаются тесты, которые были завершены им досрочно (если такие имеются). Если результаты тестирования неудовлетворительные, предлагается пройти реабилитационное мероприятие, а затем заново пройти тест с неудовлетворительными результатами.

На главной странице специалиста, помимо данных о результатах прохождения тестирова- ния, отображается сводная диаграмма для каждого обследуемого (http://www.swsys.ru/uploaded/ image/2024-2/11.jpg). На диаграмме показаны графики результатов психодиагностики и вовлеченности (неустойчивость внимания), приведенные к значениям от 0 до 1. На главной странице специалиста также отображается история активности респондентов с возможностью выбора нужного периода.

Сводная диаграмма результатов демонстрирует специалисту зависимость между результатами прохождения тестов и степенью вовлеченности пользователя в процесс их прохождения. В зависимости от группы тестов требуется разная степень вовлеченности. Тесты группы «Восприятие» требуют высокой концентрации респондента, следовательно, качество результатов прохождения теста напрямую зависит от степени вовлеченности. Для тестов группы «Эмоции» в меньшей степени требуется высокая концентрация на интерфейсе системы. Тесты данной группы, как правило, содержат вопросы с несколькими вариантами ответов. Выбранный ответ напрямую отражает истинное состояние пользователя. О качестве прохождения данных тестов могут свидетельствовать общее время прохождения каждого теста, а также оценка внимания пользователя. Тесты группы «Личность» требуют средней вовле- ченности в интерфейс системы относительно двух других названных групп.

Сводная диаграмма результатов может быть построена как по одному респонденту и его первичным результатам по прохождению каждого теста, так и по группе респондентов или по нескольким результатам одного респондента, если требуется повторное прохождение тестов для отслеживания динамики изменения результатов (http://www.swsys.ru/uploaded/image/ 2024-2/11.jpg). При повторном прохождении тестов респондентами сводная диаграмма результатов позволяет оценить его качество с учетом общего времени, концентрации пользователей и их активности.

Полученные результаты подтверждают гипотезу о том, что наибольшая концентрация и степень вовлеченности необходимы при прохождении тестов группы «Восприятие». При этом при повторном прохождении психодиагностики тесты данной группы вызывают наибольший интерес у респондентов: отмечаются повышение скорости прохождения тестов, высокая степень концентрации и незначительные потери в качестве результатов.

Следует отметить, что первичное прохождение тестов дает наиболее качественный результат, так как степень вовлеченности респондента достаточно высокая. При повторном проождении тестов наблюдаются снижение уровня вовлеченности пользователя и, как следствие, незначительное снижение качества тестирования.

Заключение

Формирование иммерсивной среды с контролем высокой вовлеченности пользователей является важной задачей ПО для автоматизированного психологического тестирования. Реализация предложенных в данной статье модели и системы управления позволяет обеспечить такую возможность и тем самым персонифицировать пользовательские интерфейсы с учетом индивидуальных особенностей пользователей. Мониторинг вовлеченности пользователей позволяет верифицировать результаты психодиагностики и контролировать влияние на них внешних факторов.

Приведенная иллюстрация на примере системы психодиагностики показывает, насколько важно собирать и анализировать информацию о результатах использования программных систем пользователями для оценки степени их вовлеченности.

Дальнейшие исследования планируется направить на практическую апробацию предложенных решений и расширение области их внедрения.

Список литературы

1.   Noland R. Intelligence testing using a tablet computer: Experiences with using Q-Interactive. Training and Education in Professional Psychology, 2017, vol. 11, no. 3, pp. 156–163. doi: 10.1037/tep0000149.

2.   Baker A., Iqbal F., Laila M., Waheed A. Psychology with mahnoor app: Android-based application for self assessment, psychology dictionary, and notes. In: Mobile Devices and Smart Gadgets in Medical Sciences, 2020, pp. 214–231. doi: 10.4018/978-1-7998-2521-0.ch010.

3. Войтов В.К., Шепелева Е.А., Гаврилова Е.В., Думин П.Н., Ермаков С.С.  Новые средства психологического тестирования // Моделирование и анализ данных. 2021. Т. 11. № 1. C. 94–108. doi: 10.17759/mda.2021110107.

4.   Dhengre S., Mathur J., Oghazian F., Tan X., Mccomb C. Towards enhanced creativity in interface design through automated usability evaluation. Proc. ICCC’20, 2020, pp. 366–369.

5.   Irshad S., Azmi S., Begum N. Uses of artificial intelligence in psychology. J. of Health and Medical Sci., 2022, vol. 5, no. 4, pp. 21–30. doi: 10.31219/osf.io/2hx5n.

6.   Tiwari A., Chugh A., Sharma A. Uses of artificial intelligence with human-computer interaction in psychology. In: Intelligent Data-Centric Systems, Innovations in Artificial Intelligence and Human-Computer Interaction in the Digital Era, 2023, pp. 173–205.

7.   Тычков А.Ю., Волкова К.Ю., Киселева Д.В., Родионова Е.А. Обзор систем виртуальной реальности // Изв. вузов. Поволжский регион. Технич. науки. 2020. № 2. C. 3–13. doi: 10.21685/2072-3059-2020-2-1.

8.   Поцелуйко А.С., Кравец А.Г., Кульцова М.Б. Персонализация интерфейсов мобильных приложений на основе паттернов интерфейсов для людей с ограниченными возможностями // Прикаспийский журнал: управление и высокие технологии. 2019. № 3. C. 17–27. doi: 10.21672/2074-1707.2019.47.3.017-027.

9.   Тагирова Л.Ф., Зубкова Т.М. Нейросетевая инструментальная среда для создания персонализированных интерфейсов прикладных программ // Программные продукты и системы. 2023. Т. 36. № 2. C. 212–222. doi: 10.15827/ 0236-235X.142.212-222.

10. Coco M. Eye-tracking: Measurements and applications. In: Encyclopedia of Behavioral Neuroscience, 2021, pp. 204–214. doi: 10.1016/B978-0-12-819641-0.00158-4.

11. Santhoshikka R., Laranya C.R., Harshavarthini C., Preetha R., Saran Kumar K. Eye tracking and its applications. IJARSET, 2021, vol. 8, no. 8, pp. 126–130. doi: 10.17148/IARJSET.2021.8824.

12. Ильяшенко О.Ю., Лукьянченко Е.Л. Возможности применения компьютерного зрения для аналитики данных в медицине // Изв. Саратовского ун-та. Новая сер. Сер.: Математика. Механика. Информатика. 2022. Т. 22. № 2. C. 224–232. doi: 10.18500/1816-9791-2022-22-2-224-232.

13. Куприянов Р.Б. Применение технологий компьютерного зрения для автоматического сбора данных об эмоциях обучающихся во время групповой работы // Информатика и образование. 2020. № 5. C. 56–63. doi: 10.32517/0234-0453-2020-35-5-56-63.

14. Lazurik V., Styervoyedov, N., Varlamova N. Information processing psychodiagnostic system: Designing and implementation. Eastern-European J. of Enterprise Tech., 2021, vol. 2, pp. 45–54. doi: 10.15587/1729-4061.2021.230042.

15. Иващенко А.В., Александрова М.В., Жейков Д.С., Захарова Е.В., Колсанов А.В. Адаптация интерфейсов виртуальной реальности в приложениях психодиагностики и медицинской реабилитации // Медицинская техника. 2023. № 5. С. 33–35.

16. Иващенко А.В., Александрова М.В. Формирование иммерсивной среды с управляемой глубиной погружения в приложениях дополненной реальности // Модели, системы, сети в экономике, технике, природе и обществе. 2023. № 1. С. 111–124. doi: 10.21685/2227-8486-2023-1-7.

References

1.      Noland, R. (2017) ‘Intelligence testing using a tablet computer: Experiences with using Q-Interactive’, Training and Education in Professional Psychology, 11(3), pp. 156–163. doi: 10.1037/tep0000149.

2.      Baker, A., Iqbal, F., Laila, M., Waheed, A. (2020) ‘Psychology with mahnoor app: Android-based application for self assessment, psychology dictionary, and notes’, in Mobile Devices and Smart Gadgets in Medical Sciences, pp. 214–231. doi: 10.4018/978-1-7998-2521-0.ch010.

3.      Voitov, V.K., Shepeleva, E.A., Gavrilova, E.V., Dumin, P.N., Ermakov, S.S. (2021) ‘New psychological testing tools’, Modelling and Data Analysis, 11(1), pp. 94–108 (in Russ.). doi: 10.17759/mda.2021110107.

4.      Dhengre, S., Mathur, J., Oghazian, F., Tan, X., Mccomb, C. (2020) ‘Towards enhanced creativity in interface design through automated usability evaluation’, Proc. ICCC’20, pp. 366–369.

5.      Irshad, S., Azmi, S., Begum, N. (2022) ‘Uses of artificial intelligence in psychology’, J. of Health and Medical Sci., 5(4), pp. 21–30. doi: 10.31219/osf.io/2hx5n.

6.      Tiwari, A., Chugh, A., Sharma, A. (2023) ‘Uses of artificial intelligence with human-computer interaction in psychology’, in Intelligent Data-Centric Systems, Innovations in Artificial Intelligence and Human-Computer Interaction in the Digital Era, pp. 173–205.

7.      Tychkov, A., Volkova, K., Kiseleva, D., Rodionova, E. (2020) ‘A review of virtual reality systems’, University Proc. Volga Region. Tech. Sci., (2), pp. 3–13 (in Russ.). doi: 10.21685/2072-3059-2020-2-1.

8.      Potseluiko, A.S., Kravets, A.G., Kultsova, M.B. (2019) ‘Personalization of mobile application interfaces on the basis of interface patterns for people with special needs’, Caspian J.: Control and High Tech., (3), pp. 17–27 (in Russ.). doi: 10.21672/2074-1707.2019.47.3.017-027.

9.      Tagirova, L.F., Zubkova, T.M. (2023) ‘Neural network tool environment for creating adaptive application program interfaces’, Software & Systems, 36(2), pp. 212–222 (in Russ.). doi: 10.15827/0236-235X.142.212-222.

10.    Coco, M. (2021) ‘Eye-tracking: Measurements and applications’, in Encyclopedia of Behavioral Neuroscience,
pp. 204–214. doi: 10.1016/B978-0-12-819641-0.00158-4.

11.    Santhoshikka, R., Laranya, C.R., Harshavarthini, C., Preetha, R., Saran Kumar, K. (2021) ‘Eye tracking and its applications’, IJARSET, 8(8), pp. 126–130. doi: 10.17148/IARJSET.2021.8824.

12.    Iliashenko, O.Yu., Lukyanchenko, E.L. (2022) ‘Possibilities of using computer vision for data analytics in medicine’, Izv. of Saratov University. Mathematics. Mechanics. Informatics, 22(2), pp. 224–232 (in Russ.). doi: 10.18500/1816-9791-2022-22-2-224-232.

13.    Kupriyanov, R.B. (2020) ‘Application of computer vision technologies for automatic data collection about emotions of students during group work’, Informatics and Education, (5), pp. 56–63 (in Russ.). doi: 10.32517/0234-0453-2020-35-5-56-63.

14.    Lazurik, V., Styervoyedov, N., Varlamova, N. (2021) ‘Information processing psychodiagnostic system: Designing and implementation’, Eastern-European J. of Enterprise Tech., 2, pp. 45–54. doi: 10.15587/1729-4061.2021.230042.

15.    Ivaschenko, A.V., Aleksandrova, M.V., Zheikov, D.S., Zakharova, E.V., Kolsanov, A.V. (2023) ‘Adaptation of virtual reality interfaces in applications of psychodiagnostics and medical rehabilitation’, Medical Equipment, (5), pp. 33–35 (in Russ.).

16.    Ivaschenko, A.V., Aleksandrova, M.V. (2023) ‘Development of immersive environment with controlled depth perception in augmented reality applications’, Models, Systems, Networks in Economics, Technology, Nature and Society, (1), pp. 111–124 (in Russ.). doi: 10.21685/2227-8486-2023-1-7.