Software & Systems

Современные технологии дополненной реальности (augmented reality, AR) предоставляют разработчикам ПО принципиально новые возможности по построению пользовательских интерфейсов. Отображение виртуальных объектов в контексте наблюдаемой сцены позволяет привлечь внимание пользователей к определенным событиям в нужные моменты времени, подобрать необходимое и достаточное текстовое или графическое сопровождение и обеспечить адаптацию интерфейсных компонентов программного приложения в соответствии с текущей ситуацией и индивидуальными особенностями восприятия. Таким образом, практическое применение средств дополненной реальности обеспечивает требования по адаптивной подстройке ПО в соответствии с изменяющимися условиями использования.

В качестве технических средств дополненной реальности в настоящее время широко распространены очки, планшеты и смартфоны. Решения, основанные на реализации дополненной реальности, активно используются в технике при реализации интерактивных технических руководств, в меди- цине для поддержки принятия решений по диагно- стике и хирургии, на транспорте для предоставления дополнительной информации водителю, а также в образовании и игровой индустрии. Таким образом, технологии дополненной реальности – важный и перспективный компонент ПО, реализующий разные отрасли цифровой экономики.

Большие перспективы имеет современное аппаратно-программное обеспечение ситуационных центров, реализующее возможности дополненной реальности для отображения картографической информации и сложных аналитических данных. В частности, при обработке больших объемов слабоструктурированной информации (Big Data) полезно расширение возможностей визуализации найденных зависимостей с помощью дополнительных слоев, содержащих виртуальные графические объекты.

Развитие средств дополненной реальности требует выработки новых подходов и технологий проектирования пользовательских интерфейсов, реализующих дополненную реальность. В виртуальной среде отсутствуют границы экрана, при этом появляется глубина восприятия наблюдаемой сцены, а различные наблюдаемые объекты и элементы управления могут перекрываться, а иногда мешать друг другу. Для решения этой проблемы необходимо разрабатывать новые принципы размещения элементов пользовательского интерфейса в пространстве, для чего требуется изучать и понимать закономерности процессов деятельности пользователей такого ПО.

Современные технологии дополненной реальности [1, 2] широко используются при реализации адаптивных пользовательских интерфейсов [3]. С помощью специализированных программно-аппаратных средств (очков или планшетов) полезная информация об окружающей среде и ее объектах накладывается на реальный мир. Пользовательские интерфейсы обычно разрабатываются с учетом требований максимального удобства использования. Цель дизайна пользовательского интерфейса – сделать взаимодействие пользователя максимально простым и эффективным с точки зрения достижения целей пользователя. В этом контексте существующие возможности дополненной реальности широко обсуждаются в [4].

Дополненная реальность широко применяется в пользовательском интерфейсе мобильных приложений [5] и в образовании [6]. Это различные геоинформационные системы, туристические информационные системы, развлекательные сервисы. Повышенное внимание реализации дополненной реальности уделяют современные разработчики мобильных устройств (стоит упомянуть презентации новых технологий компании Apple 2018 года).

В качестве примера успешного практического применения технологий дополненной реальности можно привести современные разработки интерактивных электронных технических руководств. Применение AR-технологий при техническом обслуживании позволяет пользователям проходить эффективное обучение и реализовывать информационную поддержку проводимых работ [7, 8]. Дополненная реальность дает возможность отображать необходимую справочную информацию непосредственно в поле проведения операций, что сокращает время на поиск нужной документации и отвлечение на ее изучение. Пример реализации AR в разработке, производстве и обслуживании (ARVIK) представлен в [9]. Также стоит упомянуть о реализации AR для технического обслуживания и обучения в аэронавигационной области [10] и моделировании внимания с использованием видеокамеры в качестве основного интерфейса между пользователем и роботизированной инвалидной коляской [11].

На основании указанных работ можно сделать вывод, что разработчики ПО дополненной реальности сталкиваются с такими же основными проблемами удобства использования, что и дизайнеры традиционных интерфейсов. Это возможность пе- регрузки пользователей большими объемами ин- формации и затруднение в ориентировании и принятии решений.

Основные тенденции визуализации контекстуальных данных широко изучены в [12, 13]. Примеры приведены для медицинских данных, но могут быть легко распространены для описания сложной технической системы. Отмечается, что основной целью визуализации сложноструктурированной информации является объединение ряда наборов данных для одновременного анализа нескольких слоев биологической системы. Средства дополненной реальности должны связывать все эти наборы (например, изображения, текст, измеренные значения, результаты сканирования) и пред- лагать визуальную аналитику для поддержки принятия решений. Согласно этой концепции, лица, принимающие решения, не только участвуют в предварительной обработке, выбирая данные или используя реализованную функциональность, но и фактически занимаются настройкой алгоритмов. Сложность заключается в том, что большие массивы данных, необходимые для поддержки принятия решений, проблематично представить в одной картине. Поэтому предлагается вовлечь лицо, принимающее решения, в процесс обработки и визуализации посредством непрерывного интерактивного взаимодействия с системой.

На основе практического опыта реализации ряда решений дополненной реальности [14, 15] была предложена новая технология акцентной визуализации [16], суть которой состоит в отслеживании внимания пользователей ПО в контексте наблюдаемой сцены и адаптивной подстройке виртуальных и активных элементов пользовательского интерфейса.

Представим совокупность объектов сцены, видимых и не видимых (заслоненных) пользователю, как множество wi, i = 1, ..., Nw. В качестве объектов сцены могут выступать как реальные объекты, так и компоненты другого пользовательского интерфейса, например, в составе экрана ситуационного центра.

В ходе реализации бизнес-процесса или технологического процесса пользователь должен выполнять последовательность действий, объединенных сценарием:

sk = (t0k,{qi,j,k,l = qi,j,k,l (w*i, dl, t*i,j,k,l, Dt*i,j,k,l)}),      (1)

где t0k – время начала сценария; qi,j,k,l – событие начала действия; dl – тип действия; t*i,j,k,l – время ожидания начала действия согласно сценарию; Dt*i,j,k,l – максимальный интервал времени, в котором событие должно произойти.

Для выполнения указанных в сценарии действий внимание пользователя ux должно быть привлечено к определенным объектам сцены в нужные моменты времени. Для представления текущего интереса пользователя введем понятие фокуса и обозначим события его изменения:

en,m,x = en,m,x (ux, wn, tn,m,x),                                 (2)

где tn,m,x – время обращения внимания пользователя ux на объект wn.

Сложность сценария, несовершенство пользовательского интерфейса или отсутствие навыков работы с ПО, а также влияние человеческого фактора приводят к задержкам и отклонениям от заданного сценария. Это значит, что события en,m,x образуют неэквидистантный временной ряд с аддитивной дискретизацией и пропусками [17].

Обозначим событие попадания фокуса в заданный интервал в виде

   (3)

Обозначим количество обращений фокуса к объектам сценария в нужное время в виде

F(ux, sk, dl) = Si Sj Sn Sm g(en,m,x, qi,j,k,l).

Оценка соответствия фокуса сценарию может быть произведена с помощью индикатора, определяющего количество отклонений, характеризующих недостаточное внимание:

L(ux, sk) = Sl d(F (ux, sk, dl) < Fmin) ® 0,          (4)

где Fmin – минимально необходимое количество обращений; d(х) =

Отметим, что в условиях оптимизации показателя (4) необходимо соблюдение условия минимизации усилий на поиск необходимых объектов:

K(ux, sk) = Sl F (ux, sk, dl) ® min.                     (5)

Выражения (4, 5) означают, что при высоком качестве интерфейса ПО пользователь должен своевременно обращать внимание на нужные объекты. Для решения этой задачи предлагается влиять на фокус пользователя, для чего вводится понятие контекста. Контекст формализует информационное пространство (понятийный аппарат и описание текущей ситуации), в котором он выполняет свои действия.

Согласно этому определению, контекст пользователя ux включает выборочно перечень объектов, к которым обращался пользователь, и действий сценария, о которых он знает:

С(ux) = {w*n × y(ux, w*n, t¢x,n, Dt¢x,n),

qi,j,k,l × j(ux, qi,j,k,l, t¢x,i,j,k,l, Dt¢x,i,j,k,l)},                   (6)

где булевы функции y(ux, w*n, t¢x,n, Dt¢x,n) и j(ux, qi,j,k,l, t¢x,i,j,k,l, Dt¢x,i,j,k,l) принимают значение 1, если пользователь ux помнит о соответствующих объектах и действиях сценария соответственно в момент времени t; моменты времени t¢x,n + Dt¢x,n и t¢x,i,j,k,l + Dt¢x,i,j,k,l характеризуют забывание.

Функции y и j являются онтологическими отношениями, поскольку определяют динамику изменения знаний пользователя и могут быть реализованы средствами динамических семантических сетей. Для выполнения условий (4, 5) необходимо, чтобы соответствующие отношения существовали на момент выполнения этапов каждого сценария.

Для решения этой задачи управления вниманием пользователя необходимо идентифицировать отсутствие внимания пользователя с помощью отношения (4) и достраивать отношения y и j, для чего предлагается формировать оверлейный контекст:

С*(ux) = {y¢(ux, w*n, t¢x,n), j¢(ux, qi,j,k,l, t¢x,i,j,k,l)}.    (7)

Описанная модель, включающая понятия сценария, фокуса, контекста и оверлейного контекста, позволяет реализовать метод акцентной визуализации, который заключается в формировании виртуальных объектов, отметок и пояснений для привлечения внимания пользователей с помощью интерфейсов дополненной реальности.

Для реализации метода акцентной визуализации была разработана технология разработки ПО. Для пользователя (лица, принимающего решения) описывается профиль, в котором выделяются фокус и контекст. Фокус используется для представления текущего интереса пользователя. Контекст формализует информационное пространство, в котором он выполняет свои действия. Фокус и контекст подвергаются влиянию поступающей информации и изменяются под влиянием поведения пользователя. В случае необходимости обновления привлекают внимание пользователя с помощью оверлейного контекста, содержащего необходимые отметки и уведомления. Данные действия производятся в навигаторе, учитывающем динамику показателей, а также комбинацию фокуса и контекста соответствующего пользователя.

Технология акцентной визуализации может быть реализована с использованием систем управления компьютером с помощью взгляда (Eye trackers, ай-трекеров), весьма популярных в современных компьютерных играх [18], а также в обучающих программных комплексах [19, 20]. Ай-трекер представляет собой контроллер для управления в играх и компьютерных приложениях с помощью взгляда и способен одновременно отслеживать положение головы и направление взгляда пользователя. Практическое использование ай-трекеров в качестве технического средства акцентной визуализации позволяет технически отследить события en,m,x и определить необходимость формирования оверлейного контекста.

Совместное использование ай-трекеров и планшетов (очков) дополненной реальности обеспечивает реализацию двойного контроля внимания пользователей и снижение объемов дополнительной информации виртуальной сцены, формируемой для решения поставленных задач. Такое решение позволяет повысить удобство постоянного использования средств дополненной реальности на практике.

Проведенные эксперименты по исследованию динамики внимания пользователей средств дополненной реальности подтвердили гипотезу о том, что люди по-разному воспринимают предоставляемую им информацию и оценивают удобство пользовательского интерфейса в относительно непривычной среде дополненной реальности. Для отслеживания фокуса взгляда пользователя использовалась приставка Tobii Eye Tracker 4C.

Для группы из 20 человек разного пола была предложена картина (см. рис. 1), на которой не- обходимо было найти особый элемент (букву N). В результате были выделены две группы людей, использующие разные траектории поиска. На рисунке 2 представлены обобщенная траектория построчного сканирования (сверху), которую использовали 70 % пользователей, и траектория комплексного восприятия (снизу), которую продемонстрировали 30 %. Эти пользователи обладают хорошим периферическим зрением и требуют особого подхода при организации интерфейса.

Технология акцентной визуализации была успешно использована при создании региональных ситуационных центров мониторинга показателей развития, транспортного логистического центра управления ресурсами, в медицинских информационных системах, системах анализа данных открытых источников и социальных сетей в Интернете, ситуационного центра послепродажного технического обслуживания, а также при создании интерактивных электронных технических руководств дополненной реальности.

В современных ситуационных центрах широко используются интерактивные информационные панели (dashboard), позволяющие обеспечить эффективное комбинирование картографических данных, графиков и схем, нацеленных на комплексное представление всей необходимой информации для поддержки принятия решений. Поскольку отображение всей необходимой информации с высоким уровнем подробностей средствами такой панели не представляется возможным, вы- сокую практическую востребованность проде- монстрировали настраиваемые пользовательские интерфейсы, ситуационно подстраивающиеся в со- ответствии с текущими обстоятельствами и адап- тирующиеся под особенности пользователей. Та- кой подход позволяет регулировать требуемый уровень детализации данных и контролировать внимание к важным изменениям.

Таким образом, реализация акцентной визуализации позволяет повысить удобство работы с интерактивными панелями и средствами дополненной реальности, обеспечивая адаптацию виртуальных и активных элементов пользовательского интерфейса под требования и предпочтения конкретных пользователей.

Литература

1.     van Krevelen D.W.F., Poelman R. A survey of augmented reality technologies, applications and limitations. Intern. J. of Virtual Reality, 2010, vol. 9, pp. 1–20.

2.     Navab N., Blum T., Wang L., Okur A., Wendler T. First deployments of Augmented Reality in operating rooms. IEEE Computer, 2012, vol. 45,  pp. 48–55. DOI: 10.1109/MC.2012.75.

3.     Julier S., Livingston M.A., Swan II J.E., Baillot Y. and Brown D. Adaptive user interfaces in Augmented Reality. Proc. of ISMAR 03. Tokyo, Japan, 2003, 8 p.

4.     Schmalstieg D., Langlotz T., Billinghurst M. Augmented Reality 2.0. Virtual realities, 2012, pp. 13–37.

5.     Singh M.P. Augmented Reality interfaces. Natural Web Interfaces IEEE Internet Computing, 2013, pp. 66–70.

6.     Lee K. Augmented Reality in education and training. TechTrends, 2012, vol. 56, pp. 13–21.

7.     Schmalstieg D., Hollerer T. Augmented reality: principles and practice. Addison-Wesley Professional, 2016, 486 p.

8.     Henderson S.J., Feiner S.K. Augmented Reality in the psychomotor phase of a procedural task. Proc. IEEE Intern. Sympos. on Mixed and Augmented Reality, Science and Technolgy, Basel, Switzerland, 2011, pp. 191–200.

9.     Henderson S.J., Feiner S.K. Augmented Reality for maintenance and repair (ARMAR), Columbia Univ. Report, 2009, 68 p.

10.   Hincapié M., Caponio A., Rios H., Mendívil E.G. An introduction to Augmented Reality with applications in aeronautical maintenance. Monterrey, Nuevo Leòn, Mexìco, 2011, pp. 1–4.

11.   Li H., Mordohai P., Hua G. Attention-driven egocentric computer vision for robotic wheelchair navigation. Proc. 4th Workshop on Egocentric (First-Person), Vision, Las Vegas, NV, 2016, 2 p.

12.   Holzinger A. Extravaganza tutorial on hot ideas for interactive knowledge discovery and data mining in biomedical informatics. LNCS, 2014, pp. 502–515. DOI: 10.1007/978-3-319-09891-3_46.

13.   Holzinger A. Interactive machine learning for health informatics: when do we need the human-in-the-loop? Brain Informatics, 2016, vol. 3, pp. 119–131. DOI: 10.1007/s40708-016-0042-6.

14.   Ivaschenko A., Sitnikov P., Krivosheev A. AR guide for a robot design kit. Proc. SCIFI-IT 2018 Conf., Bruges, Belgium, 2018, pp. 41–45.

15.   Ivaschenko A., Gorbachenko N., Kolsanov A. Focused vi- sualization in in-teractive applications for surgery training. Communications in Comp. and Inform. Sci. Springer Intern. Publ. AG, 2017, vol. 754, pp. 723–734. DOI: 10.1007/978-3-319-65551-2_52.

16.   Ivaschenko A., Milutkin M., Sitnikov P. Accented visualization in maintenance AR guides. Proc. SCIFI-IT 2017 Conf., Bruges, Belgium, EUROSIS-ETI, 2017, pp. 42–45.

17.   Прикладной анализ случайных процессов; [под ред. С.А. Прохорова]. Самара: Изд-во СНЦ РАН, 2007. 582 с.

18.   Tobii Ай-трекинг – технология управления компьютером с помощью взгляда. URL: https://www.tobii.ru/ (дата обращения: 01.07.2018).

19.   Lyamin A.V., Cherepovskaya E.N. An approach to biometric identification by using low-frequency eye tracker. Proc. IEEE, IET–2017, vol. 12, no. 4, pp. 881–891. DOI: 10.1109/TIFS.2016.2639342.

20.   Cherepovskaya E.N., Lyamin A.V. An evaluation of biometric identification approach on low-frequency eye tracking data. Proc. IEEE SAMI 2017, IET–2017, pp. 123–128.

References

1. van Krevelen D.W.F., Poelman R. A survey of augmented reality technologies, applications and limitations. Intern. J. of Virtual Reality. 2010, vol. 9, pp. 1–20.
2. Navab N., Blum T., Wang L., Okur A., Wendler T. First deployments of Augmented Reality in operating rooms. IEEE Computer. 2012, vol. 45, pp. 48–55. DOI: 10.1109/MC.2012.75.
3. Julier S., Livingston M.A., Swan II J.E., Baillot Y., Brown D. Adaptive user interfaces in Augmented Reality. Proc. of ISMAR 03. Tokyo, Japan, 2003, 8 p.
4. Schmalstieg D., Langlotz T., Billinghurst M. Augmented Reality 2.0. Virtual realities. 2012, pp. 13–37.
5. Singh M.P. Augmented Reality interfaces. Natural Web Interfaces IEEE Internet Computing. 2013, pp. 66–70.
6. Lee K. Augmented Reality in education and training. TechTrends. 2012, vol. 56, pp. 13–21.
7. Schmalstieg D., Hollerer T. Augmented Reality: Principles and Practice. Addison-Wesley Prof. Publ., 2016, 486 p.
8. Henderson S.J., Feiner S.K. Augmented Reality in the psychomotor phase of a procedural task. Proc. IEEE Intern. Symp. on Mixed and Augmented Reality, Science and Technolgy. Basel, Switzerland, 2011, pp. 191–200.
9. Henderson S.J., Feiner S.K. Augmented Reality for maintenance and repair (ARMAR). Columbia Univ. Report, 2009, 68 p.
10. Hincapié M., Caponio A., Rios H., Mendívil E.G. An Introduction to Augmented Reality with Applications in Aeronautical Maintenance. Monterrey, Nuevo Leòn, Mexìco, 2011, pp. 1–4.
11. Li H., Mordohai P., Hua G. Attention-driven egocentric computer vision for robotic wheelchair navigation. Proc. 4th Workshop on Egocentric (First-Person), Vision. Las Vegas, NV, 2016, 2 p.
12. Holzinger A. Extravaganza tutorial on hot ideas for interactive knowledge discovery and data mining in biomedical informatics. LNCS. 2014, vol. 8609, pp. 502–515. DOI: 10.1007/978-3-319-09891-3_46.
13. Holzinger A. Interactive machine learning for health informatics: when do we need the human-in-the-loop? Brain Informatics. 2016, vol. 3, pp. 119–131. DOI: 10.1007/s40708-016-0042-6.
14. Ivaschenko A., Sitnikov P., Krivosheev A. AR guide for a robot design kit. Proc. SCIFI-IT 2018 Conf. Bruges, Belgium, 2018, pp. 41–45.
15. Ivaschenko A., Gorbachenko N., Kolsanov A. Focused visualization in in-teractive applications for surgery training. Communications in Comp. and Inform. Sci. Springer Intern. Publ. AG, 2017, vol. 754, pp. 723–734. DOI: 10.1007/978-3-319-65551-2_52.
16. Ivaschenko A., Milutkin M., Sitnikov P. Accented visualization in maintenance AR guides. Proc. SCIFI-IT 2017 Conf. Bruges, Belgium, EUROSIS-ETI, 2017, pp. 42–45.
17. Applied Analysis of Random Processes. Prokhorov S.A. (Ed.), Samara, SNTs RAN Publ., 2007, 582 p.
18. Tobii. Ai-tracking. A Computer Control Technology with a Glance. Available at: https://www.tobii.ru/ (accessed July 1, 2018).
19. Lyamin A.V., Cherepovskaya E.N. An approach to biometric identification by using low-frequency eye tracker. Proc. IEEE, IET–2017. 2017, vol. 12, no. 4, pp. 881–891.
20. Cherepovskaya E.N., Lyamin A.V. An evaluation of biometric identification approach on low-frequency eye tracking data. Proc. IEEE SAMI 2017, IET–2017. pp. 123–128.