Software & Systems

Технологии виртуальной реальности находят все более широкое применение практически во всех областях науки и техники, в частности, в тренажеростроении. Современные тренажеры достаточно реалистично моделируют воспроизводимые объекты (пульты, оборудование, органы управления и т.д.). Однако виртуальный мир выглядит неживым, поскольку в нем нет главных действующих лиц – операторов, выполняющих тренировку. Поэтому одним из направлений развития тренажера является дополнение его виртуального мира моделью человека, или, другими словами, моделью аватара (персонажа, представляющего собой модель человека в виртуальном мире).

Моделирование поведения человека в виртуальной среде является одной из проблем в тех системах, где человек выполняет определенные функции в зависимости от моделируемой ситуации. В игровых комплексах эта задача решается путем заблаговременно подготовленных вариантов анимации для ограниченного количества вариантов действий. В более сложных моделирующих комплексах такие типовые задачи нельзя предусмотреть и возникает задача математического и геометрического моделирования человека. Основой такого моделирования является представление человека как многозвенной кинематической структуры, которая описывается в собственной системе координат путем последовательного перехода от одного звена к другому.

Модель скелета аватара представляет собой иерархически связанные в древовидную структуру элементы скелета. Здесь под элементом скелета понимается кость скелета с суставом, крепящим эту кость к кости более высокого уровня в иерархии. Моделирование всех костей скелета человека (их более 200) нецелесообразно, так как это приведет к чрезмерной сложности создания модели аватара и значительным вычислительным затратам при визуализации, но даст лишь небольшое повышение реалистичности. Поэтому структура скелета аватара (рис. 1) должна включать достаточное количество элементов, необходимое для моделирования требуемых действий оператора. Например, как видно из рисунка 1, позвоночник аватара состоит всего из четырех элементов. Этого достаточно, чтобы моделировать вращательные движения спины и наклоны. В то же время такое упрощение позволяет существенно сократить вычислительные затраты на моделирование. Аналогично уменьшено количество костей (позвонков) в шее аватара, пальцы ног вообще не моделируются, а стопа состоит всего лишь из двух элементов скелета, так как оператор не выполняет никаких действий, в которых непосредственно участвуют пальцы ног, а для моделирования реалистичной ходьбы достаточно и двух элементов скелета в стопе. В отличие от пальцев стопы пальцы рук участвуют в хватательных движениях оператора, поэтому в модели скелета аватара рука имеет элементы для ладони и по три фаланги для каждого пальца (рис. 2). В качестве корневого элемента скелета удобно принять таз аватара, так как это упрощает генерацию движений, в частности, перемещение [1].

Модель скелета аватара и его геометрическая модель связываются с применением так называемой техники скелетной анимации. Этот подход предполагает, что для моделирования движения персонажа непосредственное изменение геометрической модели заменяется управлением скелетом, связанным с геометрической моделью. Данный подход не только упрощает моделирование движения (поскольку нет необходимости непосредственно задавать координаты всех вершин геометрической модели), но и позволяет воспроизводить достаточно сложные движения с высокой степенью реалистичности при малых вычислительных затратах, что существенно в современных тренажно-моделирующих комплексах.

При моделировании аватара возникают две задачи.

1. Прямая задача моделирования аватара состоит в том, что по обобщенным координатам всех элементов скелета восстанавливается его пространственная конфигурация и применяется техника скелетной анимации для определения нового положения вершин геометрической модели соответственно изменившейся пространственной конфигурации скелета. Один из вариантов решения прямой задачи предложен в работе [1]. Следует заметить, что все движения модели аватара задаются посредством изменения обобщенных координат элементов его скелета. Поэтому прямая задача моделирования аватара решается на каждом такте моделирования тренажно-моделирую­щего комплекса.

2. Обратная задача моделирования аватара – это определение обобщенных координат элементов скелета по известному их пространственному расположению. Одним из способов решения обратной задачи является применение подходов, разработанных в робототехнике (скелет аватара можно представить как кинематическую цепь многозвенного манипулятора). Подобная задача, называемая обратной задачей о положениях, или задачей инверсной кинематики, решается в теории манипуляторов. Аналитическое решение этой задачи для кинематической цепи общего вида весьма затруднительно [2]. Она успешно решается только для конкретных кинематических схем манипуляторов с небольшим числом степеней свободы. В общем случае для ее решения применяют численные методы [3]. Однако в робототехнике особое внимание уделяется точности позиционирования рабочего органа манипулятора, что приводит к значительной сложности методов решения обратной задачи о положениях. Решение обратной задачи моделирования аватара с помощью методов робототехники приведет к необоснованно высоким вычислительным затратам, поскольку при моделировании перемещения руки аватара к органу управления не требуется высочайшей точности позиционирования руки аватара (а у современных манипуляторов точность позиционирования составляет порядка 1 мкм и более). Поскольку ор- ганы управления, с которыми работает человек-оператор, обычно имеют размер не менее 1 см, точности позиционирования в 5 мм будет вполне достаточно. В связи с вышесказанным актуальной является разработка более простых в применении и вместе с тем менее затратных с вычислитель- ной точки зрения методов решения обратной задачи, в которых не требуется высокой точности решения.

Обратную задачу необходимо решать при обработке взаимодействия аватара с органами управления моделируемого оборудования. Поскольку большинство людей выполняют действия преимущественно правой рукой, будем считать, что управляющие операции аватар также выполняет правой рукой. Моделирование взаимодействия аватара с моделируемым оборудованием выполняется следующим образом:

а) определяем целевую точку, в которую необходимо перенести руку для взаимодействия с органом управления моделируемого оборудо- вания;

б) решая обратную задачу моделирования аватара, вычисляем обобщенные координаты элементов скелета, соответствующие такому его положению, в котором рука взаимодействует с органом управления, расположенным в целевой точке;

в) зная начальную (соответствующую текущему положению) и конечную (определенную в предыдущем пункте) конфигурации скелета аватара, выполняем интерполяцию между ними с целью генерации движения аватара из текущего положения к целевой точке; в какой-то мере это соответствует генерации анимации движения руки аватара для подведения ее к целевой точке.

Применение модели аватара в тренажно-моделирующих комплексах дает ряд преимуществ.

1.   В современных тренажерах виртуальной реальности оператор взаимодействует с моделируемым оборудованием с использованием манипулятора типа «мышь». При этом оператор должен видеть на экране, как оборудование изменило свое состояние, например, переключение тумблера. Без применения модели аватара это переключение выглядит как произошедшее само собой. Применение модели аватара позволяет сделать такое взаимодействие существенно реалистичнее, поскольку оператор увидит на экране руки своего аватара, выполняющие требуемые действия (например, переключение тумблера).

2.   Без применения модели аватара совместно обучаемые операторы ощущают присутствие других членов экипажа в виртуальном мире тренажера только по изменению состояния объекта, выполненному другим участником тренировки. Применение модели аватара позволяет сделать комплексную тренировку более реалистичной: обучаемый оператор будет видеть на экране не только виртуальный мир тренажера, но и аватаров других операторов. Более того, оператор сможет видеть действия других участников тренировки, а именно, с каким пультом и даже с каким конкретно элементом пульта (кнопками, тумблерами и др.) осуществляется взаимодействие.

3.   Позиция камеры не определяется на основе каких-либо абстрактных параметров, а связывается с головой аватара. Движения камеры становятся более реалистичными, поскольку голова аватара (а значит, и камера) при ходьбе немного перемещается вверх-вниз и слегка покачивается из стороны в сторону.

4.   При применении модели аватара выполняется обработка столкновений частей его тела с объектами виртуального мира. Теперь аватар (а значит, и камера) не перемещается через стены; он может брать и переносить предметы (например огнетушитель).

5.   Возможен расчет положения двух камер для стереоскопической визуализации (камеры связаны с глазами аватара).

6.   Модель аватара можно использовать как камеру от первого лица, когда оператор на экране видит изображение «из глаз аватара», так и камеру от третьего лица, когда камера расположена на небольшом расстоянии позади аватара (наподобие того, как это сделано в играх). При использовании камеры от первого лица при выполнении действий оператор видит на экране руки аватара. С помощью камеры от третьего лица оператор видит на экране аватара (полностью или частично), перемещающегося по виртуальному миру и взаимодействующего с его объектами. Без применения модели аватара использование камеры от третьего лица в принципе лишено смысла.

Исходя из специфики применения модели аватара в тренажно-моделирующих комплексах, рассмотренной в работе [4], можно выделить несколько вариантов построения модели аватара.

·     Аватар, управляемый стандартными устройствами ввода.

Аватаром управляет оператор с помощью клавиатуры и мыши. Клавиатура используется для управления перемещением аватара по виртуальному миру. Мышь – для управления направлением взгляда аватара и для взаимодействия с объектами виртуального мира (переключение тумблеров, вращение ручек и др.).

В данном варианте построения модели аватара прямая задача решается при воспроизведении анимации перемещения аватара, а обратная – при перемещении руки аватара к целевой точке (нажатие на кнопку и другие варианты взаимодействия).

·     Компьютерно-управляемый аватар.

Модель строится аналогично предыдущему варианту, однако оператор не управляет аватаром – заданную программу его действий выполняет компьютер. Аналогично прямая задача решается при проигрывании анимации перемещения аватара, а обратная – при выполнении команды  перемещения руки аватара к целевой точке (нажатие на кнопку).

·     Аватар, управляемый с помощью специализированных устройств ввода.

Аватаром управляет оператор посредством системы трекинга и перчатки данных (киберперчатки). Перчатка данных и датчики системы трекинга, закрепленные на теле оператора, позволяют получить положение и ориентацию соответствующих частей тела оператора в пространстве. Таким образом, в данном случае модель аватара полностью повторяет движения оператора.

В таком варианте построения модели прямая задача решается при отображении модели аватара после определения положения элементов его скелета согласно данным, полученным с датчиков системы трекинга и перчатки данных. Обратная задача в этом варианте не возникает, поскольку все перемещения руки аватара задаются системой трекинга и перчаткой данных.

Во всех трех вариантах построения модели аватара возникает задача обнаружения столкновений для обработки взаимодействия аватара с виртуальным миром.

Построение модели компьютерно-управля­емого аватара представляет особый интерес, поскольку позволяет добавить в виртуальный мир тренажно-моделирую­щего комплекса других участников комплексной тренировки без необходимости привлечения самих операторов. Это, в свою очередь, дает возможность оператору автономно отработать свои действия согласованно с действиями других членов экипажа.

Таким образом, рассмотрение перспективных направлений развития тренажно-моделирующих комплексов виртуальной реальности позволило выделить проблему моделирования оператора, показать ее сложность и актуальность. В статье изложены основные задачи, возникающие при моделировании движения аватара, и предложены направления их решения.

Литература

1.   Ситалов Д.С. Моделирование скелета аватара // Теория, методы проектирования, программно-техническая платформа корпоративных информационных систем: матер. VI Междунар. науч.-практ. конф. (26 мая 2008 г., Новочеркасск) / Юж.-Рос. ГТУ (НПИ). Новочеркасск: ЮРГТУ, 2008. С. 87–95.

2.   Веселовский В.В. Кинематика манипуляторов: Учеб. пособие. М.: МИРЭА, 1991. 72 с.

3.   Корендясев А.И., Саламандра Б.Л., Тывес Л.И. Теоретические основы робототехники; отв. ред. С.М. Каплунов; Ин-т машиноведения им. А.А. Благонравова РАН. М.: Наука, 2006. Кн. 1. 383 с.

4.   Ситалов Д.С. Варианты применения модели аватара. Проблемы решения обратной задачи при моделировании аватара // Теория, методы проектирования, программно-техничес­кая платформа корпоративных информационных систем: матер. VII Междунар. науч.-практ. конф. (25 мая 2009 г., Новочеркасск). Новочеркасск: ЮРГТУ, 2009. С. 167–170.