Software & Systems

Одним из направлений подготовки специалистов различных уровней является дистанционное образование, в том числе и для подготовки операторов сложных технических систем. Большую роль играют при этом имитационно-тренажерные комплексы, которые в максимально возможной степени приближены к реальным установкам и позволяют тренирующимся приобрести правильные и устойчивые навыки.

Для решения этой задачи требуется создавать новые методы обучения с использованием технологий математического моделирования, виртуальной реальности и т.д. Необходимо создавать виртуальные модели управляемого объекта, модель среды, в которой это устройство должно работать, систему визуализации, синтезирующую и отображающую виртуальную сцену на экране компьютера, а также динамическую модель поведения управляемого объекта.

Для создания моделей окружающей среды и объекта используется синтез визуального изображения методами машинной графики с помощью систем компьютерной генерации изображений на основе обработки информации о трехмерной сцене, содержащейся в базе данных. Реалистичность виртуальной сцены обеспечивается трехмерным моделированием и использованием высококачественных текстур. Качество визуализации определяется многими составляющими, среди которых разрешение экрана, модели освещенности и закраски граней, алгоритмы сглаживания краев при растеризации (антиалиасинг) и т.д. Трехмерные объекты могут создаваться с помощью распространенных пакетов (3D Studio MAX или Maya) или специализированного редактора.

Мультимедийные технологии позволяют создавать банки данных лекций, содержащих изображения, тексты, сопровождающиеся аудио-, видеоэффектами; включают в себя интерактивный интерфейс; позволяют эффективно использовать накопленную информацию при организации дистанционного и распределенного обучения.

Визуализация исследуемых процессов производится при помощи специализированного программного обеспечения, в котором заложены математические модели процессов, реализован интерфейс для управления входными и выходными параметрами. Полученная информация интегрируется в соответствующий аппаратно-программный комплекс.

Технология структурированного отображения разнородного мультимедийного материала использует идею демонстрации материала с привязкой к текстовой информации курса и обеспечивает интерактивность за счет трехмерной визуализации и двухмерной анимации.

Таким образом, при создании современной  тренажерно-обучающей системы необходимо программное обеспечение, позволяющее оперативно объединять все виды имеющейся информации (текстовой, графической, мультимедийной, синтезированной и т.д.) в единое целое, которое можно передавать по различным каналам связи, использовать при обучении и тренировке в различных областях человеческой деятельности.

Повышение эффективности процесса подготовки специалистов в этом случае происходит за счет пространственного восприятия слушателями важнейших концепций изучаемой темы. Виртуальное взаимодействие лектора с рассматриваемыми объектами способствует углубленному изучению за счет детального воспроизведения реального окружения.

Глобальная система информационных телекоммуникаций, доступ к Internet могут быть экономично достигнуты благодаря использованию связных спутников.

Создание структуры курса – одна из наиболее важных проблем при подготовке мультимедийных материалов. В качестве средства оптимизации структуры информации можно использовать модель на основе графов, вершины которого представляют собой отображение логически законченных элементов информации, а ребра, соединяющие вершины, отражают связи между элементами информации. Данная форма представления информации позволяет оценить, сравнить и выбрать оптимальную структуру на этапе проектирования учебных курсов.

При построении сценария проведения обучающих занятий подобное структурирование информации помогает повысить усвоение материала, а организация материала в виде модулей, относящихся к определенным устройствам, системам, комплексам и изделиям, позволяет повысить гибкость курса, произвести целевую сборку курса, ориентируясь на конкретные потребности.

Использование аудиовизуальной информации дает возможность отображать структуры и функции реальных и виртуальных объектов.

Особый интерес представляют следующие виды аудиовизуальной учебной информации: динамические графики развития реальных процессов; диаграммы, гистограммы для анализа массивов данных; иллюстративные материалы изучаемых объектов; мнемосхемы; трехмерные модели объектов, их частей; функциональные схемы взаимодействия отдельных подсистем, а также обобщенные схемы работы изучаемой системы в целом; результаты работы различных программных продуктов в форме видеообразов с сохранением управляемости приложения; видеоматериалы реальных объектов.

На основе анализа требований к организации и изложению учебной информации для подготовки мультимедийных инструкций разработано программно-методическое обеспечение на основе технологий виртуальной студии и структурированного отображения разнородного материала. Технология виртуальных студий основывается на идее совмещения в реальном времени изображения реальных объектов и трехмерной сцены, что позволяет проводить интерактивную демонстрацию учебного материала с внедрением в процесс самого лектора. Технология структурированного отображения разнородного мультимедийного материала использует другую идею: подготовленный материал демонстрируется в структурированном виде с привязкой к текстовой информации курса. Это также обеспечивает интерактивность за счет модуля трехмерной визуализации и интерактивной двухмерной анимации.

Подготовка мультимедийных материалов с использованием виртуальной студии

Технология виртуальных студий основывается на идее совмещения в реальном времени аудиовидеоданных реальных объектов и трехмерной сцены в единое виртуальное окружение. Объекты трехмерной сцены строятся на основе пространственных полигональных моделей с возможностью демонстрации их внутренней структуры.

Повышение эффективности процесса подготовки специалистов происходит за счет пространственного восприятия слушателями важнейших концепций изучаемой темы. Виртуальное взаимодействие лектора с рассматриваемыми объектами способствует их углубленному изучению за счет детального воспроизведения реального окружения.

Разрабатываемый программно-аппаратный комплекс позволяет в короткие сроки формировать интерактивные мультимедийные курсы. На рисунке представлена архитектура модуля подготовки мультимедийных инструкций.

Информационная система выполняет основные задачи по созданию мультимедийных инструкций в реальном времени. Управление системой можно осуществлять удаленно, используя локально-вычислительные сети, Internet.

Для оптимизации хранения информация подлежит сжатию в соответствии со стандартом MPEG-2.

Рабочее место оператора – это персональный компьютер, соединенный с информационной системой средствами удаленного доступа. Информационная система состоит из взаимосвязанных программных и аппаратных блоков.

В аппаратный блок входят модуль временной коррекции аудиолинии, блок кеинга (рирпроекции), 3D-акселератор.

Модуль временной коррекции аудиолинии предназначен для согласования аудиопотока с видеопотоком, который проходит дополнительную обработку в блоке кеинга.

Блок кеинга предназначен для выделения из видеопотока, получаемого с камер, изображения ведущего курса, а также дополнительного окружения. Для выделения части картинки нужно проконтролировать три компоненты видеосигнала – яркость и две цветоразностные компоненты, их амплитуды у пикселей фона должны находиться в определенных границах.

В функции модуля 3D-акселератора входят генерация и отображение в реальном времени виртуальной сцены. Модуль строится на основе графических акселераторов типа NVIDIA GeForce с использованием телевизионных или проекционных устройств отображения и коммутаторов сигналов.

Программный блок состоит из модуля управления виртуальным окружением, модуля визуализации и модуля управления аппаратным блоком.

Модуль управления аппаратным блоком выполняет функции по настройке отдельных аппаратных компонент. Для модуля временной коррекции основным параметром является значение времени задержки. В блоке кеинга задаются тип алгоритма построения маски, параметры алгоритмов, параметры коррекции результатов автоматической рирпроекции. Для 3D-акселератора устанавливаются параметры входного и выходного сигналов, дополнительные параметры оптимизации трехмерной сцены.

Модуль управления виртуальным окружением позволяет оператору управлять системой и виртуальной сценой посредством визуального интерфейса. Интерфейс состоит из управляющих элементов, содержащих команды, написанные на специальном языке описания сценариев, результатом выполнения которых является оперативная модификация виртуальной сцены.

В главном окне программного модуля расположены окна управления системой. В зависимости от сложности курса и от индивидуальных настроек конкретного проекта количество окон может изменяться. В типовом варианте их 5: окно проекта, окно управления виртуальным окружением, окно выбора аудиовизуальной информации, окно управления трехмерными объектами, окно свойств трехмерных объектов.

Проектом является файл, содержащий ссылки на все файлы (документы), используемые для работы, информацию о размещении окон и панелей инструментов и прочее. Окно проекта позволяет интерактивно управлять всеми компонентами, входящими в проект.

Окно управления трехмерными объектами дает возможность манипулировать виртуальным окружением, а также внедренными в него трехмерными элементами: динамически модифицировать его положение, поворачивать и масштабировать с помощью мыши, джойстика или клавиатуры. В окне свойств отображаются все изменения, проведенные с объектом.

Окно выбора аудиовизуальной информации включает в себя список виртуальных панелей с указанием на аудиовизуальный материал, который должен отображаться на соответствующей панели. Виртуальная панель – это элемент трехмерного окружения, представляющий собой расположенную специальным образом плоскость для вывода визуальной информации. Для того чтобы изменить выводимую информацию, достаточно в списке найти нужную виртуальную панель и с помощью стандартного диалогового окна задать источник аудиовизуальной информации. Таким образом, в системе возможно использование любой аудиовизуальной информации. Помимо виртуальных панелей, в списке содержится указание на файл сценария.

Файл сценария – это текстовой файл, загружаемый в систему при каждом запуске и содержащий последовательность отображения аудиовизуальной информации в виртуальной сцене. Данная последовательность связана с модулем визуального интерфейса и использует управляющие элементы, содержащиеся в модуле визуального интерфейса.

Управление трехмерной сценой возможно при помощи внешних устройств управления.

В рамках исследований создано универсальное трехмерное окружение, позволяющее проводить лекционные занятия с демонстрацией аудиовизуальной учебной информации, лабораторные практикумы.

Модель трехмерного окружения содержит следующие компоненты.

1.  Графический синтез математических моделей, описывающих процессы, реализуемые в виртуальной среде. Требования к составу, полноте и адекватности этих моделей определяются структурой курса.

2.  Геометрические модели, обеспечивающие визуальное представление моделируемой среды либо на экране монитора, либо в стереосистеме с поляризационным экраном, двумя проекторами и пассивными поляризационными очками. Геометрическая модель виртуального пространства формируется путем создания геометрических моделей всех объектов, которые помещаются в это пространство.

3.  Модели акустической обстановки, обеспечивающие имитацию тех звуковых эффектов, которые сопровождают моделируемые события.

Данное окружение позволяет отображать аудиовизуальную информацию в трех различных формах: детальной, обобщенной, в форме видеоряда.

В обобщенной форме информация разбивается на две части, совокупность которых образует полное описание поставленной задачи. Информация выводится на две самостоятельные виртуальные панели и в зависимости от сценария курса меняется либо на обеих панелях, либо только на одной.

Обобщенная форма применяется в случае изображения объектов реального мира (фотографий, иллюстраций), текстовой информации, формул, графиков,  динамической анимации явлений.

Форма видеоряда используется для отображения видеоматериалов с различных источников: файл, содержащий видеоряд; изображение, получаемое с помощью видеокамеры; видеоряд с экрана удаленного компьютера. Вывод информации осуществляется с помощью виртуальной плазменной панели.

Технология структурированной демонстрации мультимедийного материала

Идея технологии состоит в структурированном отображении мультимедийного материала, иллюстрирующего отдельные пункты учебного курса, с привязкой к текстовой информации.

Инструкция создается на основе текстового описания эксперимента в формате RTF, в котором  формируется  иерархическая структура (дерево) пунктов, каждому из которых сопоставляется место в общем описании, а также некоторая визуальная информация, наиболее удачная и эффективная для описания данного пункта. При просмотре инструкции пользователь может в произвольном порядке перемещаться по дереву пунктов, при этом в окнах  визуального интерфейса отображается соответствующая информация из общего текстового описания и сопоставленная ему визуальная информация.

Кроме режимов создания и просмотра инструкции, предусмотрен также режим контроля за усвоением материала, в котором для каждого пункта формируется список вопросов с несколькими возможными ответами, а пользователю предлагается выбрать правильный. По результатам контроля формируется оценка усвоения материала.

Преимуществами рассмотренной технологии и разработанной системы являются простота создания мультимедийной инструкции, высокая наглядность и интерактивность демонстрации, возможность организации контроля за усвоением материала, а также нетребовательность к аппаратной части.

Представленные технологии, предложенные методы и подходы позволяют в сжатые сроки создавать полноценные мультимедийные курсы практически для любой области знаний.

Дальнейшее развитие информационных технологий и средств переработки информации – создание интеллектуальных терминалов, графических акселераторов, акустических плат, систем хранения информации, систем снятия движения, систем виртуальной реальности – открывает широкие перспективы для совершенствования и расширения возможностей описанных систем.

Список литературы

1.    Егоров А.Н. Пилотируемые полеты в космос. // Сб. тез. – Звездный городок: РИО РГНИИЦПК им. Ю.А. Гагарина, 2005. – 353 с.

2.    Решетников В.Н., Торгашев М.А., Хураськин И.А. Система создания и просмотра мультимедийных инструкций. //  Программные продукты и системы. – 2007, № 2.

3.    Моше Мошкович. Виртуальные студии. Техника и технологии. – Жуковский: Изд-во «ЭРА», 2001. – 215 с.