Программные продукты и системы

Концепция виртуальной реальности воз никла на базе компьютерных систем визуализации (КСВ) трехмерных сцен в реальном масштабе времени, которые с конца 70-х годов стали использоваться в качестве генераторов изображений в тренажно-моделирующих комплексах для подготовки летного персонала. Эти системы представляли собой сложные программно-аппаратные специализированные устройства, для которых были характерны высокая стоимость и низкий реализм отображаемых сцен, что снижало эффективность использования подобных систем. Дальнейшее использование КСВ в качестве генераторов изображений для различных типов тренажеров привело к повышению требований по реализму отображения окружающих наблюдателя сцен. Так, неотъемлемыми требованиями для большинства комплексных тренажеров являются отображение точечных источников света (посадочные огни, звезды и др.), различных атмосферных явлений (дымка, туман различной плотности, восход и закат солнца, облачность), а также имитация криволинейных поверхностей за счет сглаживания яркости на переходах с грани на грань. Высокие требования предъявляются к качеству изображений. Большие усилия затрачиваются на устранение дефектов, связанных с дискретной структурой растра. Повышение реализма отображаемых сцен достигается в последних разработках КСВ не только и не столько за счет повышения общей производительности вычислительного тракта систем, сколько за счет введения в систему различного рода эффектов, например отображения тексту-рированных и полупрозрачных поверхностей, позволяющих приблизить восприятие синтезированного изображения к реальной окружающей обстановке. За последние 5-7 лет произошли существенные изменения в области проектирования компьютерных систем визуализации для использования их в различных типах тренажеров: авиационных, космических и др. С целью снижения стоимости и габаритов систем ведущие фирмы используют при разработке заказные СБИС (от 3 до 35 типов заказных кристаллов с интеграцией от 60 тыс. до 1,5 млн транзисторов).

Большой удельный вес при разработке таких систем занимает создание программного обеспечения. Серьезные усилия затрачиваются на автоматизацию процесса подготовки баз данных отображаемых районов местности и отдельных сложных объектов. Наметилась тенденция к использованию рабочих станций в качестве КСВ тренажеров. Примером тому служат ранние модели фирмы "Silikon Graphics", которые достаточно высокопроизводительны в реальном времени, отображают текстуриро-ванные поверхности, имеют средства цифровой фильтрации изображений. В целом стоимость и габариты таких систем уменьшаются. Подробный обзор современного состояния развития компьютерных систем визуализации содержится в материалах конференции по авиационным тренажерам [1], которая состоялась в Монреале в 1993 году.

В последнее время активно развивается направление по созданию упрощенных систем визуализации реального времени на базе персональных компьютеров. Разработан ряд графических акселераторов с достаточно широкими возможностями. Возможно, что системы визуализации на базе универсальных графических контроллеров найдут применение в качестве генераторов изображения для различного типа процедурных тренажеров, где не требуется высокого реализма в отображении трехмерных сцен. Уменьшение аппаратных затрат КСВ и увеличение их функциональных возможностей существенно расширяют сферу применения этих систем как в процессе обучения (локомотивные и экскаваторные тренажеры, обучение хирургическим операциям и т.д.), так и в научных исследованиях, архитектуре, робототехнике.

В Институте автоматики и электрометрии СО РАН в течение ряда лет проводилась работа по созданию семейства компьютерных систем визуализации "Альбатрос", предназначенных в основном для использования в авиационных и космических тренажно-моделирующих комплексах. В данной статье описываются принципы построения систем визуализации этого семейства и их основные характеристики.

Основные принципы построения

Компьютерные системы визуализации являются достаточно сложными аппаратно-программными комплексами. Их разработка связана с решением целого ряда как архитектурных, так и технологических проблем. Переход к созданию и выпуску нового класса систем визуализации требует серьезных научно-производственных затрат. Задачей данной разработки было создание семейства компьютерных систем визуализации на единой алгоритмической и конструктивной базе. Поэтому одним из основных требований при разработке семейства компьютерных систем визуализации "Альбатрос" было сохранение не только единого архитектурного подхода и программной совместимости ряда систем, но и возможности модификации базовой модели системы за счет использования однотипных модулей без изменения либо с незначительной их доработкой.

В основу разработки семейства "Альбатрос" был заложен ряд отличительных признаков, совокупность которых позволила создать на отечественной элементной базе семейство систем визуализации, по своим функциональным возможностям приближающихся к образцам, серийно выпускаемым ведущими зарубежными фирмами. Эти отличия в сравнении с ранее разработанными системами [2, 3] относятся как к геометрическим преобразованиям, так и к процессу растрирования [4, 5]. Основные из них заключаются в следующем:

1)       осуществление линейной интерполяции яркости многоугольников, вычисление специализированных эффектов (дымки, тумана) и тек стурных координат по коэффициентам уравнений, задающих соответствующие параметры многоугольников в базе данных;

2)       осуществление процедуры клиппирования над многоугольниками, заданными уравнениями прямых, проходящих через смежные вершины многоугольников;

3)       использование при растрировании процедуры рекурсивного деления экрана и много уровневого маскирования.

Традиционно в системах визуализации к геометрическим преобразованиям относят пре-

образование объектов в систему координат наблюдателя, клиппирование - отбраковку каждого объекта относительно шести плоскостей пирамиды видимости и нахождение пересечения с этими плоскостями, если необходимо, а также проецирование объектов на картинную плоскость. Окружающая обстановка при этом задается трехмерными координатами вершин многоугольников, описывающих объекты, и значениями в вершинах цветовых параметров.

При использовании для растрирования изображений задания многоугольников полуплоскостями, ограничивающими части экрана, процедура клиппирования может быть существенно упрощена в сравнении с ранее используемой. Для этого после матричных преобразований многоугольников, заданных координатами вершин в трехмерном пространстве, осуществляется вычисление коэффициентов уравнений ребер, которые являются компонентами произведения векторов, взятых от начала координат к вершинам ребер. При этом необходимо, чтобы цветовые характеристики многоугольников задавались исходно не в виде значений яркости в вершинах, а в виде коэффициентов линейных уравнений. Эти коэффициенты вычисляются для всех объектов заранее. Матричные преобразования для цветовых характеристик в этом случае осуществляются над коэффициентами уравнений.

Задание параметров многоугольников, как геометрических, так и цветовых, с помощью коэффициентов уравнений позволяет исключить нахождение точных значений этих параметров при выполнении процедуры поиска принадлежности многоугольников, описывающих сцену, к пирамиде видимости или какой-либо части экрана. Вычисление значений этих параметров происходит только на "пиксельном уровне". Так, процедура клиппирования сводится к простой отбраковке ребер и не требует точного отсечения объектов плоскостями пирамиды видимости. Это приводит к упрощению основного алгоритма клиппирования и исключает необходимость сложного анализа многоугольников на невыпуклость в видеопроцессоре системы.

Этот подход получил развитие в последующих работах, где предпринята попытка использовать задание исходной трехмерной информации в базе данных в виде уравнений плоскостей многоугольников, образующих объекты. Таким образом, во всем тракте геометрических преобразований полная информация о параметрах трехмерных объектов может задаваться коэффициентами линейных уравнений.

Для растрирования изображений в семействе "Альбатрос" используется процедура рекурсивного деления площади экрана на части по кватернарному дереву, включающая определение принадлежности многоугольников, спроектированных на картинную плоскость и следующих в приоритетном порядке, этим частям экрана. В качестве элемента разложения применяется вчетверо уменьшающаяся от уровня к уровню клетка, первоначальный размер которой совпадает с размером экрана. Многоугольники при этом заданы полуплоскостями, проходящими через их ребра. Полуплоскости могут быть представлены либо коэффициентами уравнений прямых, включающих ребра многоугольников, либо точками пересечения этих прямых с границами экрана [5]. Для определения принадлежности многоугольника клетке текущего уровня для каждого ребра многоугольника требуется выполнить операцию суммирования и сдвига и проанализировать знак коэффициентов уравнения ребра.

Удаление невидимых частей поверхностей осуществляется в процессе отображения за счет использования предварительной статической сортировки объектов по дереву разделяющих плоскостей и за счет выборки объектов по приоритетам глубины в зависимости от положения наблюдателя. Завершение процедуры удаления невидимых частей объектов происходит в видеопроцессоре путем использования субпиксельной маски. Рекурсивный алгоритм деления экрана по кватернарному дереву, применяемый в системах, позволяет достаточно просто реализовать механизм многоуровневого маскирования. В результате этого осуществляется отбраковка невидимых частей поверхностей не только на пиксельном уровне, но и на более ранних стадиях в процессе деления экрана, когда клетка текущего уровня оказывается полностью замаскированной объектами, поступившими раньше. Признак того, что клетка текущего уровня занята, поступает на более высокий уровень; таким образом, формируются маски на всех уровнях деления экрана. Как отмечается в [5], маскирование позволяет снизить время на растрирование изображений в 2 и более раз в зависимости от глубинной сложности отображаемых сцен. Для правильного отображения подвижных объектов в системах используется динамическая сортировка объектов по приоритетам.

Модели семейства "Альбатрос"

Возможность модификации базовой системы "Альбатрос" за счет многоуровневой модульности, заложенной при разработке, реализована при создании ряда систем с различными функциональными возможностями и произв одительностью.

Базовый вариант системы "Альбатрос" , изготовленный в 1988 году, включает управляющую ЭВМ типа "Электроника-85", геометрический процессор (ГП) и видеопроцессор (ВП). Управляющая ЭВМ осуществляет формирование локальной базы данных, прием параметров положения наблюдателя от тренажерного комплекса, диспетчеризацию внешних событий (управление вводом/выводом, взаимодействие с оператором) и диагностику неисправностей системы.

Адаптер представляет собой интерфейс типа "окно", предназначенный для подключения системной шины к управляющей ЭВМ. В функции адаптера входят расширение адресного пространства управляющей ЭВМ, управление обменом информацией по системной шине и регистрация особых ситуаций. В системе предусмотрена возможность подключения к одной управляющей ЭВМ нескольких каналов, каждый из которых включает ГП и ВП с целью расширения угла обзора. Каждый канал подключается к системной шине с помощью типового интерфейса, осуществляющего дешифрирование адреса и маскирование сигналов ошибок. Для автономной настройки системы предусмотрен имитатор перемещений, который подключается к системной шине и позволяет задавать положение наблюдателя в трехмерном пространстве.

Геометрический процессор осуществляет просмотр базы данных, хранящейся в памяти (до 32 Мбайт), преобразование ее в систему координат наблюдателя, отбраковку объектов, не попавших в пирамиду видимости, преобразование объектов в экранную систему координат.

Кроме памяти баз данных, в ГП входит векторный процессор для преобразования объектов в систему координат наблюдателя. Он имеет пиковую производительность до 60 Мфлоп/с и включает блок обработки целых чисел и до шести блоков обработки 32-разрядных вещественных чисел. В ГП также входят клиппирующий процессор и форматер, преобразующий описание объектов из вещественного представления в форму, необходимую для ВП.

В ВП осуществляется преобразование объектов, заданных проекциями многоугольников на картинную плоскость, в телевизионный растр. ВП включает память кадра, конвейер однотипных клеточных процессоров, вычислитель цветовых компонент и видеопамять, хранящую 24-разрядный цвет RGB в каждом пикселе телевизионного кадра.

В системе реализовано разрешение 512x512 пикселей, и она может работать с мониторами прогрессивной и чересстрочной разверток. Одноканальная система генерирует в реальном времени до 4000 многоугольников в одном кадре или до 10000 огней. Время транспортной задержки не превышает 80 мс.

В системе предусмотрена защита от информационных перегрузок, позволяющая в зависимости от сложности отображаемой сцены переходить на разную частоту обновления в кадре. Максимальная частота обновления информации 50 Гц.

Система позволяет генерировать различные условия видимости (дневные, ночные, сумеречные), точечные источники света (огни, звезды), атмосферные явления типа дымки, тумана, округлые трехмерные объекты. Конструктивно система выполнена на многослойных печатных платах и занимает два крейта в типовой стойке. Высокое качество изображения достигается применением цифровой субпиксельной фильтрации (4x4 субпикселя на каждый пиксель) с оптимальной выборкой субпиксельной маски. Для устранения дефектов, связанных с чересстрочной разверткой, используется грубая фильтрация, когда значение цвета в пикселе определяется как средневзвешенное значение четырех соседних пикселей.

Следующая реализованная модель системы визуализации - "Альбатрос-Т", которая использует в качестве управляющей ЭВМ IBM PC/AT и позволяет в дополнение к имеющимся возможностям отображать текстурированные и полупрозрачные поверхности, что эффективно используется в системах визуализации для плавной смены уровней детализации обстановки. Система позволяет отображать до 32 текстурных карт размером 16x16 пикселей в реальном времени. Для этой цели разработан специализированный вычислитель в ВП базовой модели. На основе этой модели сделано несколько трехканальных систем визуализации с производительностью каждой до 12000 многоугольников в кадре при частоте смены кадров 25 Гц. Эти системы установлены в Центре подготовки космонавтов им. Ю.А. Гагарина для использования в различных типах тренажеров.

С целью расширения области применения систем визуализации, снижения их стоимости и улучшения эксплуатационных характеристик проведена работа по модернизации ГП базовой модели системы "Альбатрос" и создана еще одна разновидность системы - "Альбатрос-М", которая размещается в одном крейте. Производительность этой системы составляет 2000 многоугольников в кадре. Эта система также позволяет воспроизводить различные визуальные эффекты: дымку, туман, текстурированные и полупрозрачные поверхности.

В системе использована минимальная конфигурация как ГП, так и ВП, за счет чего удалось почти вдвое сократить объем оборудования. Заложенный в базовую конструкцию принцип модульности позволил создать эту модель с минимальными техническими доработками.

В ГП максимальный объем памяти баз данных сокращен по сравнению с базовой моделью до 8 Мбайт. Уменьшено количество блоков вещественной арифметики с шести до двух и выполнен ряд доработок для более эффективной реализации алгоритмов клиппирования и матричных преобразований. Минимизация оборудования ВП была достигнута снижением субпиксельного разрешения до 2x2, что приводит к незначительному ухудшению качества фильтрации изображений; вычисление цвета изображения происходит не в каждом пикселе, а в центре квадрата размером 2x2 пиксела.

Еще одна модификация ГП с использованием импортной элементной базы позволяет расширить ряд систем визуализации "Альбатрос" и снизить вдвое по сравнению с вариантом "Альбатрос-М" объем занимаемого системой оборудования. ВП в этой системе применяется тот же, что и в системе "Альбатрос-М". ГП выполнен с использованием микропроцессора Intel 860 XR и конструктивно оформлен как акселератор на плате, устанавливаемой в компьютер IBM PC/AT. Производительность системы с такими акселераторами составляет около 4000 многоугольников в кадре, что эквивалентно базовой модели семейства "Альбатрос". Объем оперативной внешней памяти для хранения баз данных и программ составляет 16 Мбайт. Пиковая производительность акселератора 66 Мфлоп/с. Предусмотрена возможность наращивания производительности акселератора за счет подключения дополнительных плат через порты ввода/вывода.

Большое внимание при проектировании семейства систем уделено вопросам диагностики неисправностей, автономной и комплексной настройке. С целью быстрой диагностики неисправностей в каждом функциональном блоке системы заложена возможность записи и считывания контрольной информации из основных операционных узлов через тестовую шину Т в управляющую ЭВМ. Это позволяет автономно контролировать состояние и устранять неисправности функциональных узлов, а также проводить комплексный контроль системы в целом.

Для этой цели создано тестовое программное обеспечение, состоящее из программной оболочки, подключаемых к ней тестов соответствующих устройств и библиотеки процедур, используемых при тестировании. Четкая и подробная диагностика позволяет быстро обнаружить и устранить неисправности. Указывается не только характер неисправности, но и ожидаемые сигналы и состояние аппаратуры в нескольких контрольных точках. Кроме того, существует пакет тестового обеспечения, позволяющий контролировать состояние любых функциональных узлов на всех стадиях обработки данных с использованием для этого реальных баз данных. Пользователю предоставляется возможность моделирования аналитически заданных траекторий подвижных объектов и редактирования их в процессе отладки динамики движения.

Функционирование семейства систем "Альбатрос" поддерживается программным комплексом трехмерного визуального моделирования, который включает следующие подсистемы: подготовку визуальных моделей; управление КСВ и отображение визуальных сцен.

Подсистема подготовки визуальных моделей [6] служит для автоматизации процесса создания трехмерных визуальных сцен и включает программу ввода трехмерной информации с плоских носителей, базовый язык описания визуальных моделей, интерактивный геометрический редактор для моделирования рельефа местности. Подсистема управления КСВ обеспечивает прием, интерпретацию и передачу параметров от тренажера, задает поведение объектов сцены, управляет имитацией различных эффектов природных феноменов, выполняет запись, хомпрессию и воспроизведение параметров поведения, обслуживает загрузку и выгрузку, активирование и дезактивирование моделей сцен, обеспечивает связь с оператором и полное управление параметрами сцены при отладке визуальных моделей, поддерживает синхронизацию каналов КСВ и их защиту от информационных перегрузок. Подсистема отображения обеспечивает процесс построения цветных тоновых изображений, являющихся видами сцен при соответствующих значениях анимационных переменных.

Разработанное семейство систем визуализации " Альбатрос " используется в авиационных и космических тренажерах. Принципы, заложенные в основу построения данного семейства, получили развитие в последующих работах, связанных с созданием систем визуализации нового поколения.

В настоящее время разрабатывается проект создания ряда компьютерных систем визуализации с реализацией на импортной элементной базе. Производительность этих систем лежит в диапазоне от 2 до 8 тысяч текстурированных многоугольников,. формируемых за время телевизионного кадра. Системы имеют возможность воспроизводить полноцветные интерполированные и текстурированные многоугольники с разрешением текстурных карт от 256x256 до 1024x1024, имитировать газ, туман облачность, осуществлять качественную фильтрацию изображения. Предусмотрен вывод стереоскопических изображений.

По зарубежным прогнозам по мере снижения стоимости систем технология виртуальной реальности найдет широкое применение в медицине, архитектуре, химии, образовании, управлении воздушным движением и во многих других областях, где требуется визуализация трехмерных сцен.

Список литературы

1.    Proceedings Flight Simulator Symposium Exhibition.- Monreal, Canada: JATA, 1993.

2. Ковалев А. М., ТалныкинЭ. А. Машинный синтез ви зуальной обстановки //Автометрия, 1984. - № 4.

3. Буровцев В.А., Власов С.В., Вяткин С. И. и др. Гео метрический процессор синтезирующей системы визуализа ции//Автометрия, 1986. -№ 4.

4. А.с. 1522240 .СССР. Цифровой генератор изо бражений /А. И. Богомяков, С. И. Вяткин, Б. С. Долговесов и др.-Опубл. 19.07. 88, Бюл.№42.

5. Вяткин С. И., Долговесов Б.С., Мазурок Б.С., Рожков А. Ф. Эффективный метод растрирования изображений для компьютерных систем визуализации реального време- ни//Автометрия,1993. -№ 5.

6. Белаго И.В., Некрасов Ю. Ю., Романовский А. В., Та расов Ю. В. Комплекс трехмерного моделирования SoftLab Images 1.1 // Автометрия,!993. -№ 5.