ISSN 0236-235X (P)
ISSN 2311-2735 (E)

Journal influence

Higher Attestation Commission (VAK) - К1 quartile
Russian Science Citation Index (RSCI)

Bookmark

Next issue

2
Publication date:
16 June 2024

Textured planet model visualization system for space experiments simulation

Date of submission article: 27.07.2015
UDC: 004.946
The article was published in issue no. № 4, 2015 [ pp. 99-104 ]
Abstract:A modern tool to train space experiments related to the planet observation from a circumplanetary orbit is real-time visualization of virtual 3D planet model with detailed textures based on satellite images. Studies show that the size and memory space required for such textures significantly exceeds the capability of modern graphics accelerators (extra-large textures). This does not allow loading such textures in video memory completely and their hardware processing. This article describes a technology and software implementation which allows real-time visualizing of extra-large planet textures divided into small pieces of an equal size (pages). The key idea of the proposed technology is to reduce time costs for visible pages selection using GPU parallelizing computations by means of developed shader programs. The technology provides texture detailing of the simulated planet surface to fit the screen resolution. It also allows real-time visualizing multiple extra-large textures with different initial resolution on a virtual planet surface. The proposed technology is implemented in the planet texture visualization software package, which can be integrated in an external application. The created software package is also equipped with a module which calculates a observer\'s orbital position, as well as a user interface to control an observer\'s flight. The paper considers testing of the implemented software package as a part of 3D virtual scene visualization system. The results show that it meets all the requirements. The developed software package can be used both to improve features of existing simulators for space scientific experiments and to build new promising ones.
Аннотация:Современным инструментом для проведения тренировок космических экспериментов, связанных с наблюдением планеты с околопланетной орбиты, является визуализация в масштабе реального времени виртуальной трехмерной модели планеты с детализированными текстурами, созданными на основе спутниковых снимков. Исследования показывают, что размеры и объем необходимых текстур существенно превышают аппаратно допустимые значения современных графических ускорителей (сверхбольшие текстуры), что не позволяет загружать их целиком в видеопамять и аппаратно обрабатывать. В статье описываются технология и программная реализация, позволяющие визуализировать в масштабе реального времени сверхбольшие текстуры планет, разбитые на небольшие участки одинакового размера (страницы). Ключевая идея предложенной технологии состоит в сокращении временных затрат на отбор видимых страниц сверхбольшой текстуры путем распараллеливания вычислений на графическом процессоре (GPU) с помощью ряда разработанных шейдерных программ. Технология обеспечивает текстурную детализацию для моделируемой поверхности планеты, наиболее близкую к разрешению экрана, а также позволяет визуализировать на виртуальной поверхности планеты в масштабе реального времени сверхбольшие текстуры, имеющие различное исходное разрешение. Предложенная технология реализована в программном комплексе визуализации детализированных текстур планет, который интегрируется во внешнее приложение. Созданный программный комплекс также снабжен модулем расчета орбитального положения наблюдателя и пользовательским интерфейсом для управления полетом наблюдателя. В работе выполнена апробация реализованного программного комплекса в составе системы визуализации трехмерных виртуальных сцен, которая показала его адекватность поставленным задачам. Разработанный программный комплекс может быть использован как для улучшения характеристик существующих тренажерных систем по проведению космических экспериментов, так и для построения новых перспективных тренажеров.
Authors: Timokhin P.Yu. (webpismo@yahoo.de) - SRISA RAS (Research Associate), Moscow, Russia
Keywords: real time, extra-large texture, virtual planet, space experiment, render
Page views: 8315
Print version
Full issue in PDF (9.58Mb)
Download the cover in PDF (1.29Мб)

Font size:       Font:

Космические эксперименты, связанные с наблюдением планеты с околопланетной орбиты, являются источником ценных и уникальных научных данных о глобальных процессах и явлениях, протекающих на ее поверхности. В настоящее время выполнение таких экспериментов по исследованию поверхности Земли – одна из важных задач экипажей Международной космической станции (МКС). Мониторинг земной поверхности осуществляется через иллюминаторы как невооруженным глазом, так и с помощью фото- и видеоаппаратуры с изменяемой кратностью увеличения и с постоянным полем зрения [1]. Ввиду высокой сложности выполнения таких экспериментов (время эффективного наблюдения объекта ограничено 50–80 секундами) для получения успешного результата космонавту необходимо активно тренировать соответствующие навыки.

Современным инструментом для проведения таких тренировок является визуализация в масштабе реального времени виртуальной трехмерной модели планеты с детализированными текстурами, созданными на основе спутниковых снимков. Исследования в работе [1] показывают, что для имитации наблюдения Земли с борта МКС невооруженным глазом детализация таких текстур должна составлять не менее 150 м/пиксел и быть на порядок выше для имитации работы средств наблюдения с изменяемой кратностью увеличения. Проблема состоит в том, что размеры и объем таких текстур существенно превышают аппаратно допустимые значения современных графических ускорителей (сверхбольшие текстуры), что не позволяет загружать их целиком в видеопамять и аппаратно обрабатывать. Задача еще более усложняется в случае необходимости визуализации в космическом эксперименте дополнительных детализированных текстурных слоев (например, текстур с изображением облачного покрова или огней ночных городов). Все это обусловливает высокую востребованность технологий и систем визуализации, которые могут работать с огромными массивами текстурных данных в режиме реального времени.

Возможность наблюдения текстурированных виртуальных поверхностей планет с орбитальной высоты предоставляют ряд популярных виртуальных 3D-глобусов, разрабатываемых как крупными организациями, так и сообществами энтузиастов. Примерами таких программных продуктов являются виртуальный географический атлас NASA World Wind [2], астрономическая программа Celestia [3], симулятор орбитальных космических полетов Orbiter [4] и другие. Однако возможности и скорость визуализации детализированных текстур планет в подобных системах зачастую ограничены и не отвечают в полной мере требованиям для постановки космических экспериментов [1]. К то­му же особенности подобных зарубежных программных продуктов затрудняют их применение в отечественной космической отрасли.

Для решения рассматриваемой задачи в данной работе предлагается разработанная в НИИСИ РАН система визуализации текстурированных моделей планет в масштабе реального времени. Принцип действия предлагаемой системы основан на разработанной технологии визуализации сверхбольших текстур.

  Технология визуализации сверхбольших текстур

В основе предлагаемой технологии лежит подход, применяемый в компьютерной графике для визуализации текстур, размеры и объем которых удовлетворяют аппаратным возможностям современных видеокарт. При данном подходе наряду с исходными текстурами применяются текстуры с меньшими уровнями детализации (мип-пирамида текстур), причем для каждого пиксела синтезируемого изображения подбираются текстуры тех уровней, детализация которых наиболее близка к разрешению экрана (технология аппаратного мипмэппинга [5]).

В предлагаемой технологии по исходной сверхбольшой текстуре (далее текстура T) также создается мип-пирамида текстур из L уровней, причем текстуры уровней от 0 до L’ разбиваются на небольшие участки одинакового размера (страницы), образуя массивы M0, …, ML’ страниц (рис. 1), которые размещаются на жестком диске в сжатом виде. Перед визуализацией выделяется область видеопамяти, в которую на постоянное хранение помещаются текстуры уровней от L’+1 до L–1 (текстурная группа G1), а также области видео- и оперативной памяти, куда будут динамически отбираться и подкачиваться страницы из массивов M0, …, ML’ (текстурные группы G2 и B), необходимые для визуализации текущего кадра.

Ввиду того, что избыточная загрузка в видеопамять страниц препятствует соблюдению режима реального времени визуализации (работа с жестким диском является потенциально узким местом), а отсутствие необходимых страниц существенно отражается на качестве синтезируемого изображения планеты, в предлагаемой технологии акцент сделан на выполнении точного отбора видимых страниц по всем пикселам кадра. При современных разрешениях средств отображения (Full HD, Ultra HD) объем пикселов, которые необходимо обрабатывать, крайне велик, поэтому ключевая идея предлагаемой технологии состоит в сокращении временных затрат путем распараллеливания такой обработки полностью на графическом процессоре (GPU).

По подобному направлению пошли авторы работы [6], однако предложенное ими решение на базе программно-аппаратной архитектуры CUDA позволяет обрабатывать в реальном времени лишь некоторую выборку из всех пикселов кадра и ограничивает область средств реализации только видеокартами компании NVidia. В отличие от [6] в данной работе предлагается распараллеливать обработку всех пикселов кадра с помощью ряда разработанных шейдерных программ, написанных на универсальном языке GLSL, поддерживаемом всеми современными графическими ускорителями. Предлагаемая технология включает в себя ряд этапов.

Синтез экранной карты текстурных координат. На данном этапе вычисляется двухканальная текстура, имеющая размеры кадра (полнокадровая текстура), в каждый тексел которой записываются текстурные координаты (s, t) видимой точки модели поверхности планеты (далее ST-текстура). С этой целью при создании трехмерной модели поверхности планеты для каждой ее геометрической вершины указываются текстурные координаты этой вершины в исходной сверхбольшой тексту- ре T. Используя эти координаты, при синтезе ST-текстуры планеты для каждого пиксела видеокарта автоматически вычисляет текстурные координаты (s, t) на текстуре T, соответствую- щие этому пикселу. Непосредственно сам синтез ST-текстуры реализуется путем рендеринга модели планеты в текстуру с помощью разработанной шейдерной программы.

Синтез экранной карты значений уровня текстурной детализации. На данном этапе вычисляется одноканальная полнокадровая текстура, в каждый тексел которой записывается уровень  текстурной детализации видимой точки модели поверхности планеты (далее LOD-текстура). Данная величина является вещественным числом и определяется на основе вычисления количества текселов, охватываемых сторонами проекции пиксела в пространстве текстуры T. На практике такая проекция эффективно приближается параллело- граммом, длины сторон которого вычисляются с помощью частных производных текстурных координат (s, t) по экранным координатам пикселов. Более подробно вычисление  рассмотрено в [7]. В разработанной шейдерной программе, реализующей вычисление  необходимые текстурные координаты (s, t) считываются из тексела ST-текстуры, имеющего такое же расположение, что и рассчитываемый тексел LOD-текстуры.

Получение списка видимых страниц. Формирование списка страниц, видимых в текущем кадре, осуществляется с помощью вычисленных выше ST-текстуры и LOD-текстуры и выполняется в 3 шага.

На 1-м шаге создается полнокадровая текстура U1, в каждый тексел которой записывается идентификатор видимой страницы. Этот идентификатор задается тройкой чисел (q, i, j), где q – наименьший номер уровня мип-пирамиды, который необходимо использовать для закраски текущего пиксела, а i и j – номера строки и столбца страницы в массиве M0 страниц:

 

где  – величина уровня детализации текстуры T, записанная для текущего пиксела в ST-текстуре; hq, wq – число строк и столбцов массива Mq страниц; (s, t) – текстурные координаты в пространстве текстуры T, записанные для текущего пиксела в LOD-текстуре.

На 2-м шаге осуществляется удаление повторяющихся идентификаторов в текстуре U1. Для этого сначала формируется множество V двумерных геометрических вершин, в которое для каждого идентификатора (q, i, j) из U1 записывается вершина Vq,i,j с координатами x=–1+2j/w0, y=–1+2i/h0 и цветом 2q. Затем с помощью специально разработанного геометрического шейдера множество V параллельно визуализируется в одноканальную текстуру U2 размера w0´h0 с включенной побитовой операцией «ИЛИ» записи цвета. В результате такой визуализации в текселах текстуры U2 будут записаны битовые векторы, в которых единицы стоят в тех позициях, номера которых соответствуют номерам видимых страниц из массивов M0, …, ML’.

На 3-м шаге формируется список неповторяющихся идентификаторов страниц. С помощью специально разработанного геометрического шейдера создается множество V’ трехмерных вершин, в которые записываются идентификаторы страниц, отмеченных в текстуре U2 единичными битами. Затем выполняется рендеринг вершин из V’ в буфер вершин. В результате в буфере вершин формируется список неповторяющихся идентификаторов отобранных страниц.

Подкачка видимых страниц. Так как графические процессоры могут работать только с информа- цией, находящейся в видеопамяти, а в видеопамять информацию можно копировать только из оперативной памяти, в работе предлагается использовать массивы M0, …, ML’ страниц на жестком диске, массив B в оперативной памяти и массив G2 в видеопамяти. Последние два массива используются для кэширования. То есть при необходимости использования какой-либо страницы она сначала ищется в массиве G2. Если ее там нет, то она подкачивается из массива B, а если ее нет и в этом массиве, она подкачивается с жесткого диска. При этом новая загружаемая страница записывается на место той, которая дольше всех не использовалась (стратегия LRU, Least Recently Used). Подкачка страниц из M0, …, ML’ в B выполняется непрерывно в отдельном потоке. Для подкачки страниц из B в G2 отводится некоторый промежуток времени, по истечении которого подкачка прекращается, а загрузка оставшихся страниц переносится в следующий кадр визуализации.

Синтез экранной текстуры с изображением планеты. Закраска пикселов синтезируемой текстуры с изображением планеты выполняется с помощью текстурных групп G1 и G2, а также ST-текстуры и LOD-текстуры. Способ вычисления цвета закраски для каждого пиксела определяется индивидуально, исходя из его величины  текстурной детализации, считанной из LOD-текстуры. Из этой величины вычисляются наименьший номер q=ëû уровня мип-пирамиды, а также коэффициент f={} интерполяции между q-м и q+1-м уровнями мип-пирамиды. В случае q>L’ цвет пиксела вычисляется путем аппаратной выборки из текстурной группы G1 по текстурным координатам (s, t) пиксела, считанным из ST-текстуры. Если q=L’, то цвет вычисляется путем интерполяции с коэффициентом f двух цветов, один из которых вычисляется аналогично первому случаю, а второй – путем выборки из соответствующей координатам (s, t) страницы q-го уровня, загруженной в массив G2. Если qÎ[0, L’–1], цвет пиксела вычисляется также путем интерполяции с коэффициентом f двух цветов, но вычисленных уже путем выборки из страниц q-го и q+1-го уровней. Если необходимая пара страниц отсутствует в массиве G2, для визуализации используется уже подкаченная пара страниц ближайшего более грубого уровня детализации, а в случае отсутствия таковых – данные из постоянно хранимой группы G1 текстур. Цвета всех закрашиваемых пикселов вычисляются параллельно на GPU с помощью разработанного фрагментного шейдера.

На рисунке 2 изображена результирующая схема работы предложенной технологии. Описанная технология легко применяется для визуализации нескольких сверхбольших текстур на поверх- ности планеты. Для каждой сверхбольшой тек- стуры создаются свои массивы M0, …, ML’ страниц, буфер B и текстурные группы G1 и G2. Этап вычисления ST-текстуры планеты выполняется один раз в кадре для всех визуализируемых текстур, а оставшиеся этапы технологии выполняются для каждой сверхбольшой текстуры отдельно. Синтезированные в результате экранные текстуры с различными изображениями планеты смешиваются в соответствии с типом данных, который они представляют (например, дневная поверхность и облачный покров), или с задачей, поставленной в космическом эксперименте.

Результаты исследования

Описанная технология реализована в програм- мном комплексе визуализации текстурированных моделей планет. Программный комплекс выполнен в виде dll-библиотеки, которая интегрируется во внешнее приложение (например, в систему визуализации трехмерных виртуальных сцен [8]). Такой подход позволяет путем минимальных усилий построить любой программный комплекс, использующий высококачественную визуализацию сверхбольших текстур планет в режиме реального времени. В качестве базовой технологии для вычисления описанных в работе текстур и вывода трехмерной графики система использует графическую библиотеку OpenGL и язык программирования шейдеров GLSL, соответствующие стандарту OpenGL 3.3. Разработанный программный комплекс также снабжен модулем расчета орбитального положения наблюдателя, созданным на основе представленной ранее технологии моделиро- вания полета космического аппарата по орбите [9, 10], и пользовательским интерфейсом, позволяющим задавать параметры эллиптической кеплеровской орбиты виртуального наблюдателя, начало и конец участка подспутниковой трассы и т.д. На рисунке 3 изображено диалоговое окно для управления полетом виртуального наблюдателя вдоль участка подспутниковой трассы, соответствующего 1-, 2- и 3-му орбитальным виткам МКС.

Разработанный программный комплекс прошел апробацию в составе системы визуализации трехмерных виртуальных сцен GLView [8]. Для апробации использовались трехмерная полигональная модель земной и лунной поверхности (около 150 тыс. полигонов каждая), а также сверхбольшие текстуры с изображением подстилающей поверхности Земли, ее облачного покрова и Луны. Скорость визуализации текстурированной земной поверхности составила около 150 кадров в секунду, а лунной – около 200 кадров в секунду.

Апробация комплекса проводилась также в составе сложной виртуальной сцены с моделью МКС. Тестируемая сцена содержала трехмерную текстурированную полигональную модель МКС (более 2 млн полигонов), для которой выполнялся реалистичный расчет освещения и теней. Скорость визуализации такой сцены составила около 76 кадров/с. Синтез всех изображений выполнялся на видеокарте типа GeForce GTX 680 в разрешении Full HD. На рисунке 4 изображены примеры кадров визуализации текстурированных моделей земной и лунной поверхности.

В заключение отметим, что в данной работе представлена технология визуализации сверхбольших текстур на виртуальных поверхностях планет в масштабе реального времени. Технология обеспечивает текстурную детализацию для модели- руемой поверхности планеты, наиболее близкую к разрешению экрана, а также позволяет визуализировать на виртуальной поверхности планеты в масштабе реального времени несколько сверхбольших текстур, имеющих различное исходное разрешение. Предложенная технология реализована в программном комплексе визуализации детализированных текстур планет. Апробация комплекса показала его адекватность поставленным задачам. Он может быть использован как для улучшения характеристик существующих тренажеров по проведению космических экспериментов, так и для построения новых перспективных тренажеров, связанных, например, с исследованием Луны и Марса.

Литература

1.     Митин А.И., Брагин В.И. Пути повышения адекватности моделирования визуальных условий мониторинга земной поверхности на тренажере служебного модуля Российского сегмента Международной космической станции // Пилотируемые полеты в космос. 2014. № 3. С. 60–70.

2.     NASA World Wind. URL: http://worldwind.arc.nasa.gov (дата обращения: 10.07.2015).

3.     Celestia. URL: http://www.shatters.net/celestia (дата обращения: 10.07.2015).

4.     Orbiter. URL: http://orbit.medphys.ucl.ac.uk (дата обращения: 10.07.2015).

5.     Ewins J. et al. MIP-Map Level Selection for Texture Mapping. IEEE Transactions on Visualization and Computer Graphics, 1998, vol. 4, no. 4, pp. 317–329.

6.     Hollemeersch C.F., Pieters B., Lambert P., Van de Walle R. Accelerating virtual texturing using CUDA. GPU Pro: Advanced Rendering Techniques, 2010, vol. 1, pp. 623–641.

7.     Тимохин П.Ю., Михайлюк М.В. Сверхбольшие текстуры для высокореалистичной визуализации виртуальных ландшафтов // Информационные технологии и вычислительные системы. 2013. № 3. С. 46–54.

8.     Михайлюк М.В., Торгашев М.А. Система визуализации «GLView» для имитационно-тренажерных комплексов подготовки космонавтов // Пилотируемые полеты в космос. 2013. № 4. С. 60–74.

9.     Тимохин П.Ю. Моделирование полета космического аппарата по околоземной орбите в космическом тренажерном комплексе // Программные продукты и системы. 2010. № 4. С. 36–41.

10.  Михайлюк М.В., Тимохин П.Ю. Моделирование взаимного расположения планеты и спутника в космических видеотренажерах // Mathematica Montisnigri. 2014. Т. XXIX. С. 91–97.


Permanent link:
http://swsys.ru/index.php?page=article&id=4076&lang=&lang=en&like=1
Print version
Full issue in PDF (9.58Mb)
Download the cover in PDF (1.29Мб)
The article was published in issue no. № 4, 2015 [ pp. 99-104 ]

Perhaps, you might be interested in the following articles of similar topics: