Software & Systems

Использование реалистичных моделей материалов на всех стадиях синтеза изображений – необходимое условие фотореалистичной визуализации. Поскольку требуется все большая визуальная сложность, все чаще невозможно создание таких моделей вручную. Поэтому автоматические и полуавтоматические методы получения моделей материалов из реального мира становятся востребованнее. Целью данной работы является восстановление отражательных свойств моделей материалов реального мира, основанное на наборе соответствующих фотоизображений исследуемых объектов.

Существует несколько методов реконструкции материалов и алгоритмов фотореалистичной визуализации [1]. Алгоритмы, реализованные в системе, предложенной авторами, основываются на работе с изображениями. Система способна робастно определять различные модели материалов, находящихся на поверхности объекта. Для каждого материала система умеет создавать сеточные двухлучевые функции отражения (ДФО) требуемого качества, предоставляет возможность адаптации отражательных свойств данного материала для аппаратно ускоренной визуализации. Высококачественные модели материалов реальных объектов могут быть получены за счет использования в бытовых условиях небольшого количества входных данных. Представленная система позволяет осуществлять физически корректную, фотореалистичную визуализацию построенных моделей материалов при разных условиях освещенности и произвольных положениях наблюдателя.

Стоит отметить, что построение геометрической модели исследуемых объектов не входило в задачи данной работы, предполагается, что она известна. Предложенному алгоритму требуется достаточно небольшое число фотографий (порядка 10–20 для одного объекта), что ускоряет процесс получения данных.

  Обзор существующих методов

В качестве моделей освещенности в компьютерной графике используются модели Фонга, Блина–Фонга, Торренса–Спарроу (и ее модификации), Лафортюна и произвольные ДФО [2, 3]. В рабо- те [4] авторы ограничились моделью Фонга для представления материалов. На практике применение этой модели оказалось не вполне удобным. В частности, из-за того, что модель Фонга не является физически точной (не выполняется закон сохранения энергии) и достоверно может описывать лишь небольшой класс изотропных материалов. Также было выявлено, что из-за неточных результатов измерений в оптимизационном процессе получения параметров моделей Фонга достаточно заметно искажалось значение бликовой составляющей материалов.

Некоторые из существующих методов предполагают использование сложных фотометрических устройств на стадии получения данных, но часть из них нуждается только в наборе фотоизображений и параметров (положение, ориентация) камеры, при помощи которой они были сделаны. Существуют и методы, позволяющие одновременно с материалами восстанавливать геометрию. Данные методы получают на вход только набор фотоизображений, но требуют нахождения в сцене блестящего объекта в форме шара, по которому восстанавливается направление на источник света. Большинство методов оптимизировано для новейших видеоускорителей [3].

Методы, работающие с произвольными ДФО, для визуализации часто используют параметризацию и факторизацию. В авторской системе поддерживается режим фотореалистичной визуализации, реализованной на центральном процессоре. Для интерактивной визуализации реализована схема адаптации сеточных ДФО с целью их возможной обработки на графическом процессоре.

  Встраивание полигонального объекта в виртуальную сцену  

Анализ отражательных свойств предполагает моделирование виртуальной сцены с исследуемым объектом. Для создания виртуальной сцены требуется информация об источниках света и о параметрах (положение, ориентация) фотокамеры, при помощи которых были сделаны фотоизображения. Для автоматизации получения данных параметров в сцену рядом с исследуемым объектом помещается калибровочный объект (лист бумаги с изображением шахматной доски). Авторы определяли параметры камеры при помощи пакета лаборатории компьютерной графики и мультимедиа факультета ВМиК МГУ. Далее, построив виртуальную сцену, основываясь на фотометрических данных, на место исследуемого объекта требуется внедрить виртуальный объект, заданный полигональной сеткой.

Начальное (приближенное) положение объекта находится совмещением центров объектов, изображенных на фотографиях, и центра полигональной модели. Исходные изображения бинаризуются, определяются четкие границы исследуемого объекта. Для бинаризованных изображений вычисляется ряд характеристик объекта: s – площадная характеристика; l – удлиненность объекта; a – ориентация главной оси инерции; b – область четкой границы. На каждой фотографии определяется центр объекта P, координата этой точки переводится из координат плоскости изображения в 3-мерное координатное пространство виртуальной сцены. Для каждой камеры и соответствующей фотографии строятся прямые (1). Наиболее вероятное нахождение центра объекта (начальное положение) определяется путем поиска области пересечения прямых l1,…,ln.

,                                                    (1)

где Oi – центр i-й камеры;  – направляющий вектор в центр объекта.

Каждая итерация процесса автоматической подгонки объекта состоит из двух этапов: поворот и перенос объекта. Для каждого нового положения объект визуализируется белым цветом на черном фоне. Из построенных изображений выбирается наиболее близкое (по метрике, схожей с PSNR) к соответствующему бинаризованному фотоизображению. Найденное положение становится текущим. Для переноса выполняются аналогичные операции. Для сравнения результатов, достигнутых на каждой итерации, введены два функционала ошибки El, Es:

,                                            (2)

где ri – значение функционала для i-й пары изображений; M(s,l,a,b) – характеристики объекта на бинаризованном изображении; n – количество фотоизображений;

,                                          (3)

где  – значение функционала m для i-го изображения; S1, S2 – площадные характеристики пары бинаризованных изображений;  – площадная характеристика на пересечении S1 и S2.

Путем минимизации функционалов ошибок определяется искомое положение объекта.

  Представление геометрической информации  

Предложенному алгоритму реконструкции материалов необходима информация о локальных геометрических свойствах поверхности исследуемого объекта. Она может быть удобно закодирована при помощи изображений. Для каждой позиции камеры строятся соответствующие карты (текстуры) позиций, нормалей и тангенциалей поверхности. В каждой карте цвет пикселя задается тройкой r,g,bÎ[0,255] – соответственно красной, зеленой и синей компонентами.

Цвет точки в карте нормалей однозначно определяется координатами единичного вектора нормали:

,,,        (4)

где nx, ny, nz – координаты вектора нормали.

Аналогично строятся карты тангенциалей. Для этого сначала по вектору нормали получаем вектор тангенциали по формуле , где  – вектор тангенциали;  – вектор нормали;  – некий постоянный вектор, не коллинеарный . Подставляя в формулы (4) компоненты tx, ty, tz вектора тангенциали, получим аналогичные соотношения для цвета точки в карте тангенциалей. Карта позиций задает смещение точки объекта относительно его центра. Цвет точки в этой карте определяется как ,, , где D – смещение точки относительно центра объекта; Dim – размер объекта.

  Начальная сегментация поверхности объекта

Целью данного процесса является начальное (приближенное) нахождение областей объекта с одинаковым материалом. Для упрощения поиска соответствия областей объекта на разных фотографиях фотоизображения переводятся в текстуры исследуемого объекта, что обеспечивает взаимно-однозначное соответствие точек на всех текстурах и быстрый поиск по ним. Основой алгоритма сегментации служил метод формирования однородных областей, критериями однородности в котором являлись цвет и пространственная близость точек поверхности объекта. Был реализован алгоритм разрастания регионов (region growing). Однако прямое использование данного алгоритма не дает приемлемых результатов. Во время анализа областей объекта при различных параметрах освещенности возникают проблемы сравнения: блики либо выделяются в отдельные материалы, либо сливаются с ближайшими, не соответствующими действительности материалами.

Для эффективного подавления бликов из тех соображений, что на каждой текстуре они должны находиться в разных местах, предложено усреднить имеющиеся текстуры объекта. Далее к усредненной текстуре применяется алгоритм сегментации, в котором учитывается суммарный цвет в качестве условия однородности и применяются специальные условия на границах при разрастании. В процессе сегментации создается карта (текстура) материалов, в которой каждая выделенная область помечается уникальным маркером.

Отбрасывая области с весом (площадь в пикселях), меньшим пороговых 10–50 пикселей, на сложных тестовых объектах можно получить до 200–350 материалов. После постобработки и отсеивания плохих областей переходим к процессу слияния одинаковых материалов и построению их базисных моделей.

  Построение сеточных ДФО

Определение модели отражательных свойств материала при помощи ДФО является физически корректным. Данный выбор модели освещенности не накладывает особых ограничений на классы реконструируемых материалов (возможно определение анизотропных материалов). Одним из достоинств ДФО является то, что при ее построении учитывается информация и о цвете материала из фотографий объекта, и о геометрии объекта.

Рассмотрим малую часть поверхности исследуемого объекта (см. рис.). Известны нормаль к этой поверхности, положение точечного источника света, освещающего материал, параметры камеры, фотографирующей объект. Пусть  – вектор на источник света; v – вектор на камеру; n – нормаль к площадке. Тогда ДФО определяется формулой

,                                        (5)

где L0 – количество энергии, отражаемое от поверхности материала в направлении ; L1 – количество энергии, приходящее от источника в направлении ;  – косинус угла между нормалью  и вектором на источник,  – дифференциальный телесный угол, порожденный направлением .

ДФО фактически определяется векторами  и . Существует неявная зависимость от длины волны падающего на площадку света. Эту зависимость мы учитываем, рассматривая три значения ДФО для красной, зеленой и синей длин волн. Для получения значения ДФО для произвольной длины волны необходимо разложить цвет на три составляющие – R, G и B. Тогда результирующая ДФО будет линейной комбинацией ДФО для R, G и B с теми же коэффициентами.

В нашей работе для определения параметров  и  используются карты геометрических характеристик объекта. Таким образом, ДФО есть функция четырех углов: jin – между нормалью и вектором на источник; jout – между нормалью и вектором на камеру; qin – между тангенциалью и вектором на источник; qout – между тангенциалью и вектором на камеру.

Пробегая все важные значения на всех картах цвета (фотография, переведенная в текстуру объекта), по соответствующим значениям из карт геометрических характеристик объекта определяется ячейка ДФО. Текущее значение цвета пикселя карты цвета добавляется в данную ячейку. Учитывая свойство обратимости света, запишем полученное значение и симметричное ему в таблицу.

Таблица представляет собой неравномерную сеточную функцию. Так как работа с таким представлением ДФО неудобна, неравномерная сетка преобразуется в равномерную. Сначала происходит выбор шага сетки (в авторских исследованиях для каждого из углов использовалось следующее число узлов: 8, 16, 32 и 64). Просмотрев все значения функции, определяем, в какие четырехмерные параллелепипеды сетки попадают эти значения. Затем значения в каждом параллелепипеде усредняются. Необходимо отметить, что на этапе усреднения проверяется однозначность функции в данной области. Если выявлено несколько сгустков значений функции, алгоритм предупреждает о вероятном смешивании различных материалов, и тогда данная область может быть измельчена или удалена с карты материалов. Предложенный алгоритм при усреднении не учитывает выбросы, а просто отбрасывает их. И наоборот, отсутствие значений в параллелепипеде свидетельствует о недостатке информации о ДФО. Именно поэтому количество фотографий, а вернее, количество различных положений и ориентаций камеры, объекта и источника, влияют на полноту информации о ДФО.

Слияние материалов

После первоначальной сегментации образуется довольно большое количество материалов. Уменьшить их число, изменив лишь параметры алгоритма, можно, но это способно привести к слиянию неодинаковых материалов. Главная задача метода первоначальной сегментации – выделить области, которые представляют действительно разные материалы.

На этом этапе выполняется слияние похожих областей. Основной его задачей является объединение областей объекта с одинаковыми материалами в один кластер.

Алгоритм кластеризации состоит в следующем. Для каждой области, полученной на этапе первоначальной сегментации, строится ДФО. При этом получается набор сеточных функций, которые надо каким-то образом сравнить. Ситуация усложняется тем, что в большинстве узлов сетки ДФО информации может и не быть (на данном этапе не производится интерполяция ДФО и сетки сильно разрежены). Это происходит из-за ограниченности области и малого количества фотографий объекта.

По данной причине сравнение сеточных функций довольно проблематично. Авторы предлагают подход, не основывающийся на прямом сравнении значений четырехмерных сеточных функций.

Рассмотрим некий объект, у которого геометрия такова, что все нормали в карте нормалей этого объекта различны, например сферу. Затем эта сфера визуализируется в той же сцене, что и исходный объект, при этом объекту приписывается определенная ДФО области, полученной на этапе первоначальной сегментации. В результате для каждой области получается сфера с нанесенным на нее соответствующим материалом.

Далее необходимо сравнить визуализиро- ванные сферы. Из-за недостатка информации о ДФО они могут содержать черные дыры (черный цвет говорит об отсутствии информации о материале).

Рассматривается пересечение значащих участков сфер. Если оно пусто, материалы признаются несравнимыми. В противном случае эти участки сравниваются следующим образом. Пусть J1 – изображение сферы первого материала, J2 – изображение второй сферы. Введем функцию ошиб- ки f(J1, J2):

,  (6)

где

Данная мера используется при сравнении сфер на изображениях, и при ее помощи выносится решение по идентичности материалов.

  Финальная кластеризация материалов и визуализация

После того как были получены базисные (выявленные автоматически, четко различимые) материалы, происходит финальная кластеризация материалов объекта по ним. Путем решения оптимизационной задачи (7) неразмеченные области объекта распределяются по материалам:

,                   (7)

где E(m, p) – ошибка для базисного материала m и точки p; It(m, p) – значение, полученное из ДФО материала m для параметров точки p; Ir(p) – цвет точки p на фотографии; M – множество базисных материалов; n – число фотографий.

В системе реализованы два способа финального распределения материалов. Первый предполагает взаимно-однозначное соответствие каждой точки поверхности объекта одному из базисных материалов. Для такой реализации существует масса способов визуализации. Второй способ позволяет представлять материал объекта линейной комбинацией нескольких базисных (можно ограничиться двумя-тремя), в которой коэффициенты также определяются задачей (7), но уже для нескольких базисных ДФО. Для последнего, наиболее фотореалистичного способа задания материалов авторами пока предложен алгоритм визуализации, реализованный на центральном процессоре. Метод интерактивной визуализации использует возможности современной аппаратуры. На графический процессор передаются карта материалов, а также табличная ДФО в специальном представлении, после чего происходит визуализация объекта с заданным материалом.

Результаты работы системы

В процессе исследований многих существующих систем реконструкции материалов был разработан программный комплекс – система реконструкции моделей отражательных свойств материалов с возможной визуализацией объектов с данными материалами. Результаты визуализаций демонстрируют работоспособность предложенных алгоритмов (см. табл.).

В таблице приведены результаты сравнения исходных изображений с синтезированными при помощи метрики PSNR. Сравнение проводилось для телесных и плоских объектов. В случае с телесными объектами понижение PSNR происходило из-за неполного соответствия материалов на исходном снимке и синтезированном. Тем не менее, результат синтеза при помощи ДФО превосходит по качеству результат, полученный при применении модели Фонга. Оптимизированный под графический процессор алгоритм синтеза показывает результат, сравнимый с полученным на центральном процессоре. При синтезе плоского объекта неточности в карте материалов не возникают, чем и объясняется более высокое значе- ние PSNR.

  Литература  

1. Lensch H., Kautz J., Goesele M., Heidrich W. and Seidel H.-P. Image-Based Reconstruction of Spatially Varying Materials.

ACM Transactions on Graphics (TOG), April 2003, pp. 234–257.

2. Yoichi Sato, Imari Sato, Katsushi Ikeuchi. Object Shape Morphing with Intermediate Reflectance Properties. International Journal of Shape Modeling, Vol. 3, No. 1&2, 1997, pp. 91–106.

3. Eric P.F. Lafortune, Sing-Choong Foo, Kenneth E. Torrance and Donald P. Greenberg. Non-linear approximation of reflectance functions. ACM SIGGRAPH 97, Addison Wesley, August 1997, pp. 117–126.

4. Sikachev P., Ilyin A., Ignatenko A. User-Assisted Acquisition, Processing and Rendering of Materials from Images. Proc. of Graphicon'2007, Moscow, Russia, June 2007, pp. 131–134.

5. Hendrik P.A. Lensch, Jan Kautz, Michael Goesele, Wolfgang Heidrich and Hans-Peter Seidel. Image-Based Reconstruction of Spatially Varying Materials. In Rendering Techniques '01, London, Great Britain, 2001, pp. 104–115.