Software & Systems

Фото- и видеосъемка с помощью различных мобильных систем (роботов, беспилотных летательных аппаратов (БПЛА)) находит все большее применение, особенно в таких областях, как разведка, аэрофотосъемка, картографирование. Для получения качественных изображений, несущих в себе достаточное количество данных, на основе которых может быть произведена достоверная реконструкция объектов, необходимо решить задачи оптимального выбора места фото- или видеосъемки, направления и расстояния между исследуемыми объектами и мобильной видеосистемой, а также количества фото- и видеокадров. Данные, полученные в результате съемки, являются исходным ма- териалом для последующей обработки. От их качества во многом зависит результат. Определяющими являются не только параметры используемых камер, но и условия, методы и геометрические параметры съемки. Средства компьютерного моделирования и виртуальные симуляторы позволяют до проведения реальных съемок смоделировать этот процесс [1, 2]. При этом предполагается, что средствами 3D-графики осуществляется эмуляция не только окружающей среды, но и результатов работы различных сенсоров, в частности, изображений, получаемых средствами технического зрения, изображений с бортовых телекамер роботов, БПЛА и т.д. Планирование съемки позволит получить лучшие результаты, оптимизировать процесс и избежать ошибок при последующей обработке данных. Кроме этого, такой подход можно использо- вать при проектировании: разрабатывать, совершенствовать и тестировать различные алгоритмы прикладных мобильных интеллектуальных систем без создания сложных дорогостоящих стендов.

В первую очередь, виртуальные среды успешно применяются в области робототехники. Рассмотрим ряд разработок в этой области. Компанией «Ланит-Терком» (г. Санкт-Петербург) совместно с кафедрой системного программирования и математико-механическим факультетом СПбГУ были реализованы проекты QReal:Robots и Embox. Среди базовых возможностей можно назвать среду гра- фического программирования и моделирование поведения робота на экране. В МГТУ МИРЭА разработаны виртуальные лабораторные стенды, позволяющие на основе кинематики типа ПУМА моделировать траекторию движения робота и оценивать влияние изменений параметров элементов приводов на динамику робота. Известны разработки исследовательской группы Института промышленных управляющих систем Политехнического университета Валенсии: ABB RobotStudio программирование с использованием симуляционных 3D-программ (Virtual Robot Technology и Vir­tualRobot Simulator). На основе MATLAB и Simu­link разработана среда Embedded Coder Robot for LEGO Mindstorms NXT, которая позволяет создавать систему управления роботом NXT, моделировать его поведение, обрабатывать и отображать данные, используя пакет трехмерной визуализации данных Virtual Reality Toolbox.

Для реализации виртуальных сред могут быть использованы как универсальные системы 3D-моделирования Autodesk 3ds Max, Maya, Cinema 4D, так и специализированные Microsoft Robotics Developer Studio, Virtual Reality Toolbox в среде MATLAB и Simulink. Реальный мир не статичен, поэтому проектирование и использование виртуальных сред с динамически изменяемой конфигурацией актуальны и перспективны.

Одним из путей решения задачи обнаружения препятствий средствами машинного зрения является подход на базе стереозрения. Важное преимущество стереоскопических систем заключается в возможности из-за различия в положении камер различать трехмерные (3D) объекты, отстоящие от поверхности, и объекты, принадлежащие этой поверхности (блики, тени, специальный рисунок), что потенциально снижает вероятность ложных обнаружений. Использование 3D-моделирования при проектировании и испытаниях таких систем позволяет значительно повысить эффективность этого процесса.

Технологии фотограмметрии, построение 3D-моделей по набору изображений находят все большее применение не только у профессионалов [3, 4], но и у широкого круга различных компьютерных пользователей, интересующихся 3D-графикой. Примером могут служить облачный сервис 123D Catch компании Auotodesk [5], Agisoft Photoscan, Strata Foto 3D-компании 3DSom [6]. Выбор оптимального метода и инструментария для восстановления реального объекта по фотографиям довольно труден [7, 8]. Кроме этого, способы съемки во многом влияют на результат. Использование виртуальных сред и цифровое моделирование изображений позволят сравнивать результаты работы того или иного алгоритма и системы, планировать фотограмметрическую съемку для получения лучшего результата.

Для оценки условий съемки и работоспособности алгоритмов сегментации, нахождения вершин и построения линий были использованы изображения исследуемой сцены, полученные реальной камерой, и цифровые, полученные виртуальной камерой в системе трехмерного моделирования 3ds Max (рис. 1).

Дальнейшая обработка изображений выполнялась в среде MATLAB Image Processing Toolbox (IPT). Результаты работы алгоритмов сегментации на основе изображений, полученных на исследовательском стенде и с помощью виртуальной студии, показаны на рисунке 2.

Как известно, сегментация декомпозирует изображение на составляющие его области или объекты. В идеале методы сегментации в данной задаче должны достоверно выделять в изображении только пиксели, лежащие на контурах. На практике это множество пикселей редко отображает контур достаточно точно по причине шумов, разрывов контуров из-за неоднородности освещения, а также прочих эффектов, нарушающих непрерывность яркостной картины. На рисунке 2 показаны результаты сегментации синтезированных изображений в условиях помех (смаз изображения) и неравномерного освещения (туман).

Для исследований возможностей систем фо- тограмметрии и оценок условий съемки была выбрана система Strata Foto 3D, формирующая 3D-контент из фотоизображений. С помощью фотокамеры осуществляется многоплановая съемка объектов на монохромном фоне. Полученные данные используются для построения 3D-объектов. Понятно, что результат моделирования во многом зависит от исходных изображений. Определяющими являются количество изображений, ракурсы съемки и параметры освещения. Для тестирования системы была создана 3D-сцена – box, размещенный на калибровочном столе, с нанесенными метками. Полученная с помощью виртуальной камеры серия изображений была импортирована в систему Strata Foto 3D. В процессе экспериментов определялись оптимальное количество изображений, количество источников света и положение камеры. Результат реконструкции показан на рисунке 3. Качество полученной модели вполне удовлетворительное, поверхность граней достаточно ровная, текстура однородная, хорошо заполняет поверхность куба.

Использование виртуальных стендов позволяет производить объективную оценку результатов фо- тограмметрии [10]. Исследуемая и реконструированная модели приводятся к полигональному виду и сравниваются. Для таких сравнений используют различные подходы, базирующиеся на вычислении евклидового расстояния и RMSE [11, 12]. Такая оценка, по мнению авторов, имеет приближенный характер, поскольку не учитывает топологические особенности сравниваемых полигональных моделей [13].

Для повышения точности оценки предлагается использовать размерность Хаусдорфа как меру отклонения сравниваемых моделей [14, 15]. В частности, эта метрика используется для оценки качества упрощения полигональных объектов при реализации технологии LOD (Levels Of Detail).

Для определения размерности Хаусдорфа рассмотрим две полигональные модели: оригинальную модель M и полученную в результате реконструкции модель M’. Для обозначения величины подобия введем показатель E, значение которого E(M, M’) показывает величину отклонения одной формы от другой [16]. Топологическое пространство X называется хаусдорфовым, если любые две различные точки x, y из X обладают непересекающимися окрестностями U(x), V(x). Пусть даны два набора точек: A={a1, a2, ..., am} и B={b1, b2, ..., bn}. Тогда хаусдорфово расстояние определяется как H(A, B) = max(h(A, B), h(B, A)), где h(A, B) = =  и  – евклидова норма. Значение функции h(A, B) несимметрично и называется направленным хаусдорфовым расстоянием между A и B. Эта величина может служить основой для сравнения двух полигональных поверхностей S1 и S2. Предлагаемый авторами метод расчета метрики базируется на построении векторов нормалей к исследуемым поверхностям. Для повышения точности расчета можно воспользоваться методом усреднения – расчет средневзвешенного значения векторов нормалей, образованных парами соседних треугольников. В этом случае для нахождения координат точек пересечения векторов нормалей, построенных от одной поверхности к другой, воспользуемся следующими предположениями. Пусть ABC – произвольный треугольник; a, b, c – длины сторон, лежащие против вершин A, B и C соответственно; M – точка пересечения биссектрис. Тогда для любой точки O верно равенство

.

Из этой теоремы следует: если O – начало координат, то

,

,

.

Таким образом, если векторы a и b определены своими прямоугольными декартовыми координа- тами, то есть представлены в ортонормированном базисе a=(ax, ay, az) и b=(bx, by, bz), а система координат правая, то их векторное произведение можно описать следующим образом: [a, b] = (axbz – azby, azbx – axbz, axby – aybz).

Предложенные методы сравнения полигональных объектов на основе вычисления Hausdorff dimension были реализованы в среде MATLAB Image Processing Toolbox (IPT) в виде m-функций, в результате выполнения которых визуализируются рассчитанные векторы нормалей и величина отклонений одной поверхности от другой. На рисунке 4 представлен фрагмент программного кода, демонстрирующий использование разработанных m-функций для сравнения полигональных поверхностей, являющихся результатом двух математи- ческих трехмерных функций. Приведенный гра- фик демонстрирует использование разработанных m-функций для сравнения полигональных поверхностей, являющихся результатом двух математических трехмерных функций, где показаны векторы нормалей, построенные от полигонов одной поверхности к другой, и величина отклонения представлена в виде графика палитры цветов.

Проведенные исследования показывают целесообразность и перспективность использования виртуальных сред различной конфигурации, созданных средствами 3D-компьютерного моделирования, на этапах проектирования и планирования применения видеосистем в таких областях, как робототехника, фотограмметрия и системы компьютерного зрения. Их использование позволит совершенствовать разработку таких систем, повысит эффективность их применения. Для более точной оценки эффективности и качества рассмотренных подходов планируется дополнительное тестирование рассматриваемых методов моделирования различных условий съемки: условия неравномерного освещения, помех с учетом отражающих свойств материалов исследуемых объектов.

Литература

1.     Piatti E., Lerma J., A virtual simulator for photogrammetry. ISPRS, Proc. V Sympos. Image Eng. and Vision Metrology, Dres- den, Germany, 2006, vol. 36, no. 5, 4 p.

2.     Меженин А.В. Виртуальные 3D-среды как средство верификации и тестирования при проектировании // Приоритетные научные направления: от теории к практике. 2016. № 21. С. 105–110.

3.     Красильников Н.Н. Метод получения 3D-изображений, основанный на диффузном отражении света сканируемыми объектами // Информационно-управляющие системы. 2009. Вып. 6. C. 7–12.

4.     Eisert Р., Steinbach E., and Girod B. Multi-Hypothesis, Volumetric Reconstruction of 3-D Objects From Multiple Calibrated Camera Views. Proc. of the Int. Conf. on Acoustics, Speech, and Signal Processing, 1999, pp. 3509–3512.

5.     Autodesk 123D Catch | Generate 3d model from photos. URL: http://www.123dapp.com/catch (дата обращения: 28.02.2016).

6.     Foto 3D CX for Mac PC - Create High-Quality Textured 3D Models From Your Digital Camera – Strata URL: https://www. strata.com/foto-3d-cx-create-textured-3d-models-from-your-digital-camera/ (дата обращения: 28.02.2016).

7.     Klasing К., Wollherr D., and Buss M. A clustering method for online segmentation of 3d laser data. Proc. ICRA, 2008, pp. 4043–4048.

8.     Sebastian T.B., Klein P.N., and Kimia B.B. Recognition of shapes by editing shock graphs. Proc. ICCV, 2001, pp. 755–762.

9.     Hielsberg M., Tsai R., Guo P., Chen C. Visibility-based urban exploration and learning using point clouds. Proc. IEEE/RSJ Int. Conf. Intell. Robots Sys., 2013.

10.   Свешникова Н.В., Юрин Д.В. Оценка погрешностей восстановления трехмерных сцен алгоритмами факторизации. 2006. URL: http://www.graphicon.ru/html/2006/proceedings/papers/fr09_32_Sveshnikova_Yurin.pdf (дата обращения: 28.02.2016).

11.   Cignoni P., Rocchini C., Scopigno R. Metro: measuring error on simplified surfaces. Proc. Comp. Graphics Forum 1998, vol. 17, no. 2, pp. 167–174.

12.   GIS-LAB: Среднеквадратичная ошибка (RMSE). URL: http://gis-lab.info/qa/rmse.html (дата обращения: 28.02.2016).

13.   Меженин А.В., Извозчикова В.В. Методы построения векторов нормалей в задачах идентификации объектов // Кибернетика и программирование. 2013. № 4. С. 51–58.

14.   Меженин А.В., Извозчикова В.В. Размерность Хаусдорфа в задачах анализа подобия полигональных объектов // Интеллект. Инновации. Инвестиции. 2016. № 2. С. 109–112.

15.   Yedjour H., Meftah B., Yedjour D. and Benyettou A. Combining spiking neural network with Hausdorff distance matching for object. Tracking Asian Journal of Applied Sc., 2014, vol. 1, pp. 63–71.

16.   Teng Y.C. Remote-sensing image processing and recognition using wavelet transform and Hausdorff distance. Ph.D. Thesis, Inst. of Comp. Sc. and Inform. Eng. National Central Univ. Chung-Li, Taiwan, 2002.