Software & Systems

Автоматизированные системы построения маршрутов и навигации используются во многих отраслях, однако в последнее время автоматизация туристических процессов достигла невероятных высот: множество информационных систем предоставляют целый ряд инструментов, позволяющих планировать туристическую поездку до мельчайших деталей. Благодаря развитию веб-технологий виртуальной реальности появились совершенно новые пути развития в сфере туризма [1]. Наиболее значимые инновации привнесли системы, обеспечивающие просмотр виртуальных туров с помощью 3D-фотопанорам, привязанных к условному месторасположению. Альтернативой сложившемуся рынку информационных систем построения 3D-фотопанорам, внедряемых разработчиками для конкретных туристических фирм-заказчиков, может стать создание единой системы автоматизированного построения 3D-видеопанорам, построенных на основе геоинформационной системы (ГИС) с привязкой к координатам Земли [2].

Таким образом, цель данной работы – создание программной системы, предназначенной для построения и визуализации туристического панорам- ного видеомаршрута (пешего или транспортного), привязанного к координатам, проложенного и отображенного на электронной карте в среде ГИС. Цифровое динамическое геопутешествие, основанное на технологиях обработки видеоизображений и построения 3D-панорам с применением веб-технологий, может быть доступно неограниченному числу пользователей за счет его реализации по модели SaaS. Дополнением к туристическому динамическому видеомаршруту на электронной карте в ГИС могут отображаться статические туристические (например исторические) объекты, также привязанные к объектам карты и снабженные семантической характеристикой (текст, фото, ссылки на интернет-ресурсы, аудиозаписи).

Научная новизна заключается в разработке технологии эквидистантной проекции видеомаршрута с привязкой к координатам местности и динамической визуализации его в веб-ориентированном приложении с архитектурой SaaS. Технология создания 3D-динамического геопутешествия опирается на пространственно-координированную модель, обеспечивающую построение 3D-панорам на основе видеозаписей и ГИС.

Получение и обработка исходных данных

Основными данными для визуализации панорамного маршрута являются фотоизображения, видеофайлы, полученные с нескольких камер, и GPS-координаты съемки. Сбор данных осуществляется мобильной дорожной лабораторией, оборудованной шестью IP-камерами и 10 Гц GPS/ГЛОНАСС-приемником высокой точности [3]. Лаборатория может базироваться на автомобиле, летательном аппарате, велосипеде или ранце для пеших прогулок. Она позволяет выполнить цифровую непрерывную видеосъемку (25–60 кадров в секунду) населенного пункта и его окружения и осуществить привязку обнаруженных во время движения туристических объектов с помощью глобальной системы позиционирования.

Для обработки данных с дорожной лаборатории в разрабатываемой системе используется модуль WayMark ГИС ITSGIS [3], реализующий координатную привязку и кодирование видеозаписей кодеком X264 со стандартом сжатия H.264 [4], при работе с которым обеспечиваются высокое качество и высокий коэффициент сжатия видеофайла. WayMark позволяет построить и графически отобразить зависимости различных параметров исходных данных (рис. 1).

В целях снижения нагрузки на центральный процессор для вывода видеофайлов на экран применена кроссплатформенная открытая графическая библиотека OpenGL. Чтение данных трека движения лаборатории выполняется в формате NMEA, где содержится каждая координатная точка маршрута [5].

Пространственно-координированная модель геовидеомаршрута

В процессе разработки системы геодинамической 3D-визуализации виртуальных туристических маршрутов построена логическая модель данных (рис. 2) в ErWin Data Modeler r7 [6].

Модель дает графическое представление о структуре предметной области: основным элементом является геовидеомаршрут, представляющий собой набор видео- или фотопанорам, привязанных к маршруту по координатам на электронной карте. Геовидеомаршрут может включать некоторое количество точек интересных туристических мест, которые задаются на карте с помощью координат, содержат текстовую информацию и собственные изображения.

Построение эквидистантной проекции осуществляется с использованием нейросетевых технологий. Используются нейронная сеть обратного распространения ошибки (backpropagation) и метод самоорганизации (self-organizing map), основанный на изменении структуры сети при решении задач выявления наборов независимых признаков и для поиска закономерностей в больших массивах данных.

Технология создания панорамных видеозаписей

В системе геодинамической 3D-визуализации виртуальных туристических маршрутов применен алгоритм, представленный на рисунке 3. Подход к реализации алгоритма основан на использовании платформы OpenCV, содержащей библиотеку алгоритмов компьютерного зрения и обработки изоб- ражений [7]. С помощью OpenCV реализован метод определения точек совпадения на изображениях и видеозаписях (шаги 1, 2) [8]. Исходные данные, помимо перекрытия, должны быть переданы без поворота относительно оптической оси [9]. Исключение неправильных сопоставлений (шаг 3) использует статистический аппарат RANSAC, встроенный в платформу OpenCV [10].

Если необходимые пары точек найдены, на четвертом шаге алгоритма применяется гомография для проективных преобразований систем координат [11, 12].

Шаг 1.    Выбирается некоторое количество точек N.

Шаг 2.    Случайным образом выбираются 4 совпадения.

Шаг 3.    С помощью прямого линейного преобразования вычисляется гомография H, подбира- ются точки проекций от x до x’ для каждой совпа- дающей пары x’i = Hxi.

Шаг 4.    Производится подсчет точек с проецируемой дистанцией меньше трех пикселей (t < 3), такие точки будут являться самыми точными.

Шаг 5.    Процесс повторяется N раз, то есть пока не пройдут проверку все точки, затем выбирается гомография H с наибольшим количеством точных точек.

Представим указанный алгоритм в виде программного кода (рис. 4).

Таким образом, одно и другое изображения располагают рядом друг с другом, а затем точки их совмещения смешиваются, образуя полноценное панорамное изображение (рис. 5).

Реализация и функционирование системы

Разработана структурная схема, представленная на рисунке 6. Система разделена по функциональному признаку на следующие подсистемы:

-     подсистема взаимодействия, отвечающая за связи подсистем между собой;

-     подсистема поиска маршрута, позволяющая осуществлять поиск загруженных маршрутов в БД по различным критериям;

-     подсистема работы с фото и видео, предоставляющая возможность загрузки видеофрагментов, фотографий, панорам и сохранения их в БД;

-     подсистема настройки параметров карты, позволяющая изменять параметры подгруженной виртуальной карты;

-     подсистема работы с картой, позволяющая загружать GPS-треки, фотографии и видеозаписи из БД;

-     подсистема работы с БД, обеспечивающая хранение, модификацию данных, необходимых для функционирования системы;

-     подсистема визуализации, обеспечивающая взаимодействие пользователя с системой в графическом виде.

Система реализована с использованием следующих инструментальных средств: Visual Studio 2015, система управления БД PostgreSQL, средство объектно-реляционного отображения NHibernate и система контроля версий исходного кода Mercurial. Раз- работаны два варианта пользовательского интерфейса – настольное приложение и приложение для веб-браузера. Интерфейс реализован с помощью набора инструментов фреймворка Binifu User Interface, позволяющего создавать дизайнерские решения с помощью элементов, встроенных в базу библиотеки. Работа с электронной картой осуществляется посредством библиотеки GMap.NET [13]. Просмотр панорам в системе выполняется при помощи встроенного плеера VLC media player, который поддерживает видеофайлы со сжатием Н.264, что необходимо для проигрывания видеозаписей, привязанных к маршрутам, в максимальном качестве [4].

В системе реализованы два режима пользователя. В режиме «Турист» доступен функционал системы по просмотру загруженных геовидеомаршрутов, ограничены возможности редактирования исходных данных (рис. 7). В режиме «Менеджер» пользователю предоставляются функции, позволяющие создавать виртуальные маршруты для туристов и загружать их в общую БД.

Для нахождения маршрутов, добавленных в систему, реализован поиск с учетом различных критериев: минимальное время прохождения маршрута, количество точек интересных мест на маршруте, минимальное или максимальное расстояние [14].

Заключение

Ожидается, что разработанная автоматизированная система построения и геодинамической 3D-визуализации виртуальных туристических маршрутов поможет заранее выбрать наиболее интересные места для посещения во время путешествия с учетом ограниченного запаса времени. Существует первая версия системы 3D-геодинамической визуализации геопутешествий, которая прошла апробацию при построении туристических маршрутов. В дальнейшем планируется адаптировать систему под мобильные устройства и планшеты, а также провести выбор и реализацию наиболее подходящего метода самообучения нейронной сети для построения эквидистантной проекции.

Потенциальными потребителями системы должны стать не только многочисленные туристические организации, для решения непосредственных задач которых предназначен функционал системы, но и самостоятельно путешествующие частные лица. Реализуемая архитектура системы позволит использовать его в качестве решения для конечного заказчика, что может быть также востребовано для крупных туристических организаций, предпочитающих владение системой, а не пользование услугами.

Литература

1.     Guttentag D.A. Virtual reality: Applications and implications for tourism. Tourism Management, 2010, vol. 31, no. 5, pp. 637–651.

2.        Anguelov D. [et al]. Google street view: Capturing the world at street level. Computer systems introduction, 2010, vol. 43, no. 6, pp. 32–38.

3.     Михеева Т.И., Ключников В.А., Головнин О.К. Методы и алгоритмы экспертизы объектов транспортной инфраструктуры // Современные проблемы науки и образования. 2014. № 6. URL: www.science-education.ru/120-16656 (дата обращения: 11.12.2017).

4.     Sendrei L., Valiska J., Marchevský S.H. 264 video transmission over wlan in opnet modeler. Journal of Electrical Engineering, 2013, vol. 64, no. 2, pp. 112–117.

5.     Хомяков Э.Н., Медведев В.Н. Статистическая аттестация оценок координат неподвижной аппаратуры потребителя GPS, ГЛОНАСС по наблюдениям в формате nmea-0183 // Системи управління, навігації та зв'язку. 2013. № 3. С. 7–13.

6.     Burbank D., Hoberman S. Data Modeling Made Simple with CA ERwin Data Modeler R8. Technics Publications, 2011, pp. 1–45.

7.     Pulli K. Real-time computer vision with OpenCV. Communications of the ACM, 2012, vol. 55, no. 6, pp. 61–69.

8.     Пастушков А.В., Калайда В.Т. Методы и алгоритмы поиска объекта на видеопотоке // Сб. науч. тр. SWorld. 2013. Т. 6. Вып. 3. С. 38–42.

9.     Ермаков С.Н., Бугаков А.И., Зеленко Л.С., Голов- нин О.К. Автоматизированная система формирования облака особых точек видеозаписей // ИТ & Транспорт: сб. науч. стат. Самара: Интелтранс, 2015. Т. 4. С. 123–132.

10.   Chen F., Wang R. Fast RANSAC with preview model parameters evaluation. Ruan Jian Xue Bao, 2011, vol. 16, no. 8, pp. 143–173.

11.   Ефимов А.И., Новиков А.И. Алгоритм поэтапного уточнения проективного преобразования для совмещения изображений // Компьютерная оптика. 2016. Т. 40. Вып. 2. C. 258–265.

12.   Wu F., Fang X. An improved RANSAC homography algorithm for feature based image mosaic Proc. 7th WSEAS Intern. Conf. on Signal Processing, Computational Geometry & Artificial Vision. World Scientific and Engineering Academy and Society, 2013, pp. 202–207.

13.   Kim D. [et al]. Real-time ambulance location monitoring using GPS and maps open API. Engineering in Medicine and Biology Society. Proc. 30th Annual Intern. Conf. IEEE, 2011, pp. 1561–1563.

14.   Кутовой Н.Н., Головнин О.К. Обеспечение инфомобильности туристов путем построения системы визуализации виртуальных геовидеомаршрутов // Актуальные проблемы автотранспортного комплекса: Межвуз. сб. науч. стат. 2017. С. 102–109.