Программные продукты и системы

Методы идентификации человека по его биометрическим параметрам находят широкое применение при проведении медико-криминалистических экспертиз. Их главное преимущество – невозможность передачи другому лицу, что обеспечивает достоверность и защищенность информации. Для идентификации используются отпечатки пальцев, биометрические характеристики лица, узор радужной оболочки глаз. В последние годы возник особый интерес к методам идентификации по признакам походки.

Наличие средств видеонаблюдения сегодня является одним из основных требований системы безопасности объекта. Если лицо человека четко видно на кадрах видеосъемки, то эксперт имеет возможность идентифицировать личность, проведя портретную экспертизу. Однако на практике это не всегда удается сделать. Такая ситуация может возникнуть при неудачном ракурсе, удаленности объекта, при наличии маски, головного убора или в силу других факторов, влияющих на достоверность идентификации. В этих случаях единственной характеристикой человека на видео является походка. Одно из существенных преимуществ данного способа идентификации заключается в том, что проведение подобного рода экспертиз является бесконтактным, удобным с точки зрения сбора материала и может успешно применяться для идентификации индивида на удаленном расстоянии, в том числе при помощи видео невысокого разрешения.

Однако, как и любой другой метод, идентификация по походке имеет ряд ограничений, связанных с наличием факторов, изменяющих ее. Так, например, переносимый предмет, неудобная обувь или обувь на высоких каблуках оказывают существенное влияние на характеристики походки и затрудняют, а порой делают невозможным проведение идентификации. Тем не менее эти особенности не снижают значимости и важности данного метода.

Идентификация по походке относится к динамическим технологиям идентификации и основана на анализе движений.

В настоящее время активно разрабатываются различные методики идентификации индивида по особенностям походки. Все они основаны на анализе характеристик движения человека в потоке видеокадров, но используют различные инструменты.

Так, одна из групп методик базируется на нейросетевом подходе. Их общая концепция заключается в фиксации первичных признаков походки и передаче их на вход нейронной сети, которая, обрабатывая данные, формирует сигнал о том, что индивиды на разных кадрах видеосъемки совпадают. Отличие заключается в наборе входной информации и архитектуре сети. Например, в работах [1, 2] входной информацией являются блоки карт оптического потока. В работе [3] обучение нейронной сети осуществляется на основе данных бинарных масок силуэта. В статье [4] источник первичной информации – трехканальное изображение, включающее черно-белые кадры и компоненты карт оптического потока.

В качестве архитектуры нейронных сетей активно используются сверхточные сети и рекуррентные нейронные сети.

В основу другой группы методик положен анализ базовых признаков походки: энергия походки, которая характеризует частоту нахождения в определенной позе во время движения [5–7], положение суставов и основных частей тела [8, 9], траектории движения точек фигуры [10] во время ходьбы.

Каждый из методов имеет свои особенности реализации. Для нейросетевых методов характерны большие вычислительные затраты, связанные с преобразованием данных и работой нейронной сети. Реализация методов, основанных на анализе базовых признаков, затруднительна в том случае, когда съемка осуществляется на удаленном расстоянии или неудачен ракурс (в первую очередь, за счет перспективных искажений). Актуальной является задача разработки методов идентификации по признакам походки, позволяющим учитывать различные особенности исходного материала.

В работах [11–13] описаны разработанные, зарегистрированные и используемые компьютерные программы.

Реализованные в программных комплексах алгоритмы базируются на анализе движения точек фигуры, на суставной модели или на сравнении силуэтов, которые возможны в положении боковой съемки или анфас (в зависимости от алгоритма). Однако ракурс съемки не всегда позволяет зафиксировать момент движения в нужной плоскости, что может привести к проблеме идентификации.

Таким образом, из-за большого количества условий, влияющих на манеру движения человека и ее представление в видео, задача идентификации по походке до сих пор не имеет достаточно точного решения.

В настоящей статье описываются метод и программный комплекс, позволяющие проводить идентификацию индивида по такому признаку походки, как цикл шага (ЦШ).

Основное преимущество данного подхода заключается в том, что для проведения идентификации на кадрах видеосъемки должны четко прослеживаться моменты контакта с опорой обеих ног, которые в большинстве случаев можно зафиксировать.

Сущность метода идентификации индивида по ЦШ

Описываемый метод идентификации базируется на биомеханических исследованиях клинического анализа движений, представленных в работе [14]. Ходьба – это циклический процесс. Под ЦШ понимается время от начала контакта с опорой фиксированной ноги до следующего контакта с опорой этой же ноги.

Отметим, что ЦШ состоит из периода двойной опоры, когда обе ноги находятся в контакте с опорой, и периода переноса. За ЦШ двойная опора и период переноса имеют место дважды [15] (рис. 1).

Располагая кадрами видеосъемки и зная частоту дискретизации (количество кадров в секунду), эксперт имеет возможность зафиксировать кадры, соответствующие началу и концу первого периода двойной опоры (ДО), первого периода переноса (ПП), второго периода ДО, второго ПП.

На основании зафиксированных данных производится расчет следующих показателей (в сек.):  – продолжительность первого периода ДО;  – продолжительность первого ПП;  – продолжительность второго периода ДО,  – продолжительность второго ПП, .

Далее рассчитываются следующие характеристики ЦШ (в процентах от ЦШ):  – продолжительность первого периода ДО;  – продолжительность первого ПП;  – продолжительность второго периода ДО;  – продолжительность второго ПП; ЧШ – частота шага (количество шагов в минуту); ТХ – темп ходьбы.

Отметим, что ТХ зависит от ЧШ и может быть очень медленным – 60–70 шагов, медленным – 70–90, средним – 90–120, быстрым – 120–140, очень быстрым – более 140.

Полученный набор значений     ЧШ, ТХ является уникальным для каждого человека и в случае ходьбы в среднем темпе (привычном для каждого человека) в совокупности с визуальными особенностями походки позволяет эксперту сделать обоснованный вывод о сходстве или различии двух индивидов на кадрах видеосъемки.

Программный комплекс

Описанный метод идентификации положен в основу «Программного комплекса для расчета характеристик цикла шага» [15], который позволяет реализовать следующие функции:

-      формирование БД, содержащей информацию об экспертизе, в ходе которой (по результатам видеозаписи) необходимо сравнить особенности походки нескольких индивидов и сделать вывод о присутствии на видеозаписях одного и того же человека или разных людей;

-      расчет набора параметров, характеризующих ЦШ индивида;

-      формирование отчета и экспорт информации в другие приложения (в частности, в MS Excel и MS Word).

Опишем модули программного комплекса (рис. 2).

Модуль ввода исходной информации в БД предполагает заполнение экспертом значений полей.

Информация сохраняется в БД. В качестве системы управления БД использована СУБД MS Access. Для связи Embarcadero Delphi с MS Access применен механизм Microsoft Jet 4.0OLE DB Provider, который поддерживает как собственные БД MS Access с расширением *.mdb, так и ODBC.

Модуль расчета характеристик ЦШ. При работе с модулем эксперт выделяет кадры, зафиксировавшие полный ЦШ, далее отмечает начальный и конечный кадры, соответствующие первому ПП, а следом начальный и конеч-ный кадры, соответствующие первому периоду ДО, затем кадры, соответствующие второму ПП, и в завершение – соответствующие второму периоду ДО (http://www.swsys.ru/uploaded/image/2023-2/2023-2-dop/16.jpg).

В автоматическом режиме рассчитываются следующие характеристики:     ЦШ,     ЧШ, ТХ.

Далее формируется таблица выходных данных.

Полученные данные позволяют провести сравнительный анализ лиц, представленных на кадрах видеосъемки.

Так, например, при проведении экспертизы, целью которой являлся сравнительный анализ на основе характеристик ЦШ лиц на видеозаписях (см. http://www.swsys.ru/uploaded/image/2023-2/2023-2-dop/16.jpg и http://www.swsys.ru/uploaded/image/2023-2/2023-2-dop/17.jpg), были получены результаты, отраженные в таблице.

По каждому из признаков наблюдается соответствие, что позволяет сделать вывод о сходстве людей на видеозаписях.

Выводы

Разработанный программный комплекс позволяет получать и хранить информацию о цифровых характеристиках ЦШ индивидов, полученных в результате анализа видеосъемки. Метрические характеристики походки могут использоваться при проведении медико-криминалистической экспертизы, в ходе которой необходимо установить схожесть или различие между индивидами, запечатленными на кадрах видеосъемки. Данный программный комплекс может найти применение при разработке компьютерной системы гибридной идентификации личности, включающей модули считывания и анализа биометрической информации, модули анализа походки при различных особенностях съемки.

Программный комплекс апробирован экспертами ФГКУ «111 Главный государственный центр судебно-медицинских и криминалистических экспертиз» Минобороны России, показав высокую эффективность и удобство работы.

Список литературы

1. Castro F.M., Marín-Jiménez M.J., Guil N., de la Blanca N.P. Automatic learning of gait signatures for people identification. LNCS. Proc. IWANN, 2017, vol. 10306, pp. 257–270. doi: 10.1007/978-3-319-59147-6_23.
2. Sokolova A., Konushin A. Gait recognition based on convolutional neural networks. Int. Arch. Photogramm. Remote Sens. Spatial Inf. Sci., 2017, vol. XLII-2/W4, pp. 207–212. doi: 10.5194/isprs-archives-XLII-2-W4-207-2017.
3. Zhang X., Sun S., Li C., Zhao X., Hu Y. DeepGait: A learning deep convolutional representation for gait recognition. LNCS. Proc. Biometric Recognition, 2017, vol. 10568, pp. 447–456. doi: 10.1007/978-3-319-69923-3_48.
4. Wolf T., Babaee M., Rigoll G. Multi-view gait recognition using 3D convolutional neural networks. Proc. IEEE ICIP, 2016, pp. 4165–4169. doi: 10.1109/ICIP.2016.7533144.
5. Соколова А.И., Конушин А.С. Методы идентификации человека по походке в видео // Тр. ИСП РАН. 2019. Т. 31. № 1. С. 69–82. doi: 10.15514/ISPRAS-2019-31(1)-5.
6. Chhatrala R., Jadhav D. Gait recognition based on curvelet transform and PCANet. Pattern Recognition and Image Analysis, 2017, vol. 27, no. 3, pp. 525–531. doi: 10.1134/s1054661817030075.
7. Chen C., Liang J., Zhao H., Hu H., Tian J. Frame difference energy image for gait recognition with incomplete silhouettes. Pattern Recognition Letters, 2009, vol. 30, no. 11, pp. 977–984. doi: 10.1016/j.patrec.2009.04.012.
8. Арсеев С.П., Конушин А.С., Лютов В.С. Распознавание человека по походке и внешности // Программирование. 2018. Т. 44. № 4. С. 258–265. doi: 10.31857/S000523100000515-0.
9. Whytock T., Belyaev A., Robertson N.M. Dynamic distance-based shape features for gait recognition. J. Math. Imaging Vis., 2014, vol. 50, no. 3, pp. 314–326. doi: 10.1007/s10851-014-0501-8.
10. Castro F.M., Marín-Jiménez M.J., Carnicer R.M. Pyramidal Fisher motion for multiview gait recognition. Proc. XXII Int. Conf. on Pattern Recognition, 2014, pp. 1692–1697. doi: 10.1109/ICPR.2014.298.
11. Бодунов Г.А. Программный модуль детектирования и распознавания паттернов человеческой походки
    с использованием технологии компьютерного зрения: Свид. о регистр. ПрЭВМ № 2021665934. Рос. Федерация, 2021.
12. Пойда А.А., Жижин М.Н., Андреев А.В. Программа индексации походки человека по суставной модели для задач классификации: Свид. о регистр. ПрЭВМ № 2021661266. Рос. Федерация, 2021.
13. Сиволобов С.В., Булгаков В.Г., Бумагин В.В. Автоматизированный программный комплекс для оперативного отождествления человека по походке // Информационная безопасность регионов. 2013. № 2. С. 136–140.
14. Петров С.М. Судебно-экспертное исследование походки // Теория и практика судебной экспертизы. 2022. Т. 17. № 3. С. 26–39. doi: 10.30764/1819-2785-2022-3-26-39.
15. Леонов С.В., Фомина Е.Е. Программный комплекс для расчета характеристик цикла шага: Свид. о регистр. ПрЭВМ № 2022682014. Рос. Федерация, 2022.

Reference List

1. Castro, F.M., Marín-Jiménez, M.J., Guil, N., de la Blanca, N.P. (2017) ‘Automatic learning of gait signatures for people identification’, LNCS. Proc. IWANN, 10306, pp. 257–270. doi: 10.1007/978-3-319-59147-6_23.

2. Sokolova, A., Konushin, A. (2017) ‘Gait recognition based on convolutional neural networks’, Int. Arch. Photogramm. Remote Sens. Spatial Inf. Sci., XLII-2/W4, pp. 207–212. doi: 10.5194/isprs-archives-XLII-2-W4-207-2017.

3. Zhang, X., Sun, S., Li, C., Zhao, X., Hu, Y. (2017) ‘DeepGait: A learning deep convolutional representation for gait recognition’, LNCS. Proc. Biometric Recognition, 10568, pp. 447–456. doi: 10.1007/978-3-319-69923-3_48.

4. Wolf, T., Babaee, M., Rigoll, G. (2016) ‘Multi-view gait recognition using 3D convolutional neural networks’, Proc. IEEE ICIP, pp. 4165–4169. doi: 10.1109/ICIP.2016.7533144.

5. Sokolova, A.I., Konushin, A.S. (2019) ‘Methods of gait recognition in video’. Proc. of ISP RAS, 31(1), pp. 69–82. doi: 10.15514/ISPRAS-2019-31(1)-5 (in Russ.).

6. Chhatrala, R., Jadhav, D. (2017) ‘Gait recognition based on curvelet transform and PCANet’, Pattern Recognition and Image Analysis, 27(3), pp. 525–531. doi: 10.1134/s1054661817030075.

7. Chen, C., Liang, J., Zhao, H., Hu, H., Tian, J. (2009) ‘Frame difference energy image for gait recognition with incomplete silhouettes’, Pattern Recognition Letters, 30(11), pp. 977–984. doi: 10.1016/j.patrec.2009.04.012.

8.  Arseev, S., Konushin, A., Liutov, V. (2018) ‘Human recognition by appearance and gait’, Programming and Computer Software, 44(4), pp. 258–265. doi: 10.31857/S000523100000515-0 (in Russ.).

9. Whytock, T., Belyaev, A., Robertson, N.M. (2014) ‘Dynamic distance-based shape features for gait recognition’, J. Math. Imaging Vis., 50(3), pp. 314–326. doi: 10.1007/s10851-014-0501-8.

10. Castro, F.M., Marín-Jiménez, M.J., Carnicer, R.M. (2014) ‘Pyramidal Fisher motion for multiview gait recognition’, Proc. XXII Int. Conf. on Pattern Recognition, pp. 1692–1697. doi: 10.1109/ICPR.2014.298.

11. Bodunov, G.A. (2021) Software Module for Detecting and Recognizing Human Gait Patterns Using Computer Vision Technology, Pat. RF, № 2021665934.

12. Poyda, A.A., Zhizhin, M.N., Andreev, A.V. (2021) A program for Indexing Human Gait According to the Articular Model for Classification Problems, Pat. RF, № 2021661266.

13. Sivolobov, S.V., Bulgakov, V.G., Bumagin, V.V. (2013) ‘The automated program complex for the operational identification the person by his gait’, Information Security of Regions, (2), pp. 136–140 (in Russ.).

14. Petrov, S.M. (2022) ‘Forensic gait study’, Theory and Pract. of Forensic Sci., 17(3), pp. 26–39. doi: 10.30764/1819-2785-2022-3-26-39 (in Russ.).

15. Leonov, S.V., Fomina, E.E. (2022) Software Package for Calculating the Characteristics of the Step Cycle, Pat. RF, № 2022682014.