ISSN 0236-235X (P)
ISSN 2311-2735 (E)

Journal influence

Higher Attestation Commission (VAK) - К1 quartile
Russian Science Citation Index (RSCI)

Bookmark

Next issue

2
Publication date:
16 June 2024

A software package for personal identification by step cycle characteristics

Date of submission article: 27.12.2022
Date after edit article: 25.01.2023
Date of acceptance for publication: 20.02.2023
UDC: 004:61
The article was published in issue no. № 2, 2023 [ pp. 303-308 ]
Abstract:Recently, methods of identifying an individual by gait signs have gained particular interest due to active using of video surveillance systems. A significant advantage of this method is the fact that conducting examinations can be contactless and convenient from the point of view of collecting material. Nowadays, various methods of identifying an individual by gait characteristics are being actively developed. However, due to the large number of conditions affecting the movement manner, the task of identifying a person by gait still does not have a sufficiently accurate solution, so the problem of developing new methods is relevant. The article describes the method of identifying an individual in video shooting frames by such a kinematic indicator as a step cycle. The essence of the method consists in digitizing and quantifying the following step cycle parameters: the duration of double support and transfer periods, the step frequency and the pace of walking. The analysis of the listed indicators will make it possible to draw an expert conclusion about the similarity or difference of two individuals in the videos. To implement the proposed method, the authors have developed a software package for calculating step cycle characteristics. The software package includes the following modules: a module for entering primary information, a module for calculating the main step cycle characteristics, a module for generating a report. The main advantage of this technique and the software package is the ability to process video information from various angles, as well as in the case of fixing an object at a remote distance. The software package can be used in the development of a computer system for hybrid identity identification that includes modules for reading and analyzing biometric information, gait analysis modules for various shooting features.
Аннотация:Активное использование систем видеонаблюдения обусловило повышение интереса к методам идентификации индивида по признакам походки. Существенным преимуществом данного способа является то, что проведение экспертиз может быть бесконтактным и удобным с точки зрения сбора материала. В настоящее время активно разрабатываются различные методики идентификации индивида по особенностям походки, однако из-за большого количества условий, влияющих на манеру движения, задача идентификации человека по походке до сих пор не имеет достаточно точного решения, поэтому актуальна разработка новых методов. В статье описывается метод идентификации индивида на кадрах видеосъемки по такому кинематическому показателю, как цикл шага. Сущность его заключается в оцифровке и количественном описании следующих параметров цикла шага: продолжительность периодов двойной опоры и переноса, частота шага и темп ходьбы. Их анализ в автоматическом режиме позволит сделать экспертный вывод о сходстве или различии двух индивидов на видеозаписях. Для реализации предложенного метода разработан программный комплекс для расчета характеристик цикла шага. Он включает в себя модуль ввода первичной информации, модуль для расчета основных характеристик цикла шага и модуль формирования отче-та. Основным преимуществом данной методики и программного комплекса является возможность обработки видеоинформации с различных ракурсов, а также в случае фиксации объекта на удаленном расстоянии. Программный комплекс может быть использован при разработке компьютерной системы гибридной идентификации личности, включающей модули считывания и анализа биометрической информации, модули анализа походки при различных особенностях съемки.
Authors: Leonov, S.V. (f-elena2008@yandex.ru) - The Department of Forensic Medicine and Medical Law of the Moscow State Medical and Dental University named after A.I. Yevdokimov (Professor), Moscow, Russia, , Fomina, E.E. (f-elena2008@yandex.ru) - Tver State Technical University (Associate Professor), Tver, Russia, Ph.D
Keywords: step cycle, gait features, gait, personal identification, the software
Page views: 1301
PDF version article

Font size:       Font:

Методы идентификации человека по его биометрическим параметрам находят широкое применение при проведении медико-криминалистических экспертиз. Их главное преимущество – невозможность передачи другому лицу, что обеспечивает достоверность и защищенность информации. Для идентификации используются отпечатки пальцев, биометрические характеристики лица, узор радужной оболочки глаз. В последние годы возник особый интерес к методам идентификации по признакам походки.

Наличие средств видеонаблюдения сегодня является одним из основных требований системы безопасности объекта. Если лицо человека четко видно на кадрах видеосъемки, то эксперт имеет возможность идентифицировать личность, проведя портретную экспертизу. Однако на практике это не всегда удается сделать. Такая ситуация может возникнуть при неудачном ракурсе, удаленности объекта, при наличии маски, головного убора или в силу других факторов, влияющих на достоверность идентификации. В этих случаях единственной характеристикой человека на видео является походка. Одно из существенных преимуществ данного способа идентификации заключается в том, что проведение подобного рода экспертиз является бесконтактным, удобным с точки зрения сбора материала и может успешно применяться для идентификации индивида на удаленном расстоянии, в том числе при помощи видео невысокого разрешения.

Однако, как и любой другой метод, идентификация по походке имеет ряд ограничений, связанных с наличием факторов, изменяющих ее. Так, например, переносимый предмет, неудобная обувь или обувь на высоких каблуках оказывают существенное влияние на характеристики походки и затрудняют, а порой делают невозможным проведение идентификации. Тем не менее эти особенности не снижают значимости и важности данного метода.

Идентификация по походке относится к динамическим технологиям идентификации и основана на анализе движений.

В настоящее время активно разрабатываются различные методики идентификации индивида по особенностям походки. Все они основаны на анализе характеристик движения человека в потоке видеокадров, но используют различные инструменты.

Так, одна из групп методик базируется на нейросетевом подходе. Их общая концепция заключается в фиксации первичных признаков походки и передаче их на вход нейронной сети, которая, обрабатывая данные, формирует сигнал о том, что индивиды на разных кадрах видеосъемки совпадают. Отличие заключается в наборе входной информации и архитектуре сети. Например, в работах [1, 2] входной информацией являются блоки карт оптического потока. В работе [3] обучение нейронной сети осуществляется на основе данных бинарных масок силуэта. В статье [4] источник первичной информации – трехканальное изображение, включающее черно-белые кадры и компоненты карт оптического потока.

В качестве архитектуры нейронных сетей активно используются сверхточные сети и рекуррентные нейронные сети.

В основу другой группы методик положен анализ базовых признаков походки: энергия походки, которая характеризует частоту нахождения в определенной позе во время движения [5–7], положение суставов и основных частей тела [8, 9], траектории движения точек фигуры [10] во время ходьбы.

Каждый из методов имеет свои особенности реализации. Для нейросетевых методов характерны большие вычислительные затраты, связанные с преобразованием данных и работой нейронной сети. Реализация методов, основанных на анализе базовых признаков, затруднительна в том случае, когда съемка осуществляется на удаленном расстоянии или неудачен ракурс (в первую очередь, за счет перспективных искажений). Актуальной является задача разработки методов идентификации по признакам походки, позволяющим учитывать различные особенности исходного материала.

В работах [11–13] описаны разработанные, зарегистрированные и используемые компьютерные программы.

Реализованные в программных комплексах алгоритмы базируются на анализе движения точек фигуры, на суставной модели или на сравнении силуэтов, которые возможны в положении боковой съемки или анфас (в зависимости от алгоритма). Однако ракурс съемки не всегда позволяет зафиксировать момент движения в нужной плоскости, что может привести к проблеме идентификации.

Таким образом, из-за большого количества условий, влияющих на манеру движения человека и ее представление в видео, задача идентификации по походке до сих пор не имеет достаточно точного решения.

В настоящей статье описываются метод и программный комплекс, позволяющие проводить идентификацию индивида по такому признаку походки, как цикл шага (ЦШ).

Основное преимущество данного подхода заключается в том, что для проведения идентификации на кадрах видеосъемки должны четко прослеживаться моменты контакта с опорой обеих ног, которые в большинстве случаев можно зафиксировать.

Сущность метода идентификации индивида по ЦШ

Описываемый метод идентификации базируется на биомеханических исследованиях клинического анализа движений, представленных в работе [14]. Ходьба – это циклический процесс. Под ЦШ понимается время от начала контакта с опорой фиксированной ноги до следующего контакта с опорой этой же ноги.

Отметим, что ЦШ состоит из периода двойной опоры, когда обе ноги находятся в контакте с опорой, и периода переноса. За ЦШ двойная опора и период переноса имеют место дважды [15] (рис. 1).

Располагая кадрами видеосъемки и зная частоту дискретизации (количество кадров в секунду), эксперт имеет возможность зафиксировать кадры, соответствующие началу и концу первого периода двойной опоры (ДО), первого периода переноса (ПП), второго периода ДО, второго ПП.

На основании зафиксированных данных производится расчет следующих показателей (в сек.):  – продолжительность первого периода ДО;  – продолжительность первого ПП;  – продолжительность второго периода ДО,  – продолжительность второго ПП, .

Далее рассчитываются следующие характеристики ЦШ (в процентах от ЦШ):  – продолжительность первого периода ДО;  – продолжительность первого ПП;  – продолжительность второго периода ДО;  – продолжительность второго ПП; ЧШ – частота шага (количество шагов в минуту); ТХ – темп ходьбы.

Отметим, что ТХ зависит от ЧШ и может быть очень медленным – 60–70 шагов, медленным – 70–90, средним – 90–120, быстрым – 120–140, очень быстрым – более 140.

Полученный набор значений     ЧШ, ТХ является уникальным для каждого человека и в случае ходьбы в среднем темпе (привычном для каждого человека) в совокупности с визуальными особенностями походки позволяет эксперту сделать обоснованный вывод о сходстве или различии двух индивидов на кадрах видеосъемки.

Программный комплекс

Описанный метод идентификации положен в основу «Программного комплекса для расчета характеристик цикла шага» [15], который позволяет реализовать следующие функции:

-      формирование БД, содержащей информацию об экспертизе, в ходе которой (по результатам видеозаписи) необходимо сравнить особенности походки нескольких индивидов и сделать вывод о присутствии на видеозаписях одного и того же человека или разных людей;

-      расчет набора параметров, характеризующих ЦШ индивида;

-      формирование отчета и экспорт информации в другие приложения (в частности, в MS Excel и MS Word).

Опишем модули программного комплекса (рис. 2).

Модуль ввода исходной информации в БД предполагает заполнение экспертом значений полей.

Информация сохраняется в БД. В качестве системы управления БД использована СУБД MS Access. Для связи Embarcadero Delphi с MS Access применен механизм Microsoft Jet 4.0OLE DB Provider, который поддерживает как собственные БД MS Access с расширением *.mdb, так и ODBC.

Модуль расчета характеристик ЦШ. При работе с модулем эксперт выделяет кадры, зафиксировавшие полный ЦШ, далее отмечает начальный и конечный кадры, соответствующие первому ПП, а следом начальный и конеч-ный кадры, соответствующие первому периоду ДО, затем кадры, соответствующие второму ПП, и в завершение – соответствующие второму периоду ДО (http://www.swsys.ru/uploaded/image/2023-2/2023-2-dop/16.jpg).

В автоматическом режиме рассчитываются следующие характеристики:     ЦШ,     ЧШ, ТХ.

Далее формируется таблица выходных данных.

Полученные данные позволяют провести сравнительный анализ лиц, представленных на кадрах видеосъемки.

Так, например, при проведении экспертизы, целью которой являлся сравнительный анализ на основе характеристик ЦШ лиц на видеозаписях (см. http://www.swsys.ru/uploaded/image/2023-2/2023-2-dop/16.jpg и http://www.swsys.ru/uploaded/image/2023-2/2023-2-dop/17.jpg), были получены результаты, отраженные в таблице.

По каждому из признаков наблюдается соответствие, что позволяет сделать вывод о сходстве людей на видеозаписях.

Выводы

Разработанный программный комплекс позволяет получать и хранить информацию о цифровых характеристиках ЦШ индивидов, полученных в результате анализа видеосъемки. Метрические характеристики походки могут использоваться при проведении медико-криминалистической экспертизы, в ходе которой необходимо установить схожесть или различие между индивидами, запечатленными на кадрах видеосъемки. Данный программный комплекс может найти применение при разработке компьютерной системы гибридной идентификации личности, включающей модули считывания и анализа биометрической информации, модули анализа походки при различных особенностях съемки.

Программный комплекс апробирован экспертами ФГКУ «111 Главный государственный центр судебно-медицинских и криминалистических экспертиз» Минобороны России, показав высокую эффективность и удобство работы.

Список литературы

  1. Castro F.M., Marín-Jiménez M.J., Guil N., de la Blanca N.P. Automatic learning of gait signatures for people identification. LNCS. Proc. IWANN, 2017, vol. 10306, pp. 257–270. doi: 10.1007/978-3-319-59147-6_23.
  2. Sokolova A., Konushin A. Gait recognition based on convolutional neural networks. Int. Arch. Photogramm. Remote Sens. Spatial Inf. Sci., 2017, vol. XLII-2/W4, pp. 207–212. doi: 10.5194/isprs-archives-XLII-2-W4-207-2017.
  3. Zhang X., Sun S., Li C., Zhao X., Hu Y. DeepGait: A learning deep convolutional representation for gait recognition. LNCS. Proc. Biometric Recognition, 2017, vol. 10568, pp. 447–456. doi: 10.1007/978-3-319-69923-3_48.
  4. Wolf T., Babaee M., Rigoll G. Multi-view gait recognition using 3D convolutional neural networks. Proc. IEEE ICIP, 2016, pp. 4165–4169. doi: 10.1109/ICIP.2016.7533144.
  5. Соколова А.И., Конушин А.С. Методы идентификации человека по походке в видео // Тр. ИСП РАН. 2019. Т. 31. № 1. С. 69–82. doi: 10.15514/ISPRAS-2019-31(1)-5.
  6. Chhatrala R., Jadhav D. Gait recognition based on curvelet transform and PCANet. Pattern Recognition and Image Analysis, 2017, vol. 27, no. 3, pp. 525–531. doi: 10.1134/s1054661817030075.
  7. Chen C., Liang J., Zhao H., Hu H., Tian J. Frame difference energy image for gait recognition with incomplete silhouettes. Pattern Recognition Letters, 2009, vol. 30, no. 11, pp. 977–984. doi: 10.1016/j.patrec.2009.04.012.
  8. Арсеев С.П., Конушин А.С., Лютов В.С. Распознавание человека по походке и внешности // Программирование. 2018. Т. 44. № 4. С. 258–265. doi: 10.31857/S000523100000515-0.
  9. Whytock T., Belyaev A., Robertson N.M. Dynamic distance-based shape features for gait recognition. J. Math. Imaging Vis., 2014, vol. 50, no. 3, pp. 314–326. doi: 10.1007/s10851-014-0501-8.
  10. Castro F.M., Marín-Jiménez M.J., Carnicer R.M. Pyramidal Fisher motion for multiview gait recognition. Proc. XXII Int. Conf. on Pattern Recognition, 2014, pp. 1692–1697. doi: 10.1109/ICPR.2014.298.
  11. Бодунов Г.А. Программный модуль детектирования и распознавания паттернов человеческой походки
    с использованием технологии компьютерного зрения: Свид. о регистр. ПрЭВМ № 2021665934. Рос. Федерация, 2021.
  12. Пойда А.А., Жижин М.Н., Андреев А.В. Программа индексации походки человека по суставной модели для задач классификации: Свид. о регистр. ПрЭВМ № 2021661266. Рос. Федерация, 2021.
  13. Сиволобов С.В., Булгаков В.Г., Бумагин В.В. Автоматизированный программный комплекс для оперативного отождествления человека по походке // Информационная безопасность регионов. 2013. № 2. С. 136–140.
  14. Петров С.М. Судебно-экспертное исследование походки // Теория и практика судебной экспертизы. 2022. Т. 17. № 3. С. 26–39. doi: 10.30764/1819-2785-2022-3-26-39.
  15. Леонов С.В., Фомина Е.Е. Программный комплекс для расчета характеристик цикла шага: Свид. о регистр. ПрЭВМ № 2022682014. Рос. Федерация, 2022.

Reference List

1. Castro, F.M., Marín-Jiménez, M.J., Guil, N., de la Blanca, N.P. (2017) ‘Automatic learning of gait signatures for people identification’, LNCS. Proc. IWANN, 10306, pp. 257–270. doi: 10.1007/978-3-319-59147-6_23.

2. Sokolova, A., Konushin, A. (2017) ‘Gait recognition based on convolutional neural networks’, Int. Arch. Photogramm. Remote Sens. Spatial Inf. Sci., XLII-2/W4, pp. 207–212. doi: 10.5194/isprs-archives-XLII-2-W4-207-2017.

3. Zhang, X., Sun, S., Li, C., Zhao, X., Hu, Y. (2017) ‘DeepGait: A learning deep convolutional representation for gait recognition’, LNCS. Proc. Biometric Recognition, 10568, pp. 447–456. doi: 10.1007/978-3-319-69923-3_48.

4. Wolf, T., Babaee, M., Rigoll, G. (2016) ‘Multi-view gait recognition using 3D convolutional neural networks’, Proc. IEEE ICIP, pp. 4165–4169. doi: 10.1109/ICIP.2016.7533144.

5. Sokolova, A.I., Konushin, A.S. (2019) ‘Methods of gait recognition in video’. Proc. of ISP RAS, 31(1), pp. 69–82. doi: 10.15514/ISPRAS-2019-31(1)-5 (in Russ.).

6. Chhatrala, R., Jadhav, D. (2017) ‘Gait recognition based on curvelet transform and PCANet’, Pattern Recognition and Image Analysis, 27(3), pp. 525–531. doi: 10.1134/s1054661817030075.

7. Chen, C., Liang, J., Zhao, H., Hu, H., Tian, J. (2009) ‘Frame difference energy image for gait recognition with incomplete silhouettes’, Pattern Recognition Letters, 30(11), pp. 977–984. doi: 10.1016/j.patrec.2009.04.012.

8.  Arseev, S., Konushin, A., Liutov, V. (2018) ‘Human recognition by appearance and gait’, Programming and Computer Software, 44(4), pp. 258–265. doi: 10.31857/S000523100000515-0 (in Russ.).

9. Whytock, T., Belyaev, A., Robertson, N.M. (2014) ‘Dynamic distance-based shape features for gait recognition’, J. Math. Imaging Vis., 50(3), pp. 314–326. doi: 10.1007/s10851-014-0501-8.

10. Castro, F.M., Marín-Jiménez, M.J., Carnicer, R.M. (2014) ‘Pyramidal Fisher motion for multiview gait recognition’, Proc. XXII Int. Conf. on Pattern Recognition, pp. 1692–1697. doi: 10.1109/ICPR.2014.298.

11. Bodunov, G.A. (2021) Software Module for Detecting and Recognizing Human Gait Patterns Using Computer Vision Technology, Pat. RF, № 2021665934.

12. Poyda, A.A., Zhizhin, M.N., Andreev, A.V. (2021) A program for Indexing Human Gait According to the Articular Model for Classification Problems, Pat. RF, № 2021661266.

13. Sivolobov, S.V., Bulgakov, V.G., Bumagin, V.V. (2013) ‘The automated program complex for the operational identification the person by his gait’, Information Security of Regions, (2), pp. 136–140 (in Russ.).

14. Petrov, S.M. (2022) ‘Forensic gait study’, Theory and Pract. of Forensic Sci., 17(3), pp. 26–39. doi: 10.30764/1819-2785-2022-3-26-39 (in Russ.).

15. Leonov, S.V., Fomina, E.E. (2022) Software Package for Calculating the Characteristics of the Step Cycle, Pat. RF, № 2022682014.


Permanent link:
http://swsys.ru/index.php?page=article&id=5005&lang=en
Print version
The article was published in issue no. № 2, 2023 [ pp. 303-308 ]

Perhaps, you might be interested in the following articles of similar topics: