ISSN 0236-235X (P)
ISSN 2311-2735 (E)

Journal influence

Higher Attestation Commission (VAK) - К1 quartile
Russian Science Citation Index (RSCI)

Bookmark

Next issue

4
Publication date:
09 December 2024

A software package for marking and unified description of an individual's face from a photo image

Date of submission article: 08.06.2021
UDC: 004:519.21:61
The article was published in issue no. № 4, 2021 [ pp. 660-666 ]
Abstract:The need to identify a person by a photo of his face arises for identity check, searching for crimi-nals, dead or missing people. The software products used in forensic practice are mainly intended for cranio-facial comparison when comparing the similar signs established from photos of a known person and the skull of an unknown person. For this purpose, forensic experts use a set of fixed points on the head and skull, but not always unambiguously identified on a plane image. To com-pare images, it would be rational to develop a unified algorithm for describing a face from a photo image and to create computer programs for automating the marking process and calculating dimen-sional physiognomic parameters. The paper describes the software package called Face Marking Database designed to implement these tasks. The package includes three modules: a module for entering the main characteristics of the studied object; a module for image marking intended for fixing reference points and their coor-dinates; a module for calculating distances and pointers to assess the face dimensional originality. The separation of distances into horizontal and vertical ones extends the possibilities of working with portrait photographs that have the face position not en face. The Face Marking Database allows receiving and storing in databases metric information about photographic images, which characterizes the individuality of each object and may be used to search for analogs or similar cases in forensic portrait and (or) forensic medical examination in cas-es of missing, hiding, unidentified people and in a comprehensive forensic medical examination of personal identification.
Аннотация:Необходимость идентификации человека по фотоизображению его лица возникает с целью установления личности, розыска преступников, погибших или пропавших без вести. Используемые в судебно-медицинской экспертной практике программные продукты предназначены в основном для краниофациального сравнения, когда сопоставляют одноименные признаки, установленные по фотографиям известного человека и черепу неизвестного. Для сравнения изображений целесообразны разработка унифицированного алгоритма описания лица по фотоизображению и создание компьютерных программ для автоматизации процесса разметки и расчета размерных физиономических параметров. В данной статье описан программный комплекс Face marking database, предназначенный для реализации этих задач. Комплекс включает в себя три модуля: модуль ввода основных характеристик исследуемого объекта, модуль разметки изображения, предназначенный для фиксации реперных точек и их координат, модуль расчета расстояний и указателей для суждения о размерном своеобразии лица. Разделение расстояний на горизонтальные и вертикальные расширяет возможности работы с фотопортретами, на которых ракурсное положение лица отлично от анфасного. Face marking database позволяет получать и хранить в БД метрическую информацию о фотоизображениях, которая характеризует индивидуальность каждого объекта и может быть использована для поиска аналогов или близких случаев при портретно-криминалистической и (или) судебно-медицинской экспертизе в случаях розыска без вести пропавших, скрывающихся, неустановленных лиц и в комплексной судебно-медицинской экспертизе идентификации личности.
Authors: V.N. Zvyagin (oil@rc-sme.ru) - Russian Center for Forensic Medicine Ministry of Health of Russia (Professor, Honored Scientist of the Russian Federation), Moscow, Russia, Ph.D, N.V. Narina (narina@rc-sme.ru) - Russian Center for Forensic Medicine Ministry of Health of Russia (Senior Researcher), Moscow, Russia, L.L. Usacheva (usa4eva.ludmila@yandex.ru) - Russian Center for Forensic Medicine Ministry of Health of Russia (Senior Researcher), Moscow, Russia, Fomina, E.E. (f-elena2008@yandex.ru) - Tver State Technical University (Associate Professor), Tver, Russia, Ph.D
Keywords: the software, personal identification, appearance description by photo
Page views: 4883
PDF version article

Font size:       Font:

В последние годы биометрические методы идентификации приобрели особую актуальность. Они используются для решения широкого класса задач, охватывающих разработку охранных систем, контроль потока посетителей, защиту конфиденциальности информации, учет рабочего времени [1]. Биометрическая идентификация включает в себя и идентификацию человека по фотоизображению его лица. Портретная экспертиза является эффективным средством установления личности и ее свойств, поскольку миграционный документооборот и системы видеонаблюдения предоставляют широкий спектр объектов исследования – фотографий и видеокадров.

Задача идентификации человека по его фотоизображению особенно актуальна в ра- боте судебно-медицинских экспертов при проведении криминалистической экспертизы, идентификации преступников, погибших или пропавших без вести. В криминалистической портретной экспертизе вполне успешно используется метод визуального сопоставления с помощью разметки, а для проведения сравнительного исследования эксперты применяют такие пакеты компьютерных программ, как Corel Draw или Adobe Photoshop, наиболее популярные для работы с двухмерной графикой [2]. Однако данные графические редакторы не позволяют автоматизировать этапы, связанные с расчетом значений признаков, характеризующих изображение и определяющих его особенности, а также с ведением БД и автоматическим сопоставлением большого набора фотоизображе- ний индивидов.

При выполнении медико-криминалистических судебных экспертиз активно используются программные продукты специального назначения, такие как VERBAL [3–5], POSKID [6], ДИНА-2 [7], CONTOUR и др., обеспечивающие решение конкретных за- дач [3, 5, 8]. Большинство из них направлены на установление личности в случае краниофациального сравнения. В основе сравнения двух экспертных объектов лежат такие базовые понятия, как положение антропометрических краниометрических и физиономических точек, размеры между определенными точками, толщины мягких тканей лица [9]. Набор точек зависит от авторской методики и решаемой задачи. Большинство точек имеют конкретные анатомические ориентиры, фиксируются на голове человека и черепе, но не всегда хорошо определяются на плоскостных изображениях. При сопоставлении фотопортретов целесообразно пересмотреть набор точек, дополнив его реперами, которые однозначно проставляются на изображениях, даже если на реальных объектах они не имеют морфологической основы.

Кроме непосредственного сравнения двух изображений, нередки ситуации сравнения фотопортрета идентифицируемого человека с большим количеством изображений людей, соответствующих по основным групповым признакам (пол, возраст, расовая принадлежность). Такое исследование, безусловно, должно быть автоматизировано. Также необходимы критерии размерных характеристик лица по фото, когда истинные (реальные) размеры установить невозможно. Даже сравнение изображений одного человека, выполненных в разных условиях и разное время, может вызвать большие трудности, если нет четких критериев фиксации сходства и различий.

Таким образом, актуальной является разработка унифицированного алгоритма описания индивида по фотоизображению его лица и ПО, позволяющего осуществить следующее:

-     ввод и хранение информации об индивиде, изображенном на фото;

-     приведение изображений к сопоставимому виду (масштабирование, определение ракурсного положения);

-     возможность расстановки на фотоизображении выбранных реперных точек, фиксация координат которых позволит получать численные значения диагностически значи- мых размеров лица;

-     выбор из общего перечня набора признаков, обеспечивающих проведение сравнительного исследования в различных экспертных ситуациях, когда фиксация всех точек невозможна;

-     расширение возможностей работы с фотопортретами, на которых ракурсное по- ложение лица отлично от анфасного за счет разделения расстояний на горизонтальные и вертикальные (горизонтальные расстояния остаются неизменными при наклонах-запрокидывании головы, вертикальные – при незначительных поворотах);

-     вычисление физиономических размеров и составление БД с последующим получением категорий величин, которые позволят численно характеризовать изображение (определить индивидуальность) и проводить сравнительное исследование;

-     реализацию поиска аналогов в БД с последующей экспертной оценкой результата.

Для решения обозначенных задач был разработан программный комплекс Face marking database [10].

Этот программный комплекс позволяет реализовать следующие функции:

-     формирование БД, содержащей информацию об операторе, индивиде, цифровое фотоизображение лица индивида в положении анфас, значения набора признаков, рассчитанных по фотоизображению;

-     автоматическое определение ракурсного изображения;

-     разметка фотоизображения индивида и расчет двух систем признаков и набора указателей;

-     экспорт информации в другие приложения (в частности, в MS Excel и MS Word).

Опишем модули, входящие в програм- мный комплекс (рис. 1).

Модуль ввода исходных данных. Каждому экспертному случаю ставится в соответствие следующая сопутствующая информация:

-     данные оператора, обрабатывающего изображение (фамилия, имя, отчество);

-     дата исследования;

-     информация об исследуемом индивиде: фамилия, имя, отчество (если известны); раса (варианты значений: европеоидная, монголоидная, раса не определена); пол (варианты значений: мужской, женский, пол не определен); возрастная группа (варианты значений: юношеский, первый зрелый, второй зрелый, пожилой, старческий); горизонтальная профилировка лица; опция, фиксирующая возможность качественной простановки всех точек (варианты значений: все точки проставлены, мешают волосы, мешает борода, мешают волосы и борода);

-     фотоизображение лица индивида в положении анфас.

Информация сохраняется в БД. В качестве системы управления БД использовалась СУБД MS Access. Для связи Embarcadero Delphi с MS Access применялся механизм Microsoft Jet 4.0 OLE DB Provider, который поддерживает как собственные БД MS Access с расширением *.mdb, так и ODBC.

Модуль разметки изображения. На этапе работы с модулем эксперт производит разметку фотоизображения лица исследуемого индивида (в положении анфас), которая включает фиксацию набора реперных точек, приведенного в таблице и на рисунке (см. http://www.swsys.ru/uploaded/image/2021-4/ 2021-4-dop/5.jpg).

Все точки Y0–Y62 из представленного набора имеют возможность однозначной расстановки на изображении.

Расстановка точек осуществляется по следующему алгоритму, который должен быть одинаковым при разметке всех фотоизображений.

1. В списке признаков окна Разметка (рис. 2) последовательно активизируются точки Y1 (зрачковая левая) и Y2 (зрачковая правая) и устанавливаются на фотоизображении. Автоматически рассчитывается расстояние Y1–Y2 между зрачками, которое будет являться масштабной единицей изображения. Так как судить о реальных размерах лиц, запечатленных на фотоизображениях, не представляется возможным, все изображения масштабированы по межзрачковой ширине, которая считается равной 66 мм (расстояние между точками Y1 и Y2). Данное масштабирование позволит привести все изображения к сопоставимому виду.

Используемые принципы масштабирования графических объектов подробно описаны в более ранних работах, масштабирование по межзрачковой ширине традиционно применяется во всех упомянутых методиках и хорошо себя зарекомендовало [11].

2. На изображении автоматически строятся линии сетки. Для этого проводится отрезок, соединяющий зрачковые точки (Y1–Y2), и строится серединный перпендикуляр. Точка пересечения серединного перпендикуляра и отрезка Y1–Y2 обозначается Y0 и считается нулевой точкой изображения. Далее параллельно серединному перпендикуляру прово- Реперные точки, фиксируемые на фотоизображении

Reference points fixed in a photo

№ п/п	Точка	№ п/п	Точка
Y1	Зрачковая левая	Y25, Y26	Ротощечная вспомогательная л/п
Y2	Зрачковая правая	Y27, Y28	Нижнелицевая боковая вспомога-тельная л/п
Y0	Зрачковая срединная	Y29, Y30	Теменная л/п
Y3	Верхушечная	Y31, Y32	Лобная боковая л/п
Y4	Верхнелобная	Y33, Y34	Верхнебровная л/п
Y5	Надглабеллярная 	Y35, Y36	Верхнебровная боковая л/п
Y6	Верхненосовая	Y37, Y38	Верхнеушная л/п
Y7	Подносовая срединная	Y39, Y40	Зрачковая боковая л/п
Y8	Верхнегубная 	Y41, Y42	Внутренняя глазная л/п
Y9	Ротовая	Y43, Y44	Наружная глазная л/п
Y10	Нижнегубная	Y45, Y46	Боковая ушная л/п
Y11	Надподбородочная	Y47, Y48	Скуловая л/п
Y12	Подбородочная	Y49, Y50	Носокрыльевая л/п
Y13, Y14	Верхнетеменная вспомогательная л/п*	Y51, Y52	Верхненоздревая л/п
Y15, Y16	Верхнебровная вспомогательная л/п	Y53, Y54	Нижнекрыльевая л/п
Y17, Y18	Нижнебровная вспомогательная л/п	Y55, Y56	Нижнеушная л/п
Y19, Y20	Вспомогательная верхнесрединная точка  верхнего века л/п	Y57, Y58	Верхняя точка красной каймы верх-ней губы л/п
Y21, Y22	Верхняя вспомогательная точка контура  глазной щели л/п	Y59, Y60	Губно-угловая л/п
Y23, Y24	Нижняя вспомогательная точка контура  глазной щели л/п	Y61, Y62	Ротощечная боковая л/п
*л/п – левая/правая

дятся две параллельные прямые, проходящие через точки Y1 и Y2.

3. Устанавливается точка Y9, которая располагается на серединном перпендикуляре и соответствует линии смыкания губ. Через поставленную точку автоматически проводится прямая, параллельная отрезку Y1–Y2.

4. Используя построенный базис, размечаются остальные реперные точки согласно схеме (см. http://www.swsys.ru/uploaded/ image/2021-4/2021-4-dop/5.jpg). Для поиска точек, расположенных на границах, используются вспомогательные построения – вертикальные и горизонтальные касательные и линии (рис. 2). Точка, установка которой невозможна (скрыта за волосами или бородой), пропускается.

Модуль расчета расстояний и указателей. После оцифровки изображения производится расчет двух наборов расстояний и набора указателей, позволяющих произвести оценку размерных характеристик лица человека на фотопортрете.

Использованы две системы признаков: непосредственные расстояния между точками и расстояния от центральной (нулевой) до каждой реперной точки.

Первая система включает набор расстояний и указателей, позволяющих охарактери- зовать размеры и пропорции элементов лица исследуемого индивида (см. http://www. swsys.ru/uploaded/image/2021-4/2021-4-dop/6. jpg). Указатели для анализа соотношений размеров, связанных слабой функциональной корреляцией, традиционно используются в краниометрии [9] (см. http://www.swsys.ru/ uploaded/image/2021-4/2021-4-dop/7.jpg).

Вторая система признаков включает расчет расстояний от так называемой нулевой точки (Y0) до всех остальных точек изображения. Эта система признаков характеризует контуры объектов, распределение точек и в большей степени работает на сравнительное исследование. Именно эти расстояния, по мнению авторов, более перспективны для реализации задачи поиска аналогов в БД (см. http://www.swsys.ru/uploaded/image/2021-4/ 2021-4-dop/7.jpg).

Данное предположение обусловлено тем, что вторая система фиксации признаков связана с привязкой к точке Y0, которая будет присутствовать на каждом изображении, а следовательно, опишет контуры изображения лица, рассчитав расстояния до всех присутствующих точек.

В свою очередь, в первой системе признаков, характеризующей размеры лица, невозможность простановки одной точки, напри-  

Рис. 3. Оцифрованное изображение

Fig. 3. A digitized image
мер Y3 (которая в большинстве случаев будет скрыта за волосами), приведет к тому, что из исследования будет исключена группа признаков, характеризующих высотные размеры головы в целом, что может привести к трудностям идентификации и неоднозначному поиску аналогов.

Рассчитанные размеры и указатели позволят численно характеризовать каждое фотоизображение, таким образом определив индивидуальность исследуемого объекта, что в дальнейшем позволит проводить сравнительное исследование.

Все полученные размеры уже приведены к сопоставимому виду, поскольку изображения масштабированы по межзрачковой ширине, равной 66 мм.

После разметки в БД аккумулируется информация, позволяющая осуществить цифровое описание исследуемого фотоизображения и включающая два набора признаков и указатели (рис. 3).

Программный комплекс позволил сформировать четыре БД (в Роспатенте получены  свидетельства о регистрации № 2020622399, № 2020622400, № 2020622414, № 2020622415).

Материал, собранный в БД, может служить основой для разработки эффективного алгоритма идентификации личности по фотоизображениям лица человека в положении анфас, а также для проведения исследований, связанных с изучением особенностей размерных характеристик головы в зависимости от расовой или половой принадлежности.

Выводы

Разработанный программный комплекс Face marking database зарегистрирован в Реестре программ для ЭВМ. Комплекс позволяет получать и хранить метрическую информацию о фотоизображениях лица в положении анфас, которая может быть использована для объективного унифицированного описа- ния фотопортрета и создания программы поиска аналогов или близких случаев при портретно-криминалистической и (или) судебно-медицинской экспертизе в случаях розыска без вести пропавших, скрывающихся, неустановленных лиц и в комплексной судебно-медицинской экспертизе идентификации личности.

Предложены система реперных точек, хорошо определяемых на двумерном изображении, а также перечень признаков и указателей, характеризующих как размеры лица, так и контур объекта.

Программный комплекс Face marking database апробирован экспертами Российского центра судебно-медицинской экспертизы Минздрава России и показал высокую эффективность и удобство работы.

На сегодняшний день с помощью программы созданы четыре БД, которые могут использоваться для дальнейшего совершенствования методики идентификации личности по фотоизображению лица в положении анфас и разработки алгоритма поиска аналогов в БД.

Литература

1.    Ворона В.А., Костенко В.О. Биометрические технологии идентификации в системах контроля и управления доступом // Computational nanotechnology. 2016. № 3. С. 224–241.

2.   Фойгель Е.И. Некоторые проблемы назначения и производства судебно-портретной экспертизы при расследовании преступлений, совершаемых адвенальными лицами // Эксперт-криминалист. 2021. № 1. С. 33–35.

3.    FORENSIC MALL. Программное обеспечение для криминалистов. URL: http://www. forensicmall.ru/cat/category/programmnoe-obespechenie-dlya-kriminalistov/ (дата обращения: 04.05.2021).

4.    Опыт кранио-фациального сопоставления при судебно-медицинской идентификации личности. URL: https://present5.com/opyt-kranio-facialnogo-sopostavleniya-pri-sudebnomedicinskoj-identifikacii-lichnosti-n/ (дата обращения: 04.05.2021).

5.    Маркелов К.С., Нечаев. В.В. Биометрические информационные технологии: актуальные и перспективные методы // Информационные и телекоммуникационные технологии. 2013. № 18.  С. 24–41.

6.    Звягин В.Н., Иванов Н.В., Нарина Н.В. Компьютерная идентификация личности по черепу и прижизненной фотографии методом POSKID 1.1 // Судебно-медицинская экспертиза. 2000. № 5.  С. 22. URL: https://www.forens-med.ru/book.php?id=788 (дата обращения: 04.05.2021).

7.  Автоматизированное рабочее место эксперта для проведения криминалистических фотопортретных исследований «ДИНА-2». URL: http://www.myshared.ru/slide/119869/ (дата обращения: 04.05.2021).

8.    Шакирьянова Ю.П. Цифровые методы идентификации личности. М.: Мозартика, 2019. 225 c.

9.    Негашева М.А. Основы антропометрии. М.: Экон-Информ, 2017. 2016 с.

10. Звягин В.Н., Фомина Е.Е., Нарина Н.В., Усачева Л.Л. Face marking database. Свид. о регистр. ПрЭВМ № 2021612840. Рос. Федерация, 2021.

11. Звягин В.Н., Аль-Мамани Р.Д. Компьютерный метод портретной идентификации личности по трупу и прижизненной фотографии // Матер. IV Всерос. съезда судебных медиков. 1996. № 1.  С. 43. URL: https://www.forens-med.ru/book.php?id=5760 (дата обращения: 04.05.2021).

References

  1. Vorona V.A., Kostenko V.O. Biometric identification technology in monitoring systems and access control. Computational Nanotechnology, 2016, no. 3, pp. 224–241.
  2. Foygel E.I. Some problems of commissioning and carrying out of a forensic portrait examination in the investigation of crimes committed by advenal persons. Ekspert-kriminalist, 2021, no. 1, pp. 33–35
    (in Russ.).
  3. FORENSIC MALL. Forensic Software. Available at: http://www.forensicmall.ru/cat/category/programmnoe-obespechenie-dlya-kriminalistov/ (accessed May 4, 2021) (in Russ.).
  4. Experience of Cranio-Facial Comparison in Forensic Personal Identification. Available at: https://present5.com/opyt-kranio-facialnogo-sopostavleniya-pri-sudebnomedicinskoj-identifikacii-lichnosti-n/ (accessed May 4, 2021) (in Russ.).
  5. Markelov K.S., Nechaev V.V. Biometric information technology: actual and perspective methods. Information and Telecommunication Technologies, 2013, no. 18, pp. 24–42.
  6. Zvyagin V.N., Ivanov N.V., Narina N.V. Computerized skull and lifetime photo personal identification using the POSKID 1.1 method. Sudebno-medicinskaja Ekspertiza, 2000, no. 5, p. 22. Available at: https://www.forens-med.ru/book.php?id=788 (accessed May 4, 2021) (in Russ.).
  7. Expert’s Automated Workstation for Carrying Out Forensic Photo-Portrait Research “DINA-2”. Available at: http://www.myshared.ru/slide/119869/ (accessed May 4, 2021) (in Russ.).
  8. Shakiryanova Yu.P. Digital Methods of Personal Identification. Moscow, 2019, 225 p. (in Russ.).
  9. Negasheva M.A. Anthropometry Basics. Moscow, 2017, 2016 p. (in Russ.).
  10. Zvyagin V.N., Fomina E.E., Narina N.V., Usacheva L.L. Face Marking Database. Patent RF, no. 2021612840, 2021.
  11. Zvyagin V.N., Al-Mamani R.D. Computerized method of corpse and lifetime photo portrait personal identification. Proc. IV All-Russ. Congress of Forensic Physicians, 1996, no. 1, p. 34. Available at: https://www.forens-med.ru/book.php?id=5760 (accessed May 4, 2021) (in Russ.).

Permanent link:
http://swsys.ru/index.php?id=4860&lang=en&page=article
Print version
The article was published in issue no. № 4, 2021 [ pp. 660-666 ]

Perhaps, you might be interested in the following articles of similar topics: