Программные продукты и системы

Исследования в области обработки данных магнитно-резонансной томографии (МРТ) – быстро развивающееся наукоемкое направление, характеризующееся созданием ПО и разработкой методов научной визуализации, что в совокупности помогает врачу ставить эксперименты с привлечением необходимой аппаратной поддержки. За последнее десятилетие разработано большое количество профессиональных систем обработки и различных визуализаторов данных МРТ, функционал которых позволяет выделять область головного мозга, выполнять сегментацию и анализ изображений, оценивать толщину коры мозга, просматривать МРТ-изображения в различных режимах: BET, NiftySeg, xjView, RadiAnt DICOM Viewer, ImageJ, ROBEX. Имеются програм- мные средства MeVisLab, 3D‐DOCTOR, Visua- lization Toolkit, предназначенные для обработки изображений, визуализации 2D‐ и 3D‐графики и моделирования.

Несмотря на наличие готового ПО с открытыми кодами, необходимо создание новых ин- струментальных средств, интегрирующих име- ющиеся возможности для успешного решения задач предметной области врачами, занимающимися биомедицинскими исследованиями. В частности, сегодня задача отслеживания движения и хоуминга мезенхимальных стволовых клеток (МСК), трансплантированных в головной мозг, решается только с помощью методов мониторинга, основанных на использовании контрастирующих агентов без привлечения специальных методов научной визуализации и высокопроизводительной обработки, что снижает качество исследований [1, 2].

В настоящее время нет единого отечественного автоматизированного программного комплекса и соответствующего графического интерфейса с широким функционалом, которые позволили бы исследователю ставить и решать задачи высокоточного поиска в данных МРТ целевых объектов и областей интереса в интерактивном режиме работы, например, строить карты движения клеток [3]. Таким образом, новые фундаментальные исследования в области выявления существенной информации в данных МРТ могут создать реальные условия для поддержки лабораторных исследований врачей. Анализируя общую значимость разработанных на данный момент методов, необходимо отметить следующее.

1.    Известные в настоящее время средства автоматической сегментации мозга практически не обеспечивают требуемого экспертами качества. В связи с этим настоящая работа посвящена в том числе устранению имеющихся пробелов на основе когнитивной визуализации и средств искусственного интеллекта.

2.    Направления работ в области визуализации МСК, выявленные в ходе проведенного обзора, направлены в основном на повышение качества визуального 2D-представления материала путем подбора специальных медико-биологических средств подготовки и мечения МСК, что, несомненно, важно для исследователя, но требует дальнейшего совершенствования и развития на трехмерный случай. Кроме того, необходимы инструментальные средства для измерения динамических характеристик областей интереса.

3.    Методы, связанные с автоматическим анализом и выделением стволовых клеток, а также зон ишемического поражения при имеющемся достаточно низком уровне качества томографических данных, практически не освещены в мировой литературе.

Решение перечисленных актуальных задач открывает путь к автоматическому измерению и получению множества важнейших характе- ристик в помощь исследователю, включая направления миграции и скоростей передвижения МСК, измерения площадей и объемов поражений и т.д.

Обработка данных МРТ с когнитивным совмещением информации, полученной в разных режимах работы томографа

В результате выполненных исследований авторами были разработаны методы автоматического обнаружения и когнитивной визуализации областей ишемического поражения и скоплений трансплантированных стволовых клеток. Методы опираются на обработку DICOM-файлов, получаемых при сканировании головного мозга реципиентов (лабораторных крыс) в разных режимах работы томографа (T2 и SWI). В их основу положены алгоритмы фильтрации, нормирования, автоматического извлечения характерных признаков и интеллектуального анализа данных с привлечением аппарата сверточных нейронных сетей.

Большое внимание уделено 2D- и 3D-визуализации полученных результатов, в том числе когнитивной визуализации данных с использованием цветояркостных представлений и аффинных преобразований, что позволяет исследователю оперативно обнаруживать, на­блюдать с наилучших ракурсов и интерпретировать динамические процессы, проходящие в ишемизированном мозге. Зоны ишемического поражения выделяются отдельно на каждом срезе головного мозга, формируемом томографом, алгоритм выделения описан в работе [4]. На основе полученной информации строится объемная модель мозга и ишемического поражения. Алгоритм построения объемной модели состоит из двух этапов. На первом этапе определяются и маркируются все имеющиеся зоны поражения с помощью волнового алгоритма. На втором этапе вычисляются контуры с применением детектора границ Canny [5] (используется реализация из библиотеки OpenCV [6]) с последующим построением невыпуклых оболочек по методу ConcaveHull [7]. Расчет вогнутой оболочки осуществляется на основе метода Джарвиса [8] с применением предложенной в работе [9] методики выбора очередной точки вогнутого контура. Для визуализации зон ишемического поражения применялась триангуляция Зейделя [10, 11].

Метод обнаружения и выделения трансплантированных стволовых клеток основан на эвристических критериях поиска объектов на сложном фоне – в данном случае на снимках МРТ с низким разрешением, содержащих большое количество сосудов, которые из-за особенностей режима SWI визуализируются схожим со стволовыми клетками способом. Это происходит из-за способа мечения стволовых клеток: в качестве контрастного агента используются наночастицы оксида железа. Алгоритм обнаружения и выделения МСК описан в работе [12].

Полученные данные о расположении объектов интереса дают возможность совместить зоны ишемического поражения и скоплений стволовых клеток в единый когнитивный образ. Развитием описанного подхода служат построение объемных моделей объектов интереса и их совмещенная визуализация, демонстрирующая взаимное расположение зон интереса в мозге крысы сразу после введения стволовых клеток. В качестве модели скоплений используются сферы, размер которых определяется числом сгруппированных стволовых клеток. Все перечисленные алгоритмы и методы положены в основу графического интерфейса врача, занимающегося соответствующими исследованиями (рис. 1). Функционал интерфейса позволяет вращать модель в разных плоскостях и, таким образом, детально рассмотреть и изучить взаимное расположение зон ишемического поражения и скоплений клеток.

Цветовое представление выбрано таким образом, чтобы минимально отвлекать пользователя интерфейса от объектов, визуализируемых внутри мозга, в том числе скоплений стволовых клеток, областей ишемического поражения и т.д.

Трекинг скоплений стволовых клеток

Врачу важно наблюдать за процессами движения клеток во времени, то есть осуществлять трекинг. Разработанные алгоритмы и программы автоматизации процесса выделения и визуализации стволовых клеток позволяют строить карты миграции МСК во времени. Задача трекинга стволовых клеток решалась за счет сочетания автоматизированных алгоритмов выделения и визуализации скоплений МСК и морфинга. Фундаментальный принцип, лежащий в основе морфинга, – поиск отображения m: S ® D, где S – множество точек исходной модели; D – множество точек результирующей модели [13]. Морфинг является про- цессом и результатом движения отдельных точек si Î S к своим целевым положениям dj Î D, dj = m(si). В общем случае морфинг можно представить набором пар точек M = {(si, dj)½ si Î S, dj Î D} и реализовать путем вычисления местоположения точек во времени: pij = f(si, dj, t), где t – время. Реальный морфинг по данным МРТ – более сложная процедура, потому как в действительности исходное скопление точек может быть связано с несколькими скоплениями результирующего множества и наоборот. Решаемая задача сводится к нахождению оптимального отображе- ния m при заданных критериях качества.

Таким образом, задача трекинга стволовых клеток сводится к нахождению соответствий между скоплениями стволовых клеток и последующим визуальным преобразованием из начального состояния в конечное, что позволит пошагово воссоздать картину передвижения скоплений МСК. В рассматриваемом случае для решения задачи трекинга стволовых клеток применялись алгоритмы выделения скоплений МСК и метод сопоставления (регистрации) множеств точек Coherent Point Drift [14] в режиме non-rigid. На рисунке 2 демонстрируется вероятное движение стволовых клеток в течение семи дней с момента трансплантации. Точками отображены конечные позиции скоплений. Для визуализации траекторий движения использовались кривые Безье [15].

Особенностью данных эксперимента является наличие достаточно редких и продолжительно разнесенных во времени снимков МРТ, что определяется технологическими особенностями проводимых практических исследований в щадящих режимах съема информации с лабораторных животных. Применение адаптированного к условиям решаемой задачи метода Coherent Point Drift позволяет восстановить возможную правдоподобную картину движения МСК.

Одновременно с построением траекторий движения скоплений МСК проводится отслеживание пересечения этими траекториями зоны ишемического поражения (см. http://www.swsys. ru/uploaded/image/2019-3/2019-3-dop/20.jpg).

Это позволило исследователям изучать свойства хоуминга стволовых клеток при их трансплантации в мозг, пораженный ишемиче- ским инсультом.

Вычисление информативных параметров зон интереса

В графическом интерфейсе, помимо функции когнитивной визуализации, доступен просмотр статистической информации о зонах интереса. На экране отображаются информативные параметры скоплений стволовых клеток, такие как количество дней с момента введения МСК, общее количество траекторий, количество траекторий, пересекающих область ишемического поражения, средняя скорость перемещения скоплений в условных единицах, длина конкретной траектории, скорость перемещения скопления МСК (см. http://www. swsys.ru/uploaded/image/2019-3/2019-3-dop/21. jpg). В данном случае длины траекторий измеряются в пикселях, соответственно, скорость движения МСК является относительной. Зная реальные геометрические размеры головного мозга лабораторного животного, вычислить реальную скорость не составит труда.

Задача анализа и расчета информативных параметров областей ишемического поражения решается путем вычисления площади зоны на каждом срезе снимка головного мозга и последующего определения объема по формуле  где n – количество срезов на рассматриваемом снимке МРТ; h – расстояние между срезами; Si – площадь области ишемического поражения на i-м срезе. Аналогичным образом вычисляется объем мозга (см. http://www.swsys.ru/uploaded/image/2019-3/2019-3-dop/22.jpg).

В случае с МСК схема вычисления объема не применима, поскольку выделенные на ис- следованных снимках скопления клеток являются плоскими и не имеют продолжения на соседних срезах. Поэтому объем МСК в данном случае определяется суммой площадей выделенных объектов (см. http://www.swsys.ru/uploaded/image/2019-3/2019-3-dop/23.jpg).

Заключение

Выполненное исследование направлено на решение проблемы автоматизации процессов интеллектуальной обработки данных МРТ для обнаружения существенной информации при изучении процессов ишемического поражения мозга и миграции трансплантированных стволовых клеток. Полное решение этой проблемы позволит исследователям углубленно и опера- тивно решать задачи поиска, выделения, когнитивной визуализации и изучения свойств областей интереса, включая ишемические поражения и пути миграции и хоуминга стволовых клеток с учетом анатомических особенностей мозга крысы.

Разрабатываемые методы и средства интегрированы в программный комплекс, ориентированный на поддержку работы врачей, что создает новые возможности: избавляет от рутинной работы, позволяет быстро и точно определять ситуацию и планировать новые эксперименты. Исследования важны для клинической практики, в том числе при лечении ишемического инсульта.

Работа выполнена при финансовой поддержке проектов РФФИ №№ 16-29-07116-офи_м и 17‑29‑07002‑офи_м.

Литература

1.    Мелешина А.В. Современные методы визуализации стволовых клеток in vivo // Современные технологии в медицине. 2015. № 4. С. 174–188.

2.    Tang Y., Zhang C., Wang J., Lin X., Zhang L., Yang Y., Wang Y., Zhang Z., Bulte J.W., Yang G.Y. MRI/SPECT/Fluorescent tri-modal probe for evaluating the homing and therapeutic efficacy of transplanted mesenchymal stem cells in a rat ischemic stroke model. Advanced functional materials, 2015, vol. 25, pp. 1024–1034.

3.    Фраленко В.П., Хачумов М.В., Шустова М.В. Анализ инструментальных средств обработки и визуализации биомедицинских данных магнитно-резонансной томографии (обзор литературы) // Вестн. новых мед. технологий. 2016. № 4. С. 307–315.

4.    Fralenko V.P., Khachumov M.V., Shustova M.V. The tools for automatically finding and visualization of interest areas in the MRI data to support of medical researchers decision-making. Scientific and Technical Information Processing, 2017, vol. 44, no. 6, pp. 397–405.

5.    Canny J. A computational approach to edge detection. Pattern Analysis and Machine Intelligence, IEEE Transactions on, PAMI-8(6), 1986, pp. 679–698.

6.    OpenCV library. URL: https://opencv.org/ (дата обращения: 03.06.2019).

7.    The Concave Hull of a set of points – CodeProject. URL: https://www.codeproject.com/Articles/ 1201438/The-Concave-Hull-of-a-Set-of-Points (дата обращения: 03.06.2019).

8.    Cormen T.H., Leiserson C.E., Rivest R.L., Stein C. Introduction to algorithms. Massachusetts Institute of Technology: MIT Press, 2009, 1313 p.

9.    Moreira A., Yasmina M.S. Concave hull: A k-nearest neighbours approach for the computation of the region occupied by a set of points. Proc. 2nd Intern. Conf. GRAPP, 2007, pp. 61–68.

10. Liang W. Poly2Tri: Fast and robust simple polygon triangulation with/without holes by Sweep Line algorithm. URL: https://github.com/ttimpe/poly2tri (дата обращения: 03.06.2019).

11. Narkhede A., Manocha D. Fast polygon triangulation based on Seidel's algorithm. URL: http://gamma.cs.unc.edu/SEIDEL/ (дата обращения: 03.06.2019).

12. Фраленко В.П., Шустова М.В. Программный комплекс для автоматического выделения, визуализации и расчета информативных характеристик областей интереса в биомедицинских данных МРТ // Вестн. новых мед. технологий. 2017. № 4. URL: http://www.medtsu.tula.ru/VNMT/Bulletin/E2017-4/6-3.pdf (дата обращения: 03.06.2019).

13. Čmolík L., Uller M. Point cloud morphing. URL: http://old.cescg.org/CESCG-2003/LCmolik/paper.pdf (дата обращения: 03.06.2019).

14. Myronenko A., Song X. Point set registration: coherent point drift. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, no. 12. URL: https://arxiv.org/pdf/0905.2635.pdf (дата обращения: 03.06.2019).

15. Fralenko V.P., Shustova M.V., Khachumov M.V., Khachumov V.M. Isolation and tracking of transplanted mesenchymal stem cells on MRI images. Proc. 3rd RPC Comp. Tech. and Applications, Vladivostok, Russia, 2018, pp. 18–25. DOI: 10.1109/RPC.2018.8482208.

References

1. Meleshina A.V. Modern methods of visualizing stem cells in vivo. Modern Technologies in Medicine. 2015, no. 4, pp. 174–188 (in Russ.).
2. Tang Y., Zhang C., Wang J., Lin X., Zhang L., Yang Y., Wang Y., Zhang Z., Bulte J.W., Yang G.Y. , MRI/SPECT/Fluorescent tri-modal probe for evaluating the homing and therapeutic efficacy of transplanted mesenchymal stem cells in a rat ischemic stroke model. Advanced functional materials. 2015, vol. 25,
   pp. 1024–1034.
3. Fralenko V.P., Khachumov M.V., Shustova M.V. Analysis of instrumental means processing and visualization of biomedical data of magnetic resonance imaging. J. of New Medical Technologies. 2016, no. 4,
    pp. 307–315 (in Russ.).
4. Fralenko V.P., Khachumov M.V., Shustova M.V. The tools for automatically finding and visualization of interest areas in the MRI data to support of medical researchers decision-making. Scientific and Technical Information Processing. 2017, vol. 44, no. 6, pp. 397–405.
5. Canny J. A computational approach to edge detection. IEEE Trans. on Pattern Analysis and Machine Intelligence. PAMI-8(6), 1986, pp. 679–698.
6. OpenCV library. Available at: https://opencv.org/ (accessed Juny 3, 2019).
7. The Concave Hull of a set of points – CodeProject. Available at: https://www.codeproject.com/Articles/1201438/The-Concave-Hull-of-a-Set-of-Points (accessed Juny 3, 2019).
8. Cormen T.H., Leiserson C.E., Rivest R.L., Stein C. Introduction to Algorithms. MIT Press, 2009,
   1313 p.
9. Moreira A., Yasmina M.S. Concave hull: A k-nearest neighbours approach for the computation of the region occupied by a set of points. Proc. 2nd Intern. Conf. on Computer Graphics Theory and Applications (GRAPP). 2007, pp. 61–68.
10. Liang W. Poly2Tri: Fast and Robust Simple Polygon Triangulation With/Without Holes by Sweep Line Algorithm. Available at: https://github.com/ttimpe/poly2tri (accessed Juny 3, 2019).
11. Narkhede A., Manocha D. Fast Polygon Triangulation Based on Seidel's Algorithm. Available at: http://gamma.cs.unc.edu/SEIDEL/ (accessed Juny 3, 2019).
12. Fralenko V.P., Shustova M.V. Software complex for automatic localization, visualization and calculation of informative characteristics of interest areas in biomedical data of MRI. J. of New Medical Technologies. 2017, no. 4. Available at: http://www.medtsu.tula.ru/VNMT/Bulletin/E2017-4/6-3.pdf (accessed Juny 3, 2019).
13. Čmolík L., Uller M. Point Cloud Morphing. Available at: http://old.cescg.org/CESCG-2003/LCmolik/
    paper.pdf (accessed Juny 3, 2019).
14. Myronenko A., Song X. Point set registration: coherent point drift. IEEE Trans. on Pattern Analysis and Machine Intelligence. 2010, no. 12. Available at: https://arxiv.org/pdf/0905.2635.pdf (accessed Juny 3, 2019).
15. Fralenko V.P., Shustova M.V., Khachumov M.V., Khachumov V.M. Isolation and tracking of transplanted mesenchymal stem cells on MRI images. Proc. 3rd Russian-Pacific Conf. on Computer Technology and Applications (RPC). Vladivostok, Russia, 2018. DOI: 10.1109/RPC.2018.8482208.