Software & Systems

Задача семантической сегментации – выделение объектов или областей интереса на изображениях – особенно сложна при нечетких границах регионов, сильной зашумленности, отсутствии цветовой информации. Подобными свойствами обладают, например, изображения, полученные с помощью медицинского оборудования. Поэтому традиционные методы сегментации изображений, основанные на разрастании регионов, выделении границ, кластеризации и т.д., подходят для решения лишь небольшого класса задач, связанных с обработкой таких изображений.

В данной статье предлагается новый метод выделения областей интереса, который применим к изображениям с названными выше свойствами. Работа метода продемонстрирована на примере задачи выделения очагов поражения на изображениях магнитно-резонансной томографии (МРТ) мозга. Очаги поражения на изображениях МРТ мозга – это обычно небольшие области повышенной или пониженной интенсивности, встречающиеся в нескольких местах. Иногда их количество достаточно велико. Они могут различаться между собой по форме и резкости границ, имеют вариации интенсивности и, как правило, визуально хорошо различимы по какому-либо признаку или набору признаков.

Предложенный алгоритм направлен на то, чтобы максимально учесть глобальные свойства подобных областей интереса – те свойства, которыми руководствуется человек при визуальном анализе.

Алгоритм основан на построении изолиний функции интенсивности, расчете признаков на основе этих изолиний и построении классификатора, который идентифицирует изолинии, являющиеся контурами областей интереса.

  Обзор существующих алгоритмов

В одной из первых работ в области выделения очагов поражения на изображениях МРТ мозга описан алгоритм, основанный на классификации пикселей в зависимости от их интенсивности с помощью искусственной нейронной сети [1].

Фундаментальная работа [2] посвящена выделению областей интереса на основе принципа нечеткой связности. Связным объектом считается множество точек, в котором каждая пара точек удовлетворяет некоторому критерию связности. В данном случае этот критерий строится на основе разности интенсивностей пикселей и их пространственной близости.

Алгоритмы из [1] и [2] являются полуавтоматическими, то есть требуют взаимодействия с пользователем. Для их работы необходимо предварительно отметить на изображениях достаточное количество точек, относящихся к другим областям, фону и/или непосредственно к областям интереса. Данный подход может оказаться неустойчивым, так как принципиально зависит от аккуратности пользовательского ввода. К тому же у разных пользователей результаты могут сильно отличаться.

Большинство существующих методов являются полностью автоматическими.

Достаточное количество работ посвящено алгоритмам, которые используют классификаторы для отнесения пикселя к объекту (области интереса) или фону (за пределами области интереса) подобно [1]. Вместо нейронных сетей применяются более современные и качественные классификаторы – метод опорных векторов, рандомизированный решающий лес и т.д. [3]. Для обучения классификаторов вместо отмеченных пользователем точек, как в [1] и [2], как правило, используются размеченные базы изображений.

В таких алгоритмах решение об отнесении к объекту или фону принимается на уровне отдельных пикселей, имеющих весьма ограниченный набор характеристик: интенсивность, координаты, информация о соседях. Этих сведений не всегда достаточно для принятия правильного решения.

Существуют и другие подходы. Так, метод, описанный в [4], использует кластеризацию пикселей по интенсивности с помощью алгоритма ISODATA (итерационная самоорганизующаяся методика анализа данных). Но при построении кластеров также берется лишь информация об интенсивности отдельных пикселей.

Авторский алгоритм

В данной работе предлагается новый подход – классификация происходит сразу на уровне линий, а не на уровне отдельных пикселей. Это позволяет учесть информацию о форме, резкости границ и другие признаки объекта интереса, что невозможно в случае попиксельной классификации.

Разработанный алгоритм является полуавтоматическим. На каждом изображении МРТ врач-ра­диолог выделяет прямоугольные регионы, в которых он подозревает наличие очагов поражения, если они имеются. Подобный подход описан в [5], где аналогичные ограничивающие прямоугольники называются слабыми метками. Далее внутри каждого из этих регионов очаги поражения выделяются автоматически.

Данный подход позволяет повысить качество разметки по сравнению с полностью автоматическими методами и в то же время значительно сократить объем рутинной работы, необходимой при ручной разметке.

Для построения замкнутых линий, среди которых имеются контуры искомых очагов поражения, применяется алгоритм построения изолиний функции интенсивности. Отбор линий, действительно являющихся контурами очагов поражения, происходит путем классификации методом опорных векторов.

Построение изолиний. Алгоритм построения изолиний в общем случае используется для построения контурных карт – карт изолиний некоторой функции от двух переменных. Изолиния функции f(x, y) – это геометрическое место точек (x, y), таких, что f(x, y)=const. Линия уровня h функции f(x, y) – это геометрическое место точек (x,y), таких, что f(x, y)=h. Если h входит в диапазон значений функции f(x, y), то для уровня h могут существовать одна или несколько изолиний.

Задача построения изолиний часто встречается в топографии для построения топографических карт с горизонталями (линиями равных высот), в метеорологии, геологии и в других областях.

В настоящей работе используется алгоритм, наиболее близкий к описанному в онлайн-доку­ментации к MATLAB (http://www.mathworks.com/help/ techdoc/creating_plots/f10-2524.html#f10-2614). В данном случае в роли функции f(x, y) выступает функция интенсивности пикселя I(x, y). По изображению строится карта высот, где высота точки (x, y) задается интенсивностью пикселя с координатами (x, y) на исходном изображении. Чтобы линии получались гладкими, определенным образом применяется интерполяция.

В контексте задачи выделения областей интереса наибольшего внимания заслуживают замкнутые изолинии. Так, существует набор уровней, для которых замкнутые изолинии в точности соответствуют контурам очагов поражения на изображениях МРТ мозга (см. рис. 1).

Классификация методом опорных векторов. Чтобы отделить замкнутые изолинии, соответствующие контурам искомых областей, от других замкнутых изолиний, требуется набор признаков, который будет использоваться классификатором. В задаче выделения очагов поражения на изображениях МРТ мозга врач-радиолог может идентифицировать нужные линии визуально. Необходимо подобрать признаки, наиболее схожие с теми, которыми пользуется человек при визуальном анализе и которые обеспечивают наилучшее разделение между искомыми и остальными замкнутыми изолиниями. Предлагается следующий набор признаков:

-      площадь фигуры, ограниченной линией;

-      периметр фигуры, ограниченной линией;

-      отношение средней интенсивности внутри и снаружи замкнутой линии;

-      разность интенсивностей вдоль внешней и внутренней границ замкнутой линии;

-      удлиненность фигуры, ограниченной линией.

Обучение классификатора. Для обучения классификатора строится обучающая выборка. Она состоит из n элементов, каждый из которых представляет собой вектор-признак xiÎRr и соответствующую ему метку класса yiÎ{+1, –1}: Xn={(xi, yi): i=1, 2, …, n}.

В эту выборку входят вектор-признаки, состоящие из описанных выше признаков для всевозможных замкнутых изолиний, построенных для некоторого диапазона уровней (интенсивностей), а также метки «очаг» или «не-очаг», соответствующие каждой из этих изолиний. Метка класса yi принимает два значения: 1 в случае «очаг» и –1 в случае «не-очаг».

С целью наибольшей репрезентативности обучающая выборка формируется на основе изолиний, построенных по разным изображениям и регионам интереса.

Для построения классификатора используется нелинейный метод опорных векторов с ядром RBF. Этот метод продемонстрировал лучшие результаты в отличие от метода с применением полиномиального ядра и линейного метода опорных векторов.

Автоматическое выделение областей интереса внутри указанного региона. Чтобы найти контуры областей интереса (в данном случае очагов поражения) внутри выделенного прямоугольного региона, необходимо сделать следующее:

-      построить изолинии для того же диапазона уровней, который использовался в обучающей выборке;

-      отобрать из построенных изолиний замкнутые линии;

-      для каждой из замкнутых линий рассчитать вектор-признак;

-      применить построенный в процессе обучения классификатор к каждому вектор-признаку;

-      оставить только те замкнутые линии, для которых классификатор выдал метку «очаг».

Таким образом, для каждого указанного прямоугольного региона с помощью описанной выше процедуры можно автоматически построить изображение, на котором обозначены контуры искомых областей.

Эксперименты

Для обучения и тестирования использовались данные, полученные из НИИ неотложной детской хирургии и травматологии (г. Москва). База состояла из МРТ-последовательностей мозга для семи пациентов, имеющих очаги диффузно-аксо-нального повреждения.

Тестирование проводилось методом кросс-ва­лидации. Каждая из семи МРТ-последователь­ностей поочередно была тестовой, а другие шесть в это время использовались для обучения. Результаты тестирования разработанного алгоритма и ISODATA приведены в таблице 1.

Таблица 1

Чувствительность алгоритма рассчитывается как , избирательность – как , DSC (Dice Similarity Coefficient – мера схожести множеств) – как , где TP (True Posi­tive) – количество изолиний (в предложенном алгоритме) или кластеров (в алгоритме ISODATA), правильно классифицированных как объект интереса («очаг»); FN (False Negative) – количество изолиний (кластеров), ошибочно классифицированных как фон («не-очаг»); TN (True Negative) – количество изолиний (кластеров), правильно  классифицированных как фон; FP (False Positive) – количество изолиний (кластеров), ошибочно классифицированных как объект интереса.

В таблице 2 предложенный алгоритм сравнивается с алгоритмом Xie [5], в котором используются похожие «слабые метки» – прямоугольные регионы интереса, предварительно указанные врачом.

Таблица 2

Из таблиц 1 и 2 видно, что и чувствительность предложенного алгоритма значительно превосходит аналоги, и коэффициент DSC выше. О показателях избирательности следует сказать, что большинство лишних изолиний отбрасывается еще на этапе выбора диапазона уровней для построения изолиний, потому линий с меткой «не-очаг» в обучающей выборке всегда примерно в 2 раза меньше, чем линий с меткой «очаг». Таким образом, показатели избирательности предложенного алгоритма объективно выше приведенных в таблице значений. Более того, чувствительность алгоритма в медицинских приложениях, как правило, важнее избирательности, так как цена ошибки первого рода (пропустить заболевание) гораздо выше цены ошибки второго рода (ложной тревоги).

В своей работе авторы проводили сравнение предложенного алгоритма с базовыми алгоритмами сегментации – детектором краев Canny и разрастанием регионов. Результаты сравнения приведены на рисунке 2.

Как видно из рисунка 2а, алгоритм Canny дает слишком много лишних линий, к тому же контуры очагов поражения могут получаться незамкнутыми. Разрастание регионов (рис. 2б) в целом демонстрирует лучшие результаты, чем детекторы краев, но этот метод пропускает много пикселей, относящихся к очагам поражения, и/или дает много ложных срабатываний. Предложенный авторами алгоритм значительно превосходит оба этих алгоритма (рис. 2в).

Изолинии были построены для 20 уровней интенсивности из диапазона  . Эти значения подобраны в ходе экспериментов.

Для реализации предложенного алгоритма было разработано интерактивное приложение на языке C#. Основными функциями приложения являются:

-      загрузка и отображение изображений МРТ в формате DICOM;

-      предложенный полуавтоматический алгоритм для выделения очагов поражения (отдельные окна для выделения прямоугольных регионов интереса, обучения классификатора, тестирования);

-      дополнительные функции для предварительной обработки изображений (эквализация гистограммы, гамма-коррекция и др.).

На основании изложенного можно сделать следующие выводы. Предложенный подход к выделению областей интереса на изображениях основан на классификации изолиний, он может быть особенно полезен при обработке изображений, полученных с помощью медицинского оборудования. Разработанный алгоритм применен к задаче выделения очагов поражения на изображениях МРТ мозга. В работе проведен анализ существующих алгоритмов для решения подобных задач, перечислены их недостатки. Показано значительное превосходство предложенного алгоритма над базовыми алгоритмами сегментации, основанными на выделении краев, разрастании регионов, кластеризации. Кроме того, проведено сравнение алгоритма с одним из новых полуавтоматических алгоритмов выделения очагов поражения [5], которое показало общее превосходство предложенного алгоритма почти на 10 %.

Авторы выражают благодарность А.В. Петряйкину, А.С. Крылову и Т.А. Ахадову за ценные консультации.

Литература

1.     Zijdenbos A.P., Dawant B.M., Margolin R.A., Palmer A.C. Morphometric Analysis of White Matter Lesions in MR Images: Method and Validation, IEEE Transactions on Medical Imaging. 1994. Vol. 13, № 4, pp. 716–724.

2.     Udupa J.K., Samarasekera L.W.S., Miki Y. [et al.]. Multiple Sclerosis Lesion Quantification Using Fuzzy-Connectedness Principles. IEEE Transactions on Medical Imaging. 1997. Vol. 16, № 5, pp. 598–609.

3.     Scully M., Anderson B., Lane T. [et al.]. An Automated Method for Segmenting White Matter Lesions through Multi-level Morphometric Feature Classification with Application to Lupus, Frontiers in Human Neuroscience. 2010. Vol. 4, № 27.

4.     Hillary F.G., Biswal B.B. Automated Detection and Quantification of Brain Lesions in Acute Traumatic Brain Injury Using MRI. Brain Imaging and Behavior. 2009. Vol. 3, pp. 111–122.

5.     Xie Y., Tao X. White Matter Lesion Segmentation Using Machine Learning and Weakly Labeled MR Images. Proceedings of SPIE. 2011. Vol. 7962, pp. 79622G. URL: http://spiedigitallibra­ry.org/proceedings/resource/2/psisdg/7962/1/79622G_1 (дата об­ращения: 14.09.2011).