Software & Systems

Построение трехмерных моделей объектов по набору изображений с микроскопа находит широкое применение в промышленности, например, для контроля качества на производстве, в науке, в частности, в минералогии, и имеет много других приложений. Для этой задачи важным является построение плоского объекта по набору изображений с микроскопа.

Разработка методов трехмерной реконструкции по изображениям с микроскопа началась еще в 90-х годах прошлого века. Одним из первых фундаментальных исследований по этой тематике стала работа [1]. Основным недостатком рассмотренного в ней метода является то, что он предполагает повсеместное наличие на поверхности объекта ярко выраженной текстуры. В дальнейших работах по данной тематике исследователи сконцентрировались на попытках ослабить это предположение и сделать алгоритм более стабильным за счет отброса ложных замеров глубины и интенсивной постобработки итоговой трехмерной модели [2, 3].

В данной статье предлагается новый метод реконструкции плоских объектов по набору изображений с микроскопа, отличительной чертой которого является повышенная устойчивость к нарушению модельных предположений. Авторами представлена новая схема отброса ложных замеров глубины, основанная на применении методов машинного обучения. Для обеспечения дополнительной устойчивости метода в ситуациях, когда на поверхности плоского объекта текстуры крайне мало или она отсутствует вовсе, предлагается новая схема для проверки того, можно ли по набору точек в трехмерном пространстве надежно построить плоскость.

Постановка задачи. Пусть под микроскоп установлен образец с поверхностью, имеющей плоские участки. Требуется оценить параметры плоскостей этих участков. Предполагается, что можно программно управлять фокусировкой микроскопа. Таким образом, имеется возможность получать наборы фотографий с разными положениями глубины резкости. Перед определением положения и ориентации конкретного плоского участка оператор сдвигает образец под микроскопом таким образом, чтобы он был в области видимости камеры. После этого требуется вычислить положение, ориентацию плоскости и единственные данные, которые можно использовать, – это фотографии образца с фиксированной ориентацией, полученные в разных положениях по фокусу.

Предлагаемый в данной работе метод базируется на идее алгоритмов трехмерной реконструкции по фокусировке [1] (далее – SFF). Как известно, при фотосъемке объектов только часть реальной сцены, которая лежит в пределах глубины резкости, оказывается на фотографии четкой, а та часть, что лежит вне глубины резкости, оказывается размытой. Таким образом, когда в какой-то области изображения видны резкие детали, можно с точностью до глубины резкости сказать, на каком расстоянии от камеры лежит эта область, если известно фокусное расстояние.

Все методы SFF [1–3] работают примерно следующим образом. Снимается набор фотографий сцены с разным положением глубины резкости, причем обычно это делается с постоянным шагом. Затем полученные изображения разбиваются регулярной сеткой на набор областей, и по всем областям для всех фотографий считается значение меры резкости [1]. Так как фотографии отличаются друг от друга только положением глубины резкости, области (i, j) на одном изображении соответствует область (i, j) на любом другом изображении из набора. Далее для каждой области ищется фотография, на которой мера резкости максимальна, и фокусное расстояние для этой фотографии принимается за оценку глубины по этой области. Затем по данным, выданным алгоритмами SFF, можно оценить положение плоскости грани с помощью методов математической статистики.

К сожалению, при отсутствии на поверхности сканируемого объекта видимой текстуры методы SFF дают ошибочную оценку глубины, так как даже когда поверхность находится в резкости на фотографии, из-за отсутствия текстуры на поверхности объекта на изображении ничего резкого нет. В работе [3] для решения этой проблемы предлагается отбрасывать те области, для которых на всех фотографиях максимальное среднеквадратичное отклонение цвета меньше заданного порога. Недостатком данного метода является то, что использование только максимального среднеквадратичного отклонения приводит к недостаточно качественной фильтрации ложных замеров. Авторами предлагается новый метод фильтрации ложных замеров, который использует для их отброса большее число характеристик замера.

Если на поверхности плоского участка объекта полностью отсутствует текстура, то невозможно надежно построить плоскость по изображениям, и такие ситуации необходимо обрабатывать. С помощью только локальных методов, отбрасывающих области без текстуры, сделать это нельзя, поскольку неизбежны ошибки. Поэтому в данной работе предлагается метод на основе теории статистической проверки гипотез, который по полученной оценке плоскости определяет, насколько вероятно то, что построенная оценка является исключительно результатом случайных ошибок в измерениях.

Обработка ненадежных замеров. Пусть пользователь позиционировал объект под микроскопом таким образом, что плоский участок, для которого надо оценить положение и ориентацию, находится в кадре. Тогда изображения, которые будут использоваться для оценки положения грани, снимаются в некоторой окрестности от текущего положения микроскопа с постоянным шагом по фокусу. Перемещение глубины резкости микроскопа достигается за счет движения оптики микроскопа и камеры на механической подвижке. Величина шага между последующими изображениями должна быть не более глубины резкости микроскопа, иначе существует вероятность то- го, что некоторые детали текстуры поверхности ни на одном изображении в наборе не будут в резкости.

Обозначим снятые таким образом изображения Ii, , и будем считать, что изображения представлены в градациях серого. Все изображения считаются зарегистрированными относительно глобальной системы координат микроскопа, и для каждого изображения считается известной и одинаковой глубина резкости d. Обозначим как o=o(x, y, i) точку в трехмерном пространстве, которая является пересечением луча, выпущенного из точки (x, y) на i-м изображении в направлении обзора, и области резкости этого изображения. Все параметры, необходимые для вычисления o по (x, y, i), считаются известными для каждого изображения.

По аналогии с [1] каждое входное изображение Ii разбивается регулярной сеткой на квадратные окна с центрами в , где , а . В каждом пикселе изображений из I вычисляется значение меры резкости, и по каждому изображению формируется карта резкости Si=F(Ii). В качестве меры резкости использовался оператор Лапласа как лучшая мера резкости в соответствии со сравнением в [4]: .

После этого значения меры резкости суммируются по каждому из окон регулярной сетки, описанной ранее. Сумму по окну (p,k) для изображения i обозначим как si(p,k). Из сумм мер резкости по соответствующим окнам на разных изображениях образуются так называемые профили меры резкости . Тогда для каждого окна (p,k) в качестве оценки положения участка сцены, который на него проецируется, выбирается  .

Оценка надежности замеров. Так как подавляющее большинство ложных замеров возникает из-за отсутствия текстуры на поверхности объекта в рассматриваемой области, существенную часть подобных замеров можно отбросить путем обнаружения таких областей. В отличие от [3] авторы предлагают схему для определения надежности оценки глубины по окну на основе формы профиля меры резкости. Понятно, что профиль, соответствующий достаточно текстурированной, а следовательно, надежной области, имеет один главный пик и, возможно, несколько существенно более слабых пиков, в то время как профиль ненадежной области имеет более случайную структуру и несколько сильных пиков, из которых затруднительно выбрать один главный. В связи с тем, что сформулировать четкое правило, которое по профилю меры резкости решает, надежный он или ненадежный, явно затруднительно, для этой цели предлагается использовать методы машинного обучения.

В качестве классификатора использовался Gentle AdaBoost [5] с порогом в роли базового классификатора. В качестве признаков для классификации наряду с максимальным среднеквадратичным отклонением цвета по окрестности [3] предлагается использовать различные характеристики поведения одномерного сигнала профиля меры резкости .

Итоговые признаки могут быть записаны следующими формулами: w; w/n; ; ; ; ; ; .

Для перечисления предлагаемых признаков обозначим как  индексы локальных минимумов сигнала, упорядоченных от самого сильного к самому слабому.

Для того чтобы снизить влияние шума в профиле меры резкости на признаки, каждый из перечисленных признаков вычислялся на нескольких уровнях гауссовского размытия сигнала. То есть, если перечисленные признаки обозначить как , то итоговый вектор признаков сигнала получается как  , где  обозначает свертку, а G(×) – гауссовское ядро свертки.

Для итогового классификатора порог классификации был подобран таким образом, чтобы ошибка второго рода (принять ненадежный замер за надежный) на контрольной выборке равня- лась 2 %.

Оценка положения плоскости. После от-броса ложных замеров методом, описанным ранее, количество ошибок во входных данных существенно падает. Полностью устранить ложные замеры только этим методом невозможно, так как построенный классификатор неизбежно пропустит часть из них. Поэтому для оценки положения плоскости по отфильтрованным данным необходимо применять методы робастной статистики.

Для устойчивой оценки плоскости предлагается использовать адаптивное преобразование Хафа [6].

Надо заметить, что с помощью данного ме- тода можно построить наилучшую плоскость по любому набору входных данных. Даже если данные полностью случайны и не представляют собой плоскость, предложенный метод по ним успешно проведет лучшую плоскость. Для решения этой проблемы предлагается следующий подход.

Пусть есть набор точек  в трехмерном пространстве. Будем считать, что все точки из этого набора – случайные ошибки измерения, то есть эти точки являются ложными замерами. Традиционно для моделирования поведения ложных замеров используется равномерное распределение, таким образом, , где W –область пространства, в которой расположены точки P. В нашем случае в качестве W разумно взять прямоугольник, ограничивающий все точки из P. Зафиксируем в пространстве плоскость l, проходящую через область W, и обозначим через W0 множество точек W, лежащих от зафиксированной плоскости на расстоянии, не превышающем некоторый заданный порог. То есть , где t – величина порога. Тогда понятно, что каждая точка из P принадлежит области W0 с вероятностью , следовательно, количество ложных замеров, попавших в плоскость, подчиняется биномиальному закону: .

Если в качестве основной гипотезы H0 использовать тот факт, что точки из P распределены равномерно, а в качестве критической статистики использовать c, то можно построить тест, проверяющий надежность плоскости, следующим образом. Найдем такое количество точек c0, при котором вероятность того, что c0 точек или более принадлежат зафиксированной плоскости, при H0, равном a, и положим a достаточно маленьким, например, равным 0,01. Тогда, если количество точек, которые попали в плоскость, превосходит c0, можно утверждать, что с большой вероятностью гипотеза H0 неверна и наблюдаемые точки имеют неравномерное распределение.

Изложенная идея сама по себе уже может быть основой для теста на предмет надежности построения плоскости по набору точек. После построения плоскости по набору точек вычислим количество точек, которые оказались на малом расстоянии от построенной плоскости, и сравним его с пороговым значением c0. Недостатком такого подхода является предположение о том, что в описанной схеме плоскость в пространстве расположена случайным образом. При построении же плоскости по набору точек с помощью пре- образования Хафа итоговая плоскость располагается в пространстве так, что количество точек, находящихся от нее на расстоянии, не превышающем порога, максимально. Таким образом, оценка c0, построенная описанным методом, может быть излишне оптимистичной. С учетом этого фактора авторами предлагается использовать вместо c0 величину c0, помноженную на значение корректирующего коэффициента l. Экспериментальным путем было установлено, что наилучших результатов удается добиться при использовании l=1,75.

Таким образом, предлагается следующая процедура проверки надежности построенной плоскости. После построения итоговой оценки плоскости вычисляется количество точек  из отфильтрованного набора, которые лежат на расстоянии, не превышающем половины глубины резкости микроскопа  от этой плоскости, и это количество точек сравнивается с c0, помноженным на корректирующий коэффициент. Если , то построенная плоскость считается надежной.

Для тестирования предложенные методы были реализованы в среде MATLAB и поставлены три эксперимента. Для экспериментов использовался микроскоп Leica Z6 APOA с установленной на него черно-белой камерой разрешения 1280´1024. Чтобы обеспечить максимальную точность, все тестовые изображения снимались с минимально возможной глубиной резкости (для микроскопа составляет порядка 15 микрон). Для получения тестовых изображений использовался набор из нескольких прозрачных минералов, на каждом из которых есть плоские полированные грани.

Таблица 1

Статистика точности работы методов построения плоскости и фильтрации замеров

В первом эксперименте оценивалось качество определения надежности замеров предложенным методом с машинным обучением. Для этого на тренировочной базе были обучены 2 классификатора. Первый классификатор использовал для классификации замеров на надежные и ненадежные только признак, предложенный в [3] (максимальное среднеквадратичное отклонение цвета в окне), а второй классификатор в дополнение к этому признаку использовал еще итоговые признаки, перечисленные ранее. На рисунке приведены ROC-кривые для обоих классификаторов. Оценка ошибок классификации осуществлялась методом скользящего контроля. Видно, что использование дополнительных признаков, характеризующих поведение профиля резкости, позволяет добиться более качественной классификации.

Во втором эксперименте оценивалась реальная точность построения плоскости предложенным методом. Для этого сканировались разные участки одной и той же грани минерала с разными параметрами освещения. По каждому из полученных наборов оценивались положение и ориентация плоскости грани. Результаты построения по всем наборам усреднялись, и считался разброс оценок плоскости относительно этого среднего. Результаты данного эксперимента для нескольких граней даны в таблице 1. В таблице приведен разброс оценок по углу нормали, так как это наиболее важный показатель точности построения плоскости. Также в таблице приведена статистика среднего количества ложных замеров до и после фильтрации. Каждая строка таблицы соответствует одной грани, которая сканировалась с разных направлений и при разных условиях освещенности. Видно, что предложенный метод позволяет добиться крайне высокой точности.

В третьем эксперименте оценивалось качество работы предложенного теста для определения надежности плоскости. Были сняты несколько наборов фотографий, на которых грани минерала достаточно грязные и детали хотя бы на части их поверхности различимы на глаз. Также были сняты некие наборы фотографий, на которых грань практически не видна, и на всех наборах оценены положение плоскости и ее надежность. Результат работы алгоритма оценки положения для каждого набора анализировался, вручную определялось, удалось ли корректно построить грань по этому набору.

Статистика, демонстрирующая согласованность результатов ручной разметки и результатов работы теста на надежность, приведена в табли- це 2. Как можно заметить, предложенный тест успешно обнаруживает ситуации, когда грани на изображениях видны слишком плохо, но при этом иногда он отбрасывает грани, по которым можно надежно построить плоскость.

Таблица 2

Результаты работы теста на надежность

В заключение отметим, что в статье была рассмотрена задача построения плоских объектов по набору изображений с микроскопа. Предложен новый метод для определения надежности замера положения для участка сцены по фокусу. Применение этого метода не ограничивается описанным приложением. Авторы надеются применить его для реконструкции по фокусу поверхностей произвольной формы. Также был предложен метод, позволяющий определить надежность построения плоскости по набору трехмерных точек, содержащему ложные замеры. Проведенные эксперименты подтверждают высокое качество и точность работы данных методов.

  Литература  

1. Nayar S.K., Nakagawa Y. Shape from Focus, PAMI, 1994, pp. 824–831.

2. Niederoest M., Niederoest and J. Scucka. Shape fromfocus: fully automated 3d reconstruction and visualizationof microscopic object. Proceedings of 6th International Conference on Optical 3-D Measurement Techniques, 2003.

3. Nair H.N., Stewart C.V. Robust focus ranging, CVPR, 1992, pp. 309–314.

4. Groen F.C., Youn, I.T., Ligthart G. A comparison of different focus functions for use in autofocus algorithms, Cytometry, 1985, pp. 81–91.

5. Friedman J., Hastie T., Tibshirani R. Additive Logistic Regression: a Statistical View of Boosting, Stanford University Tech. Report, 1998.

6. Ecabert O., Thiran J.-P. Adaptive Hough transform for the detection of natural shapes under weak affine transformations, Pattern Recognition Letters, 2004, pp. 1411–1419.