Локализации объектов и анализ движения на динамических изображениях

Для решения задачи локализации, распознавания и дальнейшего анализа движения объектов на динамических изображениях было предложено и реализовано два подхода. Первый подход основан на сегментации движения, и может быть условно отнесен к алгоритмам первичного уровня, не предполагающим использование контекста и моделей. Второй подход предполагает наличие моделей возможных объектов сцены и ее неизменяемого фона. При этом используются статистические параметры фона, полученные на первичном уровне анализа изображений.

Простейшие алгоритмы сегментации применяют поточечный пороговый классификатор: фон, если изменение яркости в данной точке изображения во времени меньше некоторой величины, и объект - в противном случае.

В ряде следующих случаев такие алгоритмы не работают:

• фон содержит сегменты с осциллирующей яркостью (например, деревья в ветреную погоду);
• глобальное изменение освещенности сцены (облачность);
• локальное изменение освещенности фона (тень);
• движущийся объект однородного цвета. 

Для преодоления подобных сложностей в алгоритмах сегментации движения, было предложено использовать упрошенную функцию оптического потока g(x,y,t), вместо простой производной по времени функции яркости точки.

Для более эффективного анализа (например, с целью устранения артефакта сегментов с осциллирующей яркостью) предложено использовать также среднесрочную и долгосрочную функции истории изменения. Обе, как среднесрочная и долгосрочная функции двухкомпонентные. Первый компонент является усреднением функции g(x,y,t) по выбранному интервалу времени, а второй средним уклонением. Таким образом, дискриминантная функция «объект – фон» выражается как логическая (нелинейная) суперпозиция ранее полученных функцией истории поточечных изменений изображения.

Пороги дискриминантной функции устанавливаются на основе обучающей программы с привлечением тестовых динамических изображений. Для примера рассмотрим осциллирующие изменения яркости точки, связанные с периодическим движением фона. Правильный выбор периода усреднения демпфирует эффект осцилляции. При этом, как и во многих задачах слежения, необходима начальная инициализация модели сцены (то есть некоторый период времени, на протяжении которого программа «обучается», подбирая нужные параметры).

Поточечная сегментация с использованием предложенной дискриминантной функции неизбежно ведет к возникновению нерегулярных ошибок (аналог импульсных помех на изображении). Для устранения подобных ошибок необходимо использовать обнаружитель «выбросов». В работе предложено использовать обнаружитель на основе градиентной связанности.

В некоторых ситуациях не достаточно только временного анализа динамических изображений. Глобальное изменение освещенности сцены плюс немодельное локальное изменение освещенности (то есть не предусмотренное исследованной моделью динамической сцены, и соответственно, отсутствие подобных артефактов на тестовых динамических изображениях), часто приводит к сбою работы алгоритма в целом.

Известно, что в подобных задачах компьютерного зрения можно использовать стерео изображения. Действительно, ситуация с классификацией фона может быть значительно упрощена, если возможно получение трехмерной информации анализируемой динамической сцены. В самом деле, карта глубин сцены не зависит от временного изменения освещенности анализируемой сцены, а изменение карты глубин сцены является идеальной функцией для сегментации движения.

Проблема заключается в том, что алгоритмы, вычисляющие карту глубин хорошего качества требуют значительных вычислительных затрат, что не позволяет использовать подобные методы в приложениях, требующих слежения в темпе реального времени. Чтобы преодолеть подобное противоречие, в работе предложено использовать новую технику стерео согласования, которая подробно описана в публикациях. Предложенный метод является аналогом стерео согласования на основе динамического программирования, и поэтому может выполняться со скоростью близкой к реальному времени, при этом предложенный алгоритм позволяет вычислить карту глубин значительно точнее, чем улучшаемый прототип.

Исследовалась возможность использования гибридной функции истории поточечных изменений, как изображения, так и карты глубин. То есть, в том случае, когда классификация с использованием дискриминантной функции на основе поточечных изменений яркости изображения давала ошибку, классификатор на основе функции изменения карты глубин был точен. Компьютерные эксперименты на модели автоматизированного комплекса слежения подтвердили, что в этом случае алгоритм сегментация движения более эффективен.

Большинство задач слежения, так или иначе, связано с сегментацией и распознаванием строго определенных движущихся объектов, например, таких как машины на дорогах. Среди подобных задач особое место занимает проблема слежения и распознавания характера движения человека. Задача решается в несколько этапов: сначала часть изображения классифицируется как объект, затем этот объект классифицируется как силуэт человека, наконец, в каждый момент времени распознается конкретная поза человека.

Задача значительно упрощается, в случае если объект интереса только человек. Все остальные движущиеся объекты классифицируются как фон. Наличие модели движения человека упрощает задачу классификации «объект – фон», но параллельно возникает целый ряд других проблем. Одна из них – верификация модели. Предполагается, что «агент» или объект слежения может выполнять ограниченный ряд простейших действий, таких как ходьба, бег, прыжок и т. п. Последовательность поз, составляющих распознаваемое действие, верифицируется силуэтом сегмента движения. Эта задача неоднозначна сама по себе и решается с привлечением аппарата теории вероятности и методов основанных на применении фильтров Калмана. Каждая поза характеризуется многомерным вектором, однозначно характеризующий скелетон трехмерной модели человека. Извлечение статистики с использованием тестовых динамических изображений, сильно осложнено тем, что даже один и тоже человек выполняет специфическое действие с различными скоростями. Поэтому синхронизация различных векторов движения необходима.

Ранее подобная синхронизация выполнялась вручную. Существует также автоматическая техника синхронизации по ключевым кадрам, которая работает не совсем надежно и часто требует ручной корректировки. В данных исследованиях был предложен и реализован метод автоматической плотной синхронизации. Основная идея метода аналогична той, что используется при согласовании строк на стереоизображении. Предложенный алгоритм был программно реализован и при использовании показал высокую точность синхронизации.

В результате проведенных исследований разработан новый подход к анализу динамических изображений статических видеокамер, основанный на функции истории поточечных изменений изображения. На основе предложенного подхода был реализован метод локализации и извлечения "полезной" информации из обрабатываемого динамического изображения. При разработке метода использовался синтез статистических методов классификации объектов, а также и традиционные методы оценки движения на динамических изображениях. На базе предложенного метода была создана программная модель автоматизированных комплексов слежения, компьютерное тестирование модели показало высокую эффективность предложенного подхода.