Адаптивная стабилизация изображения

Адаптивная стабилизация изображения

Иллюстрации

Показать все

Реферат

Область техники

Настоящее изобретение относится к видеотехнологии, и более конкретно, к стабилизации видеоизображения.

Предшествующий уровень техники

Объединение функциональных возможностей фотокамеры и видеоаппаратуры в мобильных телефонах, персональных цифровых ассистентах (ПЦА) и других карманных устройствах стало господствующей тенденцией на современном рынке бытовой электронной аппаратуры. Эту существующую возможность добавлять схемы воспроизведения изображений в такие карманные устройства можно отнести, отчасти, к доступности таких передовых методов сжатия, как MPEG-4 (Экспертная группа по вопросам движущегося изображения). С использованием MPEG или другой соответствующей схемы сжатия, видеокамера может принимать видеофрагменты и передавать их беспроводным способом на другие устройства.

Передача видеоизображений может осуществляться в реальном времени или не в реальном времени. Электронная почта передачи видеоизображений является все более и более популярным методом передачи не в реальном времени, который используется на нескольких рынках сбыта по всему миру. Используя электронную почту передачи видеоизображений, человек может использовать карманное устройство, чтобы выбирать видеоизображения или фрагменты мультимедиа, сжимать и записывать видеоизображения, и затем передавать сжатую версию этого фрагмента вместе с добавленным звуковым или видеосообщением на другое вычислительное устройство (такое как ПК (персональный компьютер) или другое карманное устройство). Приемное устройство, в свою очередь, может записывать фрагмент, или декодировать и воспроизводить фрагмент на дисплее. Методы отображения в реальном времени также находятся в развитии. Поскольку процессоры становятся более быстродействующими, способы сжатия становятся совершеннее, а полосы пропускания беспроводной связи больше, наличие на рынке видеотелефонной связи в реальном времени с использованием карманных устройств будет, вероятно, постоянно возрастать.

Дрожание видеокамеры или изображения представляют проблемную характеристику любой системы отображения видеоизображений. Дрожание видеокамеры представляет собой непреднамеренные перемещения устройства видеокамеры пользователем, которые, если они не скомпенсированы, проявляются в визуализированной последовательности изображений. Дрожание видеокамеры часто включает в себя маленькие, толчкообразные и чередующиеся типы перемещений. Дрожание видеокамеры должно различаться от нормального, преднамеренного движения видеокамеры, связанного со сканированием съемочного плана человеком, осуществляющим видеографию. В большинстве случаев, дрожание видеокамеры не вносит ничего в визуализацию съемочного плана. Вместо этого, дрожание может ставить под угрозу качество видеоизображения и, больше чем что-либо, раздражать зрителя. В то время как эта проблема универсально применима к свободно-перемещаемым видеокамерам, неблагоприятные воздействия, связанные с дрожанием изображения, только усиливаются в более легких и маленьких устройствах, таких как мобильные телефоны или подобные устройства.

Для уменьшения или устранения дрожания видеокамеры были предложены или реализованы некоторые технические приемы. Например, в портативных видеокамерах часто используются средства схем стабилизации изображения, для содействия удалению нежелательного "дрожания", связанного с толчкообразными и непреднамеренными перемещениями видеокамеры человеком, снимающим последовательность изображений. Обычные технические приемы включают в себя изучение движения видеокадров относительно друг друга, определение количества этого движения с использованием векторов движения на уровне кадра, интегрирование этих векторов вместе, увеличение и обрезание изображения и использование информации проинтегрированных векторов для "повторного позиционирования" кадров изображения, чтобы формировать более гладкую последовательность изображений.

Для разрастающегося базиса прикладных программ существующий способ больше не пригоден. Потребность в более эффективных, и тем не менее недорогих способах стабилизации изображения заметно увеличилась из-за таких факторов, как (i) потребность рынка во все более и более маленьких видеокамерах и видеомагнитофонах, и (ii) объединение в различные карманных устройствах (например, мобильных телефонах, персональных цифровых ассистентах, приемных устройствах GPS (Глобальной системы определения местоположения и т.д.) функциональных возможностей видеокамеры и видеоаппаратуры. Поскольку электронные устройства становятся меньше в отношении форм-фактора, они, к сожалению, допускают возможность захватывания, которая является менее "удобной в пользовании", чем более обычные или специально разработанные для захвата устройства, например, такие, как основанные на более тяжелых или более устойчивых моделях, или на видеокамерах, переносимых на плече. Далее, поскольку карманные устройства становятся более легкими, для пользователя становится труднее снимать изображения, свободные от заметного дрожания руки или других непреднамеренных перемещений пользователя, которые включаются в изображение. Дополнительно, маленькие карманные устройства имеют небольшое пространство для вмещения дополнительных громоздких схем, предназначенных исключительно для стабилизации изображения. Стоимость в этих карманных устройствах также становится важной проблемой.

Традиционные способы имеют недостатки, в частности, когда они предназначены для использования в карманных устройствах. Одна проблема, связанная с традиционным способом, используемым в применении для портативных видеокамер, состоит в том, что они часто не могут отличать естественное, преднамеренное движение, связанное со сканированием съемочного плана или перемещением объектов с одной стороны, от нежелательного и непреднамеренного движения, связанного с дрожанием видеокамеры с другой стороны. В результате, устройство может пытаться компенсировать движение, которое является естественным и желательной частью съемочного плана, подлежащего записи, приводя к погрешностям и визуально неприятным наведенным помехам при выводе. Как отмечено выше, проблема усиливается в случае легкого карманного устройства, где непостоянное движение или дрожание обычно являются более заметными.

Вследствие различных недостатков, которые продолжают присутствовать в обычных системах стабилизации, визуализированное видеоизображение может подвергаться существенному риску или даже оказаться испорченным. Например, дрожание изображения имеет тенденцию к размытости изображения, вызванной перемещением объекта, в конечной последовательности визуализированных изображений, даже когда включена функция стабилизации изображения. Далее, если область, подлежащая сканированию, нуждается в достаточно контрастной детали для стабилизатора, чтобы "захватить ее", стабилизатор может вызывать рыскание, колебание или подергивание. Эти ошибки только увеличиваются в выводимой последовательности видеоизображений. Другая обычная проблема состоит в том, что, как упомянуто выше, система стабилизации часто не может различать, является ли перемещение объекта или видеокамеры естественным, преднамеренным перемещением, или это дрожание видеокамеры. В этом случае, когда пользователь начинает медленное панорамирование или наклон, стабилизатор может ошибочно прогнозировать, что это перемещение является дрожанием видеокамеры, и приступить к его компенсированию. Результатом является нестабильная или неточная выводимая последовательность изображений.

Соответственно, существует потребность в технике удалять нестабильные движения в карманных и других видеоустройствах при сохранении естественного движения типа сканирования съемочного плана, с минимальной потребностью в дополнительных специализированных схемах и минимальным увеличением вычислительной сложности.

Сущность изобретения

В одном аспекте настоящего изобретения заявлен способ стабилизации изображения, содержащий множество последовательных кадров, включающий в себя оценивание множества векторов движения, где каждый вектор движения соответствует одному из кадров, адаптивное интегрирование каждого из векторов движения с векторами движения, соответствующими предыдущим кадрам, и использование адаптивно проинтегрированных векторов движения для компенсации кадров, чтобы стабилизировать изображение.

Согласно другому аспекту изобретения предусмотрен способ стабилизации изображения из последовательности изображений, включающей в себя n кадров, включает в себя сохранение каждого кадра от датчика изображения в буфере эталонных изображений, оценивание вектора V(n) движения на уровне кадра для каждого из n кадров, формирование адаптивно проинтегрированных векторов F(n) движения для каждого из n кадров, основываясь на V(n) и векторе F(n-1) движения, соответствующем предыдущим n-1 кадрам, и представление каждого из n кадров, как последовательность видеоизображений, смещая, когда необходимо, n-ый кадр в буфере эталонных изображений на F(n).

Согласно еще одному аспекту изобретения устройство стабилизации изображения для использования в устройстве, выполненном с возможностью захвата видеоизображения, включает в себя датчик изображения для захвата видеокадров, содержащих последовательность изображений, буфер, подсоединенный к датчику изображения для хранения эталонного изображения, связанного с захваченным (зафиксированным) кадром, схему оценивания движения, подсоединенную к буферу и действующую для вычисления вектора движения для каждого кадра, адаптивную схему интегрирования, подсоединенную к схеме оценивания движения и действующую для адаптивного интегрирования векторов движения, связанных с каждым кадром, чтобы выводить кумулятивный вектор движения для каждого кадра, и схему визуализации, подсоединенную к буферу и адаптивной схеме интегрирования и действующую для копирования стабилизированной части последовательности изображений.

Согласно еще одному аспекту изобретения предусмотрена схема стабилизации изображения, которая включает в себя средство для оценивания множества векторов движения на уровне кадра, соответствующих, соответственно, множеству кадров, содержащих последовательность изображений, средство для адаптивного интегрирования каждого из множества векторов движения на уровне кадра для формирования соответствующего вектора движения для использования в стабилизации изображения, и средство для визуализации каждого кадра с использованием, где необходимо, соответствующего вектора движения для использования в стабилизации изображения.

Должно быть понятно, что специалистам в данной области техники станут очевидными другие варианты осуществления настоящего изобретения из последующего подробного описания, в котором посредством иллюстрации показаны и описаны только несколько вариантов осуществления изобретения. Как будет понятно, изобретение вмещает другие и различные варианты осуществления, и его некоторые детали можно модифицировать в различных других отношениях, и все они не выходят за рамки сущности и объема настоящего изобретения. Соответственно, чертежи и подробное описание следует рассматривать, как иллюстративные по своему характеру, а не как ограничительные.

Краткое описание чертежей

Аспекты настоящего изобретения иллюстрируются посредством примера, а не посредством ограничения, на прилагаемых чертежах, на которых:

фиг. 1 - блок-схема карманного устройства, содержащего стабилизатор изображения согласно варианту осуществления настоящего изобретения.

Фиг. 2 - рисунок описываемого датчика изображения с перемещающимися кадрами.

Фиг. 3 - функциональная схема способа стабилизации изображения согласно варианту осуществления настоящего изобретения.

Фиг. 4 - блок-схема, представляющая адаптивное интегрирование согласно варианту осуществления настоящего изобретения.

Подробное описание

Подробное описание, сформулированное ниже в связи с прилагаемыми чертежами, предназначено служить в качестве описания различных вариантов осуществления настоящего изобретения и не предназначено для того, чтобы представлять единственные варианты осуществления, в которых настоящее изобретение может быть осуществлено на практике. Каждый вариант осуществления, описанный в этом раскрытии, обеспечивается просто как пример или иллюстрация настоящего изобретения и не должен рассматриваться обязательно, как предпочтительный или выгодный по сравнению с другими вариантами осуществления изобретения. Подробное описание включает в себя определенные подробности с целью обеспечения полного понимания настоящего изобретения. Однако специалистам в данной области техники должно быть очевидно, что настоящее изобретение может быть осуществлено на практике без этих определенных подробностей. В некоторых примерах известные структуры и устройства показаны в форме блок-схемы для избежания затенения концепций настоящего изобретения. Акронимы и другая описательная терминология могут использоваться просто для удобства и ясности и не предназначены для ограничения объема изобретения.

Хотя настоящее изобретение описано в контексте карманных электронных устройств, должно быть понятно, что изобретение может быть применимо к другим типам устройств, включая видеокамеры, кинокамеры, портативные видеокамеры и фактически любой тип электронных устройств, который включает в себя видеокамеру.

Потребительский спрос на карманные устройства, которые включают в себя все больше и все более сложные функциональные возможности, в последние годы стремительно растет. Недавно были представлены вместе на потребительском рынке карманные устройства, такие как мобильные телефоны и персональные цифровые ассистенты (ПЦА) и т.д., которые включают в себя технологию фиксации и передачи видеоинформации, то есть, видеокамеры. Способность конструкторов адресовать спрос на карманные устройства, которые включают в себя видеоаппаратуру с другими функциями, может быть приписана различным факторам. Один фактор заключается в доступности более быстрых и функционально превосходящих микропроцессоров и процессоров обработки цифровых сигналов. Другой заключается в уменьшении форм-фактора (размера) современных полупроводниковых микросхем и связанных компонентов, таких как монтажные платы и аккумуляторные батареи. Еще один относится к общим конструктивным усовершенствованиям в карманных модулях и непосредственно в видеокамерах. Например, современные модули видеокамер с датчиками с высокой цветовой разрешающей способностью на одной микросхеме являются недорогими и очень компактными.

Еще один фактор заключается в доступности усовершенствованных методов сжатия, например, таких как MPEG-4, которые обеспечивают возможность карманному устройству принимать, сжимать, сохранять, отображать и передавать на другие устройства большие количества видеоинформации или мультимедийной информации, связанной с фиксацией изображений, используя видеокамеру. Эти методы дополнительно обсуждаются ниже.

Независимо от применения, используется ли видеотелефонная связь в реальном времени или видеоконференция, электронная почта передачи видеоизображений или передача сообщений, потоковая передача видеоизображений, или в других случаях, в карманном устройстве может использоваться видеокодер, работающий в реальном времени для сжатия потока видеоинформации, производимой встроенным модулем видеокамеры, когда захвачен поток видеоизображений.

MPEG-4 представляет собой стандарт сжатия ISO/IEC (Международная организация стандартов/Международная электротехническая комиссия), разработанный MPEG (Экспертной группой по вопросам движущегося изображения). MPEG-4 является новым стандартом сжатия видеосигнала, обеспечивающим базовые методы для эффективного запоминания, передачи и манипуляции видеоизображениями в мультимедийных средах. MPEG-4 является результатом международных усилий, включающих в себя сотни исследователей и инженеров во всем мире. MPEG-4 сфокусирован на разработке стандарта, который достигает, помимо всего прочего, сильно расширяемых и гибких алгоритмов и конфигураций битовых потоков для кодирования видеоизображений, высокой устойчивости к ошибкам и восстановления через беспроводные каналы, и достижимости высокой независимой от сети. Например, с помощью кодирования MPEG-4 можно достигнуть хорошего качества изображения в некоторых прикладных программах, используя скорость передачи данных меньше, чем 32 кбит/сек.

MPEG-4 основан на достижении технологий своих предшественников (MPEG-1 и MPEG-2) и обеспечивает совокупность стандартизированных элементов для реализации технологий, таких как цифровое телевидение, интерактивные прикладные программы работы с графическими данными и интерактивный обмен всеми видами информации, среди прочего. Благодаря его надежности, высокому качеству и низкой скорости передачи в битах, MPEG-4 был реализован в беспроводных телефонах, ПЦА, цифровых видеокамерах, web-страницах Интернета и других применениях. Широкий диапазон инструментальных средств для стандарта обработки видеоизображений MPEG-4 обеспечивает возможность кодирования, декодирования и представления натуральных видеоизображений, стоп-кадров и искусственных графических объектов. Несомненно, что неминуема реализация будущих схем сжатия, обеспечивающих еще большую гибкость и более устойчивое отображение.

В общем, принципы сжатия MPEG и аналогичных стандартов базируются на реализации, при которой для передающего устройства нет необходимости посылать информацию, описывающую все и каждый пиксель для каждого кадра видеоизображений. Такой метод может потреблять неприемлемую величину полосы пропускания и/или приводить к передаче видеоизображений, имеющих неприемлемо низкую разрешающую способность. Вместо этого методы сжатия MPEG в общем функционируют, руководствуясь принципом, что после передачи "начального" кадра, затем в течение некоторого периода времени необходимо передавать только изменения от одного кадра к другому. Таким образом, например, в съемочном плане видеоизображений, в котором отдельный человек находится на переднем плане, а фон является темно-синим и остается темно-синим в течение некоторого периода времени, MPEG полагается на принцип, что нет необходимости расходовать полосу пропускания, повторно передавая информацию, представляющую темно-синий фон для каждого кадра. Вместо этого декодер MPEG может прогнозировать и визуализировать последующие кадры, принимая во внимание смещение, или движение, одного кадра относительно другого.

В качестве иллюстрации, MPEG и связанные методы сжатия могут использовать кодер для хранения последовательностей, начинающихся с полного кадра информации об изображении, и для кодирования последующих кадров, используя информацию, описывающую только изменения в начальном кадре (включая относительное движение в них объектов). При таком способе полное изображение по пикселям каждого кадра, которое иначе занимало бы недопустимые полосы пропускания, нет необходимости сохранять. Приемное устройство или дисплей использует декодер, чтобы разворачивать видеоинформацию и визуализировать последовательность изображений. Декодер воспроизводит начальный кадр последовательности, а затем визуализирует последующие кадры, интерпретируя связанную информацию движения по кадрам. В некоторых примерах кадры воспроизводятся с использованием информации движения, которая зависит не только от предыдущего кадра, но также и от последующего кадра. Используя эти методы, часто можно получать степени сжатия 40:1 или больше.

MPEG-4 является алгоритмом оценивания движения. Алгоритмы оценивания движения рассчитывают движение между последовательными видеокадрами и прогнозируют информацию, составляющую текущий кадр, используя рассчитанную информацию движения из предварительно переданных кадров. В схеме кодирования MPEG блоки пикселей кадра коррелируются с областями предыдущего кадра, и только различия между блоками и их коррелированными областями кодируются и сохраняются. Вектор сдвига между блоком и областью, которая наиболее близко соответствует ему, называется вектором движения.

Сформулированные по-другому стандарты сжатия видеосигнала подобно MPEG-4 прогнозируют данные изображений на основании предыдущего кадра, используя оценивание вектора смещения. Векторы смещения составляют математические представления направления и величины движения, которое имеет место в течение последовательности видеоизображений. Для увеличения эффективности кодирования, каждый кадр последовательности изображений может быть "разбит" на серию блоков (8 на 8 пикселей) или макроблоков (16 на 16 пикселей), и векторы движения, таким образом, рассчитываются для каждого из этих блоков. В варианте осуществления изобретения, использующем MPEG-4 с каждым блоком или макроблоком связана совокупность векторов движения, некоторые данные на уровне блока и адрес макроблока, идентифицирующий позицию макроблока относительно датчика изображения. В качестве иллюстрации, при передаче сжатого видеоизображения, после того, как переданы один или больше начальные кадры, вместо передачи полной матрицы информации по пикселям, связанной со следующей группой кадров, передаются векторы движения последующих кадров. Процесс может повторяться для последующих групп кадров.

При захвате видеоизображения векторы движения формируются в соответствии с движением видеокамеры и в соответствии с движением объекта (например, отдельного человека на переднем плане в вышеупомянутом примере). В процессе кодирования блоки пикселей кадра коррелируются с областями предыдущего кадра, и кодируются только различия между блоками и их коррелированными областями. На приемном конце (либо удаленном, либо в видеокамере), декодер MPEG-4 восстанавливает изображение, визуализируя начальный кадр для каждой группы кадров и затем визуализируя последующие кадры для каждой группы, используя информацию вектора движения, содержащуюся в векторах на уровне блока или макроблока. После группы кадров новый кадр может быть передан полностью. В некоторых примерах кадр визуализируется с использованием векторов движения и от предыдущих кадров, и от последующих кадров. Как можно заметить, оценивание движения играет основную роль в цифровых и электронных системах стабилизации.

В приложении MPEG-4, содержащем видеотелефон (в реальном времени) или электронную почту передачи видеоизображений (не в реальном времени), карманное устройство может использовать и кодер MPEG-4 для сжатия информации видеоизображений, полученную от датчика изображения ПЗС (прибора с зарядовой связью) или КМОП (комплементарного металло-оксидного полупроводника), и декодер MPEG-4, чтобы разворачивать принятые видеоизображения для визуализации на дисплее.

Стабилизация движения

Способ стабилизации согласно настоящему изобретению удаляет непостоянные движения в последовательностях изображений при сохранении естественного движения видеоизображения, а именно преднамеренного движения видеокамеры (такого как сканирование съемочного плана) и движения объектов (то есть, объектов в захваченном видеоизображении). Способ стабилизации, в зависимости от варианта осуществления изобретения, может быть реализован исключительно в: аппаратном средстве (например, одном или больше ПЦС (процессорах обработки цифровых сигналов), специализированном микроконтроллере, ИСПО (интегральных схемах прикладной ориентации) или других прикладных специализированных устройствах или оборудовании); комбинации аппаратных средств и программного обеспечения; или исключительно в программном обеспечении (то есть, стабилизация может выполняться ЦП (центральным процессором) карманного устройства). Однако в устройстве типа мобильного телефона процессор не такой мощный, отчасти из-за ограничений потребляемой мощности в устройстве с батарейным питанием, а также из-за проблем надбавки к цене, связанных с включением более сложных ЦП. Также, во многих устройствах схемы оценивания движения могут быть реализованы в разрозненных аппаратных средствах, снижая до минимума нагрузку на процессор карманного компьютера.

Согласно одному варианту осуществления изобретения схемы оценивания движения, связанные с оцениванием векторов движения и сжатия потока видеоизображений, также используются как часть схем стабилизации. Поскольку оценивание движения (типа используемой в MPEG-4) является дорогостоящим процессом в вычислительном отношении и поскольку стабилизация изображения также использует оценивание движения (см. ниже), использование схем оценивания движения для стабилизации изображения приводит к весьма эффективному использованию ресурсов процессора.

Блок-схема компонентов карманного устройства, использующего стабилизатор в соответствии с настоящим изобретением, показана на фиг. 1. Объектив 3 включает в себя датчик 23 изображения, такой как прямоугольная матрица приборов с зарядовой связью (ПЗС) или устройств КМОП, которые формируют плоскую поверхность и действуют, как приемник для света, содержащего информацию видеоизображения. Датчик 23 изображения собирает видеоданные, составляющие необработанные кадры изображений. Данные подаются через различные схемы для обработки, включая фильтры и усилители 1 и аналого-цифровой преобразователь 5. (Типы и количества схем могут изменяться в зависимости от конкретной видеокамеры и конфигурации). Цифровая информация, представляющая кадры, затем посылается в стабилизатор 7. В этом варианте осуществления изобретения стабилизатор включает в себя, среди других компонентов, схемы оценивания движения, используемые для вычисления векторов движения на уровне блока, для использования в сжатии видеосигнала. Хотя пример в данном описании представлен в контексте MPEG-4, можно рассматривать другие схемы сжатия, как попадающие в объем изобретения.

На выходе 17 стабилизатора 7 постоянно находятся цифровые данные изображений. В этом примере данные, возможно, сжаты схемами сжатия в стабилизаторе 7 для сохранения в запоминающем устройстве 21, таком как флэш-память или внутренний буфер кадров, или они могут передаваться на другое устройство, такое как в применении видеотелефона или электронной почты передачи видеоизображений. Для простоты примера предполагается, что данные на выходе 17 могут быть либо сжаты, либо, когда прикладная программа дает такие полномочия, данные могут быть в их необработанной, несжатой форме. Также предполагается, что функциональные возможности сжатия постоянно находятся в пределах стабилизатора, чтобы выходной сигнал 17 стабилизатора 7 мог включать в себя либо сжатые данные (для передачи или сохранения), либо необработанные, несжатые данные для немедленного просмотра на дисплее. (В других вариантах осуществления изобретения, данные могут быть сжаты до передачи на дисплей, где соответствующие схемы (не показаны) разворачивают данные и восстанавливают последовательность изображений). Далее, в некоторых вариантах осуществления изобретения, данные кадра могут непосредственно передаваться в буфер кадров, а затем посылаться обратно в стабилизатор и оценочную функцию движения для сжатия или дополнительной обработки. Механизм сжатия в этом случае, как предполагается, является частью стабилизатора, частично потому, что в вычислительном отношении усиленные схемы оценивания движения используются и для сжатия изображений, и для стабилизации дрожания видеокамеры.

Сжатые данные затем кодируются кодером 11 и модулируются модулятором 13 в формат, соответствующий передаче через предназначенную среду. Кодер 11 в данном описании относится не к кодеру MPEG-4, а скорее к кодеру данных, который присутствует в этом варианте осуществления изобретения. После модуляции на соответствующем несущем сигнале для беспроводной передачи, данные затем передаются через схемы 15 канальной связи.

Карманное устройство также может принимать сжатые данные MPEG через блок 15 канальной связи. Принимаемые данные демодулируются и декодируются демодулятором 17 и декодером 19, соответственно. Данные могут быть развернуты стабилизатором 7 и воспроизведены на дисплее 9, или они могут быть сохранены в запоминающем устройстве 21 для будущего использования.

В этом варианте осуществления схемы оценивания движения (встроенные в этом примере в стабилизатор 7) могут использоваться для двух целей. Во-первых, они используются для вычисления векторов движения на уровне блоков или макроблоков для сжатия MPEG. Во-вторых, вычисленные векторы из схем стабилизации движения используются для оценивания глобальных векторов (на уровне кадра), которые будут использоваться в процессе стабилизации, описанном ниже. В результате этого объединения в одно целое схем оценивания движения для использования в двух дискретных функциях, сохраняется значительное пространство, и независимые вычислительные схемы для оценивания движения, специфического для стабилизатора, не требуются. Эта конфигурация приводит к сохранению ценного доступного пространства в карманных устройствах, где пространство является дефицитным. Кроме того, вычислительная сложность сведена к минимуму, посредством чего повышая эффективность и не жертвуя чрезмерным расходом энергии аккумуляторной батареи. Однако следует отметить, что использование этих схем оценивания движения для обеих целей, хотя и выгодно в контексте MPEG-4 и некоторых других устройств, не является основным для применения на практике данного изобретения.

Обычная цифровая стабилизация изображения может корректировать дрожание видеокамеры различными способами. В одном варианте осуществления изобретения, поскольку дрожащее изображение поступает через объектив и поражает датчик изображения карманного устройства, система стабилизации изображения повторно позиционирует активную область микросхемы датчика изображения, то есть, физическое местоположение на микросхеме, с которого считывается изображение, чтобы компенсировать это дрожание. Этот этап "повторного позиционирования" выполняется посредством переадресации области микросхемы, с которой система выполняет считывание. Каждый пиксель в одном варианте осуществления связан с уникальным бинарным адресом. Информация пикселей, связанная с адресами, которые не являются частью повторно позиционированного изображения, просто игнорируется. Стабилизатор 7 оценивает глобальные (на уровне кадра) векторы движения в изображении, основываясь на векторах на уровне блоков и/или на уровне макроблоков, вычисленных на этапе сжатия MPEG, способом, который будет дополнительно обсуждаться ниже.

Как можно видеть, фактическое повторное позиционирование осуществляется одним из двух способов. Первый, и обычный, способ заключается в увеличении изображения (изменении масштаба изображения) в цифровой форме так, чтобы полный растр микросхемы датчика изображения в объективе 3 не использовался. Сформулированное по-другому изображение обрезается с части области датчика изображения (кадрируется), оставляя запас регулирования "неиспользованной области пикселей" по периметру датчика изображения. Стабилизатор может выполнять панорамирование в пределах полного растра микросхемы, чтобы захватывать изображение, когда оно передвигается. Изменение масштаба изображений и кадрирование изображений оставляют "допустимый предел погрешности", в котором система стабилизации видеокамеры может компенсировать дрожание видеокамеры.

Второй способ повторного позиционирования активной области микросхемы датчика приводит к эффекту, а именно обеспечивает запас регулирования, чтобы компенсировать дрожание видеокамеры. Этот способ использует датчик изображения или матрицу ПЗС с завышенными размерами так, чтобы существовали неиспользованные границы для активной области, которая будет перемещаться в ее пределах без первого изменения масштаба изображения. В одном варианте осуществления изобретения для этой цели от периметра датчика изображения добавляется запас регулирования в 8 пикселей, как будет обсуждаться дополнительно ниже. Этот неиспользованный запас регулирования используется для обеспечения области, предназначенной для компенсации дрожания изображений, как в вышеупомянутом способе. Однако при использовании этого способа устраняются способы изменения масштаба и кадрирования изображений в цифровой форме, отнимающие много времени. Этот последний способ особенно выгоден в контексте видеоизображений в реальном времени, потому что этапы, иначе необходимые для устранения дрожания видеокамеры, стали ненужными. В соответствии с изобретением может быть реализован либо этот способ, либо другой способ обеспечения запаса регулирования.

Фиг. 2 представляет собой иллюстрацию области формирования изображения видеокамеры, такой как встроенной в карманное устройство. Прямоугольник 25 представляет область, соответствующую датчику изображения видеокамеры, такому как датчик ПЗС. Датчик изображения представляет собой полупроводниковую микросхему, обычно состоящую из матрицы элементов КМОП или ПЗС, которые регистрируют свет, падающий на них, и фиксируют изображение. Прибор с зарядовой связью (ПЗС) представляет собой светочувствительную интегральную схему, которая сохраняет и отображает данные для изображения таким образом, что каждый пиксель в изображении преобразуется в электрический заряд, интенсивность которого связана с цветом в спектре цветов.

Прямоугольники 27 и 29 представляют кадры в пределах датчика 25 изображения, захваченные видеокамерой в два различных момента времени t1 и t2. В одном варианте осуществления каждый кадр может быть записан видеокамерой, назначая уникальный адрес каждому элементу ПЗС, так что рассматриваются только выходные сигналы конкретной матрицы адресов ПЗС, а остальные отбрасываются. На фиг. 2 для иллюстративных целей предполагается, что кадры 27 (захваченный в момент времени t1) и 29 (захваченный в момент времени t2) смещены относительно друг друга на определенную величину и направление в результате дрожания видеокамеры. Треугольники 31 представляют объект, который является частью записанного съемочного плана. Треугольник 31 проявляется в двух местоположениях, по одному в пределах каждого изображения 27 и 29. Треугольник 31 смещается из кадра 27 в кадр 29 в пределах области 25 формирования изображения; однако треугольники не смещаются относительно их соответствующих кадров 27 и 29. То есть, треугольник является стационарным в съемочном плане, который подлежит захватыванию; он не двигается относительно остальной части кадра. В этой иллюстрации перемещается только видеокамера.

Как иллюстрирует фиг. 2, дрожание видеокамеры представляет собой относящуюся ко времени концепцию, которая относится к случайному или несистематическому движению, основанному на уровне кадра. Различие между кадрами 27 и 29 может быть представлено глобальным смещением или глобальным вектором движения. Этот глобальный вектор движения представляет собой вектор движения на уровне кадра, означающий, что вектор содержит информацию о величине и направлении смещения полного кадра 29 относительно полного кадра 27. Этот вектор 33 смещения, представляющий эффективное различие между кадрами 27 и 29, может быть дополнительно разбит на х и у компоненты. Компонент х представляет величину смещения кадра 29 относительно кадра 27 в горизонтальном направлении, а компонент у представляет величину смещения кадров 29 относительно кадра 27 в вертикальном направлении. Соответственно, суммарный вектор 33 смещения на уровне кадра представляет собой сумму дискретного смещения на уровне кадра в x (горизонтальном) направлении и дискретного смещения на уровне кадра в у (вертикальном) направлении.

Отметим, что даже если было смещение треугольника 31 относительно его одного или обоих из его соответствующих кадров 27 или 29, измерение дрожания видеокамеры все еще может б