Способ и устройство для предоставления режима изменения уменьшенного разрешения для многовидового кодирования видеосигнала

Способ и устройство для предоставления режима изменения уменьшенного разрешения для многовидового кодирования видеосигнала

Иллюстрации

Показать все

Реферат

Перекрестная ссылка на родственные заявки

Эта заявка заявляет преимущество предварительной заявки на патент США под порядковым номером 60/757,372, озаглавленной "BIT Illumination and Color Compensation System for Multi-view Video Coding", поданной 9 января 2006 г., которая полностью включена в данный документ посредством ссылки. Более того, эта заявка заявляет преимущество предварительной заявки на патент США под порядковым номером 60/757,289, озаглавленной "Multi-View Video Coding System", поданной 9 января 2006 г., которая полностью включена в данный документ посредством ссылки. Более того, эта заявка относится к предварительной заявке, номер дела для поверенного PU060004, озаглавленная "Methods and Apparatus for Multi-View Video Coding", которая заявлена обычным образом и полностью включена в данный документ посредством ссылки.

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение в целом относится к кодированию и декодированию видеосигнала и, более конкретно, к способам и устройству для коррекции освещенности и цвета для многовидового кодирования видеосигнала (MVC). Цветовая коррекции может использоваться для, по меньшей мере, одного цветового компонента.

УРОВЕНЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ

Последовательность многовидового кодирования видеосигнала (MVC) является набором из двух или более последовательностей видеосигнала, которые захватывают одну и ту же сцену с разных видовых точек. Широко признано, что многовидовое кодирование видеосигнала является ведущей технологией, которая служит большому разнообразию приложений, включая бесплатную видовую точку и 3-мерные видеоприложения, развлекательные приложения, наблюдение и так далее. Эти многовидовые приложения часто включают себя очень большое число видеоданных.

В практическом сценарии системы многовидового кодирования видеосигнала, включающие в себя большое число камер, строятся используя разнотипные камеры или камеры, которые полностью не откалиброваны. Это приводит к различиям в сигналах яркости и цветности, когда те же части сцены рассматриваются различными камерами. Более того, расстояние и расположение камеры также влияет на освещенность, в том смысле, что та же поверхность может отражать свет по-разному, при восприятии под различными углами. При этих сценариях, различия в сигналах яркости и цветности уменьшат эффективность прогноза видеопомех.

Несколько подходов предшествующего уровня техники разработаны для решения проблемы несоответствия освещенности между парами изображений. В первом подходе предшествующего уровня техники она решена на основе значений перекрестной энтропии, использовать ли локальную модель изменения яркости. Если перекрестная энтропия больше, чем пороговое значение, глобальная и локальная коррекция изменения яркости применяется, используя множитель (масштабный коэффициент) и поле смещения. Однако локальные параметры могут лишь выбираться после того, как найден наилучший блок для сопоставления, что может быть невыгодным, когда несоответствия освещенности являются значительными. Аналогично, второй подход предшествующего уровня техники предлагает модифицированный подход оценки движения, но используется глобальная модель коррекции освещенности. Также второй подход предшествующего уровня техники предлагает поблочный способ двухпозиционного регулирования, однако подобный способ основан на MSE. В третьем подходе предшествующего уровня техники обращаются к проблеме несоответствия освещенности в последовательностях видеосигнала. В третьем подходе предшествующего уровня техники предложены параметр масштабирования/смещения для макроблока 16×16 и кодирование с предсказанием параметра. Третий подход предшествующего уровня техники также предлагает переключатель задействования на основе затрат с искажением скорости. Однако третий подход предшествующего уровня техники в основном фокусируется на временных последовательностях видеосигнала. В последовательностях видеосигнала проблема несоответствия освещенности не возникает постоянно как при прогнозе видеопомех.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

К этим и другим недостаткам и затруднению предшествующего уровня техники обращается настоящее изобретение, которое направлено на способы и устройство для коррекции освещенности и цвета для многовидового кодирования видеосигнала (MVC). Цветовая коррекции может использоваться для, по меньшей мере, одного цветового компонента.

Согласно аспекту настоящего изобретения предусматривается видеокодер. Видеокодер включает в себя кодер для кодирования изображения, допуская цветовую коррекцию, по меньшей мере, одного цветового компонента в прогнозировании изображения на основе коэффициента корреляции, относящегося к цветовым данным, между изображением и другим изображением. Изображение и другое изображение имеют различные видовые точки и оба соответствуют многовидовому контенту для той же самой или аналогичной сцены.

Согласно другому аспекту настоящего изобретения предусматривается способ видеокодирования. Способ включает в себя кодирование изображения, допуская цветовую коррекцию, по меньшей мере, одного цветового компонента в прогнозировании изображения на основе коэффициента корреляции, относящегося к цветовым данным, между изображением и другим изображением. Изображение и другое изображение имеют различные видовые точки и оба соответствуют многовидовому контенту для той же самой или аналогичной сцены.

Согласно еще одному аспекту настоящего изобретения предусматривается способ видеодекодер. Видеодекодер включает в себя декодер для декодирования изображения, допуская цветовую коррекцию, по меньшей мере, одного цветового компонента в прогнозировании изображения на основе коэффициента корреляции, относящегося к цветовым данным, между изображением и другим изображением. Изображение и другое изображение имеют различные видовые точки и оба соответствуют многовидовому контенту для той же самой или аналогичной сцены.

Согласно дополнительному аспекту настоящего изобретения предусматривается способ видеодекодирования. Способ включает в себя декодирование изображения, допуская цветовую коррекцию, по меньшей мере, одного цветового компонента в прогнозировании изображения на основе коэффициента корреляции, относящегося к цветовым данным, между изображением и другим изображением. Изображение и другое изображение имеют различные видовые точки и оба соответствуют многовидовому контенту для той же самой или аналогичной сцены.

Эти и другие аспекты, характеристики и преимущества настоящего изобретения станут очевидными из последующего подробного описания примерных вариантов осуществления, которое необходимо прочесть в связи с сопроводительными чертежами.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Настоящее изобретение может быть лучше понято в соответствии со следующими примерными фиг., в которых:

Фиг.1 является блок-схемой для примерного MVC-кодера (многовидовое кодирование видеосигнала), к которому настоящие принципы могут применяться согласно их варианту осуществления;

Фиг.2 является блок-схемой для примерного MVC-декодера (многовидовое кодирование видеосигнала), к которому настоящие принципы могут применяться согласно их варианту осуществления;

Фиг.3 является структурной схемой для примерного способа кодирования видеосигнала с коррекцией освещенности для многовидового видеоконтента согласно варианту осуществления настоящих принципов;

Фиг.4 является структурной схемой для примерного способа декодирования видеосигнала с коррекцией освещенности для многовидового видеоконтента согласно варианту осуществления настоящих принципов; и

Фиг.5 является блок-схемой для примерного устройства для формирования кадра с данными операции с коррекцией освещенности для многовидового видеоконтента, к которому могут применяться настоящие принципы согласно их варианту осуществления.

ПОДРОБНОЕ ОПИСАНИЕ

Настоящее изобретения направлено на способы и устройство для коррекции освещенности и цвета для многовидового кодирования видеосигнала (MVC). Цветовая коррекции может использоваться для, по меньшей мере, одного цветового компонента.

Преимущественно, варианты осуществления настоящего изобретения предоставляют улучшенное сжатие кода многовидовых данных при одновременной передаче вещательных программ. Как используется в данной заявке многовидовая последовательность является набором из двух или более последовательностей видеосигнала, которые захватывают ту же сцену с разных видовых точек. Следует принимать во внимание, что идеи коррекции освещенности и цвета, как раскрыто в данном документе, могут использоваться совместно или раздельно в различных вариантах осуществления настоящих принципов, при сохранении объема настоящих принципов.

Настоящее описание иллюстрирует принципы настоящего изобретения. Таким образом, будет принято во внимание, что специалисты в данной области техники смогут разработать различные мероприятия, которые, хотя и не явно описаны или показаны в данном документе, реализуют принципы изобретения и включены в рамках его сущности и объема.

Все примеры и обусловленный язык, изложенные в данном документе, подразумевают педагогические цели, чтобы помочь читателю в понимании принципов изобретения и идей, привнесенные изобретателем для дополнения уровня техники, и должны быть истолкованы как являющиеся без ограничения к подобным конкретно изложенным примерам и условиям.

Более того, все утверждения в данном документе, излагающие принципы, аспекты и варианты осуществления изобретения, а также их конкретные примеры, подразумевают охват и его структурных, и функциональных эквивалентов. Дополнительно, подразумевается, что подобные эквиваленты включают в себя и известные в настоящее время эквиваленты, а также эквиваленты, которые будут разработаны в будущем, т.е. любые разработанные элементы, которые выполняют ту же самую функцию, безотносительно к структуре.

Таким образом, например, будет принято во внимание специалистами в данной области техники, что блок-схемы, представленные в данном документе, представляют концептуальные представления иллюстративных схем, реализующих принципы изобретения. Аналогично, будет принято во внимание, что любые блок-схемы последовательности операций способа, блок-схемы, диаграммы перехода из одного состояния в другое, псевдокод и тому подобное представляют различные процессы, которые могут большей частью быть представлены в машиночитаемом носителе и так выполняться посредством компьютера или процессора, показан ли подобный компьютер или процессор явно или нет.

Функции различных элементов, показанных на фиг., могут предусматриваться посредством использования выделенного аппаратного обеспечения, а также аппаратного обеспечения, допускающего выполнение программного обеспечения в ассоциативной связи с соответствующим программным обеспечением. Когда предусмотрены процессором, функции могут быть предусмотрены единственным выделенным процессором, единственным общим процессором или множеством отдельных процессоров, некоторые из которых могут быть совместно использованы. Более того, явное использование термина "процессор" или "контроллер" не следует толковать для ссылки исключительно на аппаратное обеспечение, допускающее выполнение программного обеспечения, и может неявным образом включать в себя без ограничения аппаратный цифровой процессор сигналов (("DSP"), постоянное запоминающее устройство ("ROM") для хранения программного обеспечения, оперативное запоминающее устройство ("RAM") и энергонезависимое запоминающее устройство.

Другое аппаратное обеспечение, традиционное и/или пользовательское может также включаться. Аналогично, любые переключатели, показанные на фигурах, являются лишь концептуальными. Их назначение может выполняться посредством действия программной логической схемы, посредством специализированной логической схемы, посредством взаимодействия программного управления и специализированной логической схемы, или даже вручную, конкретная методика, выбираемая конструктором, как более конкретно понятная из контекста.

В формуле изобретения из этого документа любой элемент, выраженный как средство для выполнения конкретного назначения, подразумевается для охвата любым способом выполнение этого назначения, включающего, например, a) сочетание элементов схемы, которое выполняет это назначение или b) программное обеспечение в любой форме, включающее, следовательно, встроенное программное обеспечение, микрокод или тому подобное, объединенное с соответствующей схемой для выполнения этого программного обеспечения для осуществления назначения. Изобретению, как определено подобной формулой изобретения, свойственно на самом деле то, что функциональные возможности, предусматриваемые различными изложенными способами, сочетаются и сводятся вместе способом, к которому обязывает формула изобретения. Таким образом, принимают во внимание, что любое средство, которое может предусматривать эти функциональные возможности, эквивалентно тем, которые показаны в данном документе.

Ссылка в описании изобретения на «один из вариантов осуществления» или «вариант осуществления» означает, что конкретный признак, конструкция или характеристика и так далее, описываемые в связи с вариантом осуществления, включен в по меньшей мере один вариант осуществления настоящих принципов. Таким образом, появления фразы «в одном варианте осуществления» или «в варианте осуществления» в разных местах в описании изобретения не обязательно все указывают на тот же вариант осуществления.

Обращаясь к фиг.1, примерный MVC-кодер (многовидовое кодирование видеосигнала), с которым могут использоваться настоящие принципы, отображается в общем по ссылке цифрой 100. Кодер 100 включает в себя объединитель 105, который имеет выход, соединенный сигнальной связью с вводом преобразователя 110. Выход преобразователя 110 соединяется сигнальной связью с входом квантователя 115. Выход квантователя 115 соединен сигнальной связью с входом энтропийного кодера 120 и с входом обратного квантователя 125. Выход обратного квантователя 125 соединяется сигнальной связью с входом обратного преобразователя 130. Выход обратного преобразователя 130 соединяется сигнальной связью с первым неинверсным входом объединителя 135. Выход объединителя 135 соединяется сигнальной связью с входом внутреннего прогнозирующего устройства 145 и входом фильтра 150 разблокирования. Выход объединителя 150 соединяется сигнальной связью со входом запоминающего устройства 155 опорного изображения (для вида i). Выход запоминающего устройства 155 опорного изображения соединяется сигнальной связью с первым входом компенсатора 175 движения и первым входом блока 180 оценки движения. Выход блока 180 оценки движения соединяется сигнальной связью со вторым входом компенсатора 175 движения.

Выход запоминающего устройства 160 опорного изображения (для других видов) соединяется сигнальной связью с первым входом блока 170 оценки рассогласования/освещенности и первым входом компенсатора 165 рассогласования/освещенности. Выход блока 170 оценки рассогласования/освещенности движения соединяется сигнальной связью со вторым входом компенсатора 165 рассогласования/освещенности.

Выход энтропийного декодера 120 доступен как выход кодера 100. Неинверсный вход объединителя 105 доступен как вход кодера 100 и соединяется сигнальной связью со вторым входом блока 170 оценки рассогласования/освещенности и вторым входом блока 180 оценки движения. Выход переключателя 185 соединяется сигнальной связью со вторым неинверсным входом объединителя 135 и с инверсным входом объединителя 105. Переключатель 185 включает в себя первый вход, соединенный сигнальной связью с выходом компенсатора 175 движения, второй вход, соединенный сигнальной связью с выходом компенсатора 165 рассогласования/освещенности, и третий вход, соединенный сигнальной связью с выходом внутреннего прогнозирующего устройства 145.

Модуль 140 решения режима имеет выход, соединенный с переключателем 185, для управления которым выбирается вход с помощью переключателя 185.

Обращаясь к фиг.2, примерный MVC-декодер (многовидовое кодирование видеосигнала), с которым могут использоваться настоящие принципы, отображается в общем по ссылке цифрой 200. Декодер 200 включает в себя энтропийный декодер 205, который имеет выход, соединенный сигнальной связью с входом обратного квантователя 210. Выход обратного квантователя 125 соединяется сигнальной связью с входом обратного преобразователя 215. Выход обратного преобразователя 215 соединяется сигнальной связью с первым неинверсным входом объединителя 220. Выход объединителя 220 соединяется сигнальной связью с входом фильтра 225 разблокирования и входом внутреннего прогнозирующего устройства 230. Выход фильтра 225 разблокирования соединяется сигнальной связью с входом запоминающего устройства 240 опорного изображения (для вида i). Выход запоминающего устройства 240 опорного изображения соединяется сигнальной связью с первым входом компенсатора 235 движения.

Выход запоминающего устройства 245 опорного изображения (для других видов) соединяется сигнальной связью с первым входом компенсатора 250 рассогласования/освещенности.

Вход энтропийного кодера 205 доступен как вход для декодера 200 для приема остаточного битового потока. Более того, вход модуля 260 режима также доступен как вход для декодера 200 для приема синтаксиса управления, для управления которым выбирается вход с помощью переключателя 255. Более того, второй вход компенсатора 235 движения доступен как вход декодера 200 для приема векторов движения. К тому же вход компенсатора 250 рассогласования/освещенности доступен как вход для декодера 200 для приема векторов рассогласования и синтаксиса коррекции освещенности.

Выход переключателя 255 соединяется сигнальной связью со вторым неинвертирующим входом объединителя 220. Первый вход переключателя 255 соединяется сигнальной связью с выходом компенсатора 250 рассогласования/освещенности. Первый вход переключателя 255 соединяется сигнальной связью с выходом компенсатора 235 движения. Третий вход переключателя 255 соединяется сигнальной связью с выходом внутреннего прогнозирующего устройства 230. Выход модуля 260 режима соединяется сигнальной связью с переключателем 255, для управления которым выбирается вход с помощью переключателя 255. Выход фильтра 225 разблокирования доступен как выход декодера 200.

Варианты осуществления настоящих принципов адресованы к эффективному кодированию последовательностей многовидового видеосигнала. Последовательность многовидового видеосигнала является набором из двух или более последовательностей видеосигнала, которые захватывают ту же сцену с разных видовых точек. В частности, различные варианты осуществления согласно настоящим принципам направлены на коррекцию освещенности и/или цвета для кодирования и декодирования последовательностей многовидового видеосигнала.

Настоящие принципы также принимают во внимание, что так как источник многовидового видеосигнала включает в себя многочисленные виды той же сцены, существует высокий уровень корреляции между многочисленными видовыми отображениями. Следовательно, видовая избыточность может использоваться в дополнение к временной избыточности и достигаться с помощью видового прогнозирования через различные виды (прогноз видеопомех).

Для иллюстративных целей описание, предоставленное в настоящем документе, адресовано расширению многовидового кодирования видеосигнала Международной организации по стандартизации/Международной электротехнической комиссии (ISO/IEC) Экспертной группы-4 по вопросам движущегося изображения (MPEG-4), часть 10 стандарта расширенного кодирования видеосигнала (AVC)/Международного союза телекоммуникаций, рекомендация H.264 сектора телекоммуникаций (ITU-T) (в дальнейшем в данном документе "MPEG-4 AVC-стандарт"). Однако следует принимать во внимание, что настоящие принципы также применимы к другим стандартам видеокодирования, как легко определяется специалистом в этой и связанных областях техники. То есть, заданы идеи настоящих принципов, предоставленные в данном документе, специалист в этой и связанных областях техники сможет легко реализовать настоящие принципы относительно различных стандартов видеокодирования, включая MPEG-4 AVC-стандарт и другие стандарты видеокодирования, наряду с сохранением объема настоящих принципов.

В структуре MPEG-4 AVC-стандарта коррекция освещенности может рассматриваться частью процесса коррекции рассогласования, где прогнозирование видеопомех (прогнозирование вида через различные виды многовидовой последовательности) включает в себя смещение для обращения различий в освещенности по различным изображениям камеры. Из-за сильной корреляции между пространственно смежными блоками смещение может по-разному кодироваться до квантования и энтропийного кодирования. Коррекция освещенности может быть реализована для переключения на основе блоков, так как различные сигнальные блоки испытывают различные уровни несоответствия освещенности. В дополнение к коррекции освещенности, схему коррекции света также предлагается адресовать к цветовым различиям между различными изображениями камеры.

В иллюстративном варианте осуществления настоящих принципов, включающих в себя коррекцию освещенности и цвета, направленных на расширение многовидового кодирования видеосигнала (MVC) MPEG-4 AVC-стандарта, примерная структура изложена следующим образом. На уровне серии последовательных макроблоков вводится элемент нового синтаксиса (ic_prediction_flag) для указания того, доступна ли коррекция освещенности для текущего кванта. На уровне макроблока вводятся два новых элемента синтаксиса: один (ic_enable) вводится для указания использования коррекции освещенности для каждого блока; другой (ic_sym) вводится для передачи параметра смещения освещенности.

Обращаясь к фиг.3, примерный способ видеокодирования с коррекцией освещенности для многовидового видеоконтента указывается в общем по цифре 300 ссылкой. Способ 300 включает в себя начальный блок 305, который передает управление в блок 310 ограничения цикла. Блок 310 ограничения цикла начинает цикл по каждому макроблоку в текущей серии последовательных макроблоков, включая установку интервала от цикла, используя переменную mb=0 до MacroBlocklnPic-1, и передает управление блоку 315 принятия решений. Блок 315 принятия решений определяет, доступна ли или нет коррекция освещенности (IC) для текущей серии последовательных макроблоков. Если так, управление передается функциональному блоку 320. Иначе управление передается в функциональный блок 350.

Функциональный блок 320 выполняет оценку движения с помощью коррекции освещенности и передает управление в функциональный блок 325. Функциональный блок 325 создает IC-прогнозирующий параметр ic_offset_p и передает управление в функциональный блок 330. Функциональный блок 330 осуществляет дифференциальное кодирование коррекции освещенности ic_offset, квантует ic_offset на ic_sym и передает управление в функциональный блок 335. Функциональный блок 335 осуществляет принятие решения о режиме коррекции освещенности, принимает решение о ic_prediction_flag и передает управление в функциональный блок 340. Функциональный блок 340 осуществляет написание синтаксиса и передает управление в блок 345 ограничения цикла. Блок 345 ограничения цикла заканчивает цикл по каждому макроблоку в текущей серии последовательных макроблоков и передает управление конечному блоку 355.

Функциональный блок 350 выполняет оценку движения и передает принятие решения о движении без коррекции освещенности и передает управление в функциональный блок 340.

Обращаясь к фиг.4, примерный способ видеокодирования с коррекцией освещенности для многовидового видеоконтента указывается в общем по цифре 400 ссылкой. Способ 400 включает в себя начальный блок 405, который передает управление в блок 410 ограничения цикла. Блок 410 ограничения цикла начинает цикл по каждому макроблоку в текущей серии последовательных макроблоков, включая установку интервала для цикла, используя переменную mb=0 до MacroBlockslnPic-1, и передает управление функциональному блоку 415. Блок 420 принятия решений определяет, доступна ли или нет коррекция освещенности для текущей серии последовательных макроблоков. Если так, управление передается блоку 425 принятия решений. Иначе управление передается в функциональный блок 450.

Блок 425 принятия решений определяет, равен ли или нет 1 ic_prediction_flag. Если так, управление передается функциональному блоку 430. Иначе управление передается в функциональный блок 450.

Функциональный блок 430 создает IC-прогнозирующий параметр ic_offset_p и передает управление в функциональный блок 435. Функциональный блок 435 обратно квантует ic_sym, дифференциально декодирует ic_offset и передает управление в функциональный блок 440. Функциональный блок 440 выполняет коррекцию движения с помощью освещенности и передает управление в блок 445 ограничения цикла. Блок 445 ограничения цикла заканчивает цикл по каждому макроблоку в текущей серии последовательных макроблоков и передает управление конечному блоку 455.

Функциональный блок 450 выполняет коррекцию движения без коррекции освещенности и передает управление в блок 445 ограничения цикла.

Теперь будет дано описание относительно использования коррекции освещенности как части процесса прогноза видеопомех согласно примерному варианту осуществления настоящих принципов.

Коррекция освещенности выполнена в контексте прогноза видеопомех для многовидового кодирования видеосигнала. В этом сценарии прогнозирование видеопомех типично включает в себя вычисления поля рассогласования между изображениями с различных видов. Поле рассогласования находится в прогнозировании видеопомех, что поле движения находится во временном прогнозировании. При применении к схеме кодирования, прогнозирование видеопомех является эффективным инструментом для использования видовой избыточности.

Для простоты в последующем предполагается, что прогнозирование видеопомех и с помощью расширения, оценки рассогласования, осуществляется на основе блоков. Однако следует принимать во внимание, что заданы идеи настоящих принципов, предоставленных в данном документе, расширение подобных идей к другим группам примеров легко определяется и реализуется специалистом в этой и связанных областях техники, наряду с сохранением объема настоящих принципов.

Также следует дополнительно принимать во внимание, что тогда как некоторые варианты осуществления настоящих принципов, описанных в данном документе в отношении применения к расширению многовидового кодирования видеосигнала MPEG-4 AVC-стандарта, для которого коррекция движения и рассогласования допускаются, заданы идеи настоящих принципов, предоставленных в данном документе, варианты осуществления настоящих принципов могут быть также адресованы к любым другим схемам многовидового кодирования видеосигнала, для которых допускается коррекция рассогласования, как легко определяется и реализуется специалистом в этой и связанных областях техники, наряду с сохранением объема настоящих принципов.

Более того, следует принимать во внимание, что тогда как некоторые варианты осуществления настоящих принципов, адресованные коррекции освещенности, описаны в данном документе в отношении многовидового видеокодирования, заданы идеи настоящих принципов, предоставленных в данном документе, специалист в этой и связанных областях техники легко рассмотрит другие сценарии, связанные с видеосигналом, к которым могут быть применены настоящие принципы, наряду с сохранением объема настоящих принципов. Например, настоящие принципы могут использоваться, но не ограничены регистрацией изображения и калибровкой камеры.

Теперь будет дано описание относительно передачи элементов синтаксиса коррекции освещенности согласно примерному варианту осуществления настоящих принципов.

В примерных вариантах осуществления настоящих принципов, применяемых к расширению многовидового кодирования видеосигнала MPEG-4 AVC-стандарта, вводится новый синтаксис в заголовке серии последовательных макроблоков, называемый ic_prediction_flag, который указывает, используется ли коррекция освещенности (IC) для этой серии последовательных макроблоков. Если прогнозирование видеопомех блокировано для всей серии последовательных макроблоков, тогда ic_prediction_flag будет равен нулю и не будет никакого дополнительного синтаксиса, связанного с IC, в серии последовательных макроблоков.

Степень несоответствия освещенности изменяется от одной части изображения вида к другой. Таким образом, может быть неэффективным отсылать IC-параметры для всех блоков, используя коррекцию рассогласования. Для того чтобы служить этой цели, вводится новый флаг синтаксиса на основе блоков, называемый ic_enable, в уровне макроблока/подмакроблока для указания того, используется ли IC для одного конкретного блока.

MPEG-4 AVC-стандарт поддерживает коррекцию движения изменяющегося размера блоков, с размерами блоков, в интервале от 16×16 до 4×4. Для того чтобы уменьшить служебные сигналы, отправляя слишком много флагов ic_enable и ic_sym, переключение IC не нужно применять по всем размерам блоков. В одном конкретном варианте осуществления переключение IC используется лишь для блоков с размером большим, чем или равным 8×8.

Контекстная схема контекстного адаптивного двоичного арифметического кодирования (CABAC) для кодирования ic_enable разрабатывается следующим образом: (1) для размеров блоков в {16×16, 16×8 или 8×16} три CABAC-контекста используется в зависимости от флагов ic_enable верхних и левых макроблоков; и (2) для размера блоков 8×8 назначается отдельный CABAC-контекст без обращения к смежным блокам.

Для иллюстративных целей таблицы со связанным IC-синтаксисом показаны с таблицы 1 по таблицу 3. Таблица 1 иллюстрирует синтаксис заголовка серии последовательных макроблоков для многовидового кодирования видеосигнала (MVC). Таблица 2 иллюстрирует синтаксис уровня макроблока. Таблица 3 иллюстрирует синтаксис прогноза подмакроблока.

Таблица 1

Таблица 2

Таблица 3

Теперь будет дано описание относительно оценки рассогласования с коррекцией освещенности согласно примерному варианту осуществления настоящих принципов.

В конкретном сценарии кодирующего приложения, коррекция освещенности (IC) рассматривается частью процесса коррекции рассогласования. Более конкретно, когда допускается IC в коррекции рассогласования блока, опорный блок со скорректированной освещенностью, B_r вычисляется следующим образом:

где R(x,y) является опорным изображением видеопомех и (Δx,Δy) является вектором рассогласования (DV). Как показано на фиг.5, DV/ic_offset/ic_enable используются вместе в процессе коррекции рассогласования.

Обращаясь к фиг.5, примерное устройство для формирования опорного блока с коррекцией освещенности для многовидового видеоконтента указывается в общем по цифре 500 ссылкой. Устройство 600 включает в себя квантователь 505 коррекции освещенности, который имеет выход, соединенный сигнальной связью с первым неинвертирующим входом объединителя 515. Выход объединителя 515 соединяется сигнальной связью со вторым неинвертирующим входом объединителя 515 и с первым неинвертирующим входом объединителя 520.

Выход запоминающего устройства 510 опорного изображения (для других видов) соединяется сигнальной связью со вторым неинвертирующим входом объединителя 520 и с первым входом переключателя 525.

Второй вход переключателя 525 соединяется сигнальной связью с выходом объединителя 520.

Вход квантователя 505 коррекции освещенности доступен как вход в устройство 500 для приема синтаксиса ic_sym. Более того, вход запоминающего устройства 510 опорного изображения доступен как вход устройства для приема векторов рассогласования. Дополнительно устройство 500 включает в себя вход для приема синтаксиса ic_enable, для управления которым выбирается вход с помощью переключателя 525. Выход переключателя 525 доступен как выход устройства 500.

На уровне блоков параметр коррекции освещенности ic_offset достигается с помощью дифференциального кодирования и одинакового квантования.

Теперь будет дано описание относительно дифференциального кодирования ic_offset согласно примерному варианту осуществления настоящих принципов.

Существует сильная корреляция среди ic_offset в смежных блоках. Для того чтобы извлечь выгоду из этого свойства, ic_offset дифференцируется до квантования следующим образом:

где ic_offset_d является дифференцированным смещением коррекции освещенности и параметр предсказания коррекции освещенности ic_offset_p создается, используя ic_offset из смежных блоков.

ic_offset_p вычисляется согласно следующим правилам. В первом правиле значение по умолчанию ic_offset_p равно 0. Значение по умолчанию используется, когда нет смежного блока с доступностью IC. Во втором правиле ic_offset_p устанавливается в зависимости от размера блока макроблока слева следующим образом: (1) если размер блока = 16×16, тогда используется ic_offset левого блока; (2) если размер блока = 16×8 или 8×16, тогда используется ic_offset второго блока; и (3) если размер блока = 8×8 или меньше, тогда используется доступный ic_offset блока 8×8 с индексом 3, 1, 2, 0 (в этом порядке).

В третьем правиле, если нет смежного макроблока слева, тогда вместо этого используется ic__offset с верхнего блока.

Теперь будет дано описание относительно квантования ic_sym согласно примерному варианту осуществления настоящих принципов.

Одинаковое квантование используется для дифференцированного ic_offset:

Если используется способ квантования с фиксированной длиной шага, нет необходимости в дополнительном синтаксисе для сигнализации µ. В случае, когда квантование с фиксированной длиной шага не используется, должна рассматриваться передача синтаксиса.

Теперь будет дано описание относительно энтропийного кодирования ic_sym согласно примерному варианту осуществления настоящих принципов.

Для ic_sym в CABAC используется унарное преобразование в двоичную форму. Например, если |ic_sym| равен 1, тогда он преобразуется в двоичную форму как "10", и если ic_sym равен 3, тогда он преобразуется как "1110". Так как ic_sym дифференциально кодируется, значение ic_sym, близкое к 0, произойдет более вероятно. Для того чтобы использовать это свойство, четыре различных контекста назначаются каждому преобразованному в двоичную форму символу. После преобразования в двоичную форму один символьный бит может быть добавлен в окончание, который кодируется без контекста.

Теперь будет дано описание относительно коррекции цвета согласно примерному варианту осуществления настоящих принципов.

Недостаточная калибровка камеры может также вызвать несоответствия цвета в дополнение к несоответствию освещенности. Некоторые варианты осуществления настоящих принципов обращаются к этой проблеме с помощью расширения подхода коррекции освещенности (IC), описанного до этого для коррекции цвета (СС). Для простоты предполагается, что цветовая коррекция используется для UV-цветовых компонентов YUV-цветового пространства. Однако следует принимать во внимание, что руководствуясь идеями настоящих принципов, предоставленными в данном документе, специалист в этой и связанных областях техники рассмотрит и легко реализует настоящие принципы в отношении цветовых пространств наряду с сохранением объема настоящих принципов.

Теперь будет описано два примерных способа в отношении цветовой коррекции согласно настоящим принципам. Первый является способом локальной цветовой коррекции и второй является способом глобальной цветовой коррекции. Естественно, заданы идеи настоящих принципов, предоставленные в данном документе, изменения и расширения двух подходов, описанные в данном документе, ле