Способ и устройство для масштабируемого по цветовому пространству видеокодирования и декодирования

Способ и устройство для масштабируемого по цветовому пространству видеокодирования и декодирования

Иллюстрации

Показать все

Реферат

1. Область техники, к которой относится изобретение

Настоящее изобретение относится к способу и устройству для масштабируемого по цветовому пространству видеокодирования и декодирования, а более конкретно - к способу и устройству для масштабируемого по цветовому пространству видеокодирования и декодирования, которые могут регулировать цветовые компоненты и цветовую насыщенность в соответствии с рабочими характеристиками стороны декодирования.

2. Предшествующий уровень техники

С развитием информационных технологий и технологий связи мультимедийные коммуникации нарастают в дополнение к текстовой связи и речевой связи. Существующие системы, сконцентрированные на текстовой связи, являются недостаточными для удовлетворения желаний различных потребителей, и тем самым возрастают мультимедийные услуги, которые могут приспосабливать различные виды информации, такие как текст, изображения, музыка и другие. Так как мультимедийные данные являются большими по объему, требуются носители информации большой емкости и широкие полосы пропускания для хранения и передачи мультимедийных данных. Соответственно, требуются методы кодирования со сжатием для передачи мультимедийных данных, которые включают в себя текст, изображения и аудиоданные.

Основной принцип сжатия данных заключается в удалении избыточности данных. Данные могут быть сжаты посредством удаления пространственной избыточности, такой как повторение одного и того же цвета или объекта в изображениях, временной избыточности, такой как малое изменение в соседних кадрах движущегося изображения или постоянного повторения звуков в аудиосигнале, и визуальной избыточности (избыточности восприятия), которая касается человеческой нечувствительности к высоким частотам. В общем способе видеокодирования временная избыточность удаляется посредством временной фильтрации на основе компенсации движения, а пространственная избыточность удаляется посредством пространственного преобразования.

Для передачи мультимедиа после того, как удалена избыточность, требуются носители передачи, характеристики которых различаются. Используемые в настоящее время носители передачи имеют различные скорости передачи. Например, сеть связи со сверхвысокой скоростью может передавать несколько десятков мегабит данных в секунду, а сеть мобильной связи имеет скорость передачи 384 килобит в секунду. Для поддержки носителей передачи в такой среде передачи и для передачи мультимедиа со скоростью передачи, подходящей для среды передачи, способ масштабируемого видеокодирования является самым подходящим.

Такой способ масштабируемого кодирования делает возможным регулирование разрешающей способности, скорости кадров, отношения сигнал-шум (SNR) и других параметров видео посредством усечения части предварительно сжатого потока битов в соответствии с условиями среды, такими как битовая скорость передачи, частота ошибок передачи и ресурсы системы. В отношении такого масштабируемого видеокодирования MPEG-21 (Экспертная группа-21 по движущимся изображениям) Часть-13 уже развила работу по стандартизации.

Однако, поскольку существующее масштабируемое видеокодирование не может обеспечивать масштабируемость в цветовом пространстве, даже устройство отображения (дисплея), которое требует полутоновое изображение взамен цветового изображения, должно принимать и декодировать цветовое изображение, что является излишним и неэффективным. Кроме того, неэффективно для устройства отображения, которое не может отображать изображение, имеющее цветовую насыщенность в 24 бита, принимать и декодировать поток битов, закодированный с насыщенностью в 24 бита, и затем производить усечение излишних битов из декодированного потока битов.

Сущность изобретения

Соответственно, настоящее изобретение разработано для решения вышеуказанных проблем, имеющих место в уровне техники, и аспектом настоящего изобретения является обеспечение способа масштабируемого по цветовому пространству видеокодирования и декодирования, в котором кодер может информировать декодер о положении данных яркости в потоке битов, и декодер может преобразовывать цветное изображение в полутоновое изображение при необходимости.

Другим аспектом настоящего изобретения является обеспечение способа масштабируемого по цветовому пространству видеокодирования и декодирования, в котором декодер получает информацию о разрядности цветовой насыщенности от устройства отображения, удаляет биты, которые превышают разрядность цветовой насыщенности, поддерживаемой устройством отображения, и декодирует поток битов.

Дополнительные преимущества, аспекты и признаки настоящего изобретения частично будут установлены далее в описании, которое следует, и частично станут очевидными специалисту в области техники при анализе последующего описания или могут быть выяснены при применении изобретения.

Для реализации этих аспектов обеспечивается способ масштабируемого по цветовому пространству видеокодирования, согласно настоящему изобретению, который включает в себя этапы генерирования коэффициентов преобразования посредством удаления временной избыточности и пространственной избыточности входных видеокадров, квантования коэффициентов преобразования, генерирования потока битов посредством энтропийного кодирования квантованных коэффициентов преобразования и генерирования масштабируемого по цветовому пространству потока битов, который включает в себя поток битов и информацию о положении данных яркости в потоке битов.

Согласно другому аспекту настоящего изобретения обеспечивается способ масштабируемого по цветовому пространству видеодекодирования, который включает в себя этапы увеличения информации о положении данных яркости из потока битов, генерирования второго потока битов, который включает в себя данные движения и данные яркости, посредством усечения данных цветности из потока битов в соответствии с информацией о положении данных яркости и восстановления видеокадров посредством декодирования второго потока битов.

Согласно еще одному аспекту настоящего изобретения обеспечивается способ масштабируемого по цветовому пространству видеокодирования, который включает в себя этапы генерирования коэффициентов преобразования посредством удаления временной избыточности и пространственной избыточности входных видеокадров, квантования коэффициентов преобразования и генерирования потока битов посредством энтропийного кодирования квантованных коэффициентов преобразования, при этом количество битов цветовой насыщенности потока битов увеличивается пропорционально уровню слоя.

Согласно еще одному аспекту настоящего изобретения обеспечивается способ масштабируемого по цветовому пространству видеодекодирования, который включает в себя этапы получения информации о разрядности цветовой насыщенности из устройства отображения, генерирования второго потока битов посредством усечения битов из входного потока битов, которые превышают разрядность цветовой насыщенности в соответствии с информацией о разрядности цветовой насыщенности, и восстановления видеокадров посредством декодирования второго потока битов.

Согласно еще одному аспекту настоящего изобретения обеспечивается масштабируемый по цветовому пространству видеокодер, который включает в себя модуль временного преобразования для удаления временной избыточности входных видеокадров, модуль пространственного преобразования для удаления пространственной избыточности входных видеокадров, модуль квантования для квантования коэффициентов преобразования, сгенерированных модулем временного преобразования и модулем пространственного преобразования, модуль энтропийного кодирования для выполнения энтропийного кодирования квантованных коэффициентов кодирования и модуль генерирования масштабируемого по цветовому пространству потока битов для генерирования масштабируемого по цветовому пространству потока битов, который включает в себя поток битов, сгенерированный модулем энтропийного кодирования, и информацию о положении данных яркости в потоке битов.

Согласно еще одному аспекту настоящего изобретения обеспечивается масштабируемый по цветовому пространству видеодекодер, который включает в себя модуль предварительной обработки (предобработки) потока битов для извлечения информации о положении данных яркости из потока битов и генерирования второго потока битов, который включает в себя данные движения и данные яркости, посредством усечения данных цветности из потока битов в соответствии с информацией о положении, модуль энтропийного декодирования для декодирования второго потока битов, модуль обратного квантования для генерирования коэффициентов преобразования посредством выполнения обратного квантования в отношении декодированного второго потока битов, модуль обратного пространственного преобразования для восстановления остаточного сигнала посредством выполнения обратного пространственного преобразования коэффициентов преобразования и модуль компенсации движения для выполнения компенсации движения в отношении предсказанных кадров в соответствии с данными движения, выданными модулем энтропийного декодирования.

Согласно еще одному аспекту настоящего изобретения обеспечивается масштабируемый по цветовому пространству видеодекодер, который включает в себя модуль предварительной обработки потока битов для получения информации о разрядности цветовой насыщенности от устройства отображения и генерирования второго потока битов посредством усечения битов из входного потока битов, которые превышают разрядность цветовой насыщенности, в соответствии с информацией о разрядности цветовой насыщенности, модуль энтропийного декодирования для декодирования второго потока битов, модуль обратного квантования для генерирования коэффициентов преобразования посредством выполнения обратного квантования в отношении декодированного второго потока битов, модуль обратного пространственного преобразования для восстановления остаточного сигнала посредством выполнения обратного пространственного преобразования в отношении коэффициентов преобразования и модуль компенсации движения для выполнения компенсации движения в отношении предсказанных кадров в соответствии с данными движения, выданными модулем энтропийного декодирования.

Согласно еще одному аспекту настоящего изобретения обеспечивается способ передачи данных секции, которая содержит множество макроблоков, который включает в себя этапы вставки данных яркости всех макроблоков, содержащихся в секции, вставки данных цветности всех макроблоков, содержащихся в секции, преобразования потока битов, который включает в себя данные яркости и данные цветности.

Согласно еще одному аспекту настоящего изобретения обеспечивается способ генерирования видеопоследовательности, которая включает в себя множество секций, содержащих множество макроблоков с данными яркости и данными цветности макроблоков, который включает в себя этапы вставки данных яркости всех макроблоков, включенных в секцию, вставки данных цветности всех макроблоков, включенных в секцию.

Согласно еще одному аспекту настоящего изобретения обеспечивается способ обработки видеопоследовательности, которая передается отдельно от данных яркости или данных цветности множества макроблоков, включенных в секцию, который включает в себя этапы интерпретации данных яркости всех макроблоков, включенных в секцию, интерпретации данных цветности всех макроблоков, включенных в секцию.

Согласно еще одному аспекту настоящего изобретения обеспечивается способ декодирования видеопоследовательности, которая включает в себя основной слой и слой улучшения FGS, который включает в себя этапы интерпретации данных основного слоя, интерпретации данных цветности всех макроблоков, включенных в слой улучшения FGS, интерпретации данных цветности всех макроблоков, комбинирования данных яркости и данных цветности слоя улучшения FGS с данными основного слоя; и декодирования скомбинированных данных.

Указанные выше и другие аспекты, признаки и преимущества настоящего изобретения станут более очевидными из следующего детального описания, взятого вместе с сопровождающими чертежами, на которых:

фиг.1 - примерный вид, показывающий концепцию масштабируемого по цветовому пространству видеокодирования в соответствии с примерным вариантом осуществления настоящего изобретения;

фиг.2 - вид, показывающий структуру масштабируемого по цветовому пространству потока битов в соответствии с примерным вариантом осуществления настоящего изобретения;

фиг.3 - вид, показывающий структуру масштабируемого по цветовому пространству потока битов в многослойной структуре в соответствии с примерным вариантом осуществления настоящего изобретения;

фиг.4 - вид, показывающий структуру масштабируемого по цветовому пространству потока битов в структуре слоев FGS в соответствии с примерным вариантом осуществления настоящего изобретения;

фиг.5 - вид, показывающий структуру масштабируемого по цветовому пространству потока битов в структуре слоев FGS в соответствии с другим примерным вариантом осуществления настоящего изобретения;

фиг.6 - блок-схема, показывающая структуру масштабируемого по цветовому пространству видеокодера в соответствии с примерным вариантом осуществления настоящего изобретения;

фиг.7 - блок-схема, показывающая структуру масштабируемого по цветовому пространству видеодекодера в примерном варианте осуществления настоящего изобретения;

фиг.8 - блок-схема, показывающая структуру масштабируемого по цветовому пространству видеокодера в структуре слоев FGS в примерном варианте осуществления настоящего изобретения;

фиг.9 - блок-схема, показывающая структуру масштабируемого по цветовому пространству видеодекодера в структуре слоев FGS в соответствии с примерным вариантом осуществления настоящего изобретения;

фиг.10 - блок-схема алгоритма, показывающая процесс кодирования в соответствии с примерным вариантом осуществления настоящего изобретения;

фиг.11 - блок-схема алгоритма, показывающая процесс масштабируемого по цветовым компонентам видеодекодирования в соответствии с примерным вариантом осуществления настоящего изобретения;

фиг.12 - блок-схема алгоритма, показывающая процесс масштабируемого по цветовой насыщенности видеодекодирования в соответствии с примерным вариантом осуществления настоящего изобретения.

Подробное описание примерных вариантов осуществления

В дальнейшем примерные варианты осуществления настоящего изобретения будут описаны подробно со ссылкой на сопровождающие чертежи. Аспекты и признаки настоящего изобретения и способы для реализации этих аспектов и признаков станут очевидными посредством отсылки к примерным вариантам осуществления, подлежащим подробному описанию со ссылками на сопровождающие чертежи. Однако настоящее изобретение не ограничивается примерными вариантами осуществления, раскрытыми ниже, но может воплощаться в различных видах. Сущность, определенная в описании, такая как подробная структура и элементы, является ничем иным, как конкретными деталями, обеспеченными для помощи специалисту в данной области техники в исчерпывающем понимании изобретения, и настоящее изобретение определяется только в объеме приложенной формулы изобретения. Во всем описании настоящего изобретения одинаковые ссылочные позиции на чертежах используются для одинаковых элементов, встречающихся на различных фигурах.

Фиг.1 иллюстрируется видом, показывающим общее представление масштабируемого по цветовому пространству видеокодирования в соответствии с примерным вариантом осуществления настоящего изобретения.

Система 20 защиты не только отображает видео в реальном времени, но также сохраняет видеоданные для дальнейшего использования. Хранение видеоданных требует большого дискового пространства, и если видеоданные сохраняются в качестве полутонового изображения, а не цветного изображения, дисковое пространство для хранения изображения может быть уменьшено. Соответственно, имеется необходимость в обеспечении функции преобразования цветного изображения в полутоновое изображение в соответствии с требованиями устройства отображения. Эта функция далее называется как «масштабируемость по цветовым компонентам».

С другой стороны, один поток битов, переданный со стороны кодера, может масштабироваться по цветовой насыщенности и передаваться различным клиентам. Обычно мобильный телефон 30 и персональный цифровой секретарь (ПЦС, PDA) 40 обеспечивают цветовые насыщенности ниже, чем компьютеры 50 типа ноутбука и персонального компьютера (ПК, PC) 60. Функция для масштабирования того же потока битов для устройств отображения, которые поддерживают различные цветовые насыщенности, называются «масштабируемость по цветовой насыщенности».

В дальнейшем масштабируемость по цветовым компонентам и масштабируемость по цветовой насыщенности, описанные выше, называются масштабируемостью по цветовому пространству. Эта масштабируемость по цветовому пространству может выполняться предварительными декодерами или средствами извлечения 11 - 14.

Так как большинство цифровых видеоприложений отображает цветное видео, требуется механизм, который собирает и представляет информацию о цвете. Черно-белое изображение требует только одно число для представления яркости соответствующего пространственного отсчета. В противоположность этому цветное изображение требует по меньшей мере три числа для каждого пикселя для точного представления цвета. Цветовое пространство выбирается для представления яркости и цвета. Цветовое пространство может классифицироваться на цветовое пространство RGB, цветовое пространство YUV и цветовое пространство YCrCb. В цветовом пространстве RGB отсчет цветного изображения представляется тремя числами, которые указывают относительные доли красного, зеленого и синего. Так как эти три цвета одинаково важны в цветовом пространстве RGB, они сохраняются с одинаковым разрешением. Однако человеческая система зрительного восприятия более чувствительна к яркости, чем цветности, и, таким образом, цветное изображение может представляться более эффективно посредством отделения информации о яркости от информации о цвете и представления данных яркости с более высоким разрешением, чем данных цветности.

Цветовое пространство YCrCb и цветовое пространство YUV, которое является модификацией цветового пространства YCrCb, являются популярными способами для эффективного представления цветного изображения с учетом человеческой системы зрительного восприятия, как описано выше. Y указывает компоненту яркости и может вычисляться как взвешенное среднее R, G и B, как в формуле (1):

Y = k_rR + k_gG + k_bB (1),

где k - весовой коэффициент.

Информация о цвете может выражаться компонентами яркости, и соответствующие компоненты цветности могут выражаться разностью между R (или G или B) и Y, как в формуле (2).

Cb = B - Y

Cr = R - Y (2)

Cg = G - Y

Соответственно, отделяя компоненту яркости и компоненты цветности друг от друга и кодируя отдельные компоненты, цветной поток битов может преобразовываться в полутоновый поток битов.

Фиг.2 является видом, показывающим структуру масштабируемого по цветовым компонентам потока битов, в котором компонента яркости и компоненты цветности отделяются друг от друга и кодируются в соответствии с примерным вариантом осуществления настоящего изобретения.

На фиг.2 данные 230 яркости кодируются первыми, а затем кодируются данные 240 цветности. В потоке битов информация о положении данных 230 яркости вставляется в заголовок 210. Информация о положении данных яркости может включать в себя всю длину данных текстуры и длину данных яркости. Кроме того, информация о положении данных яркости может включать в себя любые типы информации, которые указывают положение данных яркости, которые могут усекаться декодером. Информация о положении данных яркости может вставляться в заголовок Группы картинок (GOP), заголовок картинки, заголовок слоя или любое подходящее место в потоке битов.

Декодер может восстанавливать полутоновые видеокадры посредством выделения только компоненты яркости из цветного потока битов. Однако в примерном варианте осуществления настоящего изобретения посредством очень простого выполнения декодера может достигаться масштабируемость по цветовым компонентам, но не может быть масштабируемости по цветовой насыщенности.

Масштабируемость по цветовой насыщенности относится к функции, требуемой декодером устройства отображения, которое не может отображать изображение с разрешением в 24 бита, например, ПЦС или мобильный телефон. Соответственно, декодер должен обеспечивать поток битов, который использует подходящую цветовую насыщенность для соответствующего устройства отображения. Ресурсы, такие как полоса пропускания и время декодирования, тратятся, когда устройство отображения, такое как ПЦС или мобильный телефон, обрабатывает поток битов, имеющий полную цветовую насыщенность.

Масштабируемость по цветовой насыщенности может достигаться посредством предписания декодеру получать информацию от клиента о разрядности цветовой насыщенности, поддерживаемой клиентом, и затем удалять биты, которые превышают разрядность цветовой насыщенности, поддерживаемую клиентом, из потока битов. Воплощение масштабируемости по цветовой насыщенности будет объяснено со ссылкой на фиг.3 и 4.

Фиг.3 является видом, показывающим структуру масштабируемого по цветовому пространству потока битов для обеспечения масштабируемости по цветовым компонентам и масштабируемости по цветовой насыщенности, с помощью многослойной структуры в соответствии с примерным вариантом осуществления настоящего изобретения.

На фиг.3 масштабируемость по цветовым компонентам и масштабируемость по цветовой насыщенности обеспечиваются в многослойной структуре. В примерном варианте осуществления настоящего изобретения поток битов включает в себя множество слоев, которые включают в себя данные текстуры, имеющие различные цветовые насыщенности. Конкретно, первый слой может включать в себя данные текстуры, которые поддерживают 12-битовую цветовую насыщенность, второй слой может включать в себя данные текстуры, которые поддерживают 16-битовую цветовую насыщенность, и третий слой может включать в себя 24 бита данных текстуры. Если кодер кодирует и передает данные текстуры, имеющие различные цветовые насыщенности, используя многослойную структуру, декодер получает информацию о масштабируемости по цветовой насыщенности, поддерживаемой устройством отображения, удаляет поток битов слоя, который превышает поддерживаемую разрядность цветовой насыщенности, из принятого потока битов и затем декодирует оставшиеся потоки битов для восстановления видеокадров. Например, если устройство отображения является ПЦС, который поддерживает 16-битовую цветовую насыщенность, декодер удаляет поток битов, соответствующий третьему слою, и декодирует потоки битов, соответствующие первому слою и второму слою, для отображения декодируемых потоков битов.

С другой стороны, поток битов, относящийся к соответствующему слою, включает в себя информацию 310 и 340 положения данных яркости для различения данных 320 и 350 яркости от данных 330 и 360 цветности в соответствующем слое, и тем самым масштабируемость по цветовым компонентам может реализоваться в соответствующем слое. Соответственно, в случае, когда устройство отображения поддерживает 16-битовую цветовую насыщенность и полутоновую шкалу, декодер может восстанавливать видеокадры посредством усечения потока битов, соответствующего третьему слою, и усечения излишних данных 330 и 360 цветности в соответствии с информацией 310 и 340 положения данных яркости первого и второго слоев. Информация о положении данных яркости может вставляться в заголовок GOP, заголовок картинки, заголовок слоя или любое подходящее место в потоке битов. Информация о положении данных яркости может включать в себя всю длину данных текстуры и длину данных яркости. Кроме того, информация о положении данных яркости может включать в себя любые типы информации, которая может указывать положение данных яркости, которые могут усекаться декодером.

В другом варианте осуществления настоящего изобретения структура потока битов, которая может поддерживать масштабируемость по цветовым компонентам и масштабируемость по цветовой насыщенности, является примерной. Однако, если поддерживается масштабируемость по цветовой насыщенности с помощью многослойной структуры, информация 310 и 340 о положении данных яркости соответствующего слоя может быть опущена.

Фиг.4 является видом, показывающим структуру масштабируемого по цветовому пространству потока битов в структуре слоев FGS (масштабируемости качества по SNR) в соответствии с примерным вариантом осуществления настоящего изобретения. На фиг.4 масштабируемость по цветовым компонентам и масштабируемость по цветовой насыщенности обеспечиваются в структуре слоев FGS. Метод FGS используется для реализации масштабируемости по SNR, который используется для декодирования входного видео в два слоя, имеющих одинаковую скорость кадров и разрешение и разные точности квантования. В частности, согласно методике FGS входное видеокодируется в два слоя, т.е. основной слой и слой улучшения, и кодируется остаточный сигнал улучшенного слоя. Согласно методике FGS могут передаваться или не передаваться кодированные сигналы с тем, чтобы предотвратить декодирование кодированных сигналов декодером в соответствии с эффективностью сетевой передачи или состоянием стороны декодирования. Соответственно, данные могут должным образом передаваться в объеме, регулируемом в соответствии с битовой скоростью передачи в сети.

FGS Модели масштабируемого видео (SVM) версии 3.0 реализуется с помощью постепенного уточняемого представления. Масштабируемость SNR в FGS может достигаться посредством обеспечения возможности усечения блоков слоя сетевой абстракции (NAL), созданных в качестве результата кодирования FGS в любом месте. FGS состоит из основного слоя и слоя улучшения FGS. Основной слой создает основные кадры слоя, которые представляют минимальное качество видеосигнала, который может передаваться с наименьшей битовой скоростью передачи, а слой улучшения FGS создает блоки NAL, которые могут надлежащим образом усекаться и передаваться с битовой скоростью, большей, чем наименьшая битовая скорость передачи, или которые могут должным образом усекаться и декодироваться декодером. Слой улучшения FGS преобразует и квантует остаточный сигнал, полученный вычитанием восстановленных кадров, которые были получены в основном слое или нижерасположенном слое улучшения, из начальных кадров для передачи квантованного остаточного сигнала в декодер. Когда слой становится вышерасположенным слоем, масштабируемость по SNR может выполняться созданием более подходящего остатка посредством уменьшения значений параметров квантования.

В этом примерном варианте осуществления настоящего изобретения масштабируемость по цветовой насыщенности реализуется с помощью трех слоев FGS, т.е. первого слоя FGS (основного слоя), второго слоя FGS (первого слоя улучшения FGS) и третьего слоя FGS (второго слоя улучшения FGS).

Обычно в структуре слоев FGS соответствующей SVM 3.0, если количество слоев увеличено на единицу, то количество битов, которые могут использоваться для данных текстуры, также увеличено на единицу. Используя это для увеличения разрядности цветовой насыщенности, второй слой FGS может поддерживать цветовую насыщенность, которая на один бит больше, чем в первом слое FGS, а третий слой FGS может поддерживать цветовую насыщенность, которая на один бит больше, чем второй слой FGS. Если кодер кодирует и передает данные текстуры, имеющие другие цветовые насыщенности, используя структуру слоя FGS, декодер получает информацию о масштабируемости по цветовой насыщенности, поддерживаемой устройством отображения, удаляет поток битов слоя, который превышает поддерживаемую разрядность цветовой насыщенности, из принятых потоков битов и затем декодирует оставшиеся потоки битов для восстановления видеокадров.

В этом примерном варианте осуществления настоящего изобретения поток битов может включать в себя информацию 410 о положении данных яркости для различения данных 420, 440 и 460 яркости во всех слоях FGS от данных 430, 450 и 470 цветности для поддержки масштабируемости по цветовым компонентам. Соответственно, если устройство отображения поддерживает цветовую насыщенность, соответствующую второму слою FGS и полутоновой шкале, декодер может восстанавливать видеокадры посредством усечения потока битов, соответствующего третьему слою, и усечения ненужных данных 430 и 450 цветности в соответствии с информацией 410 о положении данных яркости первого и второго слоев. Информация о положении данных яркости может быть вставлена в заголовок GOP, заголовок картинки, заголовок слоя или любое подходящее место в потоке битов. В примерном варианте осуществления настоящего изобретения информация о положении данных яркости может включать в себя всю длину данных текстуры и длину данных яркости. Кроме того, информация о положении данных яркости может включать в себя любой тип информации, которая может указывать положение данных яркости, которые могут усекаться декодером.

В этом примерном варианте осуществления настоящего изобретения структура потока битов, которая может поддерживать как масштабируемость по цветовым компонентам, так и масштабируемость по цветовой насыщенности, является примерной. Однако если поддерживается только масштабируемость по цветовой насыщенности, используя FGS, то информация 410 о положении данных яркости соответствующего слоя FGS может быть опущена.

Фиг.5 является видом, показывающим структуру масштабируемого по цветовому пространству потока битов в структуре слоев FGS в соответствии с другим примерным вариантом осуществления настоящего изобретения.

В этом примерном варианте осуществления, как показано на фиг.5, поток битов имеет структуру для масштабируемого по цветовому пространству кодирования и декодирования с помощью FGS таким же образом, как и структура по фиг.4. Однако примерный вариант осуществления, как показано на фиг.4, обеспечивает структуру, которая включает в себя данные текстуры, составленные из данных яркости и данных цветности для слоев FGS, в то время как примерный вариант осуществления, как показано на фиг.5, обеспечивает структуру, в которой данные 520 - 540 яркости всех слоев FGS отделены от данных 550 - 570 цветности всех слоев FGS и располагаются в головной части потока битов. В этом примерном варианте осуществления настоящего изобретения масштабируемость по цветовой насыщенности и масштабируемость по цветовым компонентам реализуются с помощью трех слоев FGS, т.е. первого слоя FGS (основного слоя), второго слоя FGS (первого слоя улучшения FGS) и третьего слоя FGS (второго слоя улучшения FGS). Декодер получает информацию о масштабируемости по цветовой насыщенности, поддерживаемой устройством отображения, удаляет поток битов слоя, который превышает поддерживаемую разрядность цветовой насыщенности, из принятых потоков битов и затем декодирует оставшиеся потоки битов для восстановления видеокадров. В частности, в этом примерном варианте осуществления настоящего изобретения поток битов может включать в себя информацию 510 о положении границы между данными 540 яркости и данными 550 цветности для поддержки масштабируемости по цветовым компонентам. В этом случае, так как данные максимальной яркости могут использоваться посредством отказа от данных цветности, может восстанавливаться полутоновое изображение, имеющее высокую четкость.

Фиг.6 является блок-схемой, показывающей структуру масштабируемого по цветовому пространству видеокодера в соответствии с примерным вариантом осуществления настоящего изобретения.

На фиг.6 масштабируемый по цветовому пространству видеокодер 600 в соответствии с этим примерным вариантом осуществления настоящего изобретения включает в себя модуль 610 временного преобразования, модуль 630 пространственного преобразования, модуль 640 энтропийного кодирования, модуль 650 генерирования масштабируемого по цветовому пространству потока битов, модуль 660 обратного квантования и модуль 670 обратного пространственного преобразования. Модуль 610 временного преобразования может включать в себя модуль 612 оценки движения, модуль 614 компенсации движения и вычитатель 616.

Модуль 612 оценки движения осуществляет оценку движения в отношении имеющегося кадра на основе опорного кадра во входных видеопотоках и получает векторы движения. Алгоритм, который широко используется для оценки движения, является алгоритмом согласования блоков. Этот алгоритм согласования блоков оценивает смещение, которое соответствует минимальной ошибке, в качестве вектора движения, по мере того, как он перемещается на заданный блок движения в размерности пикселя в конкретной области поиска опорного кадра. Для оценки движения может использоваться блок движения, имеющий фиксированный размер, или блок движения, имеющий переменный размер согласно алгоритму иерархического согласования блоков переменного размера (HVSBM). Модуль 612 оценки движения обеспечивает данные движения, такие как векторы движения, полученные в качестве результатов оценки движения, размер блока движения и номер опорного кадра для модуля 640 энтропийного кодирования.

Модуль 614 компенсации движения снижает временную избыточность входного видеокадра. В этом случае модуль 614 компенсации движения создает предсказанный во времени кадр для имеющегося кадра посредством выполнения компенсации движения для опорного кадра с помощью векторов движения, вычисленных в модуле 612 оценки движения.

Вычитатель 616 удаляет временную избыточность видеосигнала посредством вычитания предсказанного во времени кадра из имеющегося кадра.

Модуль 620 пространственного преобразования удаляет избыточность из кадра, из которого временная избыточность удалена вычитателем 616, с помощью способа пространственного преобразования, который поддерживает пространственную масштабируемость. Дискретное косинусное преобразование (ДКП, DCT), вейвлетное преобразование и другие могут использоваться в качестве способа пространственного преобразования. Коэффициенты, полученные в качестве результата пространственного преобразования, называются коэффициентами преобразования. Если ДКП используется как способ пространственного преобразования, итоговые коэффициенты называются коэффициентами ДКП, в то время как, если используется вейвлетное преобразование, итоговые коэффициенты называются вейвлетными коэффициентами.

Модуль 630 квантования квантует коэффициенты преобразования, выданные модулем 620 пространственного преобразования. Квантование означает представление коэффициентов преобразования, которые выражаются как действительные значения, посредством дискретных значений путем деления коэффициентов преобразования на заданные сегменты и последующего подбора дискретных значений для конкретных индексов. В частности, в случае использования вейвлетного преобразования в качестве способа пространственного преобразования, способ вложенного квантования в основном используется как способ квантования. Этот способ вложенного квантования осуществляет эффективное квантование, используя пространственную избыточность, предпочтительно кодируя компоненты коэффициентов преобразования, которые превышают пороговое значение, посредством изменения порогового значения (до 1/2). Способ вложенного квантования может быть внедренным вейвлетным алгоритмом вейвлет-кодирования на основе вложенных нуль-деревьев (EZW), разделением на наборы в алгоритме иерархических деревьев (SPIHT) или алгоритмом кодирования на основе вложенных нулевых блоков (EZBC).

Модуль 640 э