Способ кодирования и способ декодирования видеоинформации, устройства для реализации этого способа, программы для реализации этого способа и носители информации для записи этих программ
Иллюстрации
Показать всеИзобретение относится к способу кодирования видеоинформации, в котором кодированию подлежит видеосигнал, состоящий из двух или более компонентов сигнала цветности. Техническим результатом является уменьшение объема кода при кодировании за счет внедрения обработки, при которой выполняют адаптивную понижающую дискретизацию для каждого кадра и/или для каждой области внутри каждого кадра. Указанный технический результат достигается тем, что предложен способ кодирования видеоинформации, в котором кодированию подлежит видеосигнал, состоящий из двух или более компонент сигнала, содержащий: операцию установления коэффициента понижающей дискретизации, который устанавливают для конкретной компоненты сигнала в кадре в соответствии с характеристиками в кадре, и операцию генерации видеосигнала, подлежащего кодированию, путем выполнения понижающей дискретизации конкретной компоненты сигнала в кадре в соответствии с установленным коэффициентом понижающей дискретизации. Кадр может быть разделен на частичные области в соответствии с локализованными характеристиками в кадре, а коэффициент понижающей дискретизации для конкретной компоненты сигнала в этих частичных областях может быть установлен в соответствии с характеристиками в каждой частичной области. 15 н. и 2 з.п. ф-лы, 18 ил.
Реферат
ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Настоящее изобретение относится к способу кодирования видеоинформации, в котором кодированию подлежит видеосигнал, состоящий из двух или более компонентов сигнала, и к устройству для реализации этого способа, а также к способу декодирования видеоинформации для декодирования закодированных данных, сгенерированных в соответствии с этим способом кодирования видеоинформации, и к устройству для реализации этого способа, а также к программе кодирования видеоинформации, используемой для реализации способа кодирования видеоинформации, и к считываемому посредством компьютера носителю записи, на котором записана эта программа, а также к программе декодирования видеоинформации, используемой для реализации способа декодирования видеоинформации, и к считываемому посредством компьютера носителю записи, на котором записана эта программа.
Настоящее изобретение имеет притязание на приоритет заявки на патент Японии № 2006-276074, поданной 10 октября 2006, содержание которой включено сюда путем ссылки.
ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯ
В стандартных схемах кодирования движущихся изображений, начиная со стандарта H.264/AVC, во входном видеосигнале используют компоненты сигнала цветности, которые были подвергнуты понижающей дискретизации по сравнению с компонентами сигнала яркости (то есть дискретизация которых была произведена с более низкой частотой, чем та частота, на которой была произведена дискретизация компонент сигнала яркости). Это соответствует видеоформатам, известным как форматы 4:2:2, 4:2:0 и 4:1:1.
Видеоформаты, в которых эти компоненты сигнала цветности имеют меньшую частоту дискретизации, основаны на физиологическом факте, заключающемся в том, что зрение является менее чувствительным к компонентам сигнала цветности, чем к компонентам сигнала яркости, и они были внедрены с целью уменьшения объема видеоинформации и снижения стоимости отображающих устройств (см., например, документы №1 и №2, не являющиеся патентами).
С другой стороны, вследствие растущих ожиданий дальнейших улучшений качества видеоизображений, привлекает внимание видеоформат 4:4:4, в котором сигналы цветности не подвергнуты понижающей дискретизации. Например, в настоящее время Объединенная группа по кодированию видеоинформации (Joint Video Team, JVT) ведет разработку нового метода кодирования для стандарта H.264 (усовершенствованного метода кодирования в формате 4:4:4).
Документ №1, не являющийся патентом: "Chrominance Signal Interpolation of YUV4:2:0 Format Color Images", Hiroshi Sugita, Akira Taguchi, IEICE (The Institute of Electronics, Information and Communication Engineers) Transactions, Vol. J88-A, N6, pp.751-760, 2005.
Документ №2, не являющийся патентом: "A Color Image Compression Scheme Based on the Adaptive Orthogonalized Transform-Accelerated by Sorted Dictionary", Takashi Miura, Fumihiko Itagaki, Akihiko Yokoyama, Momoe Yamaguchi, IEICE (The Institute of Electronics, Information and Communication Engineers) Transactions, Vol. J85-D2, N11, pp. 1672-1682, November 2002.
РАСКРЫТИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ
ПРОБЛЕМЫ, КОТОРЫЕ ДОЛЖНЫ БЫТЬ РЕШЕНЫ В ИЗОБРЕТЕНИИ
Понижающая дискретизация компонент цветности является эффективным средством уменьшения объема кода, которое одновременно не допускает какого-либо ухудшения субъективного качества изображения. Однако, в зависимости от содержимого изображения, в некоторых случаях возможна дальнейшая понижающая дискретизация, которая не приводит к ухудшению субъективного качества изображения. В отличие от этого, в зависимости от содержимого изображения, в некоторых случаях в видеоформате 4:4:4 не достигают высокого качества изображения вследствие того, что понижающую дискретизацию всех компонент цветности в кадре выполняют одинаковым образом.
Характеристики сигнала изображения изменяются в каждом кадре, и также имеют место локализованные изменения внутри кадра. Чувствительность зрения к компонентам цветности также меняется в соответствии с этими изменениями. Например, в кадре, в котором (или в области, в которой) значения элементов изображения являются малыми (то есть темными), имеет место более низкая чувствительность зрения к компонентам цветности по сравнению с тем кадром, в котором (или с той областью, в которой) значения элементов изображения являются большими (то есть яркими).
Вследствие этого, путем изменения коэффициента понижающей дискретизации (downsampling ratio) компонент цветности в соответствии с характеристиками каждого кадра или в соответствии с локализованными характеристиками внутри кадра может появиться возможность эффективно уменьшить объем кода, сохраняя при этом субъективное качество изображения.
Однако обычную понижающую дискретизацию компонент цветности выполняют с одинаковым коэффициентом по всему кадру, поэтому имеются большие возможности для усовершенствования эффективности кодирования.
Настоящее изобретение было задумано с учетом описанных выше обстоятельств, и его задачей является создание новой технологии кодирования и декодирования видеоинформации, которая эффективно уменьшает объем кода за счет внедрения обработки, при которой выполняют адаптивную понижающую дискретизацию для каждого кадра, и за счет внедрения обработки, при которой выполняют адаптивную понижающую дискретизацию для каждой области внутри каждого кадра.
СРЕДСТВА РЕШЕНИЯ ПРОБЛЕМЫ
[1] Устройство кодирования видеоинформации из настоящего изобретения, которое адаптивно изменяет коэффициент понижающей дискретизации.
[1-1] Структура для покадрового выполнения адаптивных изменений.
Для реализации описанной выше задачи устройство кодирования видеоинформации из настоящего изобретения выполнено таким образом, что когда кодированию подлежит видеосигнал, состоящий из двух или более компонент сигнала, то устройство кодирования видеоинформации снабжено: (1) задающим устройством, которое устанавливает коэффициент понижающей дискретизации для конкретной компоненты сигнала из кадра в соответствии с характеристиками внутри кадра; и (2) устройством генерации, которое осуществляет генерацию видеосигнала, предназначенного для ввода в устройство кодирования, путем понижающей дискретизации конкретной компоненты сигнала внутри кадра в соответствии с коэффициентом понижающей дискретизации, установленным задающим устройством.
Способ кодирования видеоинформации из настоящего изобретения, реализованный посредством приводимых в действие соответствующих устройств обработки, описание которых приведено выше, также может быть реализован здесь посредством компьютерной программы. Эта компьютерная программа может быть предоставлена записанной на подходящем носителе записи, считываемом посредством компьютера, или же она может быть предоставлена через сеть. Когда необходимо реализовать настоящее изобретение, то компьютерную программу инсталлируют, и тогда она способна обеспечивать реализацию настоящего изобретения под управлением управляющего устройства, например, центрального процессора (ЦП).
Принимая во внимание наблюдение, заключающееся в том, что, например, когда выполняют сравнение между кадром, в котором степень изменения относительно предыдущего кадра (amount of transition) является большой, и кадра, в котором степень изменения относительно предыдущего кадра является малой, то в первом случае имеет место относительно низкий уровень чувствительности зрения, и, таким образом, по сравнению с кадром, в котором степень изменения относительно предыдущего кадра мала, в кадре, в котором степень изменения относительно предыдущего кадра является большой, не происходит какого-либо ухудшения субъективного качества изображения даже в том случае, если выполнена сильная понижающая дискретизация, в устройстве кодирования видеоинформации из настоящего изобретения, которое имеет описанную выше структуру, генерацию видеосигнала, предназначенного для ввода в устройство кодирования, осуществляют, например, путем установления коэффициента понижающей дискретизации для конкретной компоненты сигнала, например, для сигнала цветности, в каждом кадре в соответствии с величиной степени изменения относительно предыдущего кадра в этом кадре, а затем путем покадровой понижающей дискретизации конкретной компоненты сигнала в соответствии с установленным коэффициентом понижающей дискретизации.
В соответствии с этой структурой, согласно устройству кодирования видеоинформации из настоящего изобретения, возможно эффективно уменьшить объем кода, сохраняя при этом субъективное качество изображения.
[1-2] Структура для выполнения адаптивных изменений в каждой из единичных частичных областей внутри кадра
В описанном выше устройстве кодирования видеоинформации также возможно, чтобы устройство, устанавливающее коэффициент понижающей дискретизации, содержало: устройство, разделяющее кадр на частичные области в соответствии с локализованными характеристиками внутри кадра; и устройство, устанавливающее коэффициенты понижающей дискретизации для конкретных компонент сигнала в частичных областях в соответствии с характеристиками в каждой частичной области, и чтобы генерация видеосигнала, подлежащего кодированию, производилась путем понижающей дискретизации конкретной компоненты сигнала, соответствующей частичной области, в соответствии с установленным коэффициентом понижающей дискретизации.
Принимая во внимание наблюдение, заключающееся в том, что, например, когда выполняют сравнение между частичной областью, в которой степень изменения относительно предыдущего кадра является большой, и частичной областью, в которой степень изменения относительно предыдущего кадра является малой, то в первом случае имеет место относительно низкий уровень чувствительности зрения, и, таким образом, по сравнению с частичной областью, в которой степень изменения относительно предыдущего кадра мала, в частичной области, в которой степень изменения относительно предыдущего кадра является большой, не происходит какого-либо ухудшения субъективного качества изображения даже в том случае, если выполнена сильная понижающая дискретизация, в устройстве кодирования видеоинформации, которое имеет такую структуру, генерацию видеосигнала, предназначенного для ввода в устройство кодирования, осуществляют, например, путем установления коэффициента понижающей дискретизации для конкретной компоненты сигнала, например, для сигнала цветности, в каждой частичной области внутри кадра в соответствии с величиной степени изменения относительно предыдущего кадра в частичной области внутри кадра, а затем путем понижающей дискретизации конкретной компоненты сигнала для каждой из единичных частичных областей внутри кадров в соответствии с установленным коэффициентом понижающей дискретизации.
В случае такой структуры также возможно эффективно уменьшить объем кода, сохраняя при этом субъективное качество изображения.
[2] Устройство кодирования видеоинформации и устройство декодирования видеоинформации из настоящего изобретения, которые обрабатывают изменения в структуре закодированного блока, сгенерированные в результате адаптивного изменения коэффициента понижающей дискретизации.
Устройство кодирования видеоинформации из настоящего изобретения имеет базовую структуру, в которой в том случае, когда в качестве объекта для кодирования взят видеосигнал, состоящий из двух или более компонент сигнала, то кодируют видеосигналы, сгенерированные путем понижающей дискретизации конкретных компонент сигнала в соответствии с коэффициентом понижающей дискретизации, установленным для каждого кадра или установленным для каждой частичной области внутри кадра.
В отличие от этого, в стандартном устройстве кодирования видеоинформации, может быть использована такая структура, в которой для каждой дискретизированной компоненты сигнала, полученной путем кодирования, к каждому блоку конкретного размера добавляют информацию, показывающую, содержит ли этот блок значащий коэффициент или нет. Если используется структура этого типа, то для блоков, которые не содержат значащий коэффициент, можно опустить операцию добавления коэффициента преобразования, что позволяет достигнуть снижения объема кода.
Однако, поскольку в устройстве кодирования видеоинформации из настоящего изобретения коэффициент понижающей дискретизации конкретной компоненты сигнала изменяют адаптивно, то конфигурация, сформированная путем объединения блоков для каждой компоненты сигнала, не становится неизменной конфигурацией.
Следовательно, в настоящем изобретении может быть дополнительно предусмотрено наличие устройства, которое для каждой дискретизированной компоненты сигнала, полученной путем кодирования видеосигнала, подлежащего кодированию, при добавлении к каждому блоку конкретного размера информации, показывающей, содержит ли этот блок значащий коэффициент или нет, добавляет к группе блоков информацию, показывающую, в каком месте расположена группа блоков, совместно использующих конкретную компоненту сигнала.
Кроме того, в настоящем изобретении предложено устройство декодирования видеоинформации, которое декодирует закодированные данные видеосигнала, который был сгенерирован этим устройством кодирования видеоинформации, содержащее: устройство, которое путем декодирования закодированных данных информации, показывающей, в каком месте расположена группа блоков, совместно использующих конкретную компоненту сигнала, определяет, является ли группа блоков, подлежащих декодированию, группой блоков, совместно использующих конкретную компоненту сигнала, или нет; и устройство, которое, для группы блоков, определенной устройством определения как группа блоков, совместно использующих конкретную компоненту сигнала, путем декодирования закодированных данных о конкретной компоненте сигнала, совместно используемой группой блоков, декодирует подвергнутую понижающей дискретизации компоненту сигнала в соответствии с коэффициентом понижающей дискретизации, установленным на стороне кодирования.
Способ кодирования видеоинформации из настоящего изобретения и способ декодирования видеоинформации из настоящего изобретения, реализованные посредством приводимых в действие соответствующих устройств обработки, описание которых приведено выше, также могут быть реализованы здесь посредством компьютерной программы. Эта компьютерная программа может быть предоставлена записанной на подходящем носителе записи, считываемом посредством компьютера, или же она может быть предоставлена через сеть. Когда необходимо реализовать настоящее изобретение, то компьютерную программу инсталлируют, и тогда она способна обеспечивать реализацию настоящего изобретения под управлением управляющего устройства, например центрального процессора (ЦП).
В устройстве декодирования видеоинформации из настоящего изобретения, которое имеет такую структуру, к группе блоков добавлена информация, показывающая, в каком месте расположена группа блоков, совместно использующих конкретную компоненту сигнала.
Кроме того, в настоящем изобретении предложено устройство декодирования видеоинформации, которое декодирует закодированные данные видеосигнала, которые были сгенерированы этим устройством кодирования видеоинформации, содержащее: устройство, которое путем декодирования закодированных данных информации, показывающей, в каком месте расположена группа блоков, совместно использующих конкретную компоненту сигнала, определяет, является ли группа блоков, подлежащих декодированию, группой блоков, совместно использующих конкретную компоненту сигнала, или нет; и устройство, которое для группы блоков, определенной устройством определения как группа блоков, совместно использующих конкретную компоненту сигнала, путем декодирования закодированных данных о конкретной компоненте сигнала, совместно используемой группой блоков, декодирует подвергнутую понижающей дискретизации компоненту сигнала в соответствии с коэффициентом понижающей дискретизации, установленным на стороне кодирования.
В соответствии с этой структурой согласно настоящему изобретению, когда используется структура, в которой коэффициент понижающей дискретизации адаптивно изменяют в зависимости от кадров или фрагментов внутри кадров, которые берут в качестве единичных элементов, то для структуры, используемой в стандартном устройстве кодирования видеоинформации, которое добавляет к блокам, имеющим определенный размер, информацию, показывающую, содержит ли дискретизированный сигнал значащий коэффициент или нет, возможно ее использование без изменения этой структуры, даже если комбинация блоков для каждой компоненты сигнала изменяется в соответствии с этой структурой.
[3] Устройство кодирования видеоинформации и устройство декодирования видеоинформации из настоящего изобретения, которые обрабатывают изменения точности интерполяции опорного кадра, сгенерированные в результате адаптивного изменения коэффициента понижающей дискретизации.
[3-1] Когда адаптивное изменение коэффициента понижающей дискретизации выполняют для каждого единичного кадра
Устройство кодирования видеоинформации из настоящего изобретения имеет базовую структуру, в которой в том случае, когда в качестве объекта для кодирования взят видеосигнал, состоящий из двух или более компонент сигнала, то кодируют видеосигналы, сгенерированные путем понижающей дискретизации конкретных компонент сигнала в соответствии с коэффициентом понижающей дискретизации, установленным для каждого кадра.
В отличие от этого, в устройстве кодирования видеоинформации для межкадрового предсказания может использоваться компенсация движения, точность которой равна дробной доле элемента изображения. Это возможно потому, что при использовании структуры этого типа может быть реализована высокоточная компенсация движения.
Однако, поскольку в устройстве кодирования видеоинформации из настоящего изобретения коэффициент понижающей дискретизации конкретной компоненты сигнала адаптивно изменяют для каждого единичного кадра, то точность интерполяции опорного кадра, требуемая в том случае, когда для межкадрового предсказания используют компенсацию движения с точностью, равной дробной доле элемента изображения, становится непостоянной.
Следовательно, описанное выше устройство кодирования видеоинформации из настоящего изобретения может быть дополнительно снабжено: устройством, которое в том случае, когда для межкадрового предсказания при кодировании видеосигнала, подлежащего кодированию, используют компенсацию движения, точность которой равна дробной доле элемента изображения, изменяет точность интерполяции компоненты сигнала, подвергнутой понижающей дискретизации, в опорном кадре в соответствии с отношением между коэффициентом понижающей дискретизации кадра, подлежащего кодированию, и коэффициентом понижающей дискретизации опорного кадра; и устройством, которое осуществляет генерацию интерполированного изображения опорного кадра на основании измененной точности интерполяции.
В качестве устройства, взаимодополняющего это устройство, в настоящем изобретении предложено устройство декодирования видеоинформации, которое выполняет декодирование закодированных данных видеосигнала, сгенерированных вышеописанным устройством кодирования видеоинформации, и которое снабжено: устройством, которое в том случае, когда для межкадрового предсказания используют компенсацию движения, точность которой равна дробной доле элемента изображения, изменяет точность интерполяции компоненты сигнала, подвергнутой понижающей дискретизации, в опорном кадре в соответствии с отношением между коэффициентом понижающей дискретизации кадра, подлежащего декодированию, и коэффициентом понижающей дискретизации опорного кадра; и устройством, генерирующим интерполированное изображение опорного кадра на основании измененной точности интерполяции.
Способ кодирования видеоинформации из настоящего изобретения и способ декодирования видеоинформации из настоящего изобретения, реализованные посредством приводимых в действие соответствующих устройств обработки, описание которых приведено выше, также могут быть реализованы здесь посредством компьютерной программы. Эта компьютерная программа может быть предоставлена записанной на подходящем носителе записи, считываемом посредством компьютера, или же она может быть предоставлена через сеть. Когда необходимо реализовать настоящее изобретение, то компьютерную программу инсталлируют, и тогда она способна обеспечивать реализацию настоящего изобретения под управлением управляющего устройства, например центрального процессора (ЦП).
В устройстве кодирования видеоинформации из настоящего изобретения, которое имеет такую структуру, точность интерполяции компоненты сигнала, подвергнутой понижающей дискретизации, в опорном кадре изменяется в соответствии с отношением между коэффициентом понижающей дискретизации кадра, подлежащего кодированию, и коэффициентом понижающей дискретизации опорного кадра, и генерацию интерполированного изображения опорного кадра осуществляют на основании измененной точности интерполяции.
Кроме того, в устройстве декодирования видеоинформации из настоящего изобретения, которое имеет структуру, соответствующую этой структуре, точность интерполяции компоненты сигнала, подвергнутой понижающей дискретизации, в опорном кадре изменяют в соответствии с отношением между коэффициентом понижающей дискретизации кадра, подлежащего декодированию, и коэффициентом понижающей дискретизации опорного кадра, и генерацию интерполированного изображения опорного кадра осуществляют на основании этой измененной точности интерполяции.
В соответствии с этой структурой согласно настоящему изобретению, в том случае, когда используют структуру, в которой коэффициент понижающей дискретизации адаптивно изменяют для каждого единичного кадра, возможно сгенерировать интерполированное изображение опорного кадра, в котором реализована требуемая компенсация движения, даже в том случае, если точность интерполяции опорного кадра изменяют в соответствии с этой структурой.
[3-2] Когда адаптивное изменение коэффициента понижающей дискретизации выполняют для каждой из единичных частичных областей внутри кадра
Устройство кодирования видеоинформации из настоящего изобретения также способно выполнять кодирование видеосигналов, сгенерированных путем более точной понижающей дискретизации конкретных компонент сигнала в соответствии с коэффициентом понижающей дискретизации, установленным для каждой частичной области внутри кадра.
Как изложено выше, в устройстве кодирования видеоинформации для межкадрового предсказания может использоваться компенсация движения, точность которой равна дробной доле элемента изображения. Это возможно потому, что при использовании структуры этого типа может быть реализована высокоточная компенсация движения.
Однако, поскольку в устройстве кодирования видеоинформации из настоящего изобретения коэффициент понижающей дискретизации конкретной компоненты сигнала адаптивно изменяют для каждой из единичных частичных областей внутри кадров, то точность интерполяции опорного кадра, требуемая в том случае, когда для межкадрового предсказания используют компенсацию движения с точностью, равной дробной доле элемента изображения, становится непостоянной.
Следовательно, описанное выше устройство кодирования видеоинформации может быть дополнительно снабжено: устройством, которое в том случае, когда для межкадрового предсказания при кодировании видеосигнала, подлежащего кодированию, используют компенсацию движения, точность которой равна дробной доле элемента изображения, изменяет точность интерполяции компоненты сигнала, подвергнутой понижающей дискретизации, в частичной области внутри опорного кадра в соответствии с отношением между коэффициентом понижающей дискретизации каждой частичной области внутри кадра, подлежащего кодированию, и коэффициентом понижающей дискретизации частичной области внутри опорного кадра, с которым сверяются тогда, когда выполняют компенсацию движения в этой частичной области; и устройством, которое осуществляет генерацию интерполированного изображения частичной области внутри опорного кадра на основании измененной точности интерполяции.
В качестве устройства, взаимодополняющего это устройство, в настоящем изобретении предложено устройство декодирования видеоинформации, которое выполняет декодирование закодированных данных видеосигнала, сгенерированных с использованием вышеописанного способа кодирования видеоинформации, и которое содержит: устройство, которое в том случае, когда для межкадрового предсказания используют компенсацию движения, точность которой равна дробной доле элемента изображения, изменяет точность интерполяции компоненты сигнала, подвергнутой понижающей дискретизации, в частичной области внутри опорного кадра в соответствии с отношением между коэффициентом понижающей дискретизации каждой частичной области внутри кадра, подлежащего декодированию, и коэффициентом понижающей дискретизации частичной области внутри опорного кадра, с которым сверяются тогда, когда выполняют компенсацию движения в этой частичной области; и устройство, генерирующее интерполированное изображение частичной области внутри опорного кадра на основании измененной точности интерполяции.
Способ кодирования видеоинформации из настоящего изобретения и способ декодирования видеоинформации из настоящего изобретения, реализованные посредством приводимых в действие соответствующих устройств обработки, описание которых приведено выше, также могут быть реализованы здесь посредством компьютерной программы. Эта компьютерная программа может быть предоставлена записанной на подходящем носителе записи, считываемом посредством компьютера, или же она может быть предоставлена через сеть. Когда необходимо реализовать настоящее изобретение, то компьютерную программу инсталлируют, и тогда она способна обеспечивать реализацию настоящего изобретения под управлением управляющего устройства, например центрального процессора (ЦП).
В устройстве кодирования видеоинформации из настоящего изобретения, которое имеет такую структуру, точность интерполяции компоненты сигнала, подвергнутой понижающей дискретизации, в частичной области внутри опорного кадра изменяют в соответствии с отношением между коэффициентом понижающей дискретизации частичной области внутри кадра, подлежащего кодированию, и коэффициентом понижающей дискретизации частичной области внутри опорного кадра, с которым сверяются тогда, когда выполняют компенсацию движения в этой частичной области, и генерацию интерполированного изображения частичной области внутри опорного кадра осуществляют на основании этой измененной точности интерполяции.
Кроме того, в устройстве декодирования видеоинформации из настоящего изобретения, которое имеет структуру, соответствующую этой структуре, точность интерполяции компоненты сигнала, подвергнутой понижающей дискретизации, в частичной области внутри опорного кадра изменяют в соответствии с отношением между коэффициентом понижающей дискретизации частичной области, внутри кадра, подлежащего декодированию, и коэффициентом понижающей дискретизации частичной области внутри опорного кадра, с которым сверяются тогда, когда выполняют компенсацию движения в этой частичной области, и генерацию интерполированного изображения частичной области внутри опорного кадра осуществляют на основании этой измененной точности интерполяции.
В соответствии с этой структурой согласно настоящему изобретению, в том случае, когда используется структура, в которой коэффициент понижающей дискретизации адаптивно изменяют для единичных фрагментов внутри кадра, возможно осуществить генерацию интерполированного изображения опорного кадра, посредством которого реализуют требуемую компенсацию движения, даже если точность интерполяции опорного кадра изменяется в соответствии с этой структурой.
Эффекты изобретения
Согласно настоящему изобретению при кодировании видеосигнала имеется возможность адаптивно изменять коэффициент понижающей дискретизации конкретной компоненты сигнала в соответствии с характеристиками каждого кадра или в соответствии с локализованными характеристиками внутри кадра, и, следовательно, имеется возможность добиться эффективного сокращения кода в соответствии с чувствительностью зрения.
Кроме того, согласно настоящему изобретению для структуры, используемой в стандартном устройстве кодирования видеоинформации, которое добавляет к блокам, имеющим определенный размер, информацию, показывающую, содержит ли дискретизированный сигнал значащий коэффициент или нет, возможно ее использование без изменения этой структуры, даже если комбинация блоков для каждой компоненты сигнала изменяется вследствие адаптивного изменения коэффициента понижающей дискретизации.
Кроме того, согласно настоящему изобретению, в том случае, когда для межкадрового предсказания используют компенсацию движения, точность которой равна дробной доле элемента изображения, возможно осуществлять генерацию интерполированного изображения опорного кадра, посредством которого реализуют требуемую компенсацию движения, даже тогда, когда имеет место изменение точности интерполяции опорного кадра вследствие адаптивного изменения коэффициента понижающей дискретизации.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
На Фиг. 1 изображена пояснительная схема, на которой показана обработка, при которой выполняют понижающую дискретизацию согласно настоящему изобретению.
На Фиг. 2 изображена пояснительная схема, на которой показана обработка, при которой выполняют понижающую дискретизацию согласно настоящему изобретению.
На Фиг. 3 изображена пояснительная схема, на которой показана обработка, при которой выполняют понижающую дискретизацию согласно настоящему изобретению.
На Фиг. 4 изображена пояснительная схема, на которой показана обработка, при которой выполняют понижающую дискретизацию согласно настоящему изобретению.
На Фиг. 5 изображена пояснительная схема структуры кодированного блока (CBP, далее-СКБ).
На Фиг. 6 изображена схема, на которой показан пример компоненты яркости и компоненты цветности, подвергнутой понижающей дискретизации.
На Фиг. 7A изображена пояснительная схема набора блоков, совместно использующих цветность.
На Фиг. 7Б также изображена пояснительная схема набора блоков, совместно использующих цветность.
На Фиг. 7В также изображена пояснительная схема набора блоков, совместно использующих цветность.
На Фиг. 7Г также изображена пояснительная схема набора блоков, совместно использующих цветность.
На Фиг. 8 изображена пояснительная схема, на которой показаны значения точности интерполяцию опорного кадра.
На Фиг. 9 изображен вариант осуществления схемы последовательности операций, на которой показаны операции обработки при кодировании согласно настоящему изобретению.
На Фиг. 10 показано продолжение схемы последовательности операций, изображенной на Фиг. 9.
На Фиг. 11 изображен вариант осуществления схемы последовательности операций, на которой показаны операции обработки при декодировании согласно настоящему изобретению.
На Фиг. 12 показано продолжение схемы последовательности операций, изображенной на Фиг. 11.
На Фиг. 13 показан вариант осуществления устройства кодирования видеоинформации из настоящего изобретения.
На Фиг. 14 показан вариант осуществления устройства декодирования видеоинформации из настоящего изобретения.
На Фиг. 15 показан вариант осуществления устройства генерации интерполированного изображения опорного кадра из настоящего изобретения.
На Фиг. 16 изображена схема, на которой показан пример структуры устройства кодирования видеоинформации.
На Фиг. 17 изображена схема, на которой показан пример структуры устройства декодирования видеоинформации.
На Фиг. 18 изображен вариант осуществления схемы последовательности операций, на которой показана обработка для генерации интерполированного изображения опорного кадра из настоящего изобретения.
Описание номеров позиций
100 Блок установления флага адаптивной обработки
101 Блок хранения флагов адаптивной обработки
102 Блок считывания сигнала яркости
103 Блок хранения сигналов яркости
104 Блок считывания сигнала цветности
105 Блок хранения сигналов цветности
106 Блок установления коэффициентов понижающей дискретизации
107 Блок хранения коэффициентов понижающей дискретизации
108 Блок обработки, выполняющий понижающую дискретизацию сигнала цветности
109 Блок хранения сигналов цветности
110 Блок задания информации о местоположении макроблока, имеющего данные о цветности
110-1 Блок обработки, адаптивной к последовательности
110-2 Блок обработки, адаптивной к фрагментам
110-3 Блок обработки, адаптивной к цветности
111 Блок генерации закодированного потока
111-1 Блок кодирования информации, содержащейся в заголовке
111-2 Блок хранения закодированных потоков информации, содержащейся в заголовке
111-3 Блок обработки, выполняющий кодирование сигнала яркости - сигнала цветности
111-4 Блок хранения закодированных потоков сигнала яркости - сигнала цветности
111-5 Блок мультиплексирования закодированного потока
112 Блок хранения закодированных потоков
113 Блок определения заключительного фрагмента
НАИЛУЧШИЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ
Ниже будет приведено подробное описание настоящего изобретения в соответствии с вариантами его осуществления.
В настоящем изобретении реализована новая технология кодирования и декодирования видеоинформации, которая эффективно уменьшает объем кода за счет внедрения обработки, при которой выполняют адаптивную понижающую дискретизацию для каждого кадра, и за счет внедрения обработки, при которой выполняют адаптивную понижающую дискретизацию для каждой области внутри каждого кадра.
Ниже приведено описание функций в устройстве кодирования и в устройстве декодирования, необходимых для внедрения этого типа обработки для адаптивной понижающей дискретизации.
Следует отметить, что в приведенном ниже примере объектом понижающей дискретизации является компонента цветности в цветовом пространстве, сформированном сигналом яркости (Y) и двумя компонентами цветности (Cb, Cr), однако цели настоящего изобретения не ограничены этими сигналами цветового пространства.
Например, настоящее изобретение также может быть применено таким же самым образом к трем компонентам, полученным путем выполнения любого преобразования цвета в видеосигналах формата 4:4:4. Кроме того, количество компонент, для которых выполняют обработку путем адаптивной понижающей дискретизации, не ограничено каким-либо конкретным количеством. Например, когда первая основная компонента, вторая основная компонента и третья основная компонента получены с использованием преобразования Карунена-Лоэва (KL-преобразования) для преобразования цвета, то объектом понижающей дискретизации может являться любая из этих компонент. Кроме того, другим примером может являться следующий: объектом понижающей дискретизации являются любые две из этих трех компонент (например, вторая основная компонента и третья основная компонента). Кроме того, естественно, также возможно, что объектом понижающей дискретизации являются все три эти компоненты.
Кроме того, настоящее изобретение также может быть применено таким же самым образом в том случае, когда объектом понижающей дискретизации является иной сигнал, чем сигнал цветового пространства.
[1] Адаптивная обработка единичного кадра
Согласно первому объекту настоящего изобретения коэффициент понижающей дискретизации кадра адаптивно изменяют для компоненты цветности в соответствии с характеристиками внутр