Устройство и способ обработки изображений

Устройство и способ обработки изображений

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее раскрытие относится к устройству и способу обработки изображений и, более конкретно, к устройству и способу обработки изображений, позволяющим предотвращать снижение эффективности кодирования.

Уровень техники

В последнее время увеличилась потребность в сжатии необработанных данных, которые генерирует датчик изображения и т.п., и данных изображения перед выполнением обработки устранения мозаики и т.п.

В качестве системы кодирования данных изображения используется MPEG 4 Часть 10 (Усовершенствованное кодирование видеоданных, ниже называется AVC). В последнее время, для улучшения эффективности кодирования, проводится стандартизация системы кодирования, называемая высокоэффективным кодированием видеоданных (HEVC), в Joint Collaboration Team - Video Coding (JCTVC), которая представляет собой объединенную группу - организатор стандартов Международного союза электросвязи, Сектор стандартизации (ITU-T) и Международной организации по стандартизации/ Международной электротехнической комиссии (ISO/IEC) (например, см. патентный документ 1).

В такой системе кодирования был рассмотрен способ для выполнения прогнозирования остаточного сигнала между компонентами (например, см. непатентный документ 2).

Список литературы

Непатентный документ

Непатентный документ 1: Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Ye-Kui Wang, Thomas Wiegand, "High Efficiency Video Coding (HEVC) text specification draft 10 (for FDIS & Last Call)", JCTVC-L1003_version 34, 2013-03-19.

Непатентный документ 2: Wei Pu, Woo-Shik Kim, Jianle Chen, Joel Sole, Marta Karczewicz, "RCE1: Descriptions and Results for Experiments 1, 2, 3, and 4", JCTVC-O0202, 2013-11-11.

Раскрытие изобретения

Задачи, решаемые изобретением

Однако обычно значения глубины битов данных компонентов являются независимыми друг от друга, и, соответственно, существует вероятность то, что в них будут установлены различные значения. Однако в способе, раскрытом в Непатентном документе 2, прогнозирование глубины битов между взаимно разными компонентами не рассматривается, и существует опасение, что прогнозирование не будет выполнено правильно, и это снижает эффективность кодирования.

Настоящее раскрытие выполнено с учетом такой ситуации и направлено на подавление снижения эффективности кодирования.

Решения задачи

В соответствии с одним вариантом осуществления настоящей технологии, предусмотрено устройство обработки изображений, включающее в себя: модуль остаточного прогнозирования, который выполняет прогнозирование со значениями глубины битов остаточных данных, скомпонованными так, чтобы они были однородными среди компонентов, когда прогнозирование выполняется среди компонентов для остаточных данных между входным изображением, сконфигурированным из множества компонентов, и прогнозируемым изображением; и модуль кодирования, который кодирует прогнозированные остаточные данные, сгенерированные в ходе прогнозирования, выполняемом модулем остаточного прогнозирования.

Модуль остаточного прогнозирования может компоновать значения глубины битов остаточных данных, так, чтобы они были однородными, используя сдвиг битов.

Модуль остаточного прогнозирования может выполнять прогнозирование со значениями глубины битов остаточных данных, скомпонованными так, чтобы они были однородными среди компонентов, используя сдвиг битов в случае, когда разность между значениями глубины битов двух компонентов, для которых выполняется прогнозирование, не равна нулю.

Модуль остаточного прогнозирования может выполнять прогнозирование со значениями глубины битов остаточных данных, скомпонованными так, чтобы они были однородными среди компонентов, используя сдвиг битов в случае, когда разность между значениями глубины битов является положительной, и может пропускать прогнозирование в случае, когда разность между значениями глубины битов является отрицательной.

Модуль остаточного прогнозирования может выполнять прогнозирование со значениями глубины битов остаточных данных, скомпонованными так, чтобы они были однородными среди компонентов, используя сдвиг битов в случае, когда цветовое пространство входного изображения не является пространством RGB, и может пропускать прогнозирование в случае, когда цветовое пространство входного изображения представляет собой пространство RGB.

Цветовое пространство входного изображения может представлять собой пространство YUV, и модуль остаточного прогнозирования может выполнять прогнозирование со значениями глубины битов остаточных данных, скомпонованными так, чтобы они были однородными, используя сдвиг битов между компонентом яркости и цветоразностным компонентом.

Цветовое пространство входного изображения может представлять собой пространство RGB, и модуль остаточного прогнозирования может выполнять прогнозирование, используя значения глубины битов остаточных данных, скомпонованных так, чтобы они были однородными, используя сдвиг битов между компонентом G и компонентом R или компонентом В.

Модуль остаточного прогнозирования может выполнять прогнозирование путем получения разности между значениями глубины битов двух компонентов, для которых выполняется прогнозирование, выполняя сдвиг битов остаточных данных одного компонента из двух компонентов, который соответствует разности между значениями глубины битов, умножая остаточные данные со сдвигом битов на заданный весовой коэффициент, выполняя сдвиг битов результата умножения, который соответствует заданному количеству битов, и получая разность между остаточными данными другого компонента и результатом сдвига битов при умножении.

Модуль остаточного прогнозирования может устанавливать весовой коэффициент, который является общим для множества компонентов.

В соответствии с одним вариантом осуществления настоящей технологии, предусмотрен способ обработки изображений, включающий в себя: выполняют прогнозирование со значениями глубины битов остаточных данных, скомпонованными так, чтобы они были однородными среди компонентов, когда прогнозирование выполняют среди компонентов для остаточных данных между входным изображением, сконфигурированным из множества компонентов, и прогнозируемым изображением; и кодируют прогнозированные остаточные данных, сгенерированные путем прогнозирования.

В соответствии с другим вариантом осуществления настоящей технологии, предусмотрено устройство обработки изображений, включающее в себя: модуль декодирования, который декодирует кодированные данные, в которых кодированы прогнозированные остаточные данные, которые представляют собой результат прогнозирования остаточных данных между изображением, сконфигурированным множеством компонентов и его прогнозируемым изображением среди компонентов; и модуль остаточного восстановления, который выполняет восстановление значений глубины битов остаточных данных, скомпонованных так, чтобы они были однородными среди компонентов, когда восстановление остаточных данных выполняют, используя прогнозируемые остаточные данные, полученные модулем декодирования, путем декодирования кодированных данных.

Модуль остаточного восстановления может компоновать значения глубины битов остаточных данных так, чтобы они были однородными, используя сдвиг битов.

Модуль приема, который принимает информацию, относящуюся к значениям глубины битов, может быть дополнительно включен, и модуль остаточного восстановления может компоновать значения глубины битов остаточных данных так, чтобы они были однородными, путем получения разности между значениями глубины битов двух компонентов, для которых выполняют прогнозирование, на основе информации, относящейся к значениям глубины битов, принятым модулем приема, и выполнения сдвига битов на основе полученной разности между значениями глубины битов.

Модуль остаточного восстановления, в случае, когда полученная разность между значениями глубины битов не равна нулю, может компоновать значения глубины битов остаточных данных так, чтобы они были однородными, используя сдвиг битов.

Модуль остаточного восстановления может выполнять восстановление значений глубины битов остаточных данных, скомпонованных так, чтобы они были однородными, используя сдвиг битов в случае, когда полученная разность между значениями глубины битов является положительной, и может пропускать восстановление в случае, когда разность между значениями глубины битов отрицательная.

Модуль приема может дополнительно принимать информацию, относящуюся к цветовому пространству изображения, и модуль остаточного восстановления может выполнять восстановление, используя значения глубины битов остаточных данных, скомпонованных так, чтобы они были однородными среди компонентов, используя сдвиг битов в случае, когда цветовое пространство изображения не является пространством RGB, на основе информации, относящейся к цветовому пространству изображения, принятого модулем приема, и может пропускать восстановление в случае, когда цветовое пространство изображения представляет собой пространство RGB.

Цветовое пространство изображения может представлять собой пространство YUV, и модуль остаточного восстановления может выполнять восстановление со значениями глубины битов остаточных данных, скомпонованными так, чтобы они были однородными между компонентом яркости и цветоразностным компонентом, используя сдвиг битов.

Цветовое пространство изображения может представлять собой пространство RGB, и модуль остаточного восстановления может выполнять восстановление со значениями глубины битов остаточных данных, скомпонованными так, чтобы они были однородными, используя сдвиг битов между компонентом G и компонентом R или компонентом В.

Модуль остаточного восстановления, путем получения разности между значениями глубины битов двух компонентов, для которых выполняется восстановление, выполняя сдвиг битов восстановленных остаточных данных одного компонента из двух компонентов, который соответствует разности между значениями глубины битов, умножая остаточные данные после сдвига битов на заданный весовой коэффициент, выполняя сдвиг битов результата умножения, который соответствует заданному количеству битов, и суммируя результат умножения со сдвигом битов и прогнозируемые остаточные данных, может выполнять восстановление остаточных данных другого компонента.

В соответствии с другим вариантом осуществления настоящей технологии, предусмотрен способ обработки изображений, включающий в себя: декодируют кодированные данные, в которых кодированы прогнозируемые остаточные данные, которые представляют собой результат прогнозирования остаточных данных между изображением, сконфигурированным из множества компонентов, и его прогнозируемым изображением среди компонентов; и выполняют восстановление со значениями глубины битов остаточных данных, скомпонованными так, чтобы они были однородными среди компонентов, когда восстановление остаточных данных выполняют, используя прогнозированные остаточные данные, полученные путем декодирования кодированных данных.

В соответствии с одним вариантом осуществления настоящей технологии, прогнозирование выполняют со значениями глубины битов остаточных данных, скомпонованными так, чтобы они были однородными среди компонентов, когда прогнозирование выполняют среди компонентов для остаточных данных между входным изображением, сконфигурированным множеством компонентов, и прогнозируемым изображением, и прогнозируемые остаточные данные, сгенерированные в результате прогнозирования, кодируют.

В соответствии с другим вариантом осуществления настоящей технологии, кодированные данные декодируют, в которых кодированы прогнозированные остаточные данные, которые представляют собой результат прогнозирования остаточных данных между изображением, сконфигурированным из множества компонентов и его прогнозируемым изображением среди компонентов, и восстановление выполняют со значениями глубины битов остаточных данных, скомпонованными так, чтобы они были однородными среди компонентов, когда восстановление остаточных данных выполняют, используя прогнозированные остаточные данные, полученные путем декодирования кодированных данных.

Результаты изобретения

В соответствии с настоящим раскрытием изображение может быть кодировано и декодировано. В частности, можно подавить снижение эффективности кодирования.

Краткое описание чертежей

На фиг. 1 показана схема, представляющая пример конфигурации модуля кодирования.

На фиг. 2 показана схема, представляющая пример семантики.

На фиг. 3 показана блок-схема, представляющая пример основной конфигурации устройства кодирования изображения.

На фиг. 4 показана блок-схема, представляющая пример основных конфигураций модуля обработки заголовка и модуля остаточного прогнозирования.

На фиг. 5 показана блок-схема последовательности операций, представляющая пример потока обработки кодирования.

На фиг. 6 показана блок-схема последовательности операций, представляющая пример потока обработки остаточного прогнозирования.

На фиг. 7 показана блок-схема последовательности операций, представляющая пример потока обработки генерирования прогнозируемых остаточных данных.

На фиг. 8 показана блок-схема последовательности операций, представляющая пример потока обработки генерирования прогнозируемых остаточных данных.

На фиг. 9 показана блок-схема последовательности операций, представляющая пример потока обработки генерирования прогнозируемых остаточных данных.

На фиг. 10 показана блок-схема, представляющая пример основной конфигурации устройства декодирования изображения.

На фиг. 11 показана блок-схема, представляющая пример основных конфигураций модуля получения заголовка и модуля остаточного восстановления.

На фиг. 12 показана блок-схема последовательности операций, представляющая пример потока обработки декодирования.

На фиг. 13 показана блок-схема последовательности операций, представляющая пример потока обработки остаточного восстановления.

На фиг. 14 показана блок-схема последовательности операций, представляющая пример потока обработки восстановления остаточных данных.

На фиг. 15 показана блок-схема последовательности операций, представляющая пример потока обработки восстановления остаточных данных.

На фиг. 16 показана блок-схема последовательности операций, представляющая пример потока обработки восстановления остаточных данных.

На фиг. 17 показана схема, представляющая пример семантики.

На фиг. 18 показана блок-схема, представляющая пример основных конфигураций модуля обработки заголовка и модуля остаточного прогнозирования.

На фиг. 19 показана блок-схема последовательности операций, представляющая пример потока обработки остаточного прогнозирования.

На фиг. 20 показана блок-схема, представляющая пример основных конфигураций модуля получения заголовка и модуля остаточного восстановления.

На фиг. 21 показана блок-схема последовательности операций, представляющая пример потока обработки остаточного восстановления.

На фиг. 22 показана схема, представляющая пример семантики.

На фиг. 23 показана блок-схема, представляющая пример основных конфигураций модуля обработки заголовка и модуля остаточного прогнозирования.

На фиг. 24 показана блок-схема последовательности операций, представляющая пример потока обработки остаточного прогнозирования.

На фиг. 25 показана блок-схема, представляющая пример основной конфигурации модуля получения заголовка и модуля остаточного восстановления.

На фиг. 26 показана блок-схема последовательности операций, представляющая пример потока обработки остаточного восстановления.

На фиг. 27 показана схема, представляющая пример семантики.

На фиг. 28 показана блок-схема, представляющая пример основных конфигураций модуля обработки заголовка и модуля остаточного прогнозирования.

На фиг. 29 показана блок-схема последовательности операций, представляющая пример потока обработки остаточного прогнозирования.

На фиг. 30 показана блок-схема, представляющая пример основных конфигураций модуля получения заголовка и модуля остаточного восстановления.

На фиг. 31 показана блок-схема последовательности операций, представляющая пример потока обработки остаточного восстановления.

На фиг. 32 показана схема, представляющая пример синтаксиса.

На фиг. 33 показана схема, представляющая пример семантики.

На фиг. 34 показана схема, представляющая пример семантики.

На фиг. 35 показана схема, представляющая пример семантики.

На фиг. 36 показана схема, представляющая пример синтаксиса.

На фиг. 37 показана схема, представляющая пример семантики.

На фиг. 38 показана схема, представляющая пример семантики.

На фиг. 39 показана схема, представляющая пример семантики.

На фиг. 40 показана схема, представляющая пример системы кодирования многообзорного изображения.

На фиг. 41 показана схема, представляющая пример основной конфигурации устройства кодирования многообзорного изображения в соответствии с существующей технологией.

На фиг. 42 показана схема, представляющая пример основной конфигурации устройства декодирования многообзорного изображения в соответствии с существующей технологией.

На фиг. 43 показана схема, представляющая пример системы кодирования иерархического изображения.

На фиг. 44 показана схема, представляющая пример кодирования с пространственной масштабируемостью.

На фиг. 45 показана схема, представляющая пример кодирования с временной масштабируемостью.

На фиг. 46 показана схема, представляющая пример кодирования с масштабированием по отношению сигнал-шум.

На фиг. 47 показана схема, представляющая пример основной конфигурации устройства кодирования иерархического изображения в соответствии с существующей технологией.

На фиг. 48 показана схема, представляющая пример основной конфигурации иерархического устройства декодирования изображения в соответствии с существующей технологией.

На фиг. 49 показана блок-схема, представляющая пример основной конфигурации компьютера.

На фиг. 50 показана блок-схема, представляющая пример схематической конфигурации телевизионного устройства.

На фиг. 51 показана блок-схема, представляющая пример схематической конфигурации мобильного телефона.

На фиг. 52 показана блок-схема, представляющая пример схематической конфигурации устройства записи/воспроизведения.

На фиг. 53 показана блок-схема, представляющая пример схематической конфигурации устройства формирования изображения.

На фиг. 54 показана блок-схема, представляющая пример схематической конфигурации видеосистемы.

На фиг. 55 показана блок-схема, представляющая пример схематической конфигурации видеопроцессора.

На фиг. 56 показана блок-схема, представляющая другой пример схематической конфигурации видеопроцессора.

Осуществление изобретения

Далее будут описаны варианты осуществления (ниже называются вариантами осуществления) для выполнения настоящего раскрытия. Описание будет представлено в следующем порядке.

1. Первый вариант осуществления (устройство кодирования изображения/устройство декодирования изображения)

2. Второй вариант осуществления (устройство кодирования изображения/устройство декодирования изображения)

3. Третий вариант осуществления (устройство кодирования изображения/устройство декодирования изображения)

4. Четвертый вариант осуществления (устройство кодирования изображения/устройство декодирования изображения)

5. Пятый вариант осуществления (обобщение весового коэффициента)

6. Шестой вариант осуществления (устройство кодирования многообзорного изображения с/устройство декодирования многообзорного изображения)

7. Седьмой вариант осуществления (устройство кодирования иерархического изображения/устройство декодирования иерархического изображения)

8. Восьмой вариант осуществления (компьютер)

9. Девятый вариант осуществления (пример применения)

10. Десятый вариант осуществления (набор/блок/модуль/процессор)

1. Первый вариант осуществления

Поток стандартизации кодирования изображения

В последнее время информацию изображения обрабатывают как цифровые данные, и в это время, с целью передачи и накопления информации с высокой эффективностью, широко используются устройства, которые сжимают и кодируют изображение, используя систему кодирования, сжимающую данные, используя ортогональное преобразование, такое как дискретное косинусное преобразование, и компенсацию движения, используя избыточность, которая является специфичной для информации изображения. Примеры такой системы кодирования включают в себя стандарт Группы экспертов движущегося изображения (MPEG) и т.п.

В частности, стандарт MPEG2 (ISO/IEC 13818-2) определен, как система кодирования изображения общего назначения и представляет собой стандарт, охватывающий как сканирование изображения с перемежением, так и последовательно сканированное изображение, и изображение со стандартным разрешением, и изображение с высокой четкостью. Например, в настоящее время, MPEG2 широко используется для широкого диапазона приложений, для профессионального применения и использования потребителем. Используя системы сжатия MPEG2, например, в случае сканированного изображения с перемежением со стандартным разрешением, имеющим 720×480 пикселей, назначают объем кода (скорость передачи битов) 4-8 Мбит/с. Кроме того, используя систему сжатия MPEG2, например, в случае сканирования изображения с перемежением с высоким разрешением, имеющим 1920×1088 пикселей, назначают объем кода (скорость передачи битов) 18-22 Мбит/с. В соответствии с этим, могут быть реализованы высокая степень сжатия и удовлетворительное качество изображения.

MPEG2, в основном, предназначен для кодирования изображения с высоким качеством, которое, в основном, соответствует широковещательной передаче, но не соответствует системе кодирования, имеющей количество кода (скорость передачи битов) меньше, чем у MPEG1, другими словами, имеющее степень сжатия более высокую, чем у MPEG1. Однако считается, что количество таких запросов будет увеличиваться в будущем, в соответствии с широким использованием портативных терминалов, и в соответствии с этим была выполнена стандартизация системы кодирования MPEG4. Ее стандарт, относящийся к системе кодирования изображения, был одобрен в декабре 1998 г., как ISO/IEC 14496-2.

Кроме того, в последние годы, для исходной цели кодирования изображения для телевизионных конференций, был принят стандарт H.26L Международного союза электросвязи, Сектор стандартизации электросвязи (ITU-T) Q6/16 Группа экспертов видеоданных (VCEG)). Известно, что H.26L требует большего объема расчетов при обработке кодирования и обработке декодирования, чем в обычной системе кодирования, такой как MPEG2 или MPEG4, и реализует более высокую эффективность кодирования. Кроме того, в настоящее время, как часть действий MPEG4, был принят стандарт, реализующий более высокую эффективность кодирования, в результате ввода функции, не поддерживаемой в соответствии с H.26L, на основе H.26L, как Объединенная модель улучшенного сжатия при кодировании видеоданных.

В соответствии с планом его стандартизации, в марте 2003 г., был введен международный стандарт на основе наименований Н.264 и MPEG 4 Часть 10 (Усовершенствованное кодирование видеоданных; ниже называется AVC).

Кроме того, в феврале 2005 г., в качестве расширения Н.264/AVC, был введен стандарт Расширения диапазона достоверности (FRExt), включающий в себя инструменты кодирования, требуемые для использования в бизнесе, и 8×8 DCT, и матрицу квантования, определенные в MPEG 2, который называется RGB 4:2:2 и 4:4:4. Таким образом, была сформирована система кодирования, позволяющая представлять шумы пленки, содержащиеся в кинофильмах, используя H.264/AVC, и H.264/AVC находится на этапе использования в широком диапазоне приложений для диска Blu-Ray (товарный знак) и т.п.

Однако в последнее время увеличилось количество запросов для обеспечения кодирования, имеющего еще более высокую степень сжатия, таких как запрос на сжатие изображения приблизительно 4000×2000 пикселей, что в четыре раза превышает количество пикселей изображения высокой четкости, и запрос на доставку изображения высокой четкости в среде, имеющей ограниченную пропускную способность, такой как Интернет. По этой причине постоянно производятся обзоры по улучшению эффективности кодирования в VCEG, которая представляет собой филиал ITU-T, описанного выше.

Таким образом, в настоящее время, с целью дальнейшего улучшения эффективности кодирования, так, чтобы она была выше, чем у AVC, выполняется стандартизация системы кодирования, называемой Высокоэффективное кодирование видеоданных (HEVC), Объединенной группой взаимодействия - кодирования видеоданных (JCTVC), которая представляет собой объединенную организацию по стандартизации ITU-T и Международной организацией по стандартизации/Международной электротехнической комиссией (ISO/IEC). Что касается стандарта HEVC, проект комитета, который представляет собой спецификацию, изданную в виде проекта, был выработан в январе 2013 г. (например, см. Непатентный документ 1).

Система кодирования

Далее, в качестве примера, будет описана настоящая технология в случае ее применения для кодирования/декодирования изображения в системе кодирования видеоданных в высокой эффективностью (HEVC).

Модуль кодирования

В системе Усовершенствованного кодирования видеоданных (AVC) определена иерархическая структура, сконфигурированная макроблоком и вспомогательным макроблоком. Однако макроблок 16×16 пикселей не является оптимальным для крупного фрейма изображения, называемого изображением ультравысокой четкости (UHD; 4000 пикселей × 2000 пикселей), которое становится целью системы кодирования следующего поколения.

В отличие от этого в системе HEVC, как представлено на фиг. 1, определен модуль кодирования (CU).

CU также называется блоком дерева кодирования (СТВ) и представляет собой частичную область модуля изображения, которая выполняет роль, аналогичную роли макроблока в системе AVC. В то время как макроблок является фиксированным по размеру 16×16 пикселей, размер CU не фиксирован, но обозначен в информации сжатия изображений в каждой последовательности.

Например, в наборе параметра последовательности (SPS) включенном в кодированные данные, которые выводят, максимальный размер (максимальный модуль кодирования (LCU)) и минимальный размер (наименьший модуль кодирования (SCU)) определены для CU.

В каждом из LCU, путем установки split_flag=1 в диапазоне, который имеет размер не меньше, чем SCU, LCU может быть разделен на CU, имеющие наименьший размер. В примере, представленном на фиг. 1, размер LCU составляет 128, и наибольшая иерархическая глубина равна 5. Когда значение split_flag равно "1", CU, имеющий размер 2N×2N, разделяют на CU, каждый из которых имеет размер N×N в иерархии на один уровень ниже.

Кроме того, CU разделяют на модули прогнозирования (PU), которые представляют собой области (частичные области изображения в модулях изображений), которые представляют собой модули обработки прогнозирования внутри кадра или прогнозирования между кадрами, и которые разделяют на модули преобразования (TU), которые представляют собой области (частичные области изображения в модулях изображений), которые представляют собой модули обработки ортогонального преобразования. В настоящее время в системе HEVC можно использовать ортогональные преобразования 16×16 и 32×32, в дополнение к ортогональным преобразованиям 4×4 и 8×8.

Как в системе HEVC, описанной выше, в случае системы кодирования, в которой определен CU, и различная обработка выполняется в модулях CU, можно предусмотреть, чтобы макроблок системы AVC соответствовал LCU, и блок (вспомогательный блок) соответствовал CU. Кроме того, блок компенсации движения системы AVC можно рассматривать, как соответствующий PU. Однако, поскольку CU имеет иерархическую структуру, в общем, размер LCU на самом высоком уровне иерархии установлен так, чтобы он был больше, чем размер макроблока в системе AVC, такой как 128×128 пикселей.

Таким образом, далее предполагается, что LCU также должен включать в себя макроблок системы AVC, и CU, как предполагается, также должен включать в себя блок (вспомогательный блок) системы AVC. Другими словами, "блок", используемый в представленном ниже описании, представляет произвольную частичную область в пределах изображения, и размер, форма, характеристика и т.п. его не ограничены чем-либо конкретным. Другими словами, "блок", например, включает в себя произвольные области, такие как TU, PU, SCU, CU, LCU, вспомогательный блок, макроблок и срез. Очевидно, что частичная область (модуль обработки), отличная от указанных выше, также имеется в виду в настоящей заявке. Кроме того, будет соответствующим образом описан случай, когда размер, модуль обработки и т.п. должны быть ограничены.

В данном описании модуль дерева кодирования (CTU), как предполагается, представляет собой модуль, который включает в себя блок дерева кодирования (СТВ) из CU с наибольшим количеством (LCU) и параметр во время обработки LCU на его основании (уровне). Кроме того, модуль кодирования (CU), конфигурирующий CTU, как предполагается, представляет собой модуль, который включает в себя блок кодирования (СВ) и параметр во время обработки CU на его основании (уровне).

Выбор режима

В системах кодирования AVC и HEVC, для того, чтобы достичь наибольшей эффективности кодирования, существенен выбор соответствующего режима прогнозирования.

В качестве примера такой системы выбора, существует способ, в котором система выбора включена в опорное программное обеспечение (опубликовано по адресу http://iphome.hhi.de/suehring/tml/index.htm) для H.264/MPEG-4AVC, называемое JM (обобщенная модель).

В JM может быть выбран способ определения режима для определения двух режимов, включающих в себя режим высокой сложности и режим низкой сложности, которые будут описаны ниже. В любом из этих режимов рассчитывают значение функции стоимости, относящееся к каждому режиму Mode прогнозирования, и режим прогнозирования, имеющий наименьшее значение функции стоимости, выбирают, как оптимальный режим для блока или макроблока.

Функция стоимости в режиме высокой сложности представлена ниже, как в Уравнении (1).

Математическая формула 1

Здесь Ω представляет собой универсальный набор режимов кандидатов, используемых для кодирования блока, или макроблок D представляет собой дифференциальную энергию между декодируемым изображением и входным изображением, в случае, когда кодирование выполняется в режиме прогнозирования. Кроме того, λ представляет собой неопределенный множитель Лагранжа, заданный как функция параметра квантования. R представляет собой общее количество кодов для случая, когда кодирование выполняется в режиме, который включает в себя ортогональный коэффициент преобразования.

Другими словами, когда выполняют кодирование в режиме высокой сложности, для расчета описанных выше параметров D и R, предварительную обработку кодирования следует выполнить однажды для всех режимов-кандидатов, и, соответственно, требуется больший объем расчетов.

Функция стоимости в режиме низкой сложности представлена ниже, как в Уравнении (2).

Математическая формула 2

Здесь D, в отличие от случая режима высокой сложности, представляет собой дифференциальную энергию между прогнозируемым изображением и входным изображением. Кроме того, QP2Quant (QP) задано, как функция параметра QP квантования, и HeaderBit представляет собой количество кода, относящегося к информации, принадлежащей заголовку, такой как вектор движения и режим, который не включает в себя ортогональный коэффициент преобразования.

Другими словами, в режиме низкой сложности, в то время как обработка прогнозирования должна быть выполнена для каждого режима кандидата, декодируемое изображение не является необходимым, и обработка кодирования не обязательно должна быть выполнена. По этой причине режим низкой сложности позволяет реализовать меньший объем расчетов, чем в режиме высокой сложности.

Остаточное прогнозирование

В то же время в HEVC был рассмотрен способ выполнения прогнозирования (также называемый остаточным прогнозированием) остаточного сигнала между компонентами во время кодирования 444 (например, см. непатентный документ 2).

В способе, раскрытом в этом непатентном документе 2, цветоразностный компонент (Cb/Cr) (или компонент R или компонент В) прогнозируют, используя компонент яркости (Y) (или компонент G), как в следующем Уравнении (3).

Математическая формула 3

Здесь Δr_c(x, y) представляет остаточные данные (разность между входным изображением и прогнозируемым изображением) цветоразностного компонента (Cb или Cr). Кроме того, r_L(x, y) представляет остаточные данные (разность между входным изображением и прогнозируемым изображением) компонента яркости (Y). Кроме того, Δr_c(x, y) представляет результат прогнозирования (остаточные данные цветоразностного компонента (Cb, или Cr) прогнозируют, используя остаточные данные компонента яркости (Y)) для остаточного прогнозирования (также называется прогнозируемыми остаточными данными). В этом уравнении "x, y" представляют положение (координаты) в изображении.

Кроме того, α представляет весовой коэффициент и принимает одно из значений ±(0, 1, 2, 4, 8). Такое значение установлено в единицах TU (другими словами, значение передают на сторону декодирования в единицах TU). Здесь ">>" представляет сдвиг битов в правую сторону (сдвиг вправо). Например, ">>n" представляет сдвиг вправо, соответствующий n битам.

Выполняется или нет такое остаточное прогнозирование, определяют в соответствии с управлением в единицах набора параметра изображения (PPS). Другими словами, в PPS, флаг включения/выключения, управляющий, выполняется или нет такое остаточное прогнозирование, передают на сторону декодирования.

В то же время, в общем, значения глубины битов данных компонентов не зависят друг от друга, и, таким образом, существует вероятность того, что будут установлены взаимно разные значения. Однако, как представлено в Уравнении (3), описанном выше, в способе прогнозирования, раскрытом в непатентном документе 2, существует предпосылка того, что значения глубины битов остаточных данных (компонентов яркости или цветоразностных компонентов) для всех компонентов являются одинаковыми, и случай, когда значения глубины битов остаточных данных являются разными между компонентами, не рассматривается. Другими словами, при прогнозировании, как представлено в Уравнении (3), в случае, когда значения глубины битов остаточных данных отличаются друг от друга между компонентами, не выполняется правильное прогнозирование, и существует опасение, состоящее в том, что эффективность кодирования может быть снижена.

Масштабирование значения глубины битов

Таким образом, когда прогнозирование (остаточное прогнозирование) среди компонентов выполняют для остаточных данных между входным изображением, сконфигурированным из множества компонентов, и прогнозируемым изображением, значения глубины битов остаточных данных компонуют так, чтобы они были однородными (выполняют масштабирование) среди компонентов. В результате такой компоновки, также в случае, когда значения глубины битов остаточных данных являются разными среди компонентов, может быть выполнено прогнозирование таким образом, что значения глубины битов остаточных данных компонентов являются однородными, и, соответственно, остаточное прогнозирование может быть правильно выполнено. В соответствии с этим, можно предотвратить снижение эффективности кодирования.

В то время как способ для компоновки значений глубины битов остаточных данных так, чтобы они были однородными среди компонентов, является произвольным, например, значения глубины битов остаточных данных могут быть скомпонованными так, чтобы они были однородными среди компонентов, путем выполнения сдвига битов остато