Способ и устройство кодирования изображений

Способ и устройство кодирования изображений

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее изобретение относится к способу и устройству кодирования изображения и более конкретно к способу и устройству кодирования изображения, обеспечивающего уменьшение степени снижения эффективности кодирования.

Уровень техники

В последние годы с целью повысить эффективность кодирования сверх того уровня, который обеспечивает стандарт MPEG-4 Part 10 (Усовершенствованное видеокодирование (Advanced Video Coding); в дальнейшем именуемое AVC), Группа сотрудничества в области видеокодирования (Joint Collaboration Team - Video Coding (JCTVC)), представляющая собой совместную организацию Сектора стандартизации в области телекоммуникаций (Telecommunication Standardization Sector) Международного союза по телекоммуникациям (International Telecommunication Union) (ITU-T) и Международной организации по стандартизации/Международной электротехнической комиссии (International Organization for Standardization / International Electrotechnical Commission (ISO/IEC)), разрабатывала стандарт для системы видеокодирования, именуемый «Высокоэффективное видеокодирование» (HEVC), (например, см. Патентный документ 1).

Кроме того была предложена синтаксическая структура высокого уровня (high-level syntax (HL syntax)) для, например, набора параметров видео (video parameter set (VPS)), набора параметров последовательности (sequence parameter set (SPS)), набора параметров кадра (picture parameter set (PPS)), заголовка среза и других подобных элементов, являющаяся общей для расширенных стандартов (например, см. Непатентный документ 2 и Непатентный документ 3).

Список литературы

Непатентные документы

Непатентный документ 1: Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Ye-Kui Wang, Thomas Wiegand, "High Efficiency Video Coding (HEVC) text specification draft 10 (for FDIS & Last Call)", JCTVC-L1003_v34, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 12th Meeting: Geneva, CH, 14-23 Jan. 2013.

Непатентный документ 2: Gerhard Tech, Krzysztof Wegner, Ying Chen, Miska Hannuksela, Jill Boyce, "MV-HEVC Draft Text 4", JCT3V-D1004-v4, Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 114th Meeting: Incheon, KR, 20-26 Apr. 2013.

Непатентный документ 3: Jianle Chen, Jill Boyce, Yan Ye, Miska M. Hannuksela, "SHVC Working Draft 2", JCTVC-M1008_v3, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SGI 6 WP3 and ISCVIEC JTC1/SC29/WG1113th Meeting: Incheon, KR, 18-26 Apr. 2013.

Раскрытие изобретения

Проблемы, решаемые изобретением

Однако в случае использования способов, предлагаемых Непатентным документом 2 и Непатентным документом 3, в процессе передачи информации, относящейся к межуровневому прогнозированию, в заголовке среза при этом передают также ненужный синтаксис. Соответственно объем кодирования заголовка среза возрастает сверх необходимого, так что имеет место проблема снижения эффективности кодирования.

Настоящее изобретение создано с учетом такой ситуации и предназначено для уменьшения степени снижения эффективности кодирования.

Решение проблем

Согласно одному из аспектов настоящей технологии предложено устройство кодирования изображения, содержащее: модуль генерирования информации о назначении опорного уровня для генерирования информации о назначении опорного уровня, указывающей уровень, служащий опорным при межуровневом прогнозировании в случае, когда максимальный номер другого уровня, служащего опорным уровнем при межуровневом прогнозировании, и номер другого уровня, служащего опорным уровнем при межуровневом прогнозировании, заданные для данных всего изображения, конфигурированного в виде множества уровней, не совпадают один с другим; и кодирующий модуль для осуществления кодирования данных изображения.

Кроме того, устройство кодирования изображения может дополнительно содержать модуль управления прогнозированием, выполненным с возможностью управления межуровневым прогнозированием на основе информации о назначении опорного уровня, генерируемой модулем генерирования информации о назначении опорного уровня.

Далее, устройство кодирования изображения может дополнительно содержать передающий модуль, для передачи информации о назначении опорного уровня вместе с заголовком среза.

Модуль генерирования информации о назначении опорного уровня выполнен с возможностью генерирования информации о назначении опорного уровня, когда текущий уровень не является уровнем 0, и когда число опорных уровней не равно "0".

Кроме того, устройство кодирования изображения может дополнительно содержать модуль генерирования информации о межуровневой прогнозируемости, выполненный с возможностью генерирования информации о межуровневой прогнозируемости, представляющей, разрешено ли межуровневое прогнозирование.

Дополнительно, модуль генерирования информации о назначении опорного уровня выполнен с возможностью генерирования информации о назначении опорного уровня, когда информация о межуровневой прогнозируемости указывает, что межуровневое прогнозирование разрешено и когда имеется множество опорных уровней для текущего уровня.

Устройство кодирования изображения может дополнительно содержать модуль генерирования информации о числе опорных уровней, выполненный с возможностью генерирования информации о числе опорных уровней, представляющую номер другого уровня, служащего опорным во время межуровневого прогнозирования.

Модуль генерирования информации о числе опорных уровней выполнен с возможностью генерирования информации о числе опорных уровней, когда число опорных уровней при межуровневом прогнозировании не ограничивается одним.

Согласно другому аспекту настоящей технологии предложен способ кодирования изображения, содержащий этапы, на которых: формируют информацию о назначении опорного уровня, указывающую уровень, являющийся опорным при межуровневом прогнозировании, в случае, когда максимальный номер другого уровня, являющегося опорным при выполнении межуровневого прогнозирования, и номер другого уровня, являющегося опорным при выполнении межуровневого прогнозирования, заданные для данных всего изображения, конфигурированных в виде множества уровней, не совпадают один с другим; и кодируют данные изображения.

Согласно одному из аспектов настоящей технологии, информацию о назначении опорного уровня, указывающую уровень, являющийся опорным при межуровневом прогнозировании, генерируют в случае, когда максимальный номер другого уровня, являющегося опорным при выполнении межуровневого прогнозирования, и номер другого уровня, являющегося опорным при выполнении межуровневого прогнозирования, заданные для данных всего изображения, конфигурированных в виде множества уровней, не совпадают один с другим; и кодируют данные изображения.

Преимущества настоящего изобретения

Согласно настоящему изобретению можно кодировать и декодировать изображение. В частности, можно снизить степень увеличения нагрузки при кодировании или декодировании.

Краткое описание чертежей

Фиг. 1 представляет схему, иллюстрирующую пример конфигурации блока кодирования.

Фиг. 2 представляет схему, иллюстрирующую пример системы кодирования иерархического изображения.

Фиг. 3 представляет схему, иллюстрирующую пример кодирования с пространственным масштабированием.

Фиг. 4 представляет схему, иллюстрирующую пример кодирования с временным масштабированием.

Фиг. 5 представляет схему, иллюстрирующую пример масштабируемого кодирования отношения сигнал/шум.

Фиг. 6 представляет схему, иллюстрирующую пример синтаксиса заголовка среза.

Фиг. 7 представляет схему, иллюстрирующую пример семантики заголовка среза.

Фиг. 8 представляет схему, иллюстрирующую пример межуровневого прогнозирования.

Фиг. 9 представляет схему, иллюстрирующую пример синтаксиса заголовка среза.

Фиг. 10 представляет схему, иллюстрирующую пример способа задания опорного уровня.

Фиг. 11 представляет схему, иллюстрирующую пример синтаксиса заголовка среза.

Фиг. 12 представляет схему, иллюстрирующую пример семантики заголовка среза.

Фиг. 13 представляет схему, иллюстрирующую пример соотношения между уровнем и опорным уровнем при межуровневом прогнозировании.

Фиг. 14 представляет схему, иллюстрирующую пример способа задания опорного уровня.

Фиг. 15 представляет схему, иллюстрирующую пример синтаксиса набора параметров последовательности.

Фиг. 16 представляет схему, иллюстрирующую пример синтаксиса набора опорных кадров при межуровневом прогнозировании.

Фиг. 17 представляет схему, иллюстрирующую пример синтаксиса заголовка среза.

Фиг. 18 представляет схему, иллюстрирующую пример семантики набора параметров последовательности.

Фиг. 19 представляет схему, иллюстрирующую пример семантики набора опорных кадров при межуровневом прогнозировании.

Фиг. 20 представляет схему, иллюстрирующую пример семантики заголовка среза.

Фиг. 21 представляет схему, иллюстрирующую пример синтаксиса заголовка среза.

Фиг. 22 представляет схему, продолжающую фиг. 21 и иллюстрирующую синтаксис заголовка среза.

Фиг. 23 представляет схему, продолжающую фиг. 22 и иллюстрирующую синтаксис заголовка среза.

Фиг. 24 представляет схему, иллюстрирующую пример семантики заголовка среза.

Фиг. 25 представляет схему, иллюстрирующую пример синтаксиса набора параметров последовательности.

Фиг. 26 представляет схему, продолжающую фиг. 25 и иллюстрирующую синтаксис набора параметров последовательности.

Фиг. 27 представляет схему, иллюстрирующую пример синтаксиса набора опорных кадров при межуровневом прогнозировании.

Фиг. 28 представляет схему, иллюстрирующую пример синтаксиса заголовка среза.

Фиг. 29 представляет схему, продолжающую фиг. 28 и иллюстрирующую пример синтаксиса заголовка среза.

Фиг. 30 представляет схему, продолжающую фиг. 29 и иллюстрирующую пример синтаксиса заголовка среза.

Фиг. 31 представляет схему, продолжающую фиг. 30 и иллюстрирующую пример синтаксиса заголовка среза.

Фиг. 32 представляет схему, иллюстрирующую пример семантики набора параметров последовательности.

Фиг. 33 представляет схему, иллюстрирующую пример семантики набора опорных кадров при межуровневом прогнозировании.

Фиг. 34 представляет схему, иллюстрирующую пример семантики заголовка среза.

Фиг. 35 представляет блок-схему, иллюстрирующую пример базовой конфигурации устройства кодирования изображения.

Фиг. 36 представляет блок-схему, иллюстрирующую пример базовой конфигурации модуля кодирования изображения базового уровня.

Фиг. 37 представляет блок-схему, иллюстрирующую пример базовой конфигурации модуля кодирования изображения расширительного уровня.

Фиг. 38 представляет блок-схему, иллюстрирующую пример базовой конфигурации модуля генерирования информации заголовка.

Фиг. 39 представляет логическую схему, иллюстрирующую пример последовательности операций для процедуры кодирования изображения.

Фиг. 40 представляет логическую схему, иллюстрирующую пример последовательности операций для процедуры кодирования базового уровня.

Фиг. 41 представляет логическую схему, иллюстрирующую пример последовательности операций для процедуры кодирования расширительного уровня.

Фиг. 42 представляет логическую схему, иллюстрирующую пример последовательности операций для процедуры генерирования информации заголовка применительно к межуровневому прогнозированию.

Фиг. 43 представляет логическую схему, иллюстрирующую другой пример последовательности операций для процедуры генерирования информации заголовка применительно к межуровневому прогнозированию.

Фиг. 44 представляет блок-схему, иллюстрирующую пример базовой конфигурации устройства декодирования изображения.

Фиг. 45 представляет блок-схему, иллюстрирующую пример базовой конфигурации модуля декодирования изображения базового уровня.

Фиг. 46 представляет блок-схему, иллюстрирующую пример базовой конфигурации модуля декодирования изображения расширительного уровня.

Фиг. 47 представляет блок-схему, иллюстрирующую пример базовой конфигурации модуля анализа информации заголовка.

Фиг. 48 представляет логическую схему, иллюстрирующую пример последовательности операций для процедуры декодирования изображения.

Фиг. 49 представляет логическую схему, иллюстрирующую пример последовательности операций для процедуры декодирования базового уровня.

Фиг. 50 представляет логическую схему, иллюстрирующую пример последовательности операций для процедуры декодирования расширительного уровня.

Фиг. 51 представляет логическую схему, иллюстрирующую пример последовательности операций для процедуры анализа информации заголовка применительно к межуровневому прогнозированию.

Фиг. 52 представляет логическую схему, иллюстрирующую другой пример последовательности операций для процедуры анализа информации заголовка применительно к межуровневому прогнозированию.

Фиг. 53 представляет схему, иллюстрирующую пример системы кодирования многопроекционного изображения.

Фиг. 54 представляет схему, иллюстрирующую пример базовой конфигурации устройства кодирования многопроекционного изображения, к которому применена предлагаемая технология.

Фиг. 55 представляет схему, иллюстрирующую пример базовой конфигурации устройства кодирования многопроекционного изображения, к которому применена предлагаемая технология.

Фиг. 56 представляет блок-схему, иллюстрирующую пример базовой конфигурации компьютера.

Фиг. 57 представляет упрощенную блок-схему, иллюстрирующую пример конфигурации телевизионного устройства.

Фиг. 58 представляет упрощенную блок-схему, иллюстрирующую пример конфигурации мобильного телефона.

Фиг. 59 представляет упрощенную блок-схему, иллюстрирующую пример конфигурации устройства записи/воспроизведения.

Фиг. 60 представляет упрощенную блок-схему, иллюстрирующую пример конфигурации устройства считывания изображения.

Фиг. 61 представляет блок-схему, иллюстрирующую пример использования масштабируемого кодирования.

Фиг. 62 представляет блок-схему, иллюстрирующую другой пример использования масштабируемого кодирования.

Фиг. 63 представляет блок-схему, иллюстрирующую еще один пример использования масштабируемого кодирования.

Фиг. 64 представляет упрощенную блок-схему, иллюстрирующую пример конфигурации комплексного видеоустройства.

Фиг. 65 представляет упрощенную блок-схему, иллюстрирующую пример конфигурации видеопроцессора.

Фиг. 66 представляет упрощенную блок-схему, иллюстрирующую другой пример конфигурации видеопроцессора.

Фиг. 67 представляет пояснительную схему, иллюстрирующую конфигурацию системы воспроизведения контента.

Фиг. 68 представляет пояснительную схему, иллюстрирующую потоки данных в системе воспроизведения контента.

Фиг. 69 представляет пояснительную схему, иллюстрирующую конкретный пример файла MPD.

Фиг. 70 представляет функциональную блок-схему, иллюстрирующую конфигурацию сервера контента в составе системы воспроизведения контента.

Фиг. 71 представляет функциональную блок-схему, иллюстрирующую конфигурацию устройства для воспроизведения контента в составе системы воспроизведения контента.

Фиг. 72 представляет функциональную блок-схему, иллюстрирующую конфигурацию сервера контента в составе системы воспроизведения контента.

Фиг. 73 представляет диаграмму последовательности операций, иллюстрирующую пример процедуры связи, осуществляемой каждым устройством в системе радиосвязи.

Фиг. 74 представляет диаграмму последовательности операций, иллюстрирующую пример процедуры связи, осуществляемой каждым устройством в системе радиосвязи.

Фиг. 75 представляет схему, упрощенно иллюстрирующую пример конфигурации формата кадра, передаваемого и принимаемого в ходе процедуры связи, осуществляемой каждым устройством в системе радиосвязи.

Фиг. 76 представляет диаграмму последовательности операций, иллюстрирующую пример процедуры связи, осуществляемой каждым устройством в системе радиосвязи.

Способы осуществления изобретения

Далее будут рассмотрены варианты осуществления настоящего изобретения. Описание будет дано в следующем порядке.

1. Первый вариант (уменьшение избыточности в заголовке среза)

2. Второй вариант (устройство кодирования изображения)

3. Третий вариант (устройство декодирования изображения)

4. Четвертый вариант (устройства кодирования многопроекционного изображения и декодирования многопроекционного изображения)

5. Пятый вариант (компьютер)

6. Шестой вариант (пример приложения)

7. Седьмой вариант (пример приложения для масштабируемого кодирования)

8. Восьмой вариант (устройство/блок/модуль/процессор)

9. Девятый вариант (пример приложения для системы воспроизведения контента согласно стандарту MPEG-DASH)

10. Десятый вариант (пример приложения системы радиосвязи согласно стандарту Wi-Fi)

1. Первый вариант

Процесс стандартизации кодирования изображения

В последние годы информацию изображения обрабатывают и хранят в виде цифровых данных, и при этом, для передачи и накопления информации с высокой эффективностью, широко используются устройства, сжимающие и кодирующие изображение с применением системы кодирования, сжимающей данные посредством ортогонального преобразования, такого как дискретное косинусное преобразование, и компенсации движения с использованием избыточности, присущей информации изображения. Среди примеров такой системы кодирования можно указать системы согласно стандартам Группы экспертов по кинематографии (Moving Picture Experts Group (MPEG)) и другие подобные системы.

В частности, стандарт MPEG2 (ISO/IEC 13818-2) определяет систему кодирования изображения общего назначения и является стандартом, охватывающим как изображения с чересстрочной разверткой, так и изображения с последовательной (построчной) разверткой, а также изображения со стандартным разрешением и изображения высокой четкости. Например, сегодня стандарт MPEG2 широко применяется для самого широкого диапазона приложений для использования, как в профессиональной сфере, так и в быту. При использовании системы MPEG2 сжатия данных, например, в случае изображения с чересстрочной разверткой и со стандартным разрешением 720×480 пикселей, назначают объем кода (скорость передачи данных) от 4 до 8 Мбит/с. Кроме того, при использовании системы MPEG2 сжатия данных, например, в случае изображения с чересстрочной разверткой и высокой четкостью в формате 1920×1088 пикселей, назначают объем кода (скорость передачи данных) от 18 до 20 Мбит/с. Соответственно можно реализовать высокий коэффициент сжатия и удовлетворительное качество изображения.

Стандарт MPEG2 направлен главным образом на высококачественное кодирование изображения, подходящее преимущественно для вещания, но не согласован с системой кодирования, объем кода (скорость передачи данных) в которой ниже скорости, применяемой в стандарте MPEG1, другими словами, с системой, имеющей коэффициент сжатия данных выше, чем в стандарте MPEG1. Однако считается, что число запросов на такие системы будет расти в будущем в связи с широким применением портативных терминалов и стандартизацией системы кодирования MPEG4, разработанной для этой цели. Стандарт этой группы, относящийся к системе кодирования изображения, был утвержден в декабре 1998 г. под номером ISO/IEC 14496-2.

Более того, в последние годы, с первоначальной целью кодирования изображения для видеоконференций был экспертной группой по видеокодированию (VCEG) Сектора стандартизации ITU-T разработан и введен в действие стандарт H.26L (H.26L International Telecommunication Union Telecommunication Standardization Sector (ITU-T) Q6/16 Video Coding Expert Group (VCEG)). Известно, что стандарт H.26L требует большего объема вычислений в процессе кодирования и декодирования, чем обычная система кодирования, такая как MPEG2 или MPEG4, и реализует более высокую эффективность кодирования. Кроме того, на сегодня, как часть работ по стандартам MPEG4, был на основе стандарта H.26L разработан стандарт, реализующий более высокую эффективность кодирования за счет введения функций, не поддерживаемых стандартом H.26L. Этот новый стандарт получил название Совместная модель видеокодирования с повышенной степенью сжатия (Joint Model of Enhanced-Compression Video Coding).

В рамках плана стандартизации в марте 2003 г. был введен международный стандарт на основе стандартов Н.264 и MPEG-4 Part 10 (Усовершенствованное видеокодирование (Advanced Video Coding); далее называемый AVC).

Кроме того, в качестве расширения стандарта H.264/AVC, в феврале 2005 г. был введен стандарт Расширение диапазона точности (Fidelity Range Extension (FRExt)), содержащий средства кодирования, необходимые для использования в деловой сфере, а также дискретное косинусное преобразование 8×8 DCT и матрицу квантования, определенные в стандарте MPEG-2 и именуемые RGB, 4:2:2 и 4:4:4. Таким образом, создана использующая стандарт H.264/AVC система кодирования, способная представлять шумы кинопленки, присутствующие в кинофильме, а сам стандарт H.264/AVC находится на стадии использования в самом широком спектре приложений дисков Блю-рей (Blu-Ray Disc (торговая марка)) и в аналогичных приложениях.

Однако в последние годы выросли потребности в кодировании с еще более высокой степенью сжатия, например, сжатие изображения с разрешением 4000×2000 пикселей, что в четыре раза больше числа пикселей в изображении высокой четкости, а также потребности передачи изображения высокой четкости в среду с ограниченной пропускной способностью, такую как Интернет. По этой причине группа VCEG, аффилированная с ITU-T, постоянно выпускает обзоры по вопросам повышения эффективности кодирования.

Таким образом, в настоящее время Группа сотрудничества по вопросам видеокодирования (Joint Collaboration Team - Video Coding (JCTVC)), являющаяся совместной группой организации по стандартизации под эгидой ITU-T с одной стороны и Международной организации по стандартизации/Международной электротехнической комиссии (International Organization for Standardization / International Electrotechnical Commission (ISO/IEC)) с другой стороны, с целью дальнейшего повышения эффективности кодирования сверх уровня, достижимого в стандарте AVC, ведет работы по стандартизации системы кодирования, называемой Высокоэффективное видеокодирование (High Efficiency Video Coding (HEVC)). Разработанный этой группой проект стандарта был опубликован в январе 2013 г. (например, см. Непатентный документ 1).

Система кодирования

В дальнейшем предлагаемая технология будет описана для случая применения в такой системе кодирования/декодирования изображения, как система Высокоэффективного видеокодирования (High Efficiency Video Coding (HEVC)), в качестве примера.

Блок кодирования

В системе усовершенствованного видеокодирования (AVC) определена иерархическая структура, конфигурированная из макроблока и суб-макроблока. Однако макроблок размером 16×16 пикселей не является оптимальным для большого кадра изображения, именуемого кадром с ультравысокой четкостью (Ultra High Definition (UHD; 4000 пикселей ×2000 пикселей)) и становящегося целью для систем кодирования следующего поколения.

В отличие от этого, в системе HEVC, как показано на фиг. 1, определен блок кодирования (coding unit (CU)).

Блок CU именуется также блоком дерева кодирования (Coding Tree Block (СТВ)) и является частичной областью блока изображения, которая играет роль, аналогичную роли макроблока в системе AVC. Тогда как макроблок имеет фиксированный размер 16×16 пикселей, размер блока CU не фиксирован, а назначается в составе информации о сжатии изображения в каждой последовательности.

Например, в наборе параметров последовательности (SPS), входящем в состав кодированных данных, определены максимальный размер (наибольший блок кодирования (Largest Coding Unit (LCU))) и минимальный размер (наименьший блок кодирования (Smallest Coding Unit (SCU))) блока CU кодирования.

Каждый блок LCU, установив флаг разбиения split-flag=1, можно разделить на блоки CU меньшего размера, но не меньше наименьшего блока SCU. В примере, показанном на фиг. 1, размер блока LCU равен 128, а наибольшая глубина иерархии равна 5. Когда флаг split_flag равен "1", блок CU, имеющий размер 2N×2Ν, разделяют на блоки CU, каждый из которых имеет размер Ν×Ν, в иерархии на один уровень ниже.

Более того, блок CU разбивают на блоки прогнозирования (prediction unit (PUs)), представляющие собой области (частичные области изображения в блоках кадров), являющиеся блоками обработки данных при внутрикадровом прогнозировании или межкадровом прогнозировании, и разбивают на блоки преобразования (transform unit (TU)), представляющие собой области (частичные области изображения в блоках кадров), являющиеся блоками обработки при ортогональном преобразовании. В настоящий момент в системе HEVC могут быть использованы ортогональные преобразования с размерностью 16×16 и 32×32 в дополнение к ортогональным преобразованиям с размерностью 4×4 и 8×8.

Как и в описанной выше системе HEVC, в случае системы кодирования, в которой определен блок CU и в котором осуществляются различные процедуры в блоках CU, можно считать, что макроблок системы AVC соответствует блоку LCU, а блок (суб-блок) соответствует блоку CU. Кроме того, блок компенсации движения в системе AVC может считаться соответствующим блоку PU. Однако поскольку блок CU имеет иерархическую структуру, обычно размер блока LCU в наивысшей иерархии задают больше размера макроблока в системе AVC, такого как 128×128 пикселей.

Таким образом, здесь в последующем предполагается, что блок LCU содержит макроблок системы AVC, а блок CU содержит блок (суб-блок) системы AVC. Иными словами, термин «блок», используемый в приведенном ниже описании, представляет произвольную частичную область в составе изображения, а размер, форма, характеристики и другие подобные параметры блока ничем специально не ограничены. Другими словами, в понятие «блок» входят, например, такие произвольные области, как блок TU, блок PU, блок SCU, блок CU, блок LCU, суб-блок, макроблок и срез. Вполне очевидно, что в это понятие блока могут также входить частичные области (блоки обработки), отличные от перечисленных выше областей. Кроме того, случаи, где размер, блок обработки или другие подобные характеристики необходимо ограничить, будут описаны должным образом.

В настоящем описании предполагается, что блок дерева кодирования (Coding Tree Unit (CTU)) представляет собой блок, содержащий блок дерева кодирования (СТВ) из состава блока CU наибольшего размера (LCU) и параметр в момент обработки на основе (уровне) блока LCU. Кроме того, предполагается, что блок кодирования (CU), составляющий блок CTU, представляет собой блок, содержащий блок кодирования (Coding Block (СВ)) и параметр в момент обработки на основе (уровне) блока CU.

Выбор режима

В системах AVC и HEVC кодирования важную роль для достижения более высокой эффективности кодирования играет выбор подходящего режима прогнозирования.

В качестве примера такой системы выбора можно указать способ, согласно которому система выбора встроена в опорное программное обеспечение (опубликовано на сайте http://iphome.hhi.de/suehring/tml/index.htm) для стандарта H.264/MPEG-4AVC, именуемого (Joint Model (совместная модель)).

В совместной модели JM способ определения режима осуществляет выбор между режимом высокой сложности и режимом низкой сложности, которые будут описаны ниже. В любом из этих режимов вычисляют величину целевой функции для каждого режима (Mode) прогнозирования и выбирают режим прогнозирования, которому соответствует наименьшая величина целевой функции, в качестве оптимального режима для рассматриваемого блока или макроблока.

Целевая функция в режиме высокой сложности представлена Уравнением (1) ниже.

Математическая формула 1

Cost(Mode ∈ Ω)=D+λ*R… (1)

Здесь, Ω - универсальный набор режимов-кандидатов, используемых кодирования блока или макроблока, D - разность энергий между декодированным изображением и входным изображением в случае, когда кодирование осуществлялось в режиме прогнозирования. Кроме того, λ - неопределенный множитель Лагранжа, являющийся функцией параметра квантования. Параметр R - общий объем кода, если кодирование осуществляется в режиме, содержащем коэффициент ортогонального преобразования.

Другими словами, когда кодирование осуществляется в режиме высокой сложности, для вычисления указанных выше параметров D и R необходимо выполнить предварительное кодирование по одному разу для всех режимов-кандидатов, так что соответственно требуется больший объем вычислений.

Целевая функция в режиме низкой сложности представлена Уравнением (2) ниже.

Математическая формула 2

Cost(Mode ∈ Ω)=D+QP2Quant(QP)*HeaderBit… (2)

Здесь, D, в отличие от случая режима высокой сложности, представляет собой разность энергий между прогнозируемым изображением и входным изображением. Кроме того, величина QP2Quant (QP) является функцией параметра QP квантования, a HeaderBit представляет собой объем кода, применительно к информации, принадлежащей заголовку, такой как вектор движения и режим, не содержащий коэффициент ортогонального преобразования.

Другими словами, в режиме низкой сложности, хотя процесс прогнозирования необходимо провести для каждого режима-кандидата, декодированное изображение не требуется, и процедуру кодирования выполнять не нужно. По этой причине объем вычислений в режиме низкой сложности может быть меньше, чем в режиме высокой сложности.

Иерархическое кодирование

Описанные выше системы кодирования изображения, такие как системы по стандарту MPEG2 и по стандарту AVC, обладают функцией масштабируемости. Масштабируемое кодирование (иерархическое кодирование) представляет собой систему, согласно которой изображение конфигурируют в виде совокупности множества уровней, расположенных в иерархическом порядке, (иерархизируют) и осуществляют кодирование для каждого уровня. На фиг. 2 представлена схема, иллюстрирующая пример системы кодирования иерархического изображения.

Как показано на фиг. 2, в процессе иерархизации (иерархического представления) изображения одно исходное изображение разбивают на множество иерархий (уровней) с использованием ссылки на заданный параметр, имеющий функцию масштабируемости. Другими словами, иерархизированное изображение (далее - иерархическое изображение) содержит множество иерархий (уровней), имеющих взаимно различные (свое для каждого уровня) значения указанного заданного параметра. Эти множества уровней иерархического изображения конфигурированы в виде совокупности уровней, содержащей базовый уровень, кодирование и декодирование которого осуществляется с использованием только изображения этого базового уровня и без использования изображения какого-либо другого уровня, и небазовый уровень (также именуемый расширительным уровнем), кодирование и декодирование которого осуществляется с использованием изображения какого-либо другого уровня. Этот небазовый уровень может быть конфигурирован для использования изображения базового уровня или для использования изображения другого небазового уровня.

В общем случае для уменьшения избыточности небазовый уровень конфигурируют из данных (разностных данных) разностного изображения между изображением рассматриваемого небазового уровня и изображением другого уровня. Например, если одно изображение разбито на два иерархических уровня, а именно - базовый уровень и небазовый уровень (именуемый также расширительным уровнем), изображение, качество которого ниже качества исходного изображения, получают с использованием данных только базового уровня, а исходное изображение (другими словами, высококачественное изображение) получают на основе объединения данных базового уровня и данных небазового уровня.

Благодаря такому иерархическому разбиению изображения можно легко получать изображения различного качества в зависимости от ситуации. Например, в случае, когда терминалу, имеющему относительно небольшие возможности обработки и представления данных, такому как мобильный телефон, передают информацию сжатого изображения только для базового уровня и воспроизводят в этом терминале движущееся изображение с низким пространственным/временным разрешением или изображение низкого качества, а терминалу, имеющему относительно большие возможности обработки и представления данных, такому как телевизор или персональный компьютер, в дополнение к информации базового уровня передают информацию сжатого изображения для расширительного уровня и воспроизводят в этом терминале изображение с высоким пространственным/временным разрешением или изображение высокого качества, информация сжатого изображения в соответствии с возможностями конкретного рассматриваемого терминала может быть передана прямо от сервера без осуществления транскодирования.

Масштабируемый параметр

При таком кодировании иерархического изображения/декодировании иерархического изображения (масштабируемое кодирование/масштабируемое декодирование) параметр, обладающий функцией масштабируемости, является произвольным. Например, в качестве такого параметра может быть задано пространственное разрешение, как показано на фиг. 3, (пространственная масштабируемость). В случае такой пространственной масштабируемости разрешение изображения различно для каждого уровня. Другими словами, как показано на фиг. 3, каждое изображение разбито на два иерархических уровня, а именно базовый уровень, имеющий пространственное разрешение ниже разрешения исходного изображения, и расширительный уровень, позволяющий получить исходное изображение (исходное пространственное разрешение) при объединении с изображением базового уровня. Очевидно, что указанное здесь число иерархических уровней является только примером, так что изображение может быть разбито на произвольное число иерархических уровней.

В качестве параметра, обладающего такой масштабируемостью, может быть, например, использовано временное разрешение, как показано на фиг. 4 (временная масштабируемость). В случае такой временной масштабируемости, частота кадров различна для каждого уровня. Другими словами, в этом случае, как показано на фиг. 4, поскольку изображение разбито на иерархические уровни, имеющие взаимно различную (у каждого уровня - своя) частоту кадров, путем добавления уровня с высокой частотой кадров к уровню с низкой частотой кадров можно получить движущееся изображение с более высокой частотой кадров, а в результате объединения всех уровней можно получить исходное движущееся изображение (с исходной частотой кадров). Указанное здесь число иерархических уровней является только примером, так что изображение может быть разбито на произвольное число иерархических уровней.

Кроме того, в качестве параметра, обладающего такой масштабируемостью, можно, например, выбрать отношение сигнал/шум (Signal to Noise ratio (SNR)) (масштабируемость по отношению SNR). В случае такой масштабируемости по отношению SNR это отношение сигнал/шум различно для каждого уровня. Другими словами, как показано на фиг. 5, каждое изображение разбито на два иерархических уровня, а именно - базовый уровень с отношением SNR ниже, чем для исходного изображения, и расширительный уровень, позволяющий получить исходное изображение (исходное отношение SNR) при объединении с изображением базового уровня. Другими словами, в составе информации сжатого изображения базового уровня передают информацию, относящуюся к изображению с низким отношением PSNR, а при добавлении к этой информации базового уровня информации сжатого изображения расширительного уровня можно реконструировать отношение с высоким отношением PSNR. Очевидно, что указанное здесь число иерархических уровней является только примером, так что изображение может быть разбито на произвольное число иерархических уровней.

Очевидно, что в качестве параметра, обладающего масштабируемостью, можно использовать какой-либо еще параметр, отличный от параметров в рассмотренных выше примерах. Например, возможна масштабируемость по глубине цвета, когда базовый уровень конфигурирован в виде 8-битового изображения, а при добавлении к нему расширительного уровня получается 10-битовое изображение.

Кроме того, возможна масштабируемость по цветоразностным данным, когда базовый уровень конфигурирован посредством компонентного изображения в формате 4:2:0, а компонентное изображение в формате 4:2:2 получают путем добавления к нему расширительного уровня.

Синтаксическая структура высокого уровня для расширенного стандарта

Например, как описано в Непатентном документе 2 или Непатентном документе 3 была предложена синтаксическая структура высокого уровня (high level syntax (HL syntax)) для, например, набора параметров видео (VPS), набора параметров последоват