Устройство и способ обработки изображений

Устройство и способ обработки изображений

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее раскрытие относится к устройству и способу обработки изображений и, в частности, к устройству и способу обработки изображений, способным уменьшать ухудшение изображения.

Уровень техники

В последние годы получили широкое распространение устройства, в которых изображение подвергается кодированию со сжатием, используя систему кодирования, которая обращается с информацией изображения как с цифровой информацией, и в этом случае сжатие изображения посредством ортогонального преобразования, такого как дискретное косинусное преобразование и т.п., и компенсация движения, обладает преимуществом избыточности, являющимся признаком информации изображения, чтобы выполнять высокоэффективное кодирование и хранение информации. Примерами такой системы кодирования являются Moving Picture Experts Group (MPEG) и другие.

В частности, MPEG2 (ISO/IEC 13818-2) определяется как универсальная система кодирования изображения и является стандартом, охватывающим как изображения с чересстрочной разверткой, так и изображения с прогрессивной разверткой, а также изображения со стандартной разрешающей способностью и изображения высокой четкости. Например, MPEG2 в настоящее время широко используется как для профессионального, так для потребительского использования. Используя способ сжатия MPEG2, в случае изображения с чересстрочной разверткой со стандартной разрешающей способностью, например, 72×480 пикселей, назначается объем кодирования (битовая скорость) 4-8 Мбит/с. Кроме того, при использовании способа сжатия MPEG2, в случае изображения с чересстрочной разверткой и высокой разрешающей способностью, например, 1920×1088 пикселей, назначается объем кодирования (битовая скорость) 18-22 Мбит/с. По этой причине становится возможным реализовать высокий коэффициент сжатия и благоприятное качество изображения.

MPEG2 использовался, главным образом, для кодирования изображения высокого качества, пригодного для широкого вещания, но не был совместимым с системами кодирования с объемом кода (битовой скоростью) ниже, чем в MPEG1, другими словами, с более высоким коэффициентом сжатия. При широком использовании мобильных терминалов ожидается, что потребность в такой системе кодирования в будущем будет расти, и в ответ на это была проведена стандартизация системы кодирования MPEG4. Что касается системы кодирования изображения, то технические требования к ней были утверждены в качестве международного стандарта как ISO/IEC 14496-2 в декабре 1998 г.

Дополнительно, в последние годы стандартизация стандарта под названием H.26L (ITU-T (сектор по стандартизации телекоммуникаций в составе ITU (Международного союза по телекоммуникациям)) Q6/16 VCEG (экспертная группа по видеокодированию)) прогрессировала, причем предметом его рассмотрения первоначально было кодирование изображения для использования при проведении видеоконференций. При использовании H.26L стало известно, что хотя кодирование и декодирование для этих целей требуют повышенного объема вычислений по сравнению с традиционной системой кодирования, такой как MPEG2 или MPEG4, при этом реализуется повышенная эффективность кодирования. Кроме того, в настоящее время, как часть деятельности по MPEG4, стандартизация, была осуществлена совместная модель видеокодирования с улучшенным сжатием (Joint Model of Enhanced-Compression Video Coding), содержащая функцию, которая не поддерживается H.26L, и берущая H.26L в качестве основы, чтобы реализовать повышенную эффективность кодирования.

Согласно графику стандартизации, в марте 2003 г. был принят международный стандарт под названием Н.264 и Часть 10 MPEG4 (Advanced Video Coding, перспективное видеокодирование, здесь далее упоминаемое как AVC).

Дополнительно, как расширение Н.264/AVC, стандартизация FRExt (Fidelity Range Extension, расширение диапазона точности воспроизведения), содержащая инструменты кодирования, необходимые для бизнес-применения, такие как RGB, 4:2:2 или 4:4:4, а также 8×8 DCT и матрицы квантования, определенные в MPEG2, была завершена в феврале 2005 г. Соответственно, была принята система кодирования, способная, используя Н.264/AVC, должным образом передавать даже шум пленки, содержащийся в кинофильме, и которая используется в широком диапазоне применений, таких как диски Blu-ray (зарегистрированная торговая марка).

Однако в последнее время возросла потребность кодирования при более высоком коэффициенте сжатия, например потребность в сжатии изображения, имеющего приблизительно 4000×2000 пикселей, что в четыре раза больше, чем у изображения высокой четкости, или для распространения изображений высокой четкости в среде с ограниченной способностью передачи, такой как Интернет. Поэтому, в экспертной группе по видеокодированию (Video Coding Expert Group, VCEG) под эгидой ITU-T, как было описано выше, непрерывно проводились исследования по повышению эффективности кодирования.

Поэтому с целью дополнительного повышения эффективности кодирования по сравнению с AVC, в настоящее время группой сотрудничества по видеокодированию (Joint Collaboration Team-Video Coding, JCTVC), являющейся группой по стандартизации ITU-T и ISO/IEC, проводится стандартизация системы кодирования под названием High Efficiency Video Coding (HEVC) (видеокодирование высокой эффективности) (смотрите, например, непатентный документ 1).

Однако в стандарте HEVC, раскрытом в непатентном документе 1, используется технология, названная "Intra Transform Skipping" (пропуск внутрикадрового преобразования) (смотрите, например, непатентный документ 2).

То есть, во-первых, флаг, указывающий, применяется ли в последовательности Transform Skipping (пропуск преобразования) (упоминаемый также как "пропуск ортогонального преобразования"), передается в Sequence Parameter Set (SPS) (набор параметров последовательности).

Когда значение равно 1, возможно применить TransformSkip к блокам 4×4 ортогонального преобразования яркости и цветности.

Флаг, относящийся к включению/выключению TransformSkip, передается каждому блоку.

Что касается блока, к которому применяется TransformSkip, то в энтропийном кодировании, квантовании, процессе контурной фильтрации и т.п. нет никакого изменения.

Перечень литературы

Непатентный документ

Непатентный документ 1: Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Thomas Wiegand, "Working Draft 4 of High-Efficiency Video Coding", JCTVC-F803_d2, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting: Torino, IT, 14-22 July, 2011

Непатентный документ 2: Cuiling Lan, Jizheng Xu, Gary J. Sullivan, Feng Wu, "Intra transform skipping", JCTVC-I0408, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 9th Meeting: Geneva, CH, 27 April - 7 May 2012

Раскрытие изобретения

Задачи, решаемые изобретением

Однако коэффициент блока, к которому применяется TransformSkip, является значением, относящимся к пространственному домену, а коэффициент блока, к которому TransformSkip не применяется, является значением, относящимся к частотному домену, и, таким образом, обе характеристики отличаются друг от друга.

По этой причине, когда процесс кодирования как на блоке, к которому применяется TransformSkip, так и на блоке, к которому TransformSkip не применяется, выполняется без учета различия в этих характеристиках, существует опасение, что эффективность кодирования ухудшится.

Настоящее раскрытие разработано с учетом такой ситуации и может уменьшать снижение качества изображения из-за процессов кодирования/декодирования.

Решения проблем

В соответствии с вариантом настоящего раскрытия, обеспечивается устройство обработки изображений, содержащее: блок декодирования, декодирующий кодированные данные и формирующий квантованный коэффициент; и блок инверсного квантования, использующий весовой коэффициент, применяемый к блоку с пропуском ортогонального преобразования, в котором процесс ортогонального преобразования пропускается, чтобы инверсно квантовать квантованный коэффициент блока с пропуском ортогонального преобразования, формируемый блоком декодирования.

Блок инверсного квантования может использовать один весовой коэффициент.

Блок инверсного квантования, используя весовой коэффициент, может инверсно квантовать квантованный коэффициент блока с пропуском ортогонального преобразования, имеющего размер блока 4×4.

Устройство обработки изображения может дополнительно содержать приемный блок, который принимает информацию разрешения пропуска, переданную в качестве набора параметров картинки и указывающую, разрешен ли пропуск процесса ортогонального преобразования.

Приемный блок может дополнительно принимать переданный весовой коэффициент и блок инверсного преобразования может инверсно квантовать квантованный коэффициент блока с пропуском ортогонального преобразования, используя весовой коэффициент, принятый приемным блоком.

Блок инверсного квантования может инверсно квантовать квантованный коэффициент блока без пропуска ортогонального преобразования, в котором выполняется процесс ортогонального преобразования, используя матрицу квантования, отличную от матрицы весовых коэффициентов, полученной при выполнении матричной обработки весового коэффициента.

Устройство обработки изображения может дополнительно содержать блок передачи, извлекающий сигнал желаемого канала, принимая широковещательные сигналы, и получать кодированные данные, декодируя извлеченный сигнал, и блок декодирования может декодировать кодированные данные, полученные из широковещательных сигналов блоком передачи.

Устройство обработки изображения может дополнительно содержать демультиплексор, который демультиплексирует и разделяет переданные кодированные данные на кодированные видеоданные и кодированные аудиоданные, и блок декодирования может декодировать кодированные видеоданные, отделенные от кодированных аудиоданных мультиплексором.

Устройство обработки изображения может дополнительно содержать блок воспроизведения, который воспроизводит видеоданные, полученные при выполнении на кодированных данных процесса декодирования блоком декодирования и процесса инверсного квантования блоком инверсного квантования.

Устройство обработки изображения может дополнительно содержать блок аудиокодека, выполняющий кодирование и декодирование аудиоданных.

Устройство обработки изображения может дополнительно содержать блок воспроизведения, считывающий кодированные данные, записанные на носителе для хранения данных, и блок декодирования может декодировать кодированные данные, считанные блоком воспроизведения с носителя для хранения данных.

В соответствии с другим вариантом настоящего раскрытия, обеспечивается способ обработки изображения, содержащий этапы, на которых: декодируют кодированные данные и формируют квантованный коэффициент; и инверсно квантуют сформированный квантованный коэффициент блока с пропуском ортогонального преобразования, используя весовой коэффициент, примененный к блоку ортогонального преобразования, в котором процесс ортогонального преобразования пропускается.

В другом варианте настоящего раскрытия кодированные данные декодируют, формируют квантованный коэффициент и весовой коэффициент, подаваемый на блок с пропуском ортогонального преобразования, в котором пропускается процесс ортогонального преобразования, которые используются для инверсного квантования сформированного квантованного коэффициента блока с пропуском ортогонального преобразования.

Дополнительно, устройство обработки изображения, описанное выше, может быть независимым устройством или может быть внутренним блоком, образующим устройство декодирования изображения.

Результаты изобретения

В соответствии с настоящим раскрытием можно декодировать изображение. В частности, можно уменьшить снижение качества изображения из-за декодирования.

Краткое описание чертежей

Фиг. 1 - блок-схема примера основной конфигурации устройства кодирования изображения.

Фиг. 2 - пример конфигурации блока кодирования.

Фиг. 3 - пример передачи матрицы квантования.

Фиг. 4 - пример набора параметров последовательности.

Фиг. 5 - пример набора параметров последовательности, соответствующего фиг. 4.

Фиг. 6 - пример набора параметров картинки.

Фиг. 7 - пример набора параметров картинки, соответствующего фиг. 6.

Фиг. 8 - пример состояния квантования.

Фиг. 9 - пример набора параметров последовательности.

Фиг. 10 - пример набора параметров последовательности, соответствующего фиг. 9.

Фиг. 11 - пример набора параметров картинки.

Фиг. 12 - пример набора параметров картинки, соответствующего фиг. 11.

Фиг. 13 - блок-схема примера основной конфигурации блока с пропуском ортогонального преобразования и т.п.

Фиг. 14 - блок-схема последовательности выполнения операций примера потока процесса кодирования.

Фиг. 15 - блок-схема последовательности выполнения операций примера процесса управления пропуском ортогонального преобразования.

Фиг. 16 - блок-схема последовательности выполнения операций примера процесса ортогонального преобразования.

Фиг. 17 - блок-схема последовательности выполнения операций примера процесса квантования.

Фиг. 18 - блок-схема последовательности выполнения операций примера процесса фильтрации удаления блочности.

Фиг. 19 - блок-схема примера основной конфигурации устройства декодирования изображения.

Фиг. 20 - блок-схема примера основной конфигурации блока с пропуском инверсного ортогонального преобразования и т.п.

Фиг. 21 - блок-схема последовательности выполнения операций примера процесса декодирования.

Фиг. 22 - блок-схема последовательности выполнения операций примера процесса инверсного квантования.

Фиг. 23 - блок-схема последовательности выполнения операций примера процесса инверсного ортогонального преобразования.

Фиг. 24 - другой пример набора параметров последовательности.

Фиг. 25 - пример набора параметров картинки.

Фиг. 26 - блок-схема последовательности выполнения операций примера процесса формирования информации разрешения пропуска.

Фиг. 27 - блок-схема последовательности выполнения операций примера процесса приема информации разрешения пропуска.

Фиг. 28 - пример системы кодирования мультипроекционного изображения.

Фиг. 29 - блок-схема примера основной конфигурации устройства кодирования мультипроекционного изображения, к которому применяется настоящая технология.

Фиг. 30 - блок-схема примера основной конфигурации устройства декодирования мультипроекционного изображения, к которому применяется настоящая технология.

Фиг. 31 - пример системы кодирования иерархического изображения.

Фиг. 32 - блок-схема примера основной конфигурации устройства кодирования иерархического изображения, к которому применяется настоящая технология.

Фиг. 33 - пример основной конфигурации устройства декодирования иерархического изображения, к которому применяется настоящая технология.

Фиг. 34 - блок-схема примера основной конфигурации компьютера.

Фиг. 35 - блок-схема примера схематичной конфигурации телевизионного устройства.

Фиг. 36 - блок-схема примера схематичной конфигурации мобильного телефона.

Фиг. 37 - блок-схема примера схематичной конфигурации устройства записи и воспроизведения.

Фиг. 38 - блок-схема примера схематичной конфигурации устройства получения изображения.

Фиг. 39 - блок-схема примера использования масштабируемого кодирования.

Фиг. 40 - блок-схема другого примера использования масштабируемого кодирования.

Фиг. 41 - блок-схема другого примера использования масштабируемого кодирования.

Фиг. 42 - блок-схема примера основной конфигурации видеонабора.

Фиг. 43 - блок-схема примера схематичной конфигурации видеопроцессора.

Фиг. 44 - блок-схема другого примера схематичной конфигурации видеопроцессора.

Осуществление изобретения

Здесь далее будут описаны способы выполнения настоящего раскрытия (здесь далее упоминаемые как варианты осуществления). Дополнительно, описание будет сделано в следующем порядке.

1. Первый вариант осуществления (устройство кодирования изображения)

2. Второй вариант осуществления (устройство декодирования изображения)

3. Третий вариант осуществления (управление передачей информации разрешения пропуска)

4. Четвертый вариант осуществления (устройство кодирования мультипроекционного изображения/устройство декодирования мультипроекционного изображения)

5. Пятый вариант осуществления (устройство кодирования иерархического изображения/декодирования иерархического изображения)

6. Шестой вариант осуществления (компьютер)

7. Седьмой вариант осуществления (пример применения)

8. Восьмой вариант осуществления (пример применения масштабируемого кодирования)

9. Девятый вариант осуществления (комплект/блок/модуль/процессор)

1. Первый вариант осуществления

Устройство кодирования изображения

На фиг. 1 представлена блок-схема примера основной конфигурации устройства кодирования изображения.

Устройство 100 кодирования изображения, показанное на фиг. 1, кодирует данные изображения, используя процесс предсказания, например, видеокодирование высокой эффективности (HEVC) или совместимую с ним система.

Как показано на фиг. 1, устройство 100 кодирования изображений содержит аналогово-цифровой (A/D) преобразователь 101, буфер 102 перегруппировки кадров, блок 103 вычислений, блок 104 ортогонального преобразования, блок 105 квантования, блок 106 кодирования без потерь и накопительный буфер 107, блок 108 инверсного квантования и блок 109 инверсного ортогонального преобразования. Кроме того, устройство 100 кодирования изображений содержит блок 110 вычислений, блок 111 фильтра удаления блочности, кадровую память 112, блок 113 выбора, блок 114 внутрикадрового предсказания, блок 115 предсказания/компенсации движения, блок 116 выбора предсказанного изображения и блок 117 управления скоростью.

Устройство 100 кодирования изображений дополнительно содержит блок 121 с пропуском ортогонального преобразования.

A/D-преобразователь 101 выполняет аналогово-цифровое преобразование входных данных изображения, подает данные изображения (цифровые данные), полученные посредством преобразования, в буфер 102 перегруппировки экрана и сохраняет в нем данные изображения. Буфер 102 перегруппировки экрана перегруппирует изображения кадров, хранящиеся в порядке отображения, в порядок следования кадров для кодирования, соответствующий структуре группы картинки (GOP), и подает изображение, в котором перегруппирован порядок кадров, на блок 103 вычислений. Кроме того, буфер 102 перегруппировки изображений подает изображения, для которых порядок кадров перегруппирован, на блок 114 внутрикадрового предсказания и блок 115 предсказания и компенсации движения.

Блок 103 вычислений вычитает предсказанное изображение, поданное от блока 114 внутрикадрового предсказания или от блока 115 предсказания/компенсации через блок 116 выбора предсказанного изображения, из изображения, считанного из буфера 102 перегруппировки экрана, и выводит результирующую разностную информацию на блок 104 ортогонального преобразования. Например, в случае изображения, для которого выполняется внутрикадровое кодирование, блок 103 вычислений вычитает предсказанное изображение, поданное от блока 102 внутрикадрового предсказания, из изображения, считанного из буфера 114 перегруппировки экрана. Дополнительно, в случае изображения, для которого выполняется межкадровое кодирование, блок 103 вычислений, например, вычитает предсказанное изображение, поданное от блока 115 предсказания/компенсации движения, из изображения, считанного из буфера 102 перегруппировки экрана.

Блок 104 ортогонального преобразования выполняет ортогональное преобразование, такое как дискретное косинусное преобразование или преобразование Карунена-Лоэва, для разностной информации, поданной от блока 103 вычислений, и подает коэффициент преобразования на блок 105 квантования.

Блок 105 квантования квантует коэффициент преобразования, поданный от блока 104 ортогонального преобразования. Блок 105 квантования устанавливает параметр квантования, основываясь на информации о целевом значении объема кодирования, поданной от блока 117 управления скоростью, и выполняет его квантование. Блок 105 квантования подает квантованный коэффициент преобразования на блок 106 кодирования без потерь.

Блок 106 кодирования без потерь кодирует коэффициент преобразования, квантованный блоком 105 квантования, используя любую систему кодирования. Поскольку данные коэффициентов квантуются под управлением блока 117 управления скоростью, объем их кодирования является целевым значением, установленным блоком 117 управления скоростью (или аппроксимированным целевым значением).

Кроме того, блок 106 кодирования без потерь получает информацию, указывающую режим внутрикадрового предсказания и т.п., от блока 114 внутрикадрового предсказания и получает информацию, указывающую режим межкадрового предсказания или разностную информацию вектора движения, от блока 115 предсказания/компенсации движения.

Блок 106 кодирования без потерь кодирует эти различные фрагменты информации в соответствии с системой кодирования, чтобы содержать (мультиплексировать) различные фрагменты информации как часть информации заголовка кодированных данных (упоминаемых также как кодированный поток). Блок 106 кодирования без потерь подает кодированные данные, полученные кодированием, в накопительный буфер 107 и накапливает в нем кодированные данные.

Например, система кодирования блока 106 кодирования без потерь выполняет кодирование переменной длины или арифметическое кодирование. Например, кодирование переменной длины содержит CAVLC (Context-Adaptive Variable Length Coding, контекстно адаптированное кодирование переменной длины) и т.п., определенное в системе H.264/AVC. Примером арифметического кодирования является САВАС (Context-Adaptive Binary Arithmetic Coding, контекстно адаптированное двоичное арифметическое кодирование) и т.п.

Накопительный буфер 107 временно хранит кодированные данные, поданные от блока 106 кодирования без потерь. Накопительный буфер 107 выводит хранящиеся кодированные данные, например, на устройство записи (носитель записи) или на путь прохождения передачи, не показанный в последней части, с заданной синхронизацией. То есть накопительный буфер 107 является также блоком передачи для передачи кодированных данных.

Коэффициент преобразования, квантованный блоком 105 квантования, также подается на блок 108 инверсного квантования. Блок 108 инверсного квантования инверсно квантует квантованный коэффициент преобразования согласно способу, соответствующему квантованию блоком 105 квантования. Блок 108 инверсного квантования подает полученный коэффициент преобразования на блок 109 инверсного ортогонального преобразования.

Блок 109 инверсного ортогонального преобразования инверсно ортогонально преобразует коэффициент преобразования, поданный от блока 108 инверсного квантования, способом, соответствующим процессу ортогонального преобразования, с помощью блока 104 ортогонального преобразования. Выходной результат, полученный посредством процесса инверсного ортогонального преобразования (восстановленная разностная информация), подается на блок 110 вычислений.

Блок 110 вычислений добавляет предсказанное изображением, поданное от блока 114 внутрикадрового предсказания или от блока 115 предсказания/компенсации движения через блок 116 выбора предсказанного изображения, к восстановленной разностной информации, являющейся результатом процесса инверсного ортогонального преобразования, полученным от блока 109 инверсного ортогонального преобразования, получая, таким образом, локально декодированное изображение (декодированное изображение). Декодированное изображение подается на фильтр 111 удаления блочности или в кадровую память 112.

Фильтр 111 удаления блочности соответственно выполняет процесс фильтрации удаления блочности декодированного изображения, поданного от блока 110 вычислений. Например, фильтр 111 удаления блочности выполняет процесс фильтрации удаления блочности декодированного изображения, чтобы удалить блочные искажения декодированного изображения.

Фильтр 111 удаления блочности подает результат процесса фильтрации (декодированное изображение после процесса фильтрации) в кадровую память 112. Дополнительно, как описано выше, декодированное изображение с выхода блока 110 вычислений может подаваться в кадровую память 112, не проходя через фильтр 111 удаления блочности. То есть возможно пропустить процесс фильтрации, выполняемый фильтром 111 удаления блочности.

Кадровая память 112 сохраняет декодированное изображение, которое должно подаваться, и подает хранящееся декодированное изображение в качестве опорного изображения на блок 113 выбора в заданный момент времени.

Блок 113 выбора выбирает место назначения для подачи опорного изображения, подаваемого из кадровой памяти 112. Например, в случае межкадрового предсказания блок выбора подает опорное изображение из кадровой памяти 112 на блок 115 предсказания/компенсации движения.

Блок 114 внутрикадрового предсказания выполняет внутрикадровое предсказание (предсказание в пределах экрана), чтобы сформировать предсказанное изображение, используя пиксельное значение внутри текущей картинки, которая является опорным изображением, подаваемым из кадровой памяти 112 через блок 113 выбора. Блок 114 внутрикадрового предсказания выполняет внутрикадровое предсказание во множестве режимов внутрикадрового предсказания, подготовленных заранее.

Блок 114 внутрикадрового предсказания формирует предсказанное изображение, используя все возможные режимы внутрикадрового предсказания, и оценивает значение функции стоимости каждого предсказанного изображения, используя входное изображение, поданное из буфера 102 перегруппировки изображений, чтобы выбрать оптимальный режим. Когда оптимальный режим внутрикадрового предсказания выбран, блок 114 внутрикадрового предсказания 114 подает сформированное в оптимальном режиме предсказанное изображение на переключатель 116 выбора предсказанного изображения.

Кроме того, как описано выше, блок 114 внутрикадрового предсказания соответственно подает информацию режима внутрикадрового предсказания, указывающую принятый режим внутрикадрового предсказания, на блок 106 кодирования без потерь, чтобы кодировать поданную информацию режима внутрикадрового предсказания.

Блок 115 предсказания/компенсации движения выполняет предсказание движения (межкадровое предсказание), используя входное изображение, поданное из буфера 102 перегруппировки экрана, и опорное изображение, поданное из кадровой памяти 112 через блок 113 выбора. Блок 115 предсказания/компенсации движения выполняет процесс компенсации движения в соответствии с обнаруженным вектором движения и формирует предсказанное изображение (информацию межкадрового предсказанного изображения). Блок 115 предсказания/компенсации движения выполняет такое межкадровое предсказание во множестве подготовленных заранее режимов межкадрового предсказания.

Блок 115 предсказания/компенсации движения формирует предсказанное изображение во всех возможных режимах межкадрового предсказания. Блок 115 предсказания/компенсации движения оценивает значение функции стоимости каждого предсказанного изображения, используя входное изображение, поданное из буфера 102 перегруппировки экрана, и информацию сформированного разностного вектора движения, чтобы выбрать оптимальный режим. Когда оптимальный режим межкадрового предсказания выбран, блок 115 предсказания/компенсации движения подает сформированное в оптимальном режиме предсказанное изображение на блок 116 выбора предсказанного изображения.

Блок 115 предсказания/компенсации движения подает информацию, указывающую принятый режим межкадрового предсказания, информацию, требующуюся для выполнения процесса в режиме межкадрового предсказания во время декодирования кодированных данных и т.п., на блок 106 и кодирует поданную информацию. Например, требуемая информация может содержать информацию о сформированном разностном векторе движения, флаг, указывающий индекс вектора предсказания движения, в качестве информации о предсказании вектора движения и т.п.

Блок 116 выбора предсказанного изображения выбирает источник предсказанного изображения, которое должно подаваться на блок 103 вычислений или на блок 110 вычислений. Например, в случае внутрикадрового кодирования блок 116 выбора предсказанного изображения выбирает блок 114 внутрикадрового предсказания в качестве источника подачи предсказанного изображения и подает предсказанное изображение, подаваемое от блока 114 внутрикадрового предсказания, на блок 103 вычислений или блок 110 вычислений. Кроме того, в случае межкадрового кодирования блок 116 выбора предсказанного изображения выбирает блок 115 предсказания/компенсации в качестве источника подачи предсказанного изображения и подает предсказанное изображение, которое должно подаваться от блока 115 предсказания/компенсации движения, на блок 103 вычислений или блок 110 вычислений.

На основе объема кодирования кодированных данных, накопленных в накопительном буфере 107, блок 117 управления скоростью управляет скоростью операции квантования блока 105 квантования, так что переполнение или неполное заполнение не происходит.

Блок 121 пропуска ортогонального преобразования управляет выполнением процесса ортогонального преобразования в блоке 104 ортогонального преобразования. Кроме того, в соответствии с управлением блок 121 пропуска ортогонального преобразования управляет процессом квантования через блок 105 квантования, процессом инверсного квантования через блок 108 инверсного квантования, процессом инверсного ортогонального преобразования через блок 109 инверсного ортогонального преобразования и процессом фильтрации удаления блочности через фильтр 111 удаления блочности. Дополнительно, блок 121 пропуска ортогонального преобразования подает необходимую информацию о пропуске процесса ортогонального преобразования и информацию о квантовании или фильтре удаления блочности на блок 106 кодирования без потерь и передает поданную информацию из накопительного буфера 107 на сторону декодирования.

Блок кодирования

В системе AVC описывается иерархическая структура, содержащая макроблок и субмакроблок. Однако размер макроблока 16 пикселей ×16 пикселей совершенно непригоден для большого кадра изображения, такого как кадр со сверхвысокой разрешающей способностью (UHD, Ultra High Definition; 4000 пикселей ×2000 пикселей), который будет предметом системы кодирования следующего поколения.

Таким образом, например, кодируемый блок (CU) описывается в системе HEVC, показанной на фиг. 2.

CU также называют блоком дерева кодирования (СТВ) и он является частичной областью изображения в блоке картинки, который выполняет ту же самую роль, что и макроблок в системе Н.264/AVC. Последний имеет фиксированный размер 16×16 пикселей, тогда как размер первого не фиксирован и, таким образом, описывается в информации о сжатии изображения в каждой последовательности.

Например, в наборе параметров последовательности (Sequence Parameter Set, SPS), содержащемся в кодированных данных, которые должны выводиться, определяются максимальный размер (LCU (Largest Coding Unit, наибольший блок кодирования)) и минимальный размер (SCU (Smallest Coding Unit, наименьший блок кодирования)) кодируемого блока CU.

Каждый LCU может дополнительно делиться на меньшие CU, устанавливая флаг split_flag=1 внутри диапазона, с размером, не падающим ниже размера SCU. В примере, показанном на фиг. 2, LCU по размерам равен 128×128 пикселей, тогда как максимальная иерархическая глубина составляет 5. CU с размером 2N×2N пикселей делится на CU с размером N×N пикселей, которые находятся в иерархии на один уровень ниже, когда значение флага split_flag равно "1".

Дополнительно, CU делится на блок предсказания (PU), являющийся областью (частичной областью изображения в блоке картинки), которая должна быть блоком обработки для внутрикадрового или межкадрового предсказания, и делится также на блоки преобразования (TU), являющиеся областью (частичной областью изображения в блоке картинки), которая должна быть блоком обработки для ортогонального преобразования. В настоящее время система HEVC может выполнять ортогональные преобразования 16×16 и 32×32 в дополнение к ортогональным преобразованиям 4×4 и 8×8.

Как и в упомянутой выше системе HEVC, в случае системы кодирования, в которой определяется CU и различные типы обработки выполняются для CU как для блока, считается, что макроблок в системе AVC соответствует LCU, а блок (субблок) соответствует CU. Кроме того, считается, что блок компенсации движения в системе AVC соответствует PU. Однако, поскольку CU имеет иерархическую структуру, размер LCU на самом верхнем уровне обычно устанавливается большим, чем макроблок в системе AVC, например, 128×128 пикселей.

Поэтому здесь далее предполагается, что LCU также содержит макроблок в системе AVC и CU также содержит блок (субблок) в системе AVC. То есть термин "блок", используемый в последующем описании, указывает любую частичную область внутри картинки и не ограничивается размерами, формой, характеристиками блока и т.д. Другими словами, в определение "блок" включаются любая область (процессорный блок), например, TU, PU, SCU, CU, LCU, субблок, макроблок или срез. Естественно, частичные области (процессорные блоки), отличные от этих областей, также содержатся в этом определении. Описание, по мере необходимости, соответственно задается для случая ограничения размеров или процессорного блока

Далее будут описаны основные технические элементы, связанные с настоящей технологией.

Матрица квантования

Как и в системе AVC, квантование коэффициента ортогонального преобразования в HEVC выполняется для каждого процессорного блока ортогонального преобразования. Матрица квантования используется для квантования, причем матрица квантования подготавливается для каждого размера процессорного блока ортогонального преобразования. Однако, например, когда передается большая матрица квантования, такая как матрица 16×16 или матрица 32×32, существует опасение, что эффективность кодирования уменьшится.

Здесь, как показано на фиг. 3, большая матрица квантования (или матрица квантования больше заданного размера), например, матрица 16×16 или матрица 32×32 передается в размере 8×8 и дискретизация повышается посредством удержания нулевого порядка, которое должно применяться к каждому размеру ортогонального преобразования. Дополнительно, отдельно в матрицу, к которой применяется повышающая дискретизация, передается постоянная составляющая (DC).

В HEVC, как показано на фиг. 4-7, информация о матрице квантования (Scaling List, список масштабирования) передается в набор параметров последовательности (SPS) или набор параметров картинки (PPS). На фиг. 4 и 5 показаны примеры набора параметров последовательности. На фиг. 6 и 7 показаны примеры набора параметров картинки.

Фильтр удаления блочности

Как и в AVC, в HEVC фильтр удаления блочности определяется в контуре компенсации движения. Фильтр удаления блочности выполняет процесс фильтрации для уменьшения блочного искажения, происходящего на границах блока.

То есть при фильтрации удаления блочности обнаруживаются границы блока, а тип или сила фильтрации, смещение и т.п. определяются, основываясь на параметрах квантования и т.п. на границах блока, выполняя, таким образом, процесс фильтрации.

Выбор режима

Однако, чтобы достигнуть более высокой эффективности кодирования в системах кодирования AVC и HEVC, важно выбрать соответствующий режим предсказания.

В качестве примера способа выбора может использоваться способ, который реализуется в эталонном программном обеспечении под названием "совместная модель" (JM) в H.264/MPEG-4/AVC (которое доступно по адресу http://iphome.hhi.de/suehring/tml/index.htm).

Программное обеспечение JM позволяет выбрать способ принятия решения о режиме, исходя из двух режимов, режима высокой сложности, High Complexity Mode, и режима низкой сложности, Low Complexity Mode, которые будут описаны ниже. В любом из режимов вычисляется значение функции стоимости для каждого режима предсказания "Mode" и режим предсказания, минимизирующий значение функции стоимости, выбирается в качестве оптимального режима для блока или макроблока.

В режиме высокой сложности функция стоимости выражается следующим уравнением (1).