Устройство кодирования и способ кодирования

Устройство кодирования и способ кодирования

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящая технология относится к устройству кодирования и способу кодирования и, более конкретно, к устройству кодирования и способу кодирования, способным уменьшить объем информации, связанной с информацией, определяющей опорное изображение.

Уровень техники

С недавнего времени с информацией изображения обращаются как с цифровыми данными как для целей передачи, так и хранения информации с высокой эффективностью, и в этом случае устройства, соответствующие системе MPEG (Moving Picture Experts Group, экспертная группа по кинематографии) и т.п., выполняющей ортогональное преобразование, такое как дискретное косинусное преобразование и сжатие, используя компенсацию движения, применяя избыточность, являющуюся уникальной, к информации изображения, широко используются как для передачи информации на широковещательных станциях и т.п., так и для приема информации в обычных помещениях.

В частности, система MPEG2 (ISO/IEC 13818-2) определяется как универсальная система кодирования изображения и в настоящее время широко используется в широком диапазоне применений для профессионального использования и потребительского применения в качестве стандартов, охватывающих как чересстрочное сканируемое изображение и последовательно сканируемое изображение, так и изображение со стандартным разрешением и изображение высокой четкости. Используя систему MPEG2, например, назначаются объем кода (битовую скорость) 4-8 Мбит/с в случае чересстрочного сканируемого изображения со стандартным разрешением 720×480 пикселей и объем кода 18-22 Мбит/с в случае чересстрочного сканируемого изображения с высоким разрешением 1920×1088 пикселей, за счет чего могут быть реализованы высокая скорость сжатия и улучшенное качество изображения.

MPEG2 направлена на кодирование с высоким качеством изображения, которое, главным образом, пригодно для широкого вещания, но не реагирует на систему кодирования с объемом кода (битовой скоростью) ниже, чем в MPEG1, другими словами, на систему кодирования с повышенным коэффициентом сжатия. В соответствии с растущей популярностью мобильных терминалов, предсказывают, что в будущем спрос на такую систему кодирования должен расти, и в ответ на это система кодирования MPEG4 была стандартизирована. Технические требования, связанные с системой кодирования изображений MPEG4, были утверждены в декабре 1998 г, чтобы стать международным стандартом ISO/IEC 14496-2.

Кроме того, с недавнего времени для целей кодирования изображения, используемого для телевизионных конференций, проводится стандартизация H.26L (ITU-Т Q6/16 VCEG). Хотя H.26L требует для кодирования и декодирования большего объема вычислений, чем традиционная система кодирования, такая как MPEG2 или MPEG4, известно, что реализуется более высокая эффективность кодирования.

Дополнительно, в настоящее время, как часть деятельности по MPEG4, в качестве объединенной модели (Joint Model) видеокодирования с улучшенным сжатием (Enhanced-Compression Video Coding) проводится стандартизация технических требований, основанных на H.26L, в том числе, функций, не поддерживаемых H.26L и реализующих более высокую эффективность кодирования. Эта стандартизация ведется интернационально, основываясь на титуле Н.264 и MPEG-4 Часть 10 (AVC (Advanced Video Coding)) в редакции от марта 2003 г.

Кроме того, в феврале 2005 г. была завершена стандартизация FRExt (Fidelity Range Extension, расширение диапазона точности), содержащая в качестве расширений инструмент кодирования, требующийся для бизнеса, под названием RGB, 4:2:2 или 4:4:4 и 8×8 DCT, и матрицу квантования, определенную в MPEG-2. Соответственно, AVC становится системой кодирования, способной представлять улучшенным способом шум пленки, содержащийся в кинофильме, а также системой, в которой она используется для широкого диапазона применений, таких как диск Blu-ray (зарегистрированная торговая марка).

Однако в наше время возросла потребность в кодировании с повышенным коэффициентом сжатия, требующимся для сжатия изображения приблизительно 4000×2000 пикселей, что в четыре раза больше, чем у изображения с высоким разрешением, и для передачи изображения с высоким разрешением в среде с ограниченной пропускной способностью передачи, такой как Интернет. По этой причине в VCEG (Video Coding Expert Group, экспертная группа по видеокодированию) под руководством ITU-T непрерывно выполнялись исследования по повышению эффективности кодирования.

При этом в системе HEVC (High Efficiency Video Coding, высокоэффективного кодирования) кратковременная установка опорной картинки (здесь далее упоминаемая как RPS), используемая для распознавания информации, определяющей опорное изображение, которая определяет опорное изображение в устройстве декодирования, включается в состав набора параметров последовательности SPS (Sequence Parameter Set) (смотрите, например, непатентный документ 1).

На фиг. 1 представлен пример синтаксиса RPS.

Как показано во второй строке на фиг. 1, в RPS содержится флаг inter_ref_pic_set_prediction_flag. Здесь флаг inter_ref_pic_set_prediction_flag является опорной информацией, представляющей, используется ли в качестве информации, определяющей опорное изображение текущего кодируемого изображения, информация, определяющая опорное изображение, которая определяет опорное изображение предшествующего изображения, являющегося изображением, предшествующим текущему кодируемому изображению в порядке кодирования внутри GOP (Group of Picture, группа картинки) текущего кодируемого изображения.

Здесь флаг inter_ref_pic_set_prediction_flag равен "1" в случае, когда информация, определяющая опорное изображение, определяет опорное изображение предшествующего изображения и используется в качестве информации, определяющей опорное изображение для текущего кодируемого изображения, и равен "0" в случае, когда информация, определяющая опорное изображение, определяет опорное изображение предшествующего изображения, не используемая в качестве информации, определяющей опорное изображение для текущего кодируемого изображения.

В третьей и четвертой строках на фиг. 1, в случае, когда флаг inter_ref_pic_set_prediction_flag равен "1", информация delta_idx_minus1, которая является информацией, определяющей предшествующее изображение, вводится в RPS. Более конкретно, delta_idx_minus1 имеет значение, полученное вычитанием из значения, полученного вычитанием номера кодирования предшествующего изображения, из номера кодирования (порядка кодирования) текущего кодируемого изображения. Здесь, номер кодирования является числом, назначаемым каждому изображению внутри GOP, считая от меньшего значения в порядке кодирования.

Кроме того, как показано в строках 13-23 на фиг. 1, в случае, когда флаг inter_ref_pic_set_prediction_flag равен "0", информация, определяющая опорное изображение, вводится в RPS.

На фиг. 2 показан пример флага inter_ref_pic_set_prediction_flag и delta_idx_minus1.

В примере, показанном на фиг. 2, информация, определяющая опорное изображение текущего кодируемого изображения, номер кодирования которого равен N, является той же самой, что и информация, определяющая опорное изображение предшествующего изображения, номер кодирования которого равен "N-1", которое является предшествующим текущему кодируемому изображению в порядке кодирования.

В этом случае флаг inter_ref_pic_set_prediction_flag устанавливается равным "1", что соответствует информации, определяющей опорное изображение, которая используется в качестве информации, определяющей опорное изображение текущего кодируемого изображения. Кроме того, delta_idx_minus1 устанавливается равным "0", что получается вычитанием "N-1", являющегося номером кодирования предшествующего изображения, из N, являющегося номером кодирования текущего кодируемого изображения, и затем из значения "1", полученного в результате вычитания, дополнительно вычитается единица.

Перечень литературы

Непатентный документ

Непатентный документ 1: Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Thomas Wiegand, "High efficiency video coding (HEVC) text specification draft 7", JCTVC-H1003 ver20, 2012.2.17

Сущность изобретения

Проблемы, решаемые изобретением

Однако объем информации, связанной с информацией, определяющей опорное изображение, такой как RPS, снижается недостаточно.

Настоящая технология разработана с учетом такой ситуации и позволяет уменьшить объем информации, связанной с информацией, определяющей опорное изображение.

Решения проблем

В соответствии с вариантом настоящей технологии, обеспечивается устройство кодирования, содержащее: блок формирования предсказанного изображения, выполненный с возможностью формирования предсказанного изображения, используя опорное изображение; и блок передачи, выполненный с возможностью передачи опорной информации, представляющей, используется ли в качестве информации, определяющей опорное изображение текущего кодируемого изображения в случае, когда текущее кодируемое изображение является изображением, отличным от первого изображения в GOP (Group of Picture), информация, определяющая опорное изображение, которая определяет опорное изображение предшествующего изображения, являющееся изображением, предшествующим текущему кодируемому изображению в порядке кодирования.

Способ кодирования, соответствующий другому варианту настоящей технологии, соответствует устройству кодирования, представляющему вариант настоящей технологии.

В соответствии с вариантом настоящей технологии, предсказанное изображение формируется, используя опорное изображение; и в случае, когда текущее кодируемое изображение является изображением, отличным от первого изображения в GOP (Group of Picture), передается опорная информация, представляющая, используется ли в качестве информации, определяющей опорное изображение текущего кодируемого изображения, информация, определяющая опорное изображение, которая определяет опорное изображение предшествующего изображения, являющегося изображением, предшествующим текущему кодируемому изображению в порядке кодирования.

Кроме того, устройство кодирования, соответствующее варианту настоящей технологии, может быть реализовано, заставляя компьютер исполнять программу.

Дополнительно, чтобы реализовать устройство кодирования, соответствующее варианту настоящей технологии, программа, исполняемая компьютером, может предоставляться путем передачи через среду передачи или путем записи на носителе записи данных.

Результаты изобретения

В соответствии с настоящей технологией, может быть уменьшен объем информации, связанный с информацией, определяющей опорное изображение.

Краткое описание чертежей

Фиг. 1 - пример синтаксиса RPS.

Фиг. 2 - пример флага inter_ref_pic_set_prediction_flag и delta_idx_minus1.

Фиг. 3 - блок-схема примера конфигурации устройства кодирования, к которому настоящее изобретение применяется в соответствии с первым вариантом осуществления.

Фиг. 4 - блок-схема примера конфигурации блока кодирования, показанного на фиг 3.

Фиг. 5 - пример синтаксиса SPS, устанавливаемого блоком 12 установки, показанным на фиг. 3.

Фиг. 6 - пример синтаксиса RPS.

Фиг. 7 - объем информации RPS, устанавливаемой блоком 12 установки, показанным на фиг. 3.

Фиг. 8 - объем информации традиционного RPS.

Фиг. 9 - пример синтаксиса заголовка среза.

Фиг. 10 - блок-схема последовательности выполнения операций процесса формирования, выполняемого устройством кодирования, показанным на фиг. 3.

Фиг. 11 - блок-схема последовательности выполнения операций процесса установки RPS, подробно показанного на фиг. 10.

Фиг. 12 - блок-схема последовательности выполнения операций процесса кодирования, подробно показанного на фиг. 10.

Фиг. 13 - блок-схема последовательности выполнения операций процесса кодирования, подробно показанного на фиг. 10.

Фиг. 14 - блок-схема последовательности выполнения операций процесса определения индекса RPS, подробно показанного на фиг. 12.

Фиг. 15 - блок-схема примера конфигурации устройства кодирования, к которому настоящее изобретение применяется в соответствии с первым вариантом осуществления.

Фиг. 16 - блок-схема примера конфигурации устройства декодирования, показанного на фиг 15.

Фиг. 17 - блок-схема последовательности выполнения операций процесса приема, выполняемого устройством декодирования, показанным на фиг. 15.

Фиг. 18 - блок-схема последовательности выполнения операций процесса установки RPS, подробно показанного на фиг. 17.

Фиг. 19 - блок-схема последовательности выполнения операций процесса декодирования, подробно показанного на фиг. 17.

Фиг. 20 - блок-схема примера конфигурации устройства кодирования, к которому настоящее изобретение применяется в соответствии с вторым вариантом осуществления.

Фиг. 21 - пример синтаксиса SPS, устанавливаемого блоком установки, показанным на фиг. 20.

Фиг. 22 - пример синтаксиса RPS, показанного на фиг. 21.

Фиг. 23 - объем информации RPS, устанавливаемой блоком установки, показанным на фиг. 20.

Фиг. 24 - объем информации RPS, устанавливаемой блоком установки, показанным на фиг. 20.

Фиг. 25 - объем информации традиционного RPS.

Фиг. 26 - блок-схема последовательности выполнения операций процесса установки RPS устройством кодирования, подробно показанным на фиг. 20.

Фиг. 27 - блок-схема примера конфигурации устройства декодирования, к которому настоящее изобретение применяется в соответствии с вторым вариантом осуществления.

Фиг. 28 - блок-схема последовательности выполнения операций процесса установки RPS выполняемого устройством декодирования, подробно показанным на фиг. 27.

Фиг. 29 - блок-схема примера конфигурации устройства кодирования, к которому настоящее изобретение применяется в соответствии с третьим вариантом осуществления.

Фиг. 30 - пример синтаксиса SPS, устанавливаемого блоком установки, показанным на фиг. 29.

Фиг. 31 - пример синтаксиса RPS, показанного на фиг. 30.

Фиг. 32 - объем информации RPS, устанавливаемой блоком установки, показанным на фиг. 29.

Фиг. 33 - блок-схема последовательности выполнения операций процесса установки RPS, выполняемого устройством кодирования, подробно показанным на фиг. 29.

Фиг. 34 - блок-схема примера конфигурации устройства декодирования, к которому настоящее изобретение применяется в соответствии с третьим вариантом осуществления.

Фиг. 35 - блок-схема последовательности выполнения операций процесса установки RPS, выполняемого устройством декодирования, подробно показанным на фиг. 34.

Фиг. 36 - блок-схема примера конфигурации устройства кодирования, к которому настоящее изобретение применяется в соответствии с четвертым вариантом осуществления.

Фиг. 37 - блок-схема примера конфигурации блока кодирования, показанного на фиг 36.

Фиг. 38 - пример синтаксиса PPS, устанавливаемого блоком установки, показанным на фиг. 36.

Фиг. 39 - пример синтаксиса PPS, устанавливаемого блоком установки, показанным на фиг. 36.

Фиг. 40 - пример синтаксиса PPS в традиционной системе HEVC.

Фиг. 41 - пример синтаксиса PPS в традиционной системе HEVC.

Фиг. 42 - пример синтаксиса заголовка среза, добавляемого блоком кодирования без потерь, показанным на фиг. 37.

Фиг. 43 - пример синтаксиса заголовка среза, добавляемого блоком кодирования без потерь, показанным на фиг. 37.

Фиг. 44 - пример синтаксиса заголовка среза, добавляемого блоком кодирования без потерь, показанным на фиг. 37.

Фиг. 45 - пример синтаксиса заголовка среза в традиционной системе HEVC.

Фиг. 46 - пример синтаксиса заголовка среза в традиционной системе HEVC.

Фиг. 47 - пример синтаксиса заголовка среза в традиционной системе HEVC.

Фиг. 48 - блок-схема последовательности выполнения операций процесса формирования, выполняемого устройством кодирования, показанным на фиг. 36.

Фиг. 49 - блок-схема последовательности выполнения операций процесса кодирования, подробно показанного на фиг. 48.

Фиг. 50 - блок-схема последовательности выполнения операций процесса кодирования, подробно показанного на фиг. 48.

Фиг. 51 - блок-схема последовательности выполнения операций процесса установки PPS, подробно показанного на фиг. 48.

Фиг. 52 - блок-схема примера конфигурации устройства декодирования, к которому настоящее изобретение применяется в соответствии с четвертым вариантом осуществления.

Фиг. 53 - блок-схема примера конфигурации устройства декодирования, показанного на фиг 52.

Фиг. 54 - блок-схема последовательности выполнения операций процесса приема, выполняемого устройством декодирования, показанным на фиг. 52.

Фиг. 55 - блок-схема последовательности выполнения операций процесса декодирования, подробно показанного на фиг. 54.

Фиг. 56 - пример системы кодирования мультипроекционного изображения.

Фиг. 57 - блок-схема примера основной конфигурации устройства кодирования мультипроекционного изображения, к которому применяется настоящая технология.

Фиг. 58 - блок-схема примера основной конфигурации устройства декодирования мультипроекционного изображения, к которому применяется настоящая технология.

Фиг. 59 - пример системы кодирования иерархического изображения.

Фиг. 60 - блок-схема примера основной конфигурации устройства кодирования иерархического изображения, к которому применяется настоящая технология.

Фиг. 61 - блок-схема примера основной конфигурации устройства декодирования иерархического изображения, к которому применяется настоящая технология.

Фиг. 62 - блок-схема примера конфигурации аппаратурного обеспечения компьютера.

Фиг. 63 - блок-схема конфигурации телевизионного устройства, к которому применяется настоящая технология.

Фиг. 64 - блок-схема конфигурации мобильного телефона, к которому применяется настоящая технология.

Фиг. 65 - блок-схема конфигурации устройства записи и воспроизведения, к которому применяется настоящая технология.

Фиг. 66 - пример схемы конфигурации устройства получения изображения, к которому применяется настоящая технология.

Фиг. 67 - блок-схема примера использования масштабируемого кодирования.

Фиг. 68 - блок-схема другого примера использования масштабируемого кодирования.

Фиг. 69 - блок-схема дополнительного примера использования масштабируемого кодирования.

Фиг. 70 - блок-схема конфигурации видеоустройства, к которому применяется настоящая технология.

Фиг. 71 - пример конфигурации видеопроцессора, к которому применяется настоящая технология.

Фиг. 72 - другой пример конфигурации видеопроцессора, к которому применяется настоящая технология.

Подробное описание изобретения

Первый вариант осуществления

Пример конфигурации устройства кодирования, соответствующего первому варианту осуществления

На фиг. 3 представлена блок-схема примера конфигурации устройства кодирования, к которому настоящее изобретение применяется в соответствии с первым вариантом осуществления.

Устройство 10 кодирования, показанное на фиг. 3, образуется блоком 11 кодирования, блоком 12 установки и блоком 13 передачи и кодирует изображение с соответствии с системой HEVC.

Более конкретно, изображение, состоящее из кадров, вводится в блок 11 кодирования устройства 10 кодирования в качестве входного сигнала. Блок 11 кодирования кодирует входной сигнал в соответствии с системой HEVC, используя в качестве опорного сигнала RPS, который подается от блока 12 установки, и подает кодированные данные, полученные в результате этого, на блок 12 установки.

Блок 12 установки устанавливает RPS, который не содержит флага inter_ref_pic_set_prediction_flag, а содержит информацию, определяющую опорное изображение, и RPS, который содержит флаг inter_ref_pic_set_prediction_flag и информацию, определяющую опорное изображение, или delta_idx_minus1. В каждом RPS блок 12 установки назначает индекс в качестве информации, определяющей информацию опорного изображения, которая определяет RPS (информацию опорного изображения). Здесь принимается, что "0" устанавливается в качестве индекса RPS, который не содержит флаг inter_ref_pic_set_prediction_flag, но содержит информацию, определяющую опорное изображение.

Блок 12 установки подает RPS, которой присвоен индекс, на блок 11 кодирования. Блок 12 установки устанавливает SPS, содержащий RPS, PPS (Picture Parameter Set, набор параметров картинки) и т.п.

Блок 12 установки формирует кодированный поток, основываясь на SPS и PPS, которые были установлены, и кодированных данных, полученных от блока 11 кодирования. Блок 12 установки подает кодированный поток на блок 13 передачи.

Блок 13 передачи передает кодированный поток, поданный от блока 12 установки, на устройство декодирования, которое будет описано позже.

Пример конфигурации блока кодирования

На фиг. 4 представлен пример конфигурации блока 11 кодирования, показанного на фиг 3.

Показанный на фиг. 4, блок 11 кодирования содержит: аналого-цифровой (A/D) преобразователь 31, буфер 32 перегруппировки экрана, блок 33 вычислений, блок 34 ортогонального преобразования, блок 35 квантования, блок 36 кодирования без потерь, накопительный буфер 37, блок 38 инверсного квантования, блок 39 инверсного ортогонального преобразования, блок 40 сумматора, деблокирующий фильтр 41, фильтр 42 адаптивного смещения, адаптивный контурный фильтр 43, кадровую память 44, переключатель 45, блок 46 внутрикадрового предсказания, блок 47 предсказания/компенсации движения, блок 48 выбора предсказанного изображения, блок 49 установки опорного изображения и блок 50 управления скоростью.

Более конкретно, A/D-преобразователь 31 блока 11 кодирования выполняет A/D-преобразование изображения, состоящего из блоков кадров, которое вводится в качестве входного сигнала, и выводит преобразованное изображение в буфер 32 перегруппировки экрана, чтобы хранить в нем это изображение. Буфер 32 перегруппировки экрана перегруппирует хранящиеся изображения, которые являются блоками кадров, следующими в порядке отображения в соответствии со структурой GOP, в порядок кодирования и выводит перегруппированные изображения на блок 33 вычислений, блок 46 внутрикадрового предсказания и блок 47 предсказания/компенсации движения.

Блок 33 вычислений служит в качестве блока кодирования и выполняет кодирование, вычисляя разность между предсказанным изображением, поданным от блока 48 выбора изображения предсказания, и текущим кодируемым изображением, выведенным из буфера 32 перегруппировки экрана. Более конкретно, блок 33 вычислений выполняет кодирование, вычитая предсказанное изображение, поданное от блока 48 выбора предсказанного изображения, из текущего кодируемого изображения, выведенного от буфера 32 перегруппировки экрана. Блок 33 вычислений выводит полученное в результате этого изображение на блок 34 ортогонального преобразования в качестве остаточной информации. Кроме того, в случае, когда предсказанное изображение не подается от блока 48 выбора предсказанного изображения, блок 33 вычислений напрямую выводит изображение, считанное из буфера 32 перегруппировки экрана, на блок 34 ортогонального преобразования в качестве остаточной информации.

Блок 34 ортогонального преобразования выполняет ортогональное преобразование остаточной информации, выведенной от блока 33 вычислений, формируя, таким образом, коэффициент ортогонального преобразования. Блок 34 ортогонального преобразования подает сформированный коэффициент преобразования на блок 35 квантования.

Блок 35 квантования выполняет квантование коэффициента ортогонального преобразования, который подается от блока 34 ортогонального преобразования, используя параметры квантования, поданные от блока 50 управления скоростью. Блок 35 квантования вводит полученный в результате этого коэффициент на блок 36 кодирования без потерь.

Блок 36 кодирования без потерь получает информацию (здесь далее упоминаемую как информация о режиме внутрикадрового предсказания), представляющую оптимальный режим внутрикадрового предсказания, от блока 46 внутрикадрового предсказания. Блок 36 кодирования без потерь получает информацию (здесь далее упоминаемую как информация о режиме внутрикадрового предсказания), представляющую оптимальный режим внутрикадрового предсказания, от блока 47 внутрикадрового предсказания. Кроме того, блок 36 кодирования без потерь получает индекс RPS, RPS и т.п. от блока 49 установки опорного изображения и получает параметры квантования от блока 50 управления скоростью.

Кроме того, блок 36 кодирования без потерь получает флаг хранения, индекс или смещение и информацию о типе от фильтра 42 адаптивного смещения в качестве информации фильтра смещения и получает коэффициент фильтра от адаптивного контурного фильтра 43.

Блок 36 кодирования без потерь выполняет кодирование без потерь, такое как кодирование переменной длины (например, CAVLC (Context-Adaptive Variable Length Coding, контекстно адаптированное кодирование переменной длины) и т.п.) или арифметическое кодирование (например, САВАС (Context-Adaptive Binary Arithmetic Coding, контекстно адаптированное двоичное арифметическое кодирование) для квантованного коэффициента, подаваемого от блока 35 квантования.

Кроме того, блок 36 кодирования без потерь в качестве информации кодирования, связанной с кодированием, выполняет кодирование без потерь параметров квантования, информации фильтра смещения и коэффициента фильтра, такой как информация о режиме внутрикадрового предсказания или информация о режиме межкадрового предсказания, вектор движения, индекс RPS или RPS. Блок 36 кодирования без потерь подает информацию кодирования и коэффициенты, которые были кодированы способом без потерь, на накопительный буфер 37 в качестве кодированных данных, которые должны в нем храниться. Кроме того, информация кодирования, которая была кодирована способом без потерь, может рассматриваться как информация заголовка (заголовок среза) коэффициента, кодированного способом без потерь.

Накопительный буфер 37 временно хранит кодированные данные, поданные от блока 36 кодирования без потерь. Кроме того, накопительный буфер 37 подает хранящиеся кодированные данные на блок 12 установки, показанный на фиг. 3.

Кроме того, квантованный коэффициент, который выводится из блока 35 квантования, также вводится на блок инверсного квантования. Блок 38 инверсного квантования выполняет инверсное квантование коэффициента, квантованного блоком 35 квантования, используя параметры квантования, подаваемые от блока 50 управления скоростью, и подает полученный в результате этого коэффициент ортогонального преобразования на блок 39 инверсного ортогонального преобразования.

Блок 39 инверсного ортогонального преобразования выполняет инверсное ортогональное преобразование коэффициента ортогонального преобразования, поданного от блока 38 инверсного квантования. Блок 39 инверсного ортогонального преобразования подает остаточную информацию, полученную в результате инверсного ортогонального преобразования, на блок 40 сумматора.

Блок 40 сумматора складывает остаточную информацию, поданную от блока 39 инверсного ортогонального преобразования, и предсказанное изображение, поданное от блока 48 выбора предсказанного изображения, получая, таким образом, изображение, которое было локально декодировано. Кроме того, в случае, когда предсказанное изображение не подается от блока 48 выбора предсказанного изображения, блок 40 сумматора устанавливает остаточную информацию, поданную от блока 39 инверсного ортогонального преобразования, в качестве локально декодированного изображения. Блок 40 сумматора подает локально декодированное изображение на деблокирующий фильтр 41 и подает локально декодированное изображение в кадровую память 44, чтобы сохраняться в ней.

Деблокирующий фильтр 41 выполняет процесс адаптивной деблокирующей фильтрации для удаления блочного искажения локально декодированного изображения, которое подается от блока 40 суммирования, и подает полученное в результате этого изображение на фильтр 42 адаптивного смещения.

Адаптивный фильтр 42 смещения выполняет процесс фильтрации адаптивного смещения (SAO: sample adaptive offset, адаптивное смещение выборки), который, главным образом, удаляет звон в изображении после процесса адаптивной деблокирующей фильтрации, выполненного деблокирующим фильтром 41.

Более конкретно, фильтр 42 адаптивного смещения определяет тип процесса фильтрации адаптивного смещения для каждого LCU (Largest Coding Unit, наибольший блок кодирования), который является максимальным блоком кодирования, и получает смещение, которое используется в процессе фильтрации адаптивного смещения. Фильтр 42 адаптивного смещения выполняет процесс фильтрации адаптивного смещения определенного типа для изображения после процесса адаптивной деблокирующей фильтрации, используя полученное смещение. Затем фильтр 42 адаптивного смещения подает изображение после процесса фильтрации адаптивного смещения на адаптивный контурный фильтр 43.

Кроме того, фильтр 42 адаптивного смещения имеет буфер, в котором хранится смещение. Фильтр 42 адаптивного смещения для каждого LCU определяет, было ли уже сохранено в буфере смещение для процесса адаптивной деблокирующей фильтрации.

В случае, когда определено, что смещение, используемое для процесса адаптивной деблокирующей фильтрации, уже было сохранено в буфере, фильтр 42 адаптивного смещения устанавливает для флага хранения, представляющего, хранится ли смещение в буфере, значение (здесь "1"), представляющее, что смещение хранится в буфере.

Затем фильтр 42 адаптивного смещения для каждого LCU подает на блок 36 кодирования без потерь флаг хранения, для которого установлена "1", индекс, который представляет позицию хранения в буфере, и тип информации, который представляет тип процесса фильтрации адаптивного смещения, который был выполнен.

С другой стороны, в случае, когда смещение, используемое в процессе адаптивной деблокирующей фильтрации, не было сохранено в буфере, фильтр 42 адаптивного смещения сохраняет смещение по порядку в буфере. Кроме того, фильтр 42 адаптивного смещения устанавливает для флага хранения значение (здесь "0"), представляющее, что смещение не хранится в буфере. Затем фильтр 42 адаптивного смещения для каждого LCU подает флаг хранения, для которого установлен "0", смещение и тип информации на блок 36 кодирования без потерь.

Адаптивный контурный фильтр 43 выполняет, например, для каждого LCU процесс адаптивной контурной фильтрации (ALF: Adaptive Loop Filter) для изображения после процесса фильтрации адаптивного смещения, которое поступает от фильтра 42 адаптивного смещения. В качестве процесса адаптивной контурной фильтрации используется, например, процесс двумерной винеровской фильтрации. Очевидно, что может использоваться фильтр, отличный от фильтра Винера.

Более конкретно, адаптивный контурный фильтр 43 для каждого LCU вычисляет коэффициент фильтра, используемый в процессе адаптивной контурной фильтрации, так что остаток между оригинальным изображением, являющимся изображением с выхода буфера 32 перегруппировки экрана, и изображением после процесса адаптивной контурной фильтрации минимизируется. Затем адаптивный контурный фильтр 43 выполняет для каждого LCU процесс адаптивной контурной фильтрации для изображения после процесса фильтрации адаптивного смещения, используя вычисленный коэффициент фильтра.

Адаптивный контурный фильтр 43 подает изображение после процесса адаптивной контурной фильтрации в кадровую память 44. Кроме того, адаптивный контурный фильтр 43 подает коэффициент фильтра на блок 36 кодирования без потерь.

Здесь, хотя предполагается, что процесс адаптивной контурной фильтрации должен выполняться для каждого LCU, блок обработки процесса адаптивной контурной фильтрации не ограничивается LCU. Однако путем согласования друг с другом работы блоков обработки фильтра 42 адаптивного смещения и адаптивного контурного фильтра 43 процесс может выполняться эффективно.

Кадровая память 44 хранит изображение, поданное от адаптивного контурного фильтра 43, и изображение, поданное от блока 40 сумматора. Изображение, хранящееся в кадровой памяти 44, выводится на блок 46 внутрикадрового предсказания или на блок 47 предсказания/компенсации движения через переключатель 45 в качестве опорного изображения.

Блок 46 внутрикадрового предсказания выполняет процессы внутрикадрового предсказания для всех режимов внутрикадрового предсказания, которые возможны, используя опорное изображение, считанное из кадровой памяти 44 через переключатель 45.

Кроме того, блок 46 внутрикадрового предсказания вычисляет значения функции стоимости (которая будет описана подробно) для всех возможных режимов внутрикадрового предсказания, основываясь на изображении, считанном из буфера 32 перегруппировки кадров, и на предсказанном изображении, сформированном в результате процесса внутрикадрового предсказания. Затем блок 46 внутрикадрового предсказания определяет режим внутрикадрового предсказания, в котором значение функции стоимости является минимальным, в качестве оптимального режима внутрикадрового предсказания.

Блок 46 внутрикадрового предсказания подает предсказанное изображение, сформированное в оптимальном режиме внутрикадрового предсказания, и соответствующее значение функции стоимости на блок 48 выбора предсказанного изображения. В случае, когда блок 46 внутрикадрового предсказания уведомляется блоком 48 выбора предсказанного изображения о выборе изображения предсказания, сформированного в оптимальном режиме внутрикадрового предсказания, блок 46 внутрикадрового предсказания подает информацию о режиме внутрикадрового предсказания на блок 36 кодирования без потерь.

Значение функции стоимости, также называемое стоимостью RD (Rate Distortion, искажение скорости), и которое определяется, например, как JM (Joint Model, совместная модель), которое является эталонным программным обеспечением, соответствующим системе H.264/AVC, вычисляется, основываясь на технологии режима высокой сложности или режима низкой сложности.

Более конкретно, в случае, когда в качестве технологии вычисления значения функции стоимости режим высокой сложности используется для всех возможных режимов предсказания, декодирование временно выполняется для всех возможных режимов предсказания и значение функции стоимости, представленное в нижеследующем уравнении (1), вычисляется для каждого режима предсказания.

Здесь D является разностью (искажением) между оригинальным изображением и декодированным изображением, R является объемом сформированного кодирования, содержащим также коэффициент ортогонального преобразования, и λ является множителем Лагранжа, заданным как функция параметра QP квантования.

С другой стороны, в случае, когда в качестве технологии вычисления значения функции стоимости используется режим высокой сложности, для каждого из всех возможных режимов предсказания, выполняются формирование предсказанного изображения и вычисление объема кодирования информации кодирования и функция стоимости, представленное в нижеследующем уравнении (2), производится для каждого режима предсказания.

Здесь D является разностью (искажением) между оригинальным изображением и декодированным изображение, Header_Bit является объемом кодирования и QPtoQuant является функцией, заданной как функция параметра QP квантования.

В режиме низкой сложности для всех режимов предсказания могут формироваться только изображения предсказания и нет необходимости формирования декодированных изображений, за счет чего объем вычисления мал.

Блок 47 предсказания/компенсации движения выполняет процесс предсказания/компенсации движения для всех возможных режимов межкадрового предсказания. Более конкретно, блок 47 предсказания/компенсации движения обнаруживает векторы движения всех возможных режимов межкадрового предсказания, основываясь на изображении, поданном от буфера 32 перегруппировки экрана, и опорном изображении, считанном из кадровой памяти 44 через переключатель 45. Затем блок 47 предсказания/компенсации движения служит в качестве блока формирования предсказанного изображения и формирует предсказанные изображения, выполняя процессы компенсации опорного изображения, основываясь на векторах движения.

В этом случае, блок 47 предсказания/компенсации движения вычисляет значения функции стоимости для всех возможных режимов межкадрового предсказания, основываясь на изображении, поданном от буфера 32 перегруппировки экрана, и предсказанных изображениях, и определяет режим межкадрового предсказания, для которого значение функции стоимости являетс