Устройство декодирования и способ декодирования и устройство кодирования и способ кодирования

Устройство декодирования и способ декодирования и устройство кодирования и способ кодирования

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящая технология относится к устройству декодирования и способу декодирования и устройству кодирования и способу кодирования и, более конкретно, к устройству декодирования и способу декодирования и к устройству кодирования и способу кодирования, выполненным с возможностью кодирования и декодирования независимо в направлении времени для каждого элемента мозаичного изображения.

Уровень техники

В настоящее время происходит внедрение системы кодирования, называемой Высокоэффективное кодирование видеоданных (HEVC) Объединенной группы сотрудничества по кодированию видеоданных (JCTVC), Объединенной организации стандартизации, такой, как ITU-T и ISO/IEC, с целью дальнейшего улучшения стандарта H.264/AVC в отношении эффективности кодирования. Что касается стандартов HEVC, в феврале 2012 г. был опубликован проект документа комитета в качестве исходной версии проекта документа (например, см. непатентную литературу 1).

В соответствии со стандартами HEVC, изображение может быть разделено на модули в виде элементов мозаичного изображения или срезов для кодирования. При декодировании кодированного потока, разделенного на такие модули и кодированного, отсутствует корреляция между разделенными модулями в процессе формирования информации в отношении адаптивного двоичного арифметического кодирования на основе контекста (CABAC), режимов прогнозирования внутри кадра, значений квантования и т.п.

Однако, в соответствии с прогнозированием между кадрами, не установлено ограничение для векторов движения. В этом случае, кодированное изображение разных элементов мозаичного изображения в разное время можно использовать, как опорное изображение. В соответствии с этим, не разрешено независимое кодирование и декодирование в направлении времени для каждого элемента мозаичного изображения.

Более конкретно, как показано на фиг. 1, например, каждый из кадра № t, имеющего величину подсчета порядка изображения (POC), равную t, и кадра № t-1, имеющего POC t-1, разделяют на четыре элемента мозаичного изображения и выполняют прогнозирование между кадрами, при этом все кодированные изображения среди четырех элементов мозаичного изображения кадра № t-1 могут быть определены, как возможные опорные изображения для CU (модуль кодирования) для кадра № t.

В соответствии с этим, существует случай, когда декодируемое изображение 12 в пределах элемента №2 мозаичного изображения, имеющего определенный ID (ниже называемый ID элемента мозаичного изображения), равный 2 и содержащееся в кадре № t-1, определяют как опорное изображение для CU 11 элемента №1 мозаичного изображения, имеющего ID элемента мозаичного изображения, равный 1, и содержащегося, например, в кадре № t. Другими словами, возникает случай, когда вектор, который имеет исходную точку CU 11 и конечную точку области 12A кадра № t, соответствующую декодируемому изображению 12, обнаруживают, как вектор 13 движения. В этом случае требуется ссылка на декодируемое изображение 12 элемента №2 мозаичного изображения, отличного от элемента №1 мозаичного изображения, содержащего CU 11; поэтому, не разрешено независимое кодирование и декодирование в направлении времени для каждого элемента мозаичного изображения.

В соответствии с этим, устройство декодирования должно иметь общий буфер декодирования декодируемого изображения (DPB), который содержит декодируемые изображения для всех элементов мозаичного изображения.

На фиг. 2 показана блок-схема, представляющая пример состава устройства декодирования такого типа.

Устройство 30 декодирования на фиг. 2 состоит из модуля 31-1-31-N декодирования, DPB 32-1-32-N и общего DPB 33.

Кодированный поток, содержащий разделенные N элементов мозаичного изображения (N представляет собой произвольное положительное число) и кодированный для каждого модуля из элементов мозаичного изображения, вводят в устройство 30 декодирования. Кодированные данные каждого элемента мозаичного изображения подают в соответствующий модуль 31-1-31-N декодирования.

Каждый из модулей 31-1-31-N декодирования декодирует кодированные данные соответствующего элемента мозаичного изображения, используя соответствующие изображения из декодированных изображений, сохраненных в общем DPB 33 для всех элементов мозаичного изображения, содержащихся в соответствующем кадре, в качестве опорного изображения.

Более конкретно, модуль 31-1 декодирования декодирует кодированные данные элемента №1 мозаичного изображения, имеющего ID элемента мозаичного изображения, равный 1, используя опорное изображение, и подает декодированное изображение для элемента №1 мозаичного изображения, полученного, как результат декодирования, в DPB 32-1. Аналогично, модули 31-2-31-N декодирования декодируют данные элемента №2 мозаичного изображения, имеющего ID элемента мозаичного изображения, равный 2, элемента №3 мозаичного изображения, имеющего ID элемента мозаичного изображения, равный 3, и вплоть до элемента № N мозаичного изображения, имеющего ID элемента мозаичного изображения, равный N, используя опорные изображения, соответственно. Затем модули 31-2-31-N декодирования подают декодированные изображения элемента №2 мозаичного изображения, элемента №3 мозаичного изображения и вплоть до элемента № N мозаичного изображения, полученного в результате декодирования, в DPB 32-2, DPB 32-3 и вплоть до 32-N DPB, соответственно.

DPB 32-1-32-N содержит декодированные изображения, подаваемые соответствующими модулями 31-1-31-N декодирования. В DPB 32-1-32-N подают сохраненные декодированные изображения в общий DPB 33 и позволяют сохранять этим декодированные изображения в общем DPB 33.

В общем DPB 33 содержатся декодированные изображения элемента №1 мозаичного изображения - элемента № N мозаичного изображения, подаваемых одновременно в DPB 32-1-32-N, как декодированные изображения одного кадра. Общий DPB 33 выводит сохраненные декодированные изображения для каждого модуля кадров, как результаты декодирования.

Кроме того, хотя это и не показано на чертежах, общий DPB должен быть предусмотрен в устройстве кодирования для прогнозирования между кадрами аналогично DPB в устройстве 30 декодирования.

Список литературы

Непатентный документ

Непатентный документ 1: Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Thomas Wiegant, "High efficiency video coding (HEVC) text specification draft 6" JCTVC-H10003 ver 21, 2012.2.17

Раскрытие изобретения

Задачи, решаемые изобретением

Как описано выше, в соответствии со стандартами HEVC, не установлено какое-либо ограничение для векторов движения при прогнозировании между кадрами. В этом случае декодируемое изображение для разных элементов мозаичного изображения в различное время можно использовать, как опорное изображение. В соответствии с этим не разрешено независимое кодирование и декодирование в направлении времени для каждого элемента мозаичного изображения.

Настоящая технология была разработана с учетом этих ситуаций и представлена, как технология, позволяющая выполнять кодирование и декодирование в направлении времени, независимо для каждого элемента мозаичного изображения.

Решение задачи

В соответствии с первым аспектом настоящей технологии, обеспечивается устройство декодирования, включающее в себя: модуль компенсации движения для генерирования изображения прогнозирования путем выполнения для каждого из элементов мозаичного изображения компенсации движения опорного изображения в пределах размещенных в том же месте элементов мозаичного изображения, на основе информации о возможности разделения элемента мозаичного изображения, указывающей, что декодирование разрешено для каждого из элементов мозаичного изображения, и информации о векторе движения, представляющей вектор движения, используемый для генерирования кодированных данных текущего целевого изображения декодирования, при разделении текущего изображения на элементы мозаичного изображения и декодировании; и модуль декодирования для декодирования кодированных данных с использованием изображения прогнозирования, генерируемого модулем компенсации движения.

Способ декодирования по первому аспекту настоящей технологии соответствует устройству декодирования, в соответствии с первым аспектом настоящей технологии.

В соответствии с первым аспектом настоящей технологии, изображение прогнозирования генерируется путем выполнения, для каждого из элементов мозаичного изображения, компенсации движения опорного изображения в пределах выделенных в том же месте элементов мозаичного изображения, на основе информации о возможности разделения элемента мозаичного изображения, обозначающей, что декодирование разрешено для каждого из элементов мозаичного изображения, и информации о векторе движения, представляющей вектор движения, используемый для генерирования кодированных данных текущего целевого изображения декодирования, при разделении изображения текущего изображения на элементы мозаичного изображения и декодировании. Кодированные данные декодируют с использованием изображения прогнозирования.

В соответствии со вторым аспектом настоящей технологии, обеспечивается устройство кодирования, включающее в себя: модуль компенсации движения для генерирования изображения прогнозирования, посредством компенсации движения опорного изображения, во время, отличающее от времени целевого текущего изображения кодирования, на основе вектора движения, обнаруживаемого в пределах элемента мозаичного изображения, когда изображение текущего изображения разделяют на элементы мозаичного изображения и кодируют; модуль кодирования для кодирования текущего изображения и генерирования кодированных данных с использованием изображения прогнозирования, генерируемого модулем компенсации движения; модуль установки для установки информации о возможности разделения элемента мозаичного изображения, указывающей, что декодирование разрешено для каждого из модулей элементов мозаичного изображения; и модуль передачи для передачи кодированных данных, генерируемых модулем кодирования, и информации о возможности разделения элемента мозаичного изображения, установленной модулем установки.

Способ кодирования, в соответствии со вторым аспектом настоящей технологии, соответствует устройству кодирования, в соответствии со вторым аспектом настоящей технологии.

В соответствии со вторым аспектом настоящей технологии, изображение прогнозирования генерируют, выполняя компенсацию движения опорного изображения, во время, отличное от времени целевого текущего изображения кодирования на основе вектора движения, обнаруживаемого в элементе мозаичного изображения, когда изображение текущего изображения разделяют на элементы мозаичного изображения и кодируют. Кодированные данные генерируют путем кодирования текущего изображения, используя изображение прогнозирования. Устанавливают информацию о возможности разделения элемента мозаичного изображения, указывающую, что декодирование разрешено для каждого модуля элементов мозаичного изображения. Передают кодированные данные и информацию о возможности разделения элемента мозаичного изображения.

Кроме того, устройство декодирования, в соответствии с первым аспектом, и устройство кодирования, в соответствии со вторым аспектом, могут быть реализованы в результате выполнения компьютером программы.

Кроме того, программа, исполняемая компьютером для реализации устройства декодирования по первому аспекту и устройства кодирования по второму аспекту, может быть предусмотрена путем передачи программы через среду передачи данных или путем записи программы на носителе записи.

Кроме того, устройство декодирования по первому аспекту и устройство кодирования по второму аспекту могут представлять собой отдельные устройства или могут находиться внутри блоков, составляющих одно устройство.

Эффекты изобретения

В соответствии с первым аспектом настоящей технологии, обеспечивается возможность независимого декодирования в направлении времени для каждого элемента мозаичного изображения.

Кроме того, в соответствии со вторым аспектом настоящей технологии, обеспечивается возможность независимого кодирования в направлении времени для каждого элемента мозаичного изображения.

Краткое описание чертежей

На фиг. 1 показана схема, описывающая опорное изображение для обычного прогнозирования между кадрами.

На фиг. 2 показана блок-схема, представляющая пример состава обычного устройства декодирования.

На фиг. 3 показана блок-схема, представляющая пример состава устройства кодирования, в котором применяется настоящая технология, в соответствии с первым вариантом осуществления.

На фиг. 4 показана блок-схема, представляющая пример состава модуля кодирования по фиг. 3.

На фиг. 5 показана схема, описывающая элементы мозаичного изображения.

На фиг. 6 показана схема, описывающая ограничение, устанавливаемое, когда обнаруживают вектор движения.

На фиг. 7 показана схема, описывающая опорное изображение для прогнозирования между кадрами.

На фиг. 8 показана схема, представляющая пример синтаксиса SP.

На фиг. 9 показана схема, представляющая пример синтаксиса SP.

На фиг. 10 показана схема, представляющая пример синтаксиса PPS.

На фиг. 11 показана схема, представляющая пример синтаксиса VUI.

На фиг. 12 показана блок-схема последовательности операций, описывающая процесс генерирования кодированного потока.

На фиг. 13 показана блок-схема последовательности операций, описывающая процесс кодирования по фиг. 12.

На фиг. 14 показана блок-схема последовательности операций, описывающая процесс кодирования по фиг. 12.

На фиг. 15 показана блок-схема, представляющая пример состава устройства декодирования, в котором применяют настоящую технологию, в соответствии с первым вариантом осуществления.

На фиг. 16 показана блок-схема, представляющая пример состава модуля декодирования по фиг. 15 в соответствии с первым вариантом осуществления.

На фиг. 17 показана схема, в общем описывающая обработку, выполняемую устройством декодирования по фиг. 15.

На фиг. 18 показана блок-схема последовательности операций, описывающая обработку декодирования кодированного потока, выполняемую устройством декодирования по фиг. 15.

На фиг. 19 показана блок-схема последовательности операций, описывающая обработку декодирования по фиг. 16.

На фиг. 20 показана схема, представляющая пример изображения цели кодирования устройства кодирования, в котором применяют настоящую технологию, в соответствии со вторым вариантом осуществления.

На фиг. 21 показана блок-схема, представляющая пример состава устройства декодирования для 2D изображения, в соответствии с вариантом осуществления.

На фиг. 22 показана блок-схема последовательности операций, описывающая обработку декодирования кодированного потока, выполняемую устройством декодирования по фиг. 21.

На фиг. 23 показана блок-схема, представляющая пример состава системы телевизионной конференции, в которой применяют настоящую технологию, в соответствии с вариантом осуществления.

На фиг. 24 показана схема, представляющая другой пример синтаксиса VUI.

На фиг. 25 показана схема, представляющая пример системы кодирования изображения, снятого из множества точек обзора.

На фиг. 26 показана схема, представляющая пример состава устройства кодирования изображения, снятого из множества точек обзора, в котором применяют настоящую технологию.

На фиг. 27 показана схема, представляющая пример состава устройства кодирования изображения, снятого из множества точек обзора, в котором применяют настоящую технологию.

На фиг. 28 показана схема, представляющая пример иерархической системы кодирования изображения.

На фиг. 29 показана схема, описывающая пример пространственного масштабируемого кодирования.

На фиг. 30 показана схема, описывающая пример временного масштабируемого кодирования.

На фиг. 31 показана схема, описывающая кодирование, масштабируемое по отношению сигнал-шум.

На фиг. 32 показана схема, представляющая пример состава устройства иерархического кодирования изображения, в котором применяют настоящую технологию.

На фиг. 33 показана схема, представляющая пример состава устройства иерархического кодирования изображения, в котором применяют настоящую технологию.

На фиг. 34 показана блок-схема, представляющая пример состава аппаратных средств компьютера.

На фиг. 35 показана схема, представляющая пример общей структуры телевизионного приемника, в котором применяют настоящую технологию.

На фиг. 36 показана схема, представляющая пример общей структуры сотового телефона, в котором применяют настоящую технологию.

На фиг. 37 показана схема, представляющая пример общей структуры устройства записи и воспроизведения, в котором применяют настоящую технологию.

На фиг. 38 показана схема, представляющая пример общей структуры устройства формирования изображения, в котором применяют настоящую технологию.

На фиг. 39 показана блок-схема, представляющая пример применения масштабируемого кодирования.

На фиг. 40 показана блок-схема, представляющая другой пример применения масштабируемого кодирования.

На фиг. 41 показана блок-схема, представляющая дополнительный пример применения масштабируемого кодирования.

Осуществление изобретения

Первый вариант осуществления

Пример состава устройства кодирования в первом варианте осуществления

На фиг. 3 показана блок-схема, представляющая пример состава устройства кодирования, в котором применяется настоящая технология, в соответствии с первым вариантом осуществления.

Устройство 50 кодирования по фиг. 3 состоит из модуля 51 A/D преобразования, буфера 52 изменения компоновки экрана, модуля 53 разделения, модулей 54-1-54-N кодирования, модуля 55 установки и модуля 56 передачи. Устройство 50 кодирования выполняет, для каждого элемента мозаичного изображения, кодирование со сжатием изображения в каждом модуле из кадров, вводимых, как входные сигналы в системе, соответствующей системе HEVC.

Более конкретно, модуль 51 A/D преобразования устройства 50 кодирования выполняет A/D преобразование изображений в каждом модуле из кадров, вводимых, как входные сигналы, и выводит преобразованные изображения в буфер 52 изменения компоновки экрана, и обеспечивает возможность сохранения изображения в буфере 52 изменения компоновки экрана. Буфер 52 изменения компоновки экрана изменяет компоновку сохраненных изображений в соответствующих модулях кадров, размещенных в порядке отображения в таких положениях, что изображения размещаются в порядке кодирования, в соответствии со структурой групп изображений (GOP), и подает изображения с измененной компоновкой в модуль 53 разделения.

Модуль 53 разделения разделяет каждое из изображений, подаваемое из буфера 52 изменения компоновки экрана, на N элементов мозаичного изображения, на основе информации, указывающей положения разделения элементов мозаичного изображения и числа N разделения, установленного для каждого модуля последовательностей в соответствии с операцией не показанного модуля ввода, операции с которым выполняет пользователь (ниже называется информацией разделения элемента мозаичного изображения). Модуль 53 разделения подает изображения из N элементов мозаичного изображения в модули 54-1-54-N кодирования, соответственно, как целевые изображения кодирования.

Модули 54-1-54-N кодирования выполняют кодирование со сжатием изображений соответствующих элементов мозаичного изображения, подаваемых модулем 53 разделения, независимо в направлении времени, с использованием системы, соответствующей системе HEVC. Модули 54-1-54-N кодирования подают кодированные данные соответствующих элементов мозаичного изображения, полученные в результате кодирования со сжатием, в модуль 55 установки. Далее, в следующем описании, модули 54-1-54-N кодирования совместно называются модулями 54 кодирования, когда не требуется делать конкретное различие между модулями 54-1-54-N кодирования.

Модуль 55 установки синтезирует кодированные данные соответствующих элементов мозаичного изображения, подаваемых модулями 54-1-54-N кодирования, на основе информации о разделении мозаичного изображения. Кроме того, модуль 55 установки устанавливает набор параметров последовательности (SPS), набор параметров изображения (PPS), информацию о возможности использования видеоданных (VUI), набор параметров адаптации (APS) и т.п., на основе информации разделения элемента мозаичного изображения. Модуль 55 установки генерирует кодированный поток, путем добавления SPS, PPS, VUI, APS и т.п. к синтезированным кодированным данным, и подает сгенерированный кодированный поток в модуль 56 передачи.

Модуль 56 передачи передает кодированный поток, подаваемый модулем 55 установки, в устройство декодирования, описанное ниже.

Пример состава модуля кодирования

На фиг. 4 показана блок-схема, представляющая пример состава модуля 54 кодирования по фиг. 3.

Модуль 54 кодирования по фиг. 4 состоит из модуля 71 вычисления, модуля 72 ортогонального преобразования, модуль 73 квантования, модуль 74 кодирования без потерь, буфера 75 сохранения, модуля 76 обратного квантования, модуля 77 обратного ортогонального преобразования, модуля 78 суммирования, фильтра 79 удаления блочности, DPB 80, переключателя 81, модуля 82 прогнозирования внутри кадра, модуля 83 прогнозирования между кадрами, модуля 84 выбора изображения прогнозирования и модуля 85 управления скоростью.

Изображение соответствующего элемента мозаичного изображения вводят из модуля 53 разделения на фиг. 3 в модуль 54 кодирования, как кодированное целевое изображение, и подают в модуль 71 расчета, модуль 82 прогнозирования внутри кадра и модуль 83 прогнозирования между кадрами.

Модуль 71 расчета функционирует, как модуль кодирования, и рассчитывает разность между изображением прогнозирования, подаваемым модулем 84 выбора изображения прогнозирования, и целевым изображением кодирования, для кодирования целевого изображения кодирования. Более конкретно, модуль 71 расчета вычитает изображение прогнозирования из целевого изображения кодирования для кодирования целевого изображения кодирования. Модуль 71 расчета выводит изображение, полученное в результате расчета, в модуль 72 ортогонального преобразования, как остаточную информацию. Когда изображение прогнозирования не подают в модуль 84 выбора изображения прогнозирования, модуль 71 расчета выводит целевое изображение кодирования в модуль 72 ортогонального преобразования в том виде, как оно есть, как остаточную информацию.

Модуль 72 ортогонального преобразования выполняет ортогональное преобразование остаточной информации, принятой из модуля 71 расчета, и подает коэффициенты, полученные в результате ортогонального преобразования, в модуль 73 квантования.

Модуль 73 квантования квантует коэффициенты, подаваемые модулем 72 ортогонального преобразования. Квантованные коэффициенты вводят в модуль 74 кодирования без потерь.

Модуль 74 кодирования без потерь получает информацию, обозначающую оптимальный режим прогнозирования внутри кадра (ниже называется информацией режима прогнозирования внутри кадра), из модуля 82 прогнозирования внутри кадра. Вместо этого, модуль 74 кодирования без потерь получает информацию, обозначающую оптимальный режим прогнозирования между кадрами (ниже называется информацией режима прогнозирования между кадрами), вектор движения, информацию для установления опорного изображения и т.п. из модуля 83 прогнозирования между кадрами.

Модуль 74 кодирования без потерь выполняет кодирование без потерь квантованных коэффициентов, подаваемых модулем 73 квантования, такое как кодирование кодового слова с переменной длиной (такое как адаптивное к контексту кодирование с переменной длиной (CAVLC) и арифметическое кодирование (такое как CABAC).

Кроме того, модуль 74 кодирования без потерь выполняет дифференциальное кодирование информации в режиме прогнозирования внутри кадра, подаваемой модулем 82 прогнозирования внутри кадра, используя информацию режима прогнозирования внутри кадра блока прогнозирования, установленного рядом с блоком прогнозирования информации режима прогнозирования внутри кадра, и содержащегося в том же элементе мозаичного изображения. Вместо этого, модуль 74 кодирования без потерь функционирует, как модуль генерирования вектора движения, который прогнозирует вектор движения, подаваемый модулем 83 прогнозирования между кадрами, в пределах диапазона заданного ограничения, основанного на передовом прогнозировании вектора движения (AMVP) и т.п., и генерирует разность между соответствующим вектором прогнозирования и фактическим вектором движения, как информацию вектора движения.

Более конкретно, в соответствии с AMVP и т.п., векторы движения блока прогнозирования, расположенные рядом с блоком прогнозирования информации вектора движения в пространственном направлении, расположенный в том же месте блок (подробности описаны ниже), блок прогнозирования, расположенный рядом с расположенным в том же месте блоком в пространственном направлении, и т.п., определены как векторы прогнозирования.

Кроме того, в соответствии с этим описанием, состояние "расположенный в том же месте" относится к состоянию с таким расположением, что обеспечивается одинаковая взаимосвязь положений (расположенных в одном и том же месте) для разных изображений (кадров, полей). В соответствии с этим, "расположенный в том же месте" относится к блоку, имеющему ту же взаимосвязь положения (расположенные в том же месте) в разных изображениях (кадрах, полях). Кроме того, пиксели, размещенные в том же месте, представляют собой пиксели, имеющие одинаковую взаимосвязь положений (расположенные в том же месте) в разных изображениях (фреймах, полях).

Кроме того, в соответствии с данным описанием, условие расположения рядом (соседнее расположение) относится к такому условию, в котором получают взаимосвязь положений, позволяющую ссылаться на текущий кадр (фрейм, поле). Предпочтительно, чтобы такая взаимосвязь положений соответствовала положению непосредственно перед или непосредственно после, с учетом времени. Однако такое взаимоотношение не требуется, если могут быть предложены эффекты настоящей технологии. Кроме того, состояние расположения рядом в направлении времени и состояние расположения рядом в пространственном направлении совместно называются состоянием расположения рядом, когда, в частности, не требуется представлять различие между ними. Состояние расположения рядом в направлении времени представляет взаимосвязь положений, позволяющую делать ссылку в направлении времени. Состояние расположения рядом в пространственном направлении представляет взаимосвязь положений, позволяющих делать ссылку в пределах одного кадра.

Модуль 74 кодирования без потерь ограничивает блок прогнозирования вектора движения, определенного, как вектор прогнозирования, до блоков прогнозирования в пределах того же элемента мозаичного изображения, что и элемент мозаичного изображения блока прогнозирования информации вектора движения. В этом случае не требуется, чтобы устройство декодирования ссылалось на векторы движения других элементов мозаичного изображения. В соответствии с этим, кодированные данные после кодирования с прогнозированием между кадрами могут быть декодированы независимо в направлении времени для каждого элемента мозаичного изображения.

Кроме того, информация объединения может использоваться, как информация вектора движения. Информация объединения представляет собой информацию, обозначающую, следует или нет объединить блок прогнозирования вектора движения с другим блоком прогнозирования, и с каким блоком прогнозирования вектор движения следует объединить во время объединения. Возможные блоки прогнозирования для объединения включают себя, например, блок прогнозирования, расположенный рядом с блоком прогнозирования вектора движения в пространственном направлении, так называемый блок, находящийся в этом же месте, и блок прогнозирования, расположенный рядом с блоком, находящимся в этом же месте в пространственном направлении.

В этом случае, однако, возможные блоки прогнозирования для объединения ограничены блоками прогнозирования в пределах того же элемента мозаичного изображения, что и элемент мозаичного изображения блока прогнозирования информации вектора движения. В соответствии с этим, устройство декодирования не требуется для ссылки на векторы движения других элементов мозаичного изображения; поэтому, кодированные данные после кодирования с прогнозированием между кадрами, могут быть независимо декодированы в направлении времени для каждого элемента мозаичного изображения.

Модуль 74 кодирования без потерь определяет, идентичен ли вектор движения, подаваемый модулем 83 прогнозирования между кадрами, какому-либо из векторов движения возможных блоков прогнозирования для объединения, когда информацию объединения используют, как информацию вектора движения. При определении, как идентичные, модуль 74 кодирования без потерь генерирует, как информацию вектора движения, информацию объединения, обозначающую, что объединение выполняется, когда возможный блок прогнозирования для объединения определен, как блок, идентичный по вектору. С другой стороны, когда определение не дает идентичный результат, модуль 74 кодирования без потерь генерирует, как информацию вектора движения, информацию об объединении, обозначающую, что объединение не было выполнено.

Модуль 74 кодирования без потерь выполняет кодирование без потерь информации о режиме прогнозирования внутри кадра после дифференциального кодирования, или информации о режиме прогнозирования между кадрами, информации вектора движения, информации для установления опорного изображения и т.п., и определяет информацию после кодирования без потерь, как кодированную информацию о кодировании. Модуль 74 кодирования без потерь подает коэффициенты и кодированную информацию после кодирования без потерь в буфер 75 сохранения, как кодированные данные, и обеспечивает возможность сохранения кодированных данных в буфере 75 сохранения. Кроме того, кодированная информация может быть определена, как информация заголовка для коэффициентов после кодирования без потерь.

Кодированные данные, подаваемые модулем 74 кодирования без потерь, временно содержатся в буфере 75 сохранения. Кроме того, буфер 75 сохранения передает сохраненные кодированные данные в модуль 55 установки на фиг. 3.

Кроме того, квантованные коэффициенты, выводимые из модуля 73 квантования, также вводят в модуль 76 обратного квантования, и выполняют обратное квантование и передают в модуль 77 обратного ортогонального преобразования.

Модуль 77 обратного ортогонального преобразования выполняет обратное ортогональное преобразование коэффициентов, передаваемых модулем 76 обратного квантования, и передает остаточную информацию, полученную, как результат обратного ортогонального преобразования, в модуль 78 суммирования.

Модуль 78 суммирования добавляет остаточную информацию, как изображение - цель декодирования, переданную модулем 77 обратного ортогонального преобразования, к изображению прогнозирования, передаваемому модулем 84 выбора изображения прогнозирования, и получает декодированное изображение, локально декодируемое для каждого модуля элементов мозаичного изображения. Когда изображение прогнозирования не передают в модуль 84 выбора изображения прогнозирования, модуль 78 суммирования определяет остаточную информацию, предоставленную модулем 77 обратного ортогонального преобразования, как декодируемое изображение, локально декодируемое для каждого модуля из элементов мозаичного изображения. Модуль 78 суммирования передает декодированное изображение, локально декодируемое для каждого модуля элементов мозаичного изображения, в фильтр 79 удаления блочности, и подает декодированное изображение в DPB 80, и обеспечивает возможность сохранять декодированное изображение в DPB 80.

Фильтр 79 удаления блочности выполняет, для каждого модуля элементов мозаичного изображения, фильтрацию декодированного изображения, декодированного локально для каждого модуля элементов мозаичного изображения, подаваемого модулем 78 суммирования. Фильтрация включает в себя фильтрацию по удалению блоков для удаления искажения блоков, обработку адаптивного смещения выборки (SAO) для подавления вызова, и обработку адаптивного петлевого фильтра (ALF), используя группировку, класс и т.п. Фильтр 79 удаления блочности передает декодированное изображение для каждого модуля элементов мозаичного изображения, полученного, как результат фильтрации, в DPB 80, и обеспечивает возможность сохранять декодированное изображение в DPB 80. Декодированное изображение для каждого модуля элементов мозаичного изображения, сохраненного в DPB 80, выводят через переключатель 81 в модуль 82 прогнозирования внутри кадра или в модуль 83 прогнозирования между кадрами, как опорное изображение.

Модуль 82 прогнозирования внутри кадра выполняет прогнозирование внутри кадра всех возможных режимов прогнозирования внутри кадра, используя опорное изображение, считанное из DPB 80 через переключатель 81 и не фильтрованное фильтром 79 удаления блочности.

Кроме того, модуль 82 прогнозирования внутри кадра рассчитывает значения функции стоимости (подробно описана ниже) для всех возможных режимов прогнозирования внутри кадра на основе целевого изображения кодирования, подаваемого модулем 53 разделения, и изображения прогнозирования, генерируемого, как результат прогнозирования внутри кадра. Затем модуль 82 прогнозирования внутри кадра определяет режим прогнозирования внутри кадра, где значение функции стоимости становится минимальным, как оптимальный режим прогнозирования внутри кадра, и подает изображение прогнозирования, генерируемое в оптимальном режиме прогнозирования внутри кадра, и соответствующие значения функции стоимости в модуль 84 выбора изображения прогнозирования. После уведомления модулем 84 выбора изображения прогнозирования о выборе изображения прогнозирования, генерируемого в оптимальном режиме прогнозирования внутри кадра, модуль 82 прогнозирования внутри кадра передает информацию о режиме прогнозирования внутри кадра в модуль 74 кодирования без потерь.

Здесь следует отметить, что значение функции стоимости также называется стоимостью скорости создания информации (RD), и его рассчитывают на основе либо режима высокой сложности, или режима низкой сложности, определенных в объединенной модели (JM), например, в качестве эталона программного обеспечения в системе H.264/AVC.

Более конкретно, когда выбирают режим высокой сложности, в качестве способа расчета значения функции стоимости, этапы для кодирования без потерь временно выполняют для всех возможных режимов прогнозирования. Затем значение функции стоимости, представленное следующим уравнением (1), рассчитывают для каждого режима прогнозирования.

Уравнение 1

D представляет собой разность (искажение) между оригинальным изображением и декодированным изображением. R представляет собой генерируемое количество кодов вплоть до коэффициентов ортогонального преобразования. λ представляет собой множитель Лагранжа, заданный, как функция параметра QP квантования.

С другой стороны, когда выбирают режим низкой сложности, как способ расчета для значения функции стоимости, генерирование декодированного изображения и расчет битов заголовка информации, обозначающей режимы прогнозирования и т.п., выполняют для всех возможных режимов прогнозирования. Затем рассчитывают функцию стоимости, представленную следующим уравнением (2), для каждого режима прогнозирования.

Уравнение 2

D представляет собой разность (искажение) между оригинальным изображением и декодированным изображением. Header_Bit представляет собой биты заголовка для режима прогнозирования. QPtoQuant представляет собой функцию, заданную, как функция квантования параме