Устройство кодирования изображения и устройство декодирования изображения

Устройство кодирования изображения и устройство декодирования изображения

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству кодирования цифрового сигнала изображения, устройству декодирования сигнала цифрового изображения, способу кодирования цифрового сигнала изображения и способу декодирования цифрового сигнала изображения, используемых для технологии кодирования со сжатием изображения или технологии передачи сжатых данных изображения.

Описание уровня техники

Система кодирования видео согласно международному стандарту, такому как стандарт MPEG или ITU-T H.26x, традиционно была предпосылкой к использованию стандартизированного формата входного сигнала, названного формат 4:2:0. Формат 4:2:0 - это формат, в котором цветовой сигнал движущегося изображения RGB или подобный преобразовывается в компонент яркости (Y) и два компонента цвета (Cb, Cr), и количество выборок компонента цвета уменьшено до половины компонентов яркости как в горизонтальном, так и в вертикальном направлениях. Компонент цвета является менее важным, чем компонент яркости в видимости. Соответственно, обычная система кодирования видео согласно международному стандарту, такому как стандарт MPEG 4 AVC (стандарт ISO/IEC 14496-10)/ITU-T H.264 (в дальнейшем, называемый просто как AVC) (в дальнейшем, названный непатентный документ 1), были основаны на предпосылке, что количество первоначальной информации, которая должны быть закодирована, уменьшается посредством снижения частоты дискретизации компонентов цвета прежде, чем кодирование будет выполнено, как упомянуто выше. С другой стороны, с недавними увеличениями разрешения и градации видео дисплея и с целью точного воспроизведения на экране представления цвета во время создания контента цифрового кино и т.п., были проведены исследования в отношении системы, чтобы выполнить кодирование посредством поддержания количества выборок равным таковому компонентов яркости без снижения частоты дискретизации компонентов цвета. Формат, где количества выборок компонента яркости и цвета полностью равны, называют форматом 4:4:4. Согласно непатентному документу 1, «высокий 4:4:4 профиль» был разработан как способ кодирования, который использует 4:4:4 формат в качестве входного. В качестве способа, подходящего для этой цели, используется стандартный метод, как определено в стандарте JPEG 2000 (ISO/IEC 15444) (в дальнейшем, называемый непатентный документ 2). Как иллюстрируется на Фиг. 10, обычный формат 4:2:0 был ограничен определениями цветового пространства Y, Cb и Cr из-за условия уменьшения частоты дискретизации компонентов цвета. В случае формата 4:4:4, однако, так как нет разности соотношения выборок между цветовыми компонентами, R, G и B могут непосредственно использоваться в дополнение к Y, Cb и Cr, и может использоваться множество определений цветового пространства. В способе кодирования видео, использующем формат 4:2:0, цветовое пространство ограничивается цветовым пространством Y, Cb и Cr. Поэтому тип цветового пространства не требуется учитывать во время процесса кодирования. В «высоком 4:4:4 профиле» AVC, описанном выше, однако, определение цветового пространства влияет на процесс кодирования непосредственно. С другой стороны, так как текущий «высокий 4:4:4 профиль» рассматривает совместимость с другими профилями, которые используют формат 4:2:0, определенный цветовым пространством Y, Cb и Cr в качестве целевого, подлежащего кодированию, не считается что «высокий 4:4:4 профиль» предназначен для оптимизации эффективности сжатия формата 4:4:4.

Например, посредством кодирования «высокого 4:2:0 профиля», формат 4:2:0 AVC, в области макроблока, составленной из компонентов яркости 16×16 пикселей, соответствующими компонентами цвета являются блоки пикселей 8×8 и для Cb и для Cr. В предсказании с компенсацией движения «высокого 4:2:0 профиля» информация размера блока, который становится единицей предсказания с компенсацией движения только для компонентов яркости, информация опорного изображения, используемая для предсказания, и информация вектора движения каждого блока мультиплексируются и предсказание с компенсацией движения выполняется для компонентов цвета посредством той же информации, что и таковая компонентов яркости. Вышеупомянутый способ строится на определении цветового пространства, что вклад компонентов цвета меньше, чем таковой компонента яркости, что очень способствует выражению структуры изображения (текстуре) в формате 4:2:0. Однако современный «высокий 4:4:4 профиль» соответствует простому расширению режима внутреннего (интра-) предсказания для цвета в формате 4:2:0, даже когда размер блока сигнала цвета для каждого макроблока расширяется до 16×16 пикселей. Кроме того, как в случае формата 4:2:0, один компонент расценивается как компонент яркости. После того, как информация только для одного компонента является мультиплексированной, выполняется предсказание с компенсацией движения, используя режим внешнего предсказания, информацию опорного изображения и информацию вектора движения, которые являются общими для трех компонентов. Поэтому, способ предсказания не всегда оптимален для формата 4:4:4, в котором соответствующие компоненты цвета одинаково дают вклад в выражение структуры сигнала изображения.

Сущность изобретения

Как описано выше в отношении уровня техники, задачей согласно настоящему изобретению является обеспечение устройства кодирования, устройства декодирования, способа кодирования, способа декодирования, программы для выполнения этих способов и носителя записи с записанными этими программами, которые повышают оптимальность в случае кодирования сигналов движущегося изображения, не имеющих различия в отношении выборок между компонентами цвета, таких как формат 4:4:4.

Согласно настоящему изобретению предоставляется устройство кодирования изображения для приема цветового сигнала движущегося изображения, составленного из множества компонентов цвета в качестве входного, деления цветового сигнала движущегося изображения на заранее определенные области единиц кодирования для каждого множества компонентов цвета и выборочное применение одного из внутреннего кодирования и прогнозирующего кодирования с компенсацией движения, чтобы в цифровой форме сжать цветовой сигнал движущегося изображения, содержащее: модуль отделения компонента цвета для разделения входного битового потока для каждого из множества компонентов цвета; модуль разделения на блоки для разделения входного сигнала компонента цвета на блоки размера, определенного закодированной информацией индикации размера блока, чтобы сгенерировать сигнал каждой из областей единицы кодирования; модуль генерирования предсказанного изображения для генерирования предсказанного изображения для сигнала каждой из областей единицы кодирования согласно по меньшей мере одному режиму предсказания, указывающему способ генерирования предсказанного изображения; модуль определения для определения режима предсказания, используемого для кодирования согласно эффективности предсказания предсказанного изображения, выведенного из модуля генерирования предсказанного изображения; модуль кодирования ошибки предсказания для кодирования разности между предсказанным изображением, соответствующим режиму предсказания, определенному модулем определения, и входным сигналом компонента цвета; и модуль кодирования для кодирования с переменной длиной кода режима предсказания, выходного сигнала из модуля кодирования ошибки предсказания, и флага идентификации компонента цвета, указывающего компонент цвета, которому принадлежит входной битовый поток в результате разделения компонентов цвета, причем модуль кодирования мультиплексирует закодированную информацию индикации размера блока, и информацию, полученную посредством кодирования режима предсказания для каждой из областей единицы кодирования и ошибки предсказания в битовом потоке.

Согласно устройству кодирования изображения и устройству декодирования изображения согласно настоящему изобретению, в случае выполнения кодирования, которое использует множественные цветовые пространства, не будучи ограниченным фиксированными цветовыми пространствами Y, Cb, Cr, и т.д., возможно гибко выбрать информацию режима внутреннего предсказания и информацию режима внутреннего предсказания, которая должна использоваться для соответствующих компонентов цвета, и провести процесс оптимального кодирования даже в случае, когда есть различные определения цветовых пространств.

Краткое описание чертежей

Предпочтительные варианты осуществления настоящего изобретения описаны подробно на основании следующих чертежей, на которых:

Фиг. 1 - пояснительное представление, иллюстрирующее конфигурацию устройства кодирования видео в первом варианте осуществления;

Фиг. 2 - пояснительное представление, иллюстрирующее конфигурацию устройства декодирования видео в первом варианте осуществления;

Фиг. 3 - являются пояснительными представлениями, иллюстрирующими способ генерирования предсказанного изображения в режимах внутреннего 4×4 предсказания, оцененные в модуле пространственного предсказания на Фиг. 1;

Фиг. 4 - являются пояснительными представлениями, иллюстрирующими способ генерирования предсказанного изображения в режимах внутреннего 16×16 предсказания, оцененных в модуле пространственного предсказания на Фиг. 1;

Фиг. 5 - последовательность операций, иллюстрирующая процедуру процесса определения режима внутреннего предсказания, выполненного в устройстве кодирования видео на Фиг. 1;

Фиг. 6 - пояснительное представление, иллюстрирующее последовательность данных выходного сигнала битового потока видео из устройства кодирования видео в первом варианте осуществления;

Фиг. 7 - последовательность операций, иллюстрирующая процедуру процесса декодирования с внутренним предсказанием, выполненного в видео устройстве декодирования на Фиг. 2;

Фиг. 8 - пояснительное представление, иллюстрирующее другую последовательность данных выходного сигнала битового потока видео из устройства кодирования видео в первом варианте осуществления;

Фиг. 9 - являются пояснительными представлениями, иллюстрирующими способ генерирования предсказанного изображения в режимах внутреннего предсказания для компонентов цвета в стандарте AVC;

Фиг. 10 - являются пояснительными представлениями, иллюстрирующими обычные и текущие макроблоки;

Фиг. 11 - пояснительное представление, иллюстрирующее конфигурацию устройства кодирования видео во втором варианте осуществления;

Фиг. 12 - пояснительное представление, иллюстрирующее конфигурацию устройства декодирования видео во втором варианте осуществления;

Фиг. 13 - являются пояснительными представлениями, иллюстрирующими способ генерирования предсказанного изображения в режимах внутреннего 8×8 предсказания, оцененных в модуле пространственного предсказания на Фиг. 11;

Фиг. 14 - последовательность операций, иллюстрирующая процедуру процесса определения режима внутреннего кодирования, выполненного в устройстве кодирования видео на Фиг. 11;

Фиг. 15 - пояснительное представление, иллюстрирующее последовательность данных выходного сигнала битового потока видео из устройства кодирования видео во втором варианте осуществления;

Фиг. 16 - пояснительное представление, иллюстрирующее другую последовательность данных выходного сигнала битового потока видео из устройства кодирования видео во втором варианте осуществления;

Фиг. 17 - последовательность операций, иллюстрирующая процедуру процесса декодирования с внутренним предсказанием, выполняемого в устройстве декодирования видео на Фиг. 12;

Фиг. 18 - являются пояснительными представлениями, иллюстрирующими параметры процесса кодирования режима внутреннего предсказания компонента C0 в третьем варианте осуществления;

Фиг. 19 - являются пояснительными представлениями, иллюстрирующими параметры процесса кодирования режима внутреннего предсказания компонента C1 в третьем варианте осуществления;

Фиг. 20 - являются пояснительными представлениями, иллюстрирующими параметры процесса кодирования режима внутреннего предсказания компонента C2 в третьем варианте осуществления;

Фиг. 21 - последовательность операций, иллюстрирующая поток операций процесса кодирования режима внутреннего предсказания в третьем варианте осуществления;

Фиг. 22 - последовательность операций, иллюстрирующая другой поток операций процесса кодирования режима внутреннего предсказания в третьем варианте осуществления;

Фиг. 23 - последовательность операций, иллюстрирующая поток операций процесса декодирования режима внутреннего предсказания в третьем варианте осуществления;

Фиг. 24 - пояснительное представление, иллюстрирующее другую последовательность данных выходного сигнала битового потока видео из устройства кодирования видео в четвертом варианте осуществления;

Фиг. 25 - последовательность операций, иллюстрирующая другой поток операций процесса кодирования режима внутреннего предсказания в пятом варианте осуществления;

Фиг. 26 - являются пояснительными представлениями, иллюстрирующими правило установки значения предсказания, показанного в качестве таблиц в пятом варианте осуществления;

Фиг. 27 - последовательность операций, иллюстрирующая процедуру кодирования в шестом варианте осуществления;

Фиг. 28 - пояснительное представление, иллюстрирующее структуру двоичной последовательности CurrlntraPredMode в шестом варианте осуществления;

Фиг. 29 - пояснительное представление, иллюстрирующее другую структуру двоичной последовательности CurrlntraPredMode в шестом варианте осуществления;

Фиг. 30 - пояснительное представление, иллюстрирующее конфигурацию устройства кодирования видео в седьмом варианте осуществления;

Фиг. 31 - пояснительное представление, иллюстрирующее конфигурацию устройства декодирования видео в седьмом варианте осуществления;

Фиг. 32A-32H - являются пояснительными представлениями, причем каждое иллюстрирует размер блока для каждого макроблока;

Фиг. 33 - последовательность операций, иллюстрирующая поток операций процесса определения режима внешнего предсказания в седьмом варианте осуществления;

Фиг. 34 - пояснительное представление, иллюстрирующее последовательность данных выходного сигнала потока видео из устройства кодирования видео в седьмом варианте осуществления;

Фиг. 35 - последовательность операций, иллюстрирующая поток операций процесса, выполняемого в модуле декодирования с переменной длиной кода в седьмом варианте осуществления;

Фиг. 36 - пояснительное представление, иллюстрирующее другую последовательность данных выходного сигнала потока видео из устройства кодирования видео в седьмом варианте осуществления;

Фиг. 37 - пояснительное представление, иллюстрирующее другую последовательность данных выходного сигнала потока видео из устройства кодирования видео в седьмом варианте осуществления;

Фиг. 38 - последовательность операций, иллюстрирующая поток операций процесса определения режима внешнего предсказания в восьмом варианте осуществления;

Фиг. 39 - пояснительное представление, иллюстрирующее последовательность данных битового потока на уровне макроблока в восьмом варианте осуществления;

Фиг. 40 - последовательность операций, иллюстрирующая поток операций процесса генерирования изображения внешнего предсказания в восьмом варианте осуществления;

Фиг. 41 - пояснительное представление, иллюстрирующее другую последовательность данных битового потока на уровне макроблока в восьмом варианте осуществления;

Фиг. 42 - пояснительное представление, иллюстрирующее другую последовательность данных битового потока на уровне макроблока в восьмом варианте осуществления;

Фиг. 43 - последовательность операций, иллюстрирующая поток операций процесса определения режима внешнего предсказания в девятом варианте осуществления;

Фиг. 44 - последовательность операций, иллюстрирующая поток операций процесса генерирования изображения внешнего предсказания в девятом варианте осуществления;

Фиг. 45 - пояснительное представление, иллюстрирующее конфигурацию модуля кодирования вектора движения;

Фиг. 46 - являются пояснительными представлениями, иллюстрирующими работу модуля кодирования вектора движения;

Фиг. 47 - пояснительное представление, иллюстрирующее конфигурацию модуля декодирования вектора движения;

Фиг. 48A и 48B - объяснительные представления, каждое иллюстрирует состояние синтаксиса битового потока;

Фиг. 49 - пояснительное представление, иллюстрирующее структуру закодированных данных макроблока в одиннадцатом варианте осуществления;

Фиг. 50 - пояснительное представление, иллюстрирующее подробную структуру закодированных данных информации заголовка компонента Cn на Фиг. 49 в одиннадцатом варианте осуществления;

Фиг. 51 - пояснительное представление, иллюстрирующее другую структуру закодированных данных макроблока в одиннадцатом варианте осуществления;

Фиг. 52 - пояснительное представление, иллюстрирующее структуру битового потока в одиннадцатом варианте осуществления;

Фиг. 53 - пояснительное представление, иллюстрирующее структуру срезов в одиннадцатом варианте осуществления;

Фиг. 54 - пояснительное представление, иллюстрирующее внутреннюю конфигурацию модуля кодирования с переменной длиной кода, которая относится к процессу арифметического кодирования, в двенадцатом варианте осуществления;

Фиг. 55 - последовательность операций, иллюстрирующая поток операций процесса арифметического кодирования в модуле кодирования с переменной длиной кода в двенадцатом варианте осуществления;

Фиг. 56 - пояснительное представление, иллюстрирующее подробно поток операций процесса этапа S162 на Фиг. 55 в двенадцатом варианте осуществления;

Фиг. 57 - пояснительное представление, иллюстрирующее концепцию контекстной модели (ctx);

Фиг. 58 - пояснительное представление, иллюстрирующее пример контекстной модели относительно вектора движения макроблока;

Фиг. 59 - пояснительное представление, иллюстрирующее внутреннюю конфигурацию модуля декодирования с переменной длиной кода, который относится к процессу арифметического декодирования, в двенадцатом варианте осуществления;

Фиг. 60 - последовательность операций, иллюстрирующая поток операций процесса арифметического декодирования в модуле декодирования с переменной длиной кода в двенадцатом варианте осуществления;

Фиг. 61 - пояснительное представление, иллюстрирующее контекстную модель в двенадцатом варианте осуществления;

Фиг. 62A и 62B - пояснительные представления, иллюстрирующие разность между режимами текущих макроблоков в двенадцатом варианте осуществления;

Фиг.63 - является пояснительным представлением, иллюстрирующим конфигурации устройства кодирования и устройства декодирования в тринадцатом варианте осуществления;

Фиг. 64 - пояснительное представление, иллюстрирующее конфигурацию устройства кодирования видео в тринадцатом варианте осуществления;

Фиг. 65 - пояснительное представление, иллюстрирующее конфигурацию устройства декодирования видео в тринадцатом варианте осуществления;

Фиг. 66 - пояснительное представление, иллюстрирующее обычный процесс кодирования в четырнадцатом варианте осуществления;

Фиг. 67 - пояснительное представление, иллюстрирующее процесс независимого кодирования в четырнадцатом варианте осуществления;

Фиг. 68 - пояснительное представление, иллюстрирующее опорное отношение с предсказанием движения во временном направлении между картинками в устройстве кодирования и устройстве декодирования в четырнадцатом варианте осуществления;

Фиг. 69 - пояснительное представление, иллюстрирующее пример структуры битового потока, сгенерированного в устройстве кодирования в четырнадцатом варианте осуществления и введенного и подвергнутого процессу декодирования в устройстве декодирования в четырнадцатом варианте осуществления;

Фиг. 70 - пояснительное представление, иллюстрирующее структуры битового потока данных среза в процессе общего кодирования и процессе независимого кодирования, соответственно;

Фиг. 71 - пояснительное представление, иллюстрирующее схематическую конфигурацию устройства кодирования в четырнадцатом варианте осуществления;

Фиг. 72 - пояснительное представление, иллюстрирующее состояние, где задержка обработки на стороне устройства кодирования уменьшается;

Фиг. 73 - пояснительное представление, иллюстрирующее внутреннюю конфигурацию первого модуля кодирования картинки;

Фиг. 74 - пояснительное представление, иллюстрирующее внутреннюю конфигурацию второго модуля кодирования картинки;

Фиг. 75 - пояснительное представление, иллюстрирующее схематическую конфигурацию устройства декодирования в четырнадцатом варианте осуществления;

Фиг. 76 - пояснительное представление, иллюстрирующее внутреннюю конфигурацию первого модуля декодирования картинки;

Фиг. 77 - пояснительное представление, иллюстрирующее внутреннюю конфигурацию второго модуля декодирования картинки;

Фиг. 78 - пояснительное представление, иллюстрирующее внутреннюю конфигурацию первого модуля кодирования картинки, который подвергается процессу преобразования цветового пространства;

Фиг. 79 - другое пояснительное представление, иллюстрирующее внутреннюю конфигурацию первого модуля кодирования картинки, который подвергается процессу преобразования цветового пространства;

Фиг. 80 - пояснительное представление, иллюстрирующее внутреннюю конфигурацию первого модуля кодирования картинки, который подвергается процессу обратного преобразования цветового пространства;

Фиг. 81 - другое пояснительное представление, иллюстрирующее внутреннюю конфигурацию первого модуля кодирования картинки, который подвергается процессу обратного преобразования цветового пространства;

Фиг. 82 - пояснительное представление, иллюстрирующее структуру кодированных данных информации заголовка макроблока, содержащейся в битовом потоке в обычном формате YUV 4:2:0;

Фиг. 83 - пояснительное представление, иллюстрирующее внутреннюю конфигурацию модуля предсказания в первом модуле декодирования изображения, который гарантирует совместимость в отношении битового потока в обычном формате YUV 4:2:0;

Фиг. 84 - пояснительное представление, иллюстрирующее структуру битового потока закодированных данных, которые должны быть мультиплексированы, в пятнадцатом варианте осуществления;

Фиг. 85 - пояснительное представление, иллюстрирующее информацию типа кодирования картинки, когда данные картинки в устройстве доступа, начиная с единицы AUD NAL, являются закодированными;

Фиг. 86 - пояснительное представление, иллюстрирующее другую структуру битового потока закодированных данных, которые должны быть мультиплексированы, в пятнадцатом варианте осуществления;

Фиг. 87 - пояснительное представление, иллюстрирующее схематическую конфигурацию устройства кодирования в шестнадцатом варианте осуществления;

Фиг. 88 - пояснительное представление, иллюстрирующее внутреннюю конфигурацию модуля кодирования картинки;

Фиг. 89 - являются пояснительными представлениями, иллюстрирующими использование различного размера блоков для каждого компонента цвета;

Фиг. 90A-90H - являются пояснительными представлениями, каждое иллюстрирует размер блока для каждого макроблока;

Фиг. 91 - пояснительное представление, иллюстрирующее последовательность данных выходного сигнала потока видео из модуля кодирования картинки;

Фиг. 92 - пояснительное представление, иллюстрирующее схематическую конфигурацию устройства декодирования в шестнадцатом варианте осуществления;

Фиг. 93 - пояснительное представление, иллюстрирующее внутреннюю конфигурацию модуля декодирования;

Фиг. 94 - пояснительное представление, иллюстрирующее способ создания пикселя с полупиксельным предсказанием;

Фиг. 95 - пояснительное представление, иллюстрирующее только горизонтальный процесс в способе создания пикселя с полупиксельным предсказанием во время 1/4 пиксельного MC;

Фиг. 96 - пояснительное представление, иллюстрирующее схематическую конфигурацию устройства кодирования в семнадцатом варианте осуществления;

Фиг. 97 - пояснительное представление, иллюстрирующее последовательность данных выходного сигнала потока видео из модуля кодирования картинки; и

Фиг. 98 - пояснительное представление, иллюстрирующее схематическую конфигурацию устройства декодирования в семнадцатом варианте осуществления.

Описание предпочтительных вариантов осуществления

Первый вариант осуществления

В первом варианте осуществления настоящего изобретения описано устройство кодирования, которое выполняет закрытое (замкнутое) кодирование в пределах кадра в единицах прямоугольных областей (макроблоках), каждая состоящая из 16×16 пикселей, полученных посредством равного разделения видео кадра, введенного в формате 4:4:4, и устройство декодирования, соответствующее устройству кодирования. Устройство кодирования и устройство декодирования согласно настоящему изобретению основаны на способе кодирования, используемом в непатентном документе 1, и наделены характеристиками, специфическими для настоящего изобретения. Следует отметить, что во всех вариантах осуществления, описанных ниже, размер макроблока не обязан быть ограничен 16×16 пикселями изображения кадра. Например, как в случае чересстрочного сигнала, блок 16×16 пикселей изображения поля может быть макроблоком, когда поле используется как экран, служащий единицей кодирования. Альтернативно, кодирование может быть выполнено, адаптивно изменяя размер блока для макроблока в зависимости от того, закодирован ли макроблок как изображение кадра или изображение поля.

Фиг. 1 иллюстрирует конфигурацию устройства кодирования видео согласно первому варианту осуществления настоящего изобретения, и Фиг. 2 иллюстрирует конфигурацию устройства декодирования видео согласно первому варианту осуществления настоящего изобретения. На Фиг. 2 компоненты, обозначенные такими же ссылочными позициями, как таковые в устройстве кодирования, иллюстрированном на Фиг. 1, являются одинаковыми компонентами.

В дальнейшем, со ссылками на фиг. 1 и 2 описана работа всего устройства кодирования и всего устройства декодирования, и процесс определения режима внутреннего предсказания и процесс декодирования с внутренним предсказанием, которые являются конкретными операциями согласно первому варианту осуществления.

1. Обзор работы устройства кодирования

В устройстве кодирования, проиллюстрированном на Фиг. 1, в качестве входного видео сигнала 1 каждый видео кадр вводится в формате 4:4:4. Как иллюстрируется на Фиг. 10, видео кадр, который должен быть введен, вводится в устройство кодирования на основе макроблоков. Каждый макроблок получается посредством деления каждого из трех компонентов цвета в блок 16×16 пикселей, имеющих одинаковый размер, и затем объединения полученных блоков трех компонентов цвета.

Во-первых, в модуле 2 пространственного предсказания процесс внутреннего предсказания выполняется для каждого компонента цвета на основе макроблоков посредством использования локального декодированного изображения 15, которое должно быть сохранено в блоках памяти 16. Три блока памяти предоставляются для трех плоскостей изображения, соответствующих соответствующим компонентам цвета (количество блоков памяти описывается как три в этом варианте осуществления, но количество блоков памяти может быть соответственно изменено в зависимости от проекта). Интра-предсказание (внутреннее предсказание) включает в себя режим внутреннего 4×4 предсказания и режим внутреннего 16×16 предсказания. В режиме внутреннего 4×4 предсказания пространственное предсказание выполняется в единицах блоков, иллюстрированных на Фиг. 3, каждый будучи составленным из 4 пикселей × 4 строки, посредством использования соседних пикселей этого блока. В режиме внутреннего 16×16 предсказания пространственное предсказание выполняется на основе макроблоков, иллюстрированных на Фиг. 4, каждый будучи составленным из 16 пикселей × 16 строк, посредством использования соседних пикселей этого макроблока.

(a) Режим внутреннего 4×4 предсказания

Сигнал яркости блока 16×16 пикселей в макроблоке делится на шестнадцать блоков, каждый - блок 4×4 пикселей. Затем любой из девяти режимов, проиллюстрированных на Фиг. 3, выбирается для каждого блока 4×4 пикселей. Пиксели в соседних блоках (сверху слева, сверху, сверху справа, и левый блоки), которые были закодированы и подвергнуты локальному процессу декодирования, которые должны быть сохранены в блоках памяти 16, используются для генерирования предсказанного изображения.

Intra4×4_pred_mode=0: Соседние верхние пиксели используются в качестве предсказанного изображения.

Intra4×4_pred_mode=1: Соседние левые пиксели используются в качестве предсказанного изображения.

Intra4×4_pred_mode=2: среднее значение восьми соседних пикселей используется в качестве предсказанного изображения.

Intra4×4_pred_mode=3: взвешенное среднее число каждых двух или трех пикселей вычисляется из соседних пикселей, и полученное взвешенное среднее число используется в качестве предсказанного изображения (соответствующий краю по диагонали вниз влево под 45 градусов).

Intra4×4_pred_mode=4: взвешенное среднее число каждых двух или трех пикселей вычисляется из соседних пикселей, и полученное взвешенное среднее число используется в качестве предсказанного изображения (соответствующий краю по диагонали вниз вправо под 45 градусов).

Intra4×4_pred_mode=5: взвешенное среднее число каждых двух или трех пикселей вычисляется от соседних пикселей, и полученное взвешенное среднее число используется в качестве предсказанного изображения (соответствующий краю по вертикали вправо под 22,5 градуса).

Intra4×4_pred_mode=6: взвешенное среднее число каждых двух или трех пикселей вычисляется от соседних пикселей, и полученное взвешенное среднее число используется в качестве предсказанного изображения (соответствующий краю по горизонтали вниз под 67,5 градусов).

Intra4×4_pred_mode=7: взвешенное среднее число каждых двух или трех пикселей вычисляется от соседних пикселей, и полученное взвешенное среднее число используется в качестве предсказанного изображения (соответствующий краю по вертикали влево под 22,5 градуса).

Intra4×4_pred_mode=8: взвешенное среднее число каждых двух или трех пикселей вычисляется от соседних пикселей, и полученное взвешенное среднее число используется в качестве предсказанного изображения (соответствующий горизонтальному краю под 112,5 градусов).

Когда выбирается режим внутреннего 4×4 предсказания, шестнадцать частей информации режима требуются для каждого макроблока. Поэтому, чтобы сократить объем кодов самой информации режима, прогнозирующее кодирование выполняется на основании информации режима соседних блоков, уделяя внимание высокой корреляции информации режима между соседними блоками.

(b) Режим внутреннего 16×16 предсказания

В режиме внутреннего 16×16 предсказания блок 16×16 пикселей, соответствующий размеру макроблока, предсказывается за один раз. Любой из четырех режимов, проиллюстрированных на Фиг. 4, выбирается для каждой единицы макроблока. Как в случае режима внутреннего 4×4 предсказания, пиксели в соседних (верхний левый, верхний и левый) макроблоках, которые были уже закодированы и подвергнуты локальному процессу декодирования, которые должны быть сохранены в блоках памяти 16, используются для генерирования предсказанного изображения.

Intra16×16_pred_mode=0: Шестнадцать пикселей в самой нижней линии верхнего макроблока используются в качестве предсказанного изображения.

Intra16×16_pred_mode=1: Шестнадцать пикселей в самой правой линии левого макроблока используются в качестве предсказанного изображения.

Intra16×16_pred_mode=2: среднее значение тридцати двух пикселей, то есть, шестнадцать пикселей (Фиг. 4) в самой нижней линии верхнего макроблока и шестнадцать пикселей (B Фиг. 4) в крайней левой линии в левом макроблоке, используется в качестве предсказанного изображения.

Intra16×16_pred_mode=3: Тридцать один пиксель, соответствующий пикселю в нижнем правом углу в верхнем левом макроблоке, пятнадцать пикселей в самой нижней линии верхнего макроблока (за исключением открытого пикселя) и пятнадцать пикселей в самой правой линии левого макроблока (за исключением открытого пикселя) используются для выполнения заранее определенного вычислительного процесса (взвешенный процесс суммирования согласно пикселям, которые должны использоваться, и позиции пикселя, которые должны быть предсказаны), таким образом получая предсказанное изображение.

В устройстве кодирования видео согласно первому варианту осуществления настоящего изобретения способ процесса внутреннего предсказания переключается для трех компонентов цвета на основании флага 23 идентификации совместного использования режима внутреннего предсказания. Это описано подробно в секции 2 ниже.

Секция 2 пространственного предсказания выполняет процесс предсказания в отношении всех режимов или поднабора, проиллюстрированного на Фиг. 3 или 4, чтобы получить разностный сигнал 4 предсказания вычитающим устройством 3. Эффективность предсказания разностного сигнала 4 предсказания оценивается в модуле 5 определения режима кодирования. В результате режим предсказания, в котором получается оптимальная эффективность предсказания для макроблока, который должен быть предсказан, из процесса предсказания, выполняемого в модуле 2 пространственного предсказания, выводится как режим 6 кодирования. В этом случае режим 6 кодирования содержит информацию определения (соответствующую режиму внутреннего кодирования на Фиг. 6), указывающую, какой из режима внутреннего 4×4 предсказания и режима внутреннего 16×16 предсказания используются, и также содержит каждый режим предсказания (intra4×4_pred_mode или intra16×16_pred_mode, описанный выше), используемые для каждой области единицы предсказания для предсказания. Область единицы предсказания соответствует блоку 4×4 пикселей в случае режима внутреннего 4×4 предсказания или блоку 16×16 пиксели в случае intra16×16_pred_mode. Для выбора режима 6 кодирования может быть учтен коэффициент взвешивания 20 для каждого из режимов кодирования, который определяется на основании определения модуля 19 управления кодированием. Оптимальный разностный сигнал 4 предсказания, полученный посредством использования режима 6 кодирования в модуле 5 определения режима кодирования, выводится к модулю 8 ортогонального преобразования. Модуль 8 ортогонального преобразования преобразует входной разностный сигнал 4 предсказания в коэффициент ортогонального преобразования, который в свою очередь выводится к модулю 9 квантования. Модуль 9 квантования квантует входной разностный сигнал 4 предсказания на основании параметра 21 квантования, определенного модулем 19 управления кодированием, чтобы вывести квантованный сигнал в качестве квантованного коэффициента 10 преобразования к модулю 11 кодирования с переменной длиной кода. Квантованный коэффициент 10 преобразования статистически кодируется в модуле 11 кодирования с переменной длиной кода посредством, например, кодирования Хаффмана или арифметического кодирования. Квантованный коэффициент 10 преобразования также проходит через модуль 12 обратного квантования и модуль 13 обратного ортогонального преобразования, чтобы быть восстановленным до локального декодированного разностного сигнала 14 предсказания. Затем, локальный декодированный разностный сигнал 14 предсказания суммируется с предсказанным изображением 7, сгенерированным на основании режима 6 кодирования в сумматоре 18, чтобы создать локальное декодированное изображение 15. Локальное декодированное изображение 15 сохраняется в блоках памяти 16, чтобы использоваться для последующего процесса внутреннего предсказания. Далее, флаг 24 управления фильтром удаления блочности, указывающим, должен ли фильтр удаления блочности быть применен к макроблоку, также подается к модул