Устройство обработки изображения и способ обработки изображения

Устройство обработки изображения и способ обработки изображения

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее раскрытие относится к устройству обработки изображения и способу обработки изображения и, более конкретно, к устройству обработки изображения и способу обработки изображения, позволяющим уменьшить ухудшение качества изображения.

Уровень техники

В последние годы широкое распространение получили устройства для сжатия и кодирования изображения, используя схему кодирования, в которой информация изображения обрабатывается, как цифровые данные, и, в это время, с целью высокоэффективной передачи и накопления информации, выполняют сжатие, используя ортогональное преобразование, такое как дискретное косинусное преобразование, и компенсацию движения, используя избыточность, уникальную для информации изображения. Схема кодирования включает в себя, например, MPEG (Группа экспертов движущегося изображения) и т.п.

В частности, схема MPEG 2 (ISO/IEC 13818-2) определена, как схема кодирования изображения общего назначения и представляет собой стандарт, охватывающий, как изображение, сканированное с чередованием, так и изображение последовательного сканирования, и охватывает изображения со стандартным разрешением и изображения высокой четкости. Например, схема MPEG 2 широко используется для широкого диапазона приложений, используемых профессионалами и потребителями. В результате использования схемы сжатия MPEG2, например, количество кода (скорость передачи битов) от 4 до 8 Мбит/с выделяют для изображения, сканированного с чередованием, имеющего стандартное разрешение 720×480 пикселей. Кроме того, в результате использования схемы сжатия MPEG2, например, количество кода (скорость передачи битов) от 18 до 22 Мбит/с выделяют для изображения, сканированного с чередованием, имеющего высокое разрешение 1920×1088 пикселей. Поэтому, могут быть воплощена высокая степень сжатия и хорошее качество изображения.

MPEG 2, в основном, применяется для кодирования изображения высокого качества, которое пригодно для широковещательной передачи, но не соответствует схеме кодирования, имеющей величину кода (скорость передачи битов), ниже, чем у MPEG1, то есть, схеме кодирования, имеющей более высокую степень сжатия. В результате распространения мобильных телефонов, ожидается повышение потребности в схеме кодирования и, соответственно, была стандартизована схема кодирования MPEG 4. Что касается схемы кодирования изображения, в декабре 1998 г. был одобрен стандарт ISO/IEC 14496-2, в качестве международного стандарта.

Кроме того, в последние годы, с целью кодирования изображения для телевизионной конференции, был принят стандарт под названием H.26L (ITU-T (Международный союз электросвязи, Сектор стандартизации в области телекоммуникаций) Q6/16 VCEG (Группа экспертов кодирования видеоданных)). Известно, что при сравнении со схемами кодирования, такими как MPEG 2 или MPEG 4 в предшествующем уровне техники, в H.26L, хотя большой объем расчетов необходим для кодирования и декодирования, воплощается более высокая эффективность кодирования. Кроме того, в настоящее время, как часть действий, связанных со стандартизацией MPEG 4, которая основана на H.26L и которая содержит функции, не поддерживаемые H.26L, для воплощения более высокой эффективности кодирования, выполняется Объединенная модель кодирования видеоданных с улучшенным сжатием.

В качестве плана стандартизации, в марте 2003 г. был одобрен стандарт, как международный стандарт, называемый Н.264 и MPEG 4, часть 10 (Улучшенное кодирование видеоданных, ниже называется AVC)).

Кроме того, в качестве расширения Н.264/AVC, в феврале 2005 г. была закончена стандартизация расширения диапазона достоверности (FRE×t), включающая в себя RGB, инструменты кодирования, необходимые для бизнеса, такие как 4:2:2 или 4:4:4, 8×8 DCT, определенные в соответствии с MPEG 2, и матрицы квантования. В соответствии с этим, H.264/AVC стал схемой кодирования, позволяющей представлять шума пленки, включенные в кинофильм, с хорошим качеством. Поэтому, H.264/AVC использовали для широкого диапазона приложений, таких как диск Blu-ray (товарный знак).

Однако, в последнее время, дополнительно повысилась потребность в кодировании с высокой степенью сжатия, например, с необходимостью сжатия изображений с размером приблизительно 4000×2000 пикселей, что в четыре раза больше, чем у изображения высокой четкости, или с необходимостью распределения изображения высокой четкости в среде с ограниченной скоростью передачи данных, такой как Интернет. Поэтому, в VCEG, в соответствии с ITU-T, продолжает использовать возможность улучшения эффективности кодирования.

Поэтому, в настоящее время, с целью дальнейшего улучшения эффективности кодирования по сравнению с AVC, была предложена стандартизация схемы кодирования, называемая высокоэффективным кодированием видеоданных (HEVC) Объединенной группы по взаимодействию в области кодирования видеоданных (JCTVC), в качестве объединенного предмета стандартизации ITU-T и ISO/IEC. Что касается стандарта HEVC, Проект комитета, как первый проект спецификации, был выработан в феврале 2012 г. (например, см. Непатентный документ 1).

Однако, в схеме прогнозирования внутри кадра 8×8, в соответствии со схемой кодирования AVC, выполняется обработка фильтрации [121]/4 по соседним пикселям текущего блока, которая представляет собой цель обработки. В HEVC определена обработка включения/выключения фильтрации, в соответствии с размером блока и режимом прогнозирования.

Кроме того, в HEVC, с целью уменьшения искажений блоков, в случае, когда режим прогнозирования представляет собой режим DC, горизонтальный режим или вертикальный режим, определена обработка сглаживания граничного значения.

Кроме того, для уменьшения явления, в соответствии с которым контур является видимым на плоском участке изображения, была предложена обработка противодействия шумам контура (например, см. Непатентный документ 2).

В способе, раскрытом в Непатентном документе 2, свойства соседних пикселей текущего блока, которые представляют собой цель обработки, идентифицируют путем выполнения обработки определения порогового значения. В случае, когда результат обработки определения порогового значения равен true, а именно, в случае, когда соседние пиксели имеют заданные свойства, вместо описанной выше обработки фильтрации [121]/4, выполняется обработка билинейной интерполяции (называемая обработкой билинейной фильтрации).

Список литературы Непатентный документ

Непатентный документ 1: Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Thomas Wiegand, "High efficiency video coding (HEVC) text specification draft 8", JCTVC-H1003_d7, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16WP3 and ISO/IEC JTC1/SC29/WG11,10th Meeting: Stockholm, SE, 11-20 July 2012

Непатентный документ 2: TK Tan, Y. Suzuki, "Contouring artefact and solution", JCTVC-K0139, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16WP3 and ISO/IEC JTC 1/SC 29/WG 1111th Meeting: Shanghai, CN, 10-19 Oct. 2012

Раскрытие изобретения

Задачи, решаемые изобретением

Однако, в способе, раскрытом в Непатентном документе 2, пороговое значение является фиксированным. А именно, независимо от свойства, например, битовой глубины и т.п., данных изображения, которые представляют собой цель обработки кодирования/декодирования, одно и то же значение установлено, как пороговое значение. Поэтому, существует проблема, состоящая в том, что при выборе обработки фильтрации соседних пикселей при прогнозировании внутри кадра, не выбирают соответствующий фильтр, таким образом, что качество изображения будет неоправданно ухудшаться.

Настоящее раскрытие представлено с учетом такой ситуации и позволяет предотвращать ухудшение качества изображения.

Решение задачи

В соответствии с аспектом, настоящей технологией, обеспечивается устройство обработки изображения, включающее в себя модуль установки порогового значения для установки порогового значения, сравниваемого со значением, вычисленным с использованием образца соседних пикселей для идентификации свойства соседних пикселей текущего блока при обработке прогнозирования внутри кадров, при декодировании кодированных данных, причем данные изображения кодированы в соответствии с битовой глубиной данных изображения, и модуль обработки фильтрации для осуществления обработки фильтрации соседних пикселей, с использованием фильтра билинейной интерполяции, в случае, когда значение, вычисленное с использованием образца соседних пикселей, меньше, чем пороговое значение, установленное модулем установки порогового значения.

Модуль установки порогового значения может побитно сдвигать пороговое значение, которое заранее определено, как исходное значение, в соответствии с битовой глубиной.

Модуль установки порогового значения может устанавливать пороговое значение равным 8, в случае, когда битовая глубина данных изображения составляет 8 битов.

Устройство обработки изображения может дополнительно включать в себя модуль определения для определения битовой глубины данных изображения, и модуль установки порогового значения может устанавливать пороговое значение в соответствии с битовой глубиной, определенной модулем определения.

Устройство обработки изображения может дополнительно включать в себя модуль приема для приема битовой глубины данных изображения, и модуль установки порогового значения может устанавливать пороговое значение, в соответствии с битовой глубиной, принимаемой модулем приема.

Устройство обработки изображения может дополнительно включать в себя модуль приема для приема передаваемого порогового значения, установленного в соответствии с битовой глубиной данных изображения, и модуль обработки фильтрации выполняет обработку фильтрации для соседних пикселей, с использованием фильтра, в соответствии со свойством соседних пикселей, идентифицированным посредством использования порогового значения, принятого модулем приема.

Модуль обработки фильтрации может выполнять обработку фильтра низкой частоты для соседних пикселей, в случае, когда значение, рассчитанное, используя образец соседних пикселей, превышает пороговое значение, установленное модулем установки порогового значения.

Кроме того, соответствии с аспектом настоящей технологии, обеспечивается способ обработки изображения, включающий в себя этапы, на которых: устанавливают пороговое значение, сравниваемое со значением, вычисленным с использованием образца соседних пикселей, для идентификации свойства соседних пикселей текущего блока при обработке прогнозирования внутри кадра, при декодировании кодированных данных, причем данные изображения кодированы в соответствии с битовой глубиной данных изображения; и выполняют обработку фильтрации для соседних пикселей, с использованием фильтра билинейной интерполяции, в случае, когда значение, вычисленное с использованием образца соседних пикселей, меньше, чем пороговое значение.

В соответствии с аспектом настоящей технологии устанавливают пороговое значение, которое сравнивают со значением, вычисленным с использованием образца соседних пикселей для идентификации свойства соседних пикселей текущего блока при обработке прогнозирования внутри кадра, при декодировании кодированных данных изображения, где данные изображения кодированы в соответствии с битовой глубиной данных изображения, и выполняют обработку фильтрации для соседних пикселей, с использованием фильтра билинейной интерполяции, в случае, когда значение, вычисленное с использованием образца соседних пикселей, меньше, чем пороговое значение.

Эффекты изобретения

В соответствии с настоящим раскрытием, возможно кодировать и декодировать изображение. В частности, возможно предотвращать ухудшение качества изображения.

Краткое описание чертежей

На фиг. 1 представлена схема, иллюстрирующая пример конфигурации модуля кодирования.

На фиг. 2 представлена схема, иллюстрирующая пример углового прогнозирования.

На фиг. 3 представлена схема, иллюстрирующая пример плоского прогнозирования.

На фиг. 4 представлена схема, иллюстрирующая пример наиболее вероятного режима.

На фиг. 5 представлена схема, иллюстрирующая пример MDIS (Зависимое от режима сглаживание внутри кадра).

На фиг. 6 представлена схема, иллюстрирующая пример обработки сглаживания граничного значения.

На фиг. 7 представлена схема, иллюстрирующая пример декодируемого изображения.

На фиг. 8 представлена схема, иллюстрирующая другой пример декодируемого изображения.

На фиг. 9 представлена схема, иллюстрирующая пример поведения при обработке определения порогового значения.

На фиг. 10 представлена блок-схема, иллюстрирующая основной пример конфигурации устройства кодирования изображения.

На фиг. 11 представлена блок-схема, иллюстрирующая основной пример конфигурации модуля установки порогового значения и модуля обработки фильтрации.

На фиг. 12 показана блок-схема последовательности операций, иллюстрирующая пример потока обработки кодирования.

На фиг. 13 показана блок-схема последовательности операций, иллюстрирующая пример потока обработки установки порогового значения.

На фиг. 14 показана блок-схема последовательности операций, иллюстрирующая пример потока обработки прогнозирования внутри кадра.

На фиг. 15 показана блок-схема последовательности операций, иллюстрирующая другой пример потока обработки установки порогового значения.

На фиг. 16 показана блок-схема последовательности операций, иллюстрирующая еще один другой пример потока обработки установки порогового значения.

На фиг. 17 представлена блок-схема, иллюстрирующая другой пример конфигурации модуля установки порогового значения и модуля обработки фильтрации.

На фиг. 18 показана блок-схема последовательности операций, иллюстрирующая еще один другой пример потока обработки установки порогового значения.

На фиг. 19 представлена блок-схема, иллюстрирующая еще один другой пример конфигурации модуля установки порогового значения и модуля обработки фильтрации.

На фиг. 20 показана блок-схема последовательности операций, иллюстрирующая еще один другой пример потока обработки установки порогового значения.

На фиг. 21 показана блок-схема последовательности операций, иллюстрирующая еще один другой пример потока обработки установки порогового значения.

На фиг. 22 показана блок-схема последовательности операций, иллюстрирующая еще один другой пример потока обработки установки порогового значения.

На фиг. 23 представлена блок-схема, иллюстрирующая основной пример конфигурации устройства декодирования изображения.

На фиг. 24 представлена блок-схема, иллюстрирующая основной пример конфигурации модуля установки порогового значения и модуля обработки фильтрации.

На фиг. 25 показана блок-схема последовательности операций, иллюстрирующая пример потока обработки декодирования.

На фиг. 26 показана блок-схема последовательности операций, иллюстрирующая пример потока обработки установки порогового значения.

На фиг. 27 показана блок-схема последовательности операций, иллюстрирующая пример потока обработки прогнозирования.

На фиг. 28 показана блок-схема последовательности операций, иллюстрирующая пример потока обработки прогнозирования внутри кадра.

На фиг. 29 показана блок-схема последовательности операций, иллюстрирующая другой пример потока обработки установки порогового значения.

На фиг. 30 представлена блок-схема, иллюстрирующая другой пример конфигурации модуля установки порогового значения и модуля обработки фильтрации.

На фиг. 31 показана блок-схема последовательности операций, иллюстрирующая еще один другой пример потока обработки установки порогового значения.

На фиг. 32 показана блок-схема последовательности операций, иллюстрирующая еще один другой пример потока обработки установки порогового значения.

На фиг. 33 представлена блок-схема, иллюстрирующая еще один другой пример конфигурации модуля установки порогового значения и модуля обработки фильтрации.

На фиг. 34 показана блок-схема последовательности операций, иллюстрирующая еще один другой пример потока обработки установки порогового значения.

На фиг. 35 представлена блок-схема, иллюстрирующая еще один другой пример конфигурации модуля установки порогового значения и модуля обработки фильтрации.

На фиг. 36 показана блок-схема последовательности операций, иллюстрирующая еще один другой пример потока обработки установки порогового значения.

На фиг. 37 представлена схема, иллюстрирующая пример схемы кодирования многопроекционного изображения.

На фиг. 38 представлена схема, иллюстрирующая основной пример конфигурации устройства кодирования многопроекционного изображения, в котором применяется настоящая технология.

На фиг. 39 представлена схема, иллюстрирующая основной пример конфигурации устройства декодирования многопроекционного изображения, в котором применяется настоящая технология.

На фиг. 40 представлена схема, иллюстрирующая пример иерархической схемы кодирования изображения.

На фиг. 41 представлена схема, иллюстрирующая пример пространственного масштабируемого кодирования.

На фиг. 42 представлена схема, иллюстрирующая пример временного масштабируемого кодирования.

На фиг. 43 представлена схема, иллюстрирующая пример масштабируемого кодирования по отношению "сигнал-шум".

На фиг. 44 представлена схема, иллюстрирующая основной пример конфигурации иерархического устройства кодирования изображения, в котором применяется настоящая технология.

На фиг. 45 представлена схема, иллюстрирующая основной пример конфигурации иерархического устройства декодирования изображения, в котором применяется настоящая технология.

На фиг. 46 представлена блок-схема, иллюстрирующая основной пример конфигурации компьютера.

На фиг. 47 представлена блок-схема, иллюстрирующая пример примерной схематической конфигурации телевизионного устройства.

На фиг. 48 представлена блок-схема, иллюстрирующая схематический пример конфигурации мобильного телефона.

На фиг. 49 представлена блок-схема, иллюстрирующая схематический пример конфигурации устройства записи/воспроизведений.

На фиг. 50 представлена блок-схема, иллюстрирующая схематический пример конфигурации устройства формирования изображения.

На фиг. 51 представлена блок-схема, иллюстрирующая пример использования масштабируемого кодирования.

На фиг. 52 представлена блок-схема, иллюстрирующая другой пример использования масштабируемого кодирования.

На фиг. 53 представлена блок-схема, иллюстрирующая еще один другой пример использования масштабируемого кодирования.

На фиг. 54 представлена блок-схема, иллюстрирующая схематический пример конфигурации видеонабора.

На фиг. 55 представлена блок-схема, иллюстрирующая схематический пример конфигурации видеопроцессора.

На фиг. 56 представлена блок-схема, иллюстрирующая другой схематический пример конфигурации видеопроцессора.

На фиг. 57 представлена схема, иллюстрирующая конфигурацию системы воспроизведения содержания.

На фиг. 58 представлена схема, иллюстрирующая поток данных в системе воспроизведения содержания.

На фиг. 59 показана схема описания, иллюстрирующая конкретный пример MPD.

На фиг. 60 показана функциональная блок-схема, иллюстрирующая конфигурацию содержания сервера системы воспроизведения содержания.

На фиг. 61 показана функциональная блок-схема, иллюстрирующая конфигурацию содержания устройства воспроизведения системы воспроизведения содержания.

На фиг. 62 показана функциональная блок-схема, иллюстрирующая конфигурацию содержания сервера системы воспроизведения содержания.

На фиг. 63 показана схема последовательности, иллюстрирующая пример обработки передачи данных каждого устройства в системе беспроводной передачи данных.

На фиг. 64 показана схема последовательности, иллюстрирующая пример обработки передачи данных каждого устройства в системе беспроводной передачи данных.

На фиг. 65 показана схема, иллюстрирующая, пример конфигурации формата фрейма передаваемого/принимаемого при обработке передачи данных каждым устройством в системе беспроводной передачи данных.

На фиг. 66 показана схема последовательности, иллюстрирующая пример обработки передачи данных каждого устройства в системе беспроводной передачи данных.

Осуществление изобретения

Ниже будут описаны варианты осуществления для воплощения настоящего раскрытия (ниже называются вариантами осуществления). Кроме того, описание представлено в следующем порядке.

0. Общий обзор

1. Первый вариант осуществления (устройство кодирования изображения)

2. Второй вариант осуществления (устройство декодирования изображения)

3. Третий вариант осуществления (устройство кодирования многопроекционного изображения/декодирования многопроекционного изображения)

4. Четвертый вариант осуществления (устройство кодирования иерархического изображения - декодирования иерархического изображения)

5. Пятый вариант осуществления (компьютер)

6. Пример применения

7. Пример применения масштабируемого кодирования.

8. Шестой вариант осуществления (набор/блок/модуль/процессор)

9. Седьмой вариант осуществления (пример применения системы воспроизведения содержания MPEG-DASH)

10. Восьмой вариант осуществления (пример применения системы беспроводной передачи данных по стандарту Wi-Fi)

0. Общий обзор

Схема кодирования

Ниже настоящая технология будет описана на примере, где настоящая технология применяется для кодирования/декодирования изображения в схеме HEVC (высокоэффективное кодирование видеоданных).

Модуль кодирования

В схеме AVC (Улучшенное кодирование видеоданных) определена иерархическая структура, имеющая макроблоки и подмакроблоки. Однако, макроблок размером 16×16 пикселей не является оптимальным для крупного кадра изображения, называемого UHD (верхвысокой четкости, 4000×2000 пикселей), который должен представлять собой объект схемы кодирования следующего поколения.

С другой стороны, в схеме HEVC, как представлено на фиг. 1, определен модуль кодирования (CU).

CU также называется блоком дерева кодирования (СТВ) и представляет собой частичную область изображения в единицах изображения, которая имеет те же функции, что и у макроблока в схеме AVC. Последний является фиксированным по размеру 16×16 пикселей, но предыдущий не является фиксированным по размеру, но его назначают в информации сжатия изображений в каждой последовательности.

Например, в наборе параметра последовательности (SPS), включенном в выходные кодированные данные, определены максимальный размер (LCU (наибольший модуль кодирования)) CU и минимальный размер (SCU (наименьший модуль кодирования)) CU.

CU в каждом LCU может быть разделен на CU, имеющие меньший размер, путем установки флага разделения = 1, в пределах диапазона, где размер CU не меньше, чем размер SCU. В примере на фиг. 1 размер LCU равен 128, и максимальная иерархическая глубина равна 5. Когда значение split flag равно "1", CU, имеющий размер 2N×2N, разделяют на CU, имеющие размер N×N, которые размещаются на одном более низком уровне.

Кроме того, CU разделяют на модули прогнозирования (PU), как области (частичные области изображения в единицах изображения), которые становятся модулем обработки при прогнозировании внутри кадра или между кадрами, или CU разделяют на модули преобразования (TU), как области (частичные области изображения в единицах изображения), которые становятся модулем обработки при ортогональном преобразовании. В настоящее время, в схеме HEVC, в дополнение к ортогональному преобразованию 4×4 и ортогональному преобразованию 8×8, могут использоваться ортогональное преобразование 16×16 и ортогональное преобразование 32×32.

Так же, как и в описанной выше схеме HEVC, учитывается, что в схеме кодирования, где CU, определенные и различной обработке, выполняются в единицах CU, макроблоки в схеме AVC соответствуют LCU, и блок (подблок) соответствует CU. Кроме того, считается, что блок компенсации движения в схеме AVC соответствует PU. Однако, поскольку CU имеет иерархическую структуру, размер (например, 128×128 пикселей) LCU самого верхнего уровня обычно устанавливают большим, чем размер макроблока схемы AVC.

Поэтому, далее предполагается, что LCU включает в себя макроблок в схеме AVC, и предполагается, что CU включает в себя блок (подблок) в схеме AVC. А именно, "блок", используемый для следующего описания, обозначает произвольную частичную область в пределах изображения, и размер, форма, свойство и т.п. его не ограничены. А именно, "блок" включает в себя, например, TU, PU, SCU, CU, LCU, подблок, макроблок или произвольную область (модуль обработки), такую как срез. Кроме того, другие частичные области (модуль обработки) также включены. В случае, когда размер, модуль обработки и т.п. необходимо ограничить, будет представлено соответствующее его описание.

Выбор режима

Однако, для достижения более высокой эффективности кодирования в схеме кодирования AVC или HEVC, важно выбрать соответствующий режим прогнозирования.

В качестве примера ассоциированной схемы выбора, предложен способ, встроенный в опорное программное обеспечение (раскрытое в http://iphome.hhi.de/suehring/tml/index.htm) H.264/MPEG-4AVC, который называется JM (объединенная модель).

В JM могут быть выбраны два способа определения режима - режим высокой сложности и режим низкой сложности, описанные ниже. В обоих способах рассчитывают значения функции стоимости в отношении соответствующих режимов режима прогнозирования, и режим прогнозирования, где значение функции стоимости минимизировано, выбирают, как оптимальный режим для ассоциированного блока или макроблока.

Функция стоимости в режиме высокой сложности выражена следующей формулой (1).

Математическая формула 1

Здесь Ω обозначает общий набор режимов кандидатов для кодирования ассоциированного блока или макроблока, и D обозначает энергию разности между декодированным изображением и входным изображением, в случае кодирования в режиме ассоциированного прогнозирования. λ обозначает множитель Лагранжа, заданный, как функция параметра квантования. R обозначает общее количество кода, включающее в себя коэффициент ортогонального преобразования, в случае кодирования ассоциированного режима.

А именно, когда предполагается выполнить кодирование в режиме высокой сложности, для расчета описанных выше параметров D и R, необходимо выполнить обработку предварительного кодирования для каждого режима кандидата, таким образом, что требуется больший объем расчетов.

Функция стоимости в режиме низкой сложности выражена следующей формулой (2).

Математическая формула 2

Здесь, в отличие от случая режима высокой сложности, D становится разностной энергией между прогнозируемым изображением и входным изображением. QP2Quant(QP) задана, как функция параметра квантования QP, HeaderBit представляет собой величину кода в отношении информации, включенной в заголовок, который не включает в себя коэффициент ортогонального преобразования и называется вектором или режимом движения.

А именно, в режиме низкой сложности, поскольку должна быть выполнена обработка прогнозирования в каждом режиме - кандидате, поскольку декодируемое изображение не требуется, обработку кодирования не требуется выполнять. Поэтому, становится возможным воплощать меньший объем расчетов, чем в режиме высокой сложности.

Прогнозирование внутри кадра

В AVC существуют прогнозирование 4×4 внутри кадра, прогнозирование 8×8 внутри кадра и прогнозирование 16×16 внутри кадра. В HEVC, как представлено на фиг. 2, применяется угловое прогнозирование для блоков 4×4-64×64 пикселя.

А именно, в AVC, как представлено в позиции А на фиг. 2, выполняется обработка прогнозирования внутри кадра, используя 8 направлений+прогнозирование DC. В отличие от этого, в HEVC, как представлено в позиции В на фиг. 2, обработка прогнозирования внутри кадра выполняется по 32 направлениям+прогнозирование DC. В соответствии с этим, улучшается точность прогнозирования.

Кроме того, в HEVC, как представлено на фиг. 3, определено плоское прогнозирование.

При обработке плоского прогнозирования пиксели прогнозирования, включенные в текущий блок, генерируют из соседних пикселей (пиксели, которые уже кодированы) текущего блока, который представляет собой цель обработки, используя билинейную интерполяцию. Обработка плоского прогнозирования может улучшить эффективность кодирования для области, где существует градация.

В HEVC, как представлено на фиг. 4, обработку кодирования выполняют в режиме прогнозирования внутри кадра, используя три наиболее вероятных режима. А именно, режим прогнозирования внутри кадра (расположенного выше) для соседнего блока, который находится выше текущего блока, и является соседним для текущего блока, режим прогнозирования внутри кадра (для левого блока) для соседнего блока, который находится слева от текущего блока и является соседним для текущего блока, и комбинацию режимов прогнозирования внутри кадра для соседних блоков (расположенных выше и слева), используют в качестве кандидатов (иногда называются режимами кандидатами) режима прогнозирования внутри кадра, и среди этих трех режимов кандидатов, оптимальный режим используется как режим прогнозирования внутри кадра для текущего блока.

Если режим прогнозирования для текущего блока равен любому из наиболее вероятных режимов, передают номер индекса. В противном случае, информацию режима блока прогнозирования передают с фиксированной длиной 5 битов.

Обработка фильтрации при прогнозировании внутри кадра

На фиг. 5 показана схема, описывающая MDI (зависимое от режима сглаживание внутри кадра), регулируемая в HEVC.

В случае AVC, как представлено на фиг. 5, выполняется обработка фильтрации [121]/4 по соседним пикселям текущего блока в режиме прогнозирования внутри кадра 8×8. С другой стороны, в HEVC определяют обработку включения/выключения фильтрации (а именно, следует или нет применять обработку фильтрации) в соответствии с размером блока и режимом прогнозирования.

Более конкретно, в случае, когда размер блока для текущего блока равен 4×4, обработка фильтрации не применяется. В случае, когда размер блока текущего блока составляет 8×8, в режиме прогнозирования в направлении 45 градусов, применяется обработка фильтрации. В случае, когда размер блока текущего блока составляет 16×16, в режиме прогнозирования применяется другое направление, чем 3 направления, близкие к горизонтальному направлению, и 3 направления, близкие к вертикальному направлению при обработке фильтрации. В случае, когда размер блока текущего блока составляет 32×32, в режиме прогнозирования в другом направлении, чем горизонтальное направление и вертикальное направление, применяется обработка фильтрации.

Кроме того, в HEVC, с целью уменьшения искажения блока в случае, когда режим прогнозирования представляет собой режим DC, горизонтальный режим или вертикальный режим, регулируют обработку сглаживания значения на границе, представленную на фиг. 6.

Например, в случае прогнозирования (прогнозирование DC), когда режим прогнозирования представляет собой режим DC, выполняется обработка фильтрации (обработка сглаживания), представленная на фиг. 6, для соседних пикселей, соседних для верхней стороны (Верх) текущего блока, который представляет собой цель обработки, и соседних пикселей, расположенных с левой стороной (Слева) от текущего блока. Кроме того, в случае прогнозирования (горизонтального прогнозирования), когда режим прогнозирования представляет собой горизонтальный режим, обработка фильтрации (обработка сглаживания), представленная на фиг. 6, выполняется для соседних пикселях, расположенных рядом с верхней стороны (Верх) текущего блока. В случае прогнозирования (вертикального прогнозирования), когда режим прогнозирования представляет собой вертикальный режим, обработка фильтрации (обработка сглаживания), представленная на фиг. 6, выполняется для соседних пикселей, расположенных рядом с левой стороной (Слева) текущего блока.

В случае, когда изображение кодируют/декодируют, используя описанное выше прогнозирование между кадрами, в полученном декодируемом изображении, имеется участок, где изменение яркости, цвета, плотности и т.п. является плоским, как представлено в области 11 на фиг. 7, и возникает форма в виде полоски неоднородности плотности (так называемый изгиб) таким образом, что может проявиться явление, при котором виден контур.

Поэтому, была предложена обработка, противодействующая шумам контура, раскрытая в Непатентном документе 2. В результате выполнения обработки противодействия шумам контура, раскрытой в Непатентном документе 2, изгиб, возникающий в области 11 декодируемого изображения, предотвращают, как представлено на фиг. 8, таким образом, что может быть получена плавная градация.

Обработка противодействия шумам контура, раскрытая в Непатентном документе 2, будет описана более подробно. На фиг. 9 показана схема, иллюстрирующая пример поведения при обработке противодействия шумам контура. При обработке противодействия шумам контура, прежде всего, выполняется обработка определения порогового значения, выраженного следующими формулами (3) и (4), используя соседние пиксели текущего блока, представленного на фиг. 9.

Математическая формула 3

В формуле (3) значения порогового значения THRESHOLD установлены фиксированными и равными 8. В результате обработки определения порогового значения определяют свойства соседних пикселей текущего блока. А именно, определяют, является или нет кромка текущего блока участком, где изменение яркости, цвета, плотности и т.п. является плоским таким образом, что может произойти изгиб. В случае, когда результат обработки определения порогового значения равен true, то есть, в случае, когда определяют, что кромка текущего блока представляет собой участок, где изменение яркости, цвета, плотности и т.п. является плоским таким образом, что может возникнуть изгиб, вместо обработки фильтрации, описанной со ссылкой на фиг. 5, выполняется обработка билинейной интерполяции, выраженная следующими формулами (5)-(9), для соседних пикселях текущего блока, представленного на фиг. 9.

Математическая формула 4

Эта обработка применяется только к блоку 32×32, и флаг, представляющий, следует или нет применять обработку (включить/выключить), регулируется в наборе параметра последовательности (SPS).

Однако, в способе, раскрытом в Непатентном документе 2, пороговое значение было установлено фиксированным. Поэтому возникала проблема, состоящая в том, что при выборе обработки фильтрации для соседних пикселей при прогнозировании внутри кадра, соответствующий выбор не выполнялся, таким образом, что качество изображения неизбежно ухудшалось.

При обработке определения порогового значения, как выражено в формулах (3) и (4), значения, рассчитанные из значения пикселей соседних пикселей текущего блока и пороговое значение, сравнивают друг с другом. Однако, если пороговое значение установлено фиксированным, в некоторых случаях, учитывается, что это значение является не соответствующим, например, для битовой глубины рассматриваемых данных изображения. В этом случае, возникает проблема, состоящая в том, что как результат описанной выше обработки определения порогового значения, соответствующий результат определения не был получен, и соответствующий фильтр не был выбран, так, что качество изображения декодируемого изображения неизбежно ухудшалось.

Кроме того, учитывается, что, например, битовая глубина данных изображения меняется при внутренних расчетах во время кодирования/декодирования. В этом случае, аналогично возникает проблема, состоящая в том, что фиксированное пороговое значение не является соответствующим для битовой