Устройство и способ обработки изображений

Устройство и способ обработки изображений

Иллюстрации

Показать все

Реферат

Область техники, к которой относится группа изобретений

Настоящая группа изобретений относится к устройству и способу обработки изображений и, конкретно, относится к устройству и способу обработки изображений, которые позволяют улучшить эффективность предсказания.

Уровень техники

В последние годы широкое распространение получили устройства, подвергающие изображение кодированию со сжатием, используя при этом формат кодирования для обращения с информацией изображения как с цифровыми сигналами и используя преимущество избыточности, свойственной информации изображения с передачей и хранения высокоэффективной информации, принимаемой в качестве объекта в это время, чтобы сжать изображение с помощью ортогонального преобразования, такого как дискретное косинусное преобразование и т.п., и компенсации движения. Примерами этого способа кодирования является формат MPEG (Экспертная группа по движущимся изображениям) и т.п.

В частности, MPEG2 (ISO/IEC 13818-2) определяется как универсальный формат кодирования изображения и является стандартом, охватывающим как изображения чересстрочного разложения, так и изображения прогрессивной развертки, а также изображения со стандартной разрешающей способностью и изображений высокой четкости. Например, MPEG2 широко используется на сегодня в широком диапазоне применений для профессионального и для потребительского использования. Используя формат сжатия MPEG2, объем кода (битовая скорость) 4-8 Мбит/с назначается в случае изображения чересстрочного разложения со стандартной разрешающей способностью, например, 720 ×480 пикселей. Кроме того, используя формат сжатия MPEG2, объем кода (битовая скорость) 18-22 Мбит/с назначается в случае изображения чересстрочного разложения с высокой разрешающей способностью, например, 1920×1088 пикселей. Таким образом, могут быть реализованы высокий уровень сжатия и превосходное качество изображения.

С помощью MPEG2 кодирование с высоким качеством изображения, выполняемое с возможностью широковещательного использования, принципиально рассматривается в качестве цели, но объем кода (битовая скорость) более низкий, чем объем кода MPEG1, то есть формат кодирования, имеющий более высокий уровень сжатия, не рассматривается. В связи с распространением персональных цифровых помощников, ожидается, что потребности в таком формате кодирования будут увеличиваться по сравнению с сегодняшними и в ответ на это была выполнена стандартизация формата кодирования MPEG4. Что касается формата кодирования изображения, то его спецификация была утверждена в качестве международного стандарта ISO/IEC 14496-2 в декабре 1998 г.

Дополнительно, в последние годы стандартизация стандарта, служащего в качестве H.26L (ITLJ-TQ6/16 VCEG), получила развитие с введением кодирования изображения, первоначально предназначенного для использования при телевизионных конференциях. Для H.26L известно, что по сравнению с традиционным форматом кодирования, таким как MPEG2 или MPEG4, хотя для из кодирования и декодирования требуется больший объем вычислений, реализуется повышенная эффективность кодирования. Кроме того, в настоящее время, как часть деятельности по MPEG4, с целью использования преимуществ функции, которая не поддерживается H.26L с помощью этого H.26L, взятого в качестве основы, чтобы достигнуть повышенной эффективности кодирования, была выполнена стандартизация как Совместная модель видеокодирования с улучшенным сжатием. В отношении календарного графика стандартизации, стандарты Н.264 и MPEG-4 Часть 10 (Advanced Video Coding, здесь далее упоминаемый как H.264/AVC) становятся международным стандартом в марте 2003 г.

Дополнительно, в качестве его расширения в феврале 2005 г. была завершена стандартизация FRExt (Fidelity Range Extension), содержащего инструмент кодирования, необходимый для коммерческого использования, такой как RGB, 4:2:2, или 4:4:4, 8×8DCT и матрица квантования, оговоренная в MPEG-2. Таким образом, H.264/AVC стал форматом кодирования, способным отображать даже шум пленки, содержащийся в кинофильме, и был использован в широком диапазоне применений, таких как диск Blu-Ray (зарегистрированная товарный знак) и т.д.

Однако в настоящее время возросли потребности в дополнительном кодировании с высоким сжатием, поскольку предполагается сжимать изображение, имеющее приблизительно 4000×2000 пикселей, что является учетверением разрешающей способности изображения высокой четкости. Альтернативно, возросли потребности в дополнительном кодировании с высоким сжатием, поскольку предполагается распределять изображение высокой четкости в среде с ограниченной емкостью передачи, такой как Интернет. Поэтому вышеупомянутая VCEG (=Экспертная группа по видеокодированию) под руководством ITU-T непрерывно вела исследования, касающиеся повышения эффективности кодирования.

В настоящее время, одной из причин, которая может быть приведена, почему формат H.264/AVC реализует высокую эффективность кодирования по сравнению со стандартным форматом MPEG2 и т.п., является использование способа внутреннего

предсказания.

При способе внутреннего предсказания в отношении сигналов яркости определяются режимы внутреннего предсказания девяти видов блоков 4×4 пикселей и 8×8 пикселей и четыре вида макроблоков 16×16 пикселей. В отношении цветоразностных сигналов определяются режимы внутреннего предсказания четырех видов блоков 8×8 пикселей. Режимы внутреннего предсказания для цветоразностных сигналов могут быть установлены независимо от режимов внутреннего предсказания для сигналов яркости.

Для каждого режима внутреннего предсказания существуют конкретные модели в отношении того, как проявляется ошибка предсказания после такого внутреннего предсказания.

В качестве способа исключения такой избыточности и дополнительного повышения эффективности кодирования непатентная литература 1 предлагает следующий способ.

А именно, обработка изображения с внутренним кодированием выполняется посредством обычного формата H.264/AVC, заранее используя пробные сигналы при автономной обработке, причем ортогональное преобразование, такое как преобразование Карунена-Лоэва и т.п., выполняется для каждого режима внутреннего предсказания в отношении каждого блока и вычисляются оптимальные коэффициенты преобразования.

Затем, в процесс фактического кодирования вместо ортогонального преобразования, оговоренного форматом H.264/AVC, применяется процесс, использующий коэффициенты ортогонального преобразования, оптимизированные для каждого режима посредством упомянутого выше преобразования Карунена-Лоэва.

Кроме того, непатентная литература 2 предлагает способ объединения вышеупомянутого внутреннего предсказания с межкадровым предсказанием.

То есть, в непатентной литературе 2 разностная информация создается в отношении информации вектора движения, полученной при межкадровом предсказании не только для текущего блока, но также и для значений соседних пикселей вокруг текущего блока. Выполнение внутреннего предсказания между разностной информацией, относящейся к текущему блоку, и разностной информацией, относящейся к соседним пикселям, созданной таким образом, создает разностную информацию второго порядка. Созданная разностная информация второго порядка затем подвергается ортогональному преобразованию и квантованию и выводится в нисходящем потоке вместе со сжатым изображением.

Таким образом, эффективность кодирования дополнительно улучшается.

Кроме того, как описано выше, размер макроблока для формата H.264/AVC составляет 16×16 пикселей. Однако размер макроблока 16×16 пикселей не оптимален для больших кадров изображения, таких как UHD (Ultra High Definition (сверхвысокая четкость; 4000×2000 пикселей), с которыми будут иметь дело способы кодирования следующего поколения.

Соответственно, непатентная литература 3 и т.д. предлагают увеличить размер макроблока, например, до размера 32×32 пикселя.

Перечень ссылок

Непатентная литература

Непатентная литература 1: "Improved Intra Coding", VCEG-AF15, ITU-Telecommunications Standardization Sector STUDY GROUP Question 6 Video coding Experts Group (VCEG), 20-21 April 2007.

Непатентная литература 2: "Second Order Prediction (SOP) in P Slice", Sijia Chen, Jinpeng Wang, Shangwen Li and, Lu Yu, VCEG-AD09, ITU-Telecommunications Standardization Sector STUDY GROUP Question 6 Video coding Experts Group(VCEG), 16-18 July 2008.

Непатентная литература 3: "Video Coding Using Extended Block Sizes", VCEG-AD09, ITU-Telecommunications Standardization Sector STUDY GROUP Question 16 -Contribution 123, Jan 2009.

Раскрытие изобретения

Техническая проблема

Теперь, при наличии формата H.264/AVC, обработка с помощью фильтра нижних частот значений пикселей для соседних пикселей выполняется до выполнения внутреннего предсказания в приращениях блоков 8×8 пикселей, описанных выше. Таким образом, шум, содержащийся в соседних пикселях, удаляется, и корреляция повышается, за счет чего осуществляется более высокая эффективность кодирования.

Однако независимо от того факта, что степень содержащегося шума различается в зависимости от входных изображений, значений параметра квантования, режимов внутреннего предсказания и т.д., фильтр нижних частот для удаления шума постоянно присутствует в формате H.264/AVC. То есть, этот фильтр нижних частот не является оптимальным в отношении входных изображений, значений параметра квантования, режимов внутреннего предсказания и т.д.

Кроме того, в формате H.264/AVC удаление шума пиксельных значений соседних пикселей, описанное выше, выполнялось только в режиме внутреннего предсказания в приращениях блоков 8х8 пикселей и не применялось для других режимов.

Настоящее изобретение было сделано в свете этой ситуации и осуществляет удаление шумов в зависимости от изображений и битовых скоростей, повышая, таким образом, эффективность предсказания.

Решение проблемы

Устройство обработки изображений, соответствующее первому варианту настоящего изобретения, содержит: средство декодирования, выполненное с возможностью декодирования изображения текущего блока, который должен являться объектом процесса декодирования; средство настройки фильтра, выполненное с возможностью установки, в соответствии с текущим блоком, коэффициента, подлежащего использованию в процессе фильтрации, которому подлежит подвергнуть соседние пиксели текущего блока, используемые для внутреннего предсказания текущего блока, в соответствии с параметром кодирования; и средство внутреннего предсказания, выполненное с возможностью подвергать соседние пиксели процессу фильтрации с использованием коэффициента, установленного средством настройки фильтра, и выполнения внутреннего предсказания текущего блока.

Параметр кодирования может содержать режим внутреннего предсказания текущего блока или параметр квантования текущего блока; средство декодирования может декодировать режим внутреннего предсказания текущего блока или параметр квантования текущего блока; и средство настройки фильтра может устанавливать коэффициент в соответствии с режимом внутреннего предсказания, декодированным средством декодирования, или в соответствии с параметром квантования, декодированным средством декодирования.

Устройство обработки изображений может дополнительно содержать: средство хранения коэффициентов фильтра, выполненное с возможностью хранения коэффициента; при этом коэффициент вычисляется так, чтобы при обучающем изображении получить наименьшее различие между обучающим блоком, который является объектом процесса кодирования, и изображением предсказания, полученным при выполнении внутреннего предсказания для обучающего блока, соответствующего режиму внутреннего предсказания обучающего блока или параметру квантования обучающего блока, и сохраняется в средстве хранения коэффициентов фильтра; причем средство настройки фильтра устанавливает в качестве коэффициента фильтра коэффициент из числа коэффициентов, хранящихся в средстве хранения коэффициентов фильтра, который соответствует режиму внутреннего предсказания текущего блока или параметру квантования текущего блока.

Средство хранения коэффициентов фильтра может хранить коэффициент в виде n-битного (где n - целое число) значения в соответствии с длиной регистра процессора.

Средство декодирования может декодировать коэффициент, который был вычислен на стороне кодирования, с использованием соседних пикселей до того, как они подвергнутся фильтрации так, чтобы ошибка изображения предсказания, полученного посредством внутреннего предсказания, выполняемого в отношении текущего блока, была наименьшей, и который был установлен в соответствии с текущим блоком и режимом внутреннего предсказания текущего блока или параметром квантования текущего блока; а средство настройки фильтра может установить в качестве коэффициента такой коэффициент из числа коэффициентов, декодированных средством декодирования, который соответствует режиму внутреннего предсказания текущего блока или параметру квантования текущего блока.

Коэффициент может быть представлен в виде коэффициента фильтра и значения смещения.

Коэффициент фильтра может быть выполнен как трехполюсник.

Коэффициент фильтра может обладать симметрией с центровкой на коэффициенте, соответствующем нулевой фазе.

Средство декодирования может декодировать режим внутреннего предсказания текущего блока; а средство настройки фильтра может выбрать из числа режимов внутреннего предсказания вертикальный режим или горизонтальный режим в качестве режимов первого класса и другие режимы в качестве режимов второго класса, и когда режим внутреннего предсказания текущего блока принадлежит первому классу, установить коэффициент, соответствующий первому классу, а в случае, когда режим внутреннего предсказания текущего блока, который был декодирован, принадлежит второму классу, установить коэффициент, соответствующий второму классу.

Устройство обработки изображений может дополнительно содержать: средство приема, выполненное с возможностью приема информации флага, указывающей, выполнять или не выполнять фильтрацию в отношении соседних пикселей; при этом средство настройки фильтра устанавливают, выполнять или не выполнять фильтрацию в отношении соседних пикселей, на основе информации флага, принятой средством приема.

Средство приема может принимать информацию флага в приращениях макроблоков; а средство настройки фильтра может устанавливать, выполнять или не выполнять фильтрацию в отношении соседних пикселей в приращениях макроблоков, на основе на информации флага, принятой средством приема.

Средство приема может принимать информацию флага в приращениях блоков; а средство настройки фильтра может устанавливать, выполнять или не выполнять фильтрацию в отношении соседних пикселей в приращениях блоков, на основе информации флага, принятой средством приема.

Способ обработки изображений, соответствующий первому варианту настоящего изобретения, содержит этапы, на которых: устройство обработки изображений выполняет декодирование изображения текущего блока, подлежащего процессу декодирования;

устанавливают, в соответствии с текущим блоком, коэффициент, подлежащий использованию в процессе фильтрации, которому подлежит подвергнуть соседние пиксели текущего блока, используемые для внутреннего предсказания текущего блока, в соответствии с параметром кодирования; и подвергают соседние пиксели процессу фильтрации, используя установленный коэффициент, и выполняют внутреннее предсказание текущего блока.

Устройство обработки изображений, соответствующее второму варианту настоящего изобретения, содержит: средство настройки фильтра, выполненное с возможностью установки коэффициента, подлежащего использованию в процессе фильтрации, которому подлежит подвергнуть соседние пиксели текущего блока, подлежащего процессу декодирования, которые используются для внутреннего предсказания текущего блока в соответствии с параметром кодирования; средство внутреннего предсказания, выполненное с возможностью подвергать соседние пиксели процессу фильтрации с использованием коэффициента, установленного средством настройки фильтра, и выполнять внутреннее предсказание текущего блока; и средство кодирования, выполненное с возможностью кодирования изображения текущего блока.

Параметр кодирования может содержать режим внутреннего предсказания текущего блока или параметр квантования текущего блока; средство настройки фильтра может устанавливать коэффициент в соответствии с режимом внутреннего предсказания текущего блока или параметром квантования текущего блока; а средство кодирования может кодировать соответствующий режим внутреннего предсказания текущего блока или параметр квантования текущего блока.

Устройство обработки изображений может дополнительно содержать: средство хранения коэффициентов фильтра, выполненное с возможностью хранения указанного коэффициента; при этом коэффициент вычисляется так, чтобы получить с помощью обучающего изображения наименьшее различие между обучающим блоком, который является объектом процесса кодирования, и изображением предсказания, полученным с помощью выполнения внутреннего предсказания для обучающего блока, соответствующего режиму внутреннего предсказания для обучающего блока или параметру квантования обучающего блока, и хранится в средстве хранения коэффициентов фильтра; причем средство настройки фильтра устанавливает в качестве коэффициента такой коэффициент из числа коэффициентов, хранящихся в средстве хранения коэффициентов фильтра, который соответствует режиму внутреннего предсказания текущего блока или параметру квантования текущего блока.

Устройство обработки изображений может дополнительно содержать: средство вычисления коэффициента фильтра, выполненное с возможностью вычисления коэффициента, так чтобы остаточная ошибка между текущим блоком и изображением предсказания, полученным посредством внутреннего предсказания, выполняемого в отношении текущего блока с использованием соседних пикселей перед тем, как подвергнуться процессу фильтрации в соответствии с режимом внутреннего предсказания текущего блока или параметра квантования текущего блока, была наименьшей; при этом средство настройки фильтра устанавливает в качестве коэффициента такой коэффициент из числа коэффициентов, вычисленных средством вычисления коэффициентов фильтра, который соответствует режиму внутреннего предсказания текущего блока или параметру квантования текущего блока; а средство кодирования дополнительно кодирует коэффициент.

Коэффициент может быть представлен в виде коэффициента фильтра и значения сдвига.

Средство настройки может устанавливать, выполнять или не выполнять процесс фильтрации в отношении соседних пикселей; а средство кодирования может кодировать информацию флага, указывающую, выполнять или не выполнять процесс фильтрации, согласно установке средством настройки фильтра.

Способ обработки изображений, соответствующий второму варианту настоящего изобретения содержит этапы, на которых: устройство обработки изображений выполняет установку коэффициента, подлежащего использованию в процессе фильтрации, подвергнуться которому подлежат используемые для внутреннего предсказания текущего блока соседние пиксели текущего блока, которому подлежит быть объектом процесса декодирования, в соответствии с параметром кодирования; подвергает соседние пиксели процессу фильтрации с использованием установленного коэффициента, и выполняет внутреннее предсказание текущего блока; и кодируют изображение текущего блока.

В соответствии с первым вариантом настоящего изобретения, изображение текущего блока, которому подлежит быть объектом процесса декодирования, устанавливается коэффициент, который подлежит использованию в процессе фильтрации, подвергнутые которому подлежат используемые для внутреннего предсказания текущего блока соседние пиксели текущего блока, в соответствии с параметром кодирования. Соседние пиксели затем подвергаются процессу фильтрации с использованием установленного коэффициента, и выполняется внутреннее предсказание текущего блока.

В соответствии со вторым вариантом настоящего изобретения, в соответствии с параметром кодирования, устанавливается коэффициент, подлежащий использованию в процессе фильтрации, подвергнутые которому подлежат используемые для внутреннего предсказания текущего блока соседние пиксели текущего блока, которому подлежит быть объектом процесса декодирования, причем соседние пиксели подвергаются процессу фильтрации с использованием установленного коэффициента, выполняется внутреннее предсказание текущего блока и изображение текущего блока кодируется.

Заметим, что описанные выше устройства обработки изображения могут быть автономными устройствами или могут быть встроенными блоками, образующими устройство кодирования изображения или устройство декодирования изображения.

Полезные результаты изобретения

В соответствии с первым вариантом изобретения, изображения могут декодироваться. Кроме того, в соответствии со вторым вариантом изобретения, может выполняться шумоподавление с учетом изображения и битовой скорости передачи.

В соответствии со вторым вариантом изобретения, изображения могут кодироваться. Кроме того, в соответствии с первым вариантом изобретения, может выполняться шумоподавление с учетом изображения и битовой скорости передачи.

Краткое описание чертежей

Фиг.1 - блок-схема конфигурации варианта осуществления устройства кодирования изображения, к которому применено настоящее изобретение.

Фиг.2 - схема последовательности обработки в случае режима внутреннего предсказания для макроблока 16×16 пикселей.

Фиг.3 - режимы внутреннего предсказания блока вида 4×4 пикселей для сигналов яркости.

Фиг.4 - режимы внутреннего предсказания блока вида 4×4 пикселей для сигналов яркости.

Фиг.5 - схема для описания направления внутреннего предсказания блока 4×4 пикселей.

Фиг.6 - схема для описания внутреннего предсказания блока 4×4 пикселей.

Фиг.7 - схема для описания кодирования режимов внутреннего предсказания блока вида 4×4 пикселей для сигналов яркости.

Фиг.8 - режимы внутреннего предсказания блока вида 8×8 пикселей для сигналов яркости.

Фиг.9 - режимы внутреннего предсказания блока вида 8×8 пикселей для сигналов яркости.

Фиг.10 - режимы внутреннего предсказания блока вида 16×16 пикселей для сигналов яркости.

Фиг.11 - режимы внутреннего предсказания блока вида 16×16 пикселей для сигналов яркости.

Фиг.12 - схема для описания внутреннего предсказания блока вида 16×16 пикселей.

Фиг.13 - виды режимов внутреннего предсказания для цветоразностных сигналов.

Фиг.14 - блок-схема примера конфигурации блока внутреннего предсказания и блока переключения фильтра интерполяции соседних пикселей, показанного на фиг.1.

Фиг.15 - схема для описания вычисления коэффициентов фильтра.

Фиг.16 - схема для описания процесса кодирования устройства кодирования изображения, показанного на фиг.1.

Фиг.17 - блок-схема последовательности выполнения операций процесса предсказания на этапе S21, показанном на фиг.16.

Фиг.18 - блок-схема последовательности выполнения операций процесса внутреннего предсказания на этапе S21, показанном на фиг.17.

Фиг.19 - блок-схема последовательности выполнения операций процесса внутреннего предсказания движения на этапе S32, показанном на фиг.17.

Фиг.20 - блок-схема другого примера конфигурации блока внутреннего предсказания и блока переключения фильтра интерполяции соседних пикселей, показанного на фиг.1.

Фиг.21 - блок-схема последовательности выполнения операций другого примера процесса внутреннего предсказания на этапе S31, показанном на фиг.17.

Фиг.22 - блок-схема конфигурации варианта осуществления устройства декодирования изображения, к которому применено настоящее изобретение.

Фиг.23 - блок-схема примера конфигурации примера блока внутреннего предсказания и блока переключения фильтра интерполяции соседних пикселей, показанного на фиг.22.

Фиг.24 - блок-схема последовательности выполнения операций процесса декодирования устройства декодирования изображения, показанного на фиг.22.

Фиг.25 - блок-схема последовательности выполнения операций процесса предсказания на этапе S138, показанном на фиг.24.

Фиг.26 - блок-схема другого примера конфигурации блока внутреннего предсказания и блока переключения фильтра интерполяции соседних пикселей, показанного на фиг.22.

Фиг.27 - блок-схема последовательности выполнения операций другого примера процесса внутреннего предсказания на этапе S138, показанном на фиг.24.

Фиг.28 - блок-схема конфигурации варианта осуществления устройства обучения, к которому применено настоящее изобретение.

Фиг.29 - блок-схема примера конфигурации блока внутреннего предсказания и блока вычисления фильтра интерполяции соседних пикселей, показанного на фиг.28.

Фиг.30 - блок-схема последовательности выполнения операций процесса внутреннего предсказания с помощью обучающего устройства, показанного на фиг.28.

Фиг.31 - блок-схема конфигурации другого варианта осуществления устройства кодирования изображения, к которому применено настоящее изобретение.

Фиг.32 - схема для описания процесса предсказания второго порядка.

Фиг.33 - блок-схема конфигурации другого варианта осуществления устройства декодирования изображения, к которому применено настоящее изобретение.

Фиг.34 - блок-схема конфигурации еще одного другого варианта осуществления устройства кодирования изображения, к которому применено настоящее изобретение.

Фиг.35 - блок-схема примера конфигурации блока внутреннего предсказания, показанного на фиг.34.

Фиг.36 - блок-схема последовательности выполнения операций другого примера процесса внутреннего предсказания на этапе S31, показанном на фиг.17.

Фиг.37 - блок-схема последовательности выполнения операций еще одного другого примера процесса внутреннего предсказания на этапе S31, показанном на фиг.17.

Фиг.38 - блок-схема последовательности выполнения операций другого примера процесса внутреннего предсказания на этапе S31, показанном на фиг.17.

Фиг.39 - блок-схема конфигурации еще одного другого варианта осуществления устройства декодирования изображения, к которому применено настоящее изобретение.

Фиг.40 - блок-схема примера конфигурации блока внутреннего предсказания и блока управления фильтра интерполяции соседних пикселей, показанных на фиг.39.

Фиг.41 - блок-схема последовательности выполнения операций еще одного другого примера процесса внутреннего предсказания на этапе S138, показанном на фиг.

Фиг.42 - блок-схема конфигурации другого варианта осуществления устройства кодирования изображения, к которому применено настоящее изобретение.

Фиг.43 - блок-схема конфигурации другого варианта осуществления устройства декодирования изображения, к которому применено настоящее изобретение.

Фиг.44 - пример увеличенного размера блока.

Фиг.45 - блок-схема примера конфигурации аппаратурного обеспечения

компьютера.

Фиг.46 - блок-схема примера принципиальной конфигурации телевизионного приемника, к которому применено настоящее изобретение.

Фиг.47 - блок-схема примера принципиальной конфигурации сотового телефона, к которому применено настоящее изобретение.

Фиг.48 - блок-схема примера принципиальной конфигурации рекордера жесткого диска, к которому применено настоящее изобретение.

Фиг.49 - блок-схема примера принципиальной конфигурации фотокамеры, к которому применено настоящее изобретение.

Осуществление изобретения

Здесь далее варианты осуществления настоящего изобретения будут описаны со ссылкой на чертежи. Заметим, что описание будет продолжаться в следующем порядке.

1. Первый вариант осуществления (переключение фильтра интерполяции соседних пикселей: пример внутреннего предсказания)

2. Второй вариант осуществления (переключение фильтра интерполяции соседних пикселей: пример предсказания второго порядка)

3. Третий вариант осуществления (управление включением/выключением фильтра интерполяции соседних пикселей: пример внутреннего предсказания)

4. Четвертый вариант осуществления (управление включением/выключением фильтра интерполяции соседних пикселей: пример предсказания второго порядка)

1. Первый вариант осуществления

Пример конфигурации устройства кодирования изображения

На фиг.1 представлена конфигурация варианта осуществления устройства кодирования изображения, служащего в качестве устройства обработки изображения, к которому применено настоящее изобретение.

Устройство 51 кодирования изображения подвергает изображение кодированию со сжатием, используя, например, формат Н.264 и MPEG-4 Часть 10 (Advanced Video Coding) (описанный здесь как H.264/AVC).

В примере, показанном на фиг.1, устройство 51 кодирования изображения содержит блок 61 аналогово-цифрового (A/D) преобразования, буфер 62 перемонтажа экрана, вычислительный блок 63, блок 64 ортогонального преобразования, блок 65 квантования, блок 66 кодирования без потерь, буфер 67 хранения, блок 68 обратного квантования, блок 69 обратного ортогонального преобразования, вычислительный блок 70, деблокирующий фильтр 71, память 72 кадров, переключатель 73, блок 74 внутреннего предсказания, блок 75 фильтра интерполяции соседних пикселей, блок 76 предсказания/компенсации движения, блок 77 выбора изображения предсказания и блок 78 управления скоростью.

Блок 61 A/D-преобразования преобразует входное изображение из аналогового в цифровое и выводит его в буфер 62 перемонтажа экрана для хранения. Буфер 62 перемонтажа экрана перемонтирует изображения кадров в хранящемся порядке следования для отображения в порядок следования кадров для кодирования в соответствии с GOP (группа изображений).

Вычислительный блок 63 вычитает из изображения, считанного из буфера 63 перемонтажа экрана, изображение предсказания из блока 74 внутреннего предсказания, выбранного блоком 77 выбора изображения предсказания, или изображение предсказания из блока 76 предсказания/компенсации движения и выводит информацию об их различии на блок 64 ортогонального преобразования. Блок 64 ортогонального преобразования подвергает информацию о различии, полученную от вычислительного блока 63, ортогональному преобразованию, такому как дискретное косинусное преобразование, преобразование Карунена-Лоэве и т.п., и выводит для нее коэффициент преобразования. Блок 65 квантования квантует коэффициент преобразования, полученный с выхода блока 64 ортогонального преобразования.

Квантованный коэффициент преобразования, являющийся выходным результатом работы блока 65 квантования, вводится в блок 66 кодирования без потерь, где он подвергается кодированию без потерь, такому как кодирование переменной длины, арифметическое кодирование и т.п., и сжимается.

Блок 66 кодирования без потерь получает информацию, указывающую внутреннее предсказание и так далее, от блока 74 внутреннего предсказания и получает информацию, указывающую режим межкадрового предсказания и так далее, от блока 76 предсказания/компенсации движения. Заметим, что информация, указывающая внутреннее предсказание, будет здесь далее упоминаться как информация режима внутреннего предсказания. Кроме того, информация, указывающая межкадровое предсказание, будет здесь далее также упоминаться как информация режима межкадрового предсказания.

Блок 66 кодирования без потерь кодирует квантованный коэффициент преобразования, а также кодирует информацию, указывающую внутреннее предсказание, информацию, указывающую режим межкадрового предсказания, параметры квантования и так далее, и принимает их как часть информации заголовка в сжатом изображении. Блок 66 кодирования без потерь обеспечивает подачу кодированных данных в буфер 67 хранения для хранения.

Например, с помощью блока 66 кодирования без потерь выполняется процесс кодирования без потерь, такой как кодирование переменной длины, арифметическое кодирование и т.п. К примерам кодирования переменной длины относится CAVLC (Context-Adaptive Variable Length Coding), определенное форматом H.264/AVC. К примерам арифметического кодирования относится САВАС (Context-Adaptive Binary Arithmetic Coding).

Буфер 67 хранения выводит данные, поступающие от блока 66 кодирования без потерь, например, на устройство хранения или в тракт передачи или подобный тракт выгрузки, не показанные на чертеже, в виде сжатого изображения, кодированного в формате H.264/AVC.

Кроме того, квантованный коэффициент преобразования с выхода блока 65 квантования также вводится на блок 68 обратного квантования, подвергаясь обратному квантованию, и затем подвергается дополнительному обратному ортогональному преобразованию в блоке 69 обратного ортогонального преобразования. Выходной сигнал, подвергнутый обратному ортогональному преобразованию, складывается с изображением предсказания, подаваемым от блока 77 выбора изображения предсказания, вычислительным блоком 70 и преобразуется в локально декодированное изображение. Деблокирующий фильтр 71 удаляет блочное отклонение из декодированного изображения и затем подает его в память 72 кадров для хранения. Перед тем, как деблокирующий фильтр 71 выполняет процесс деблокирующего фильтра, изображение также подается для хранения в память 72 кадров.

Переключатель 73 выводит опорные изображения, хранящиеся в памяти 72 кадров, на блок 76 предсказания/компенсации движения или на блок 74 внутреннего предсказания.

С помощью этого устройства 51 кодирования изображения, изображение I, изображение В и изображение Р из буфера 62 перемонтажа экрана подаются на блок 74 внутреннего предсказания в качестве изображения, которое должно быть подвергнуто, например, внутреннему предсказанию (также упоминаемому как внутренняя обработка).

Кроме того, изображение В и изображение Р, считанные из буфера 62 перемонтажа экрана, подаются на блок 76 предсказания/компенсации движения в качестве изображения, которое должно быть подвергнуто межкадровому предсказанию (также упоминаемому как межкадровая обработка).

Блок 74 внутреннего предсказания выполняет процесс внутреннего предсказания для всех возможных режимов внутреннего предсказания, основываясь на изображении, которое должно быть подвергнуто внутреннему предсказанию, считанному из буфера 62 перемонтажа экрана, и опорном изображении, подаваемом из памяти 72 кадров, для создания изображения предсказания.

Перед процессом внутреннего предсказания блок 74 внутреннего предсказания выполняет процесс фильтрации для соседних пикселей, которые являются писелами, используемыми для внутреннего предсказания каждого текущего блока, с соседствующим текущим блоком с заданной позиционной связью. Процесс фильтрации использует коэффициент фильтра, установленный блоком 75 переключения фильтра интерполяции соседних пикселей в соответствии с режимом внутреннего предсказания, поданный от блока 74 внутреннего предсказания и т.д. То есть, блок 74 внутреннего предсказания использует для процесса внутреннего предсказания всех возможных режимов внутреннего предсказания соседние пиксели, подвергаемые процессу фильтрации с коэффициентами фильтра, установленными блоком 75 переключения фильтра интерполяции соседних пикселей.

Блок 74 внутреннего предсказания вычисляет значение функции стоимости в отношении режима внутреннего предсказания, в котором создается изображение предсказания, и выбирает режим внутреннего предсказания, в котором вычисленная функция стоимости принимает минимальное значение, в качестве оптимального режима внутреннего предсказания. Блок 74 внутреннего предсказания подает изображение предсказания, созданное в оптимальном режиме внутреннего предсказания, и значение функции стоимости, вычисленное в отношении соответствующего оптимального режима предсказания, на блок 77 выбора режима предсказания.

В случае, когда блоком 77 выбора изображения предсказания было выбрано изображение предсказания, созданное в оптимальном режиме внутреннего предсказания, блок 74 внутреннего предсказания обеспечивает подачу информации, указывающей оптимальный режим внутреннего предсказания, на блок 66 кодирования без пот