Способ и устройство обработки изображения

Способ и устройство обработки изображения

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее изобретение относится к способу и устройству обработки изображения и, в частности, относится к способу и устройству для обработки изображения, которые позволяют не допустить увеличения объема сжатой информации, а также повысить точность прогнозирования.

Предпосылки к созданию изобретения

В последние годы широкое распространение получили устройства, в которых изображение подвергают сжимающему кодированию с использованием системы кодирования, обрабатывающей информацию изображения в форме цифровых сигналов, и в этот момент сжимают изображение посредством ортогонального преобразования, такого как дискретное косинусное преобразование или другое подобное преобразование, и компенсации движения, используя преимущества избыточности, которая является свойством информации изображения, для осуществления передачи и накопления информации с высокой эффективностью. Примеры такого способа кодирования включают алгоритмы MPEG (группа экспертов по кинематографии) и т.п.

В частности, стандарт MPEG2 (ISO/IEC 13818-2) определен в качестве системы кодирования изображения общего назначения и является стандартом, охватывающим как изображения с чересстрочной разверткой, так и изображения с построчной разверткой, а также изображения со стандартным разрешением и изображения высокой четкости. Например, стандарты MPEG2 широко использовались до последнего времени самыми разнообразными приложениями, как для профессионального, так и для потребительского применения. При использовании системы MPEG2 сжатия для изображения с чересстрочной разверткой и стандартным разрешением, имеющего размер, например, 720×480 пикселов, выделяют объем кода (скорость передачи информации) от 4 до 8 Мбит/с. В то же время, при использовании системы MPEG2 сжатия для изображения с чересстрочной разверткой и высокой четкостью, имеющего размер, например, 1920×1088 пикселов, выделяют объем кода (скорость передачи информации) от 18 до 22 Мбит/с. Таким способом можно реализовать высокий коэффициент сжатия и превосходное качество изображения.

Стандарт MPEG2 был принципиально направлен на реализацию высококачественного кодирования изображения применительно к области широкого вещания, но не работает с более низкими объемами кода (скоростью передачи информации), чем объем кода для стандартов MPEG1, т.е. для системы кодирования, имеющей более высокий коэффициент сжатия. Ожидается, что потребность в такой системе кодирования будет только возрастать вследствие распространения персональных цифровых помощников, и в ответ на такие потребности была произведена стандартизация системы MPEG4 кодирования. Технические характеристики такой системы кодирования были утверждены в качестве международного стандарта ISO/IEC 14496-2 в Декабре 1998.

Кроме того, в последние годы продвигался процесс оформления стандарта, именуемого H.26L (ITU-T Q6/16 VCEG) и имеющего целью кодирование изображения для использования в ходе телеконференций. Относительно стандарта H.26L было обнаружено, что хотя при кодировании и декодировании в этом стандарте требуется выполнить больший объем вычислений по сравнению с обычной системой кодирования, такой как MPEG2 или MPEG4, тем не менее, реализуется более высокая эффективность кодирования. Кроме того, в настоящее время в рамках работы над стандартами MPEG4 ведется разработка стандартов, позволяющих использовать преимущества функций, не поддерживаемых стандартами H.26L, причем стандарты H.26L взяты за основу для реализации повышенной эффективности кодирования. Эти работы велись под названием «Совместная модель видео кодирования с повышенной степенью сжатия» (Joint Model of Enhanced-Compression Video Coding). В рамках этих работ по стандартизации, стандарты Н.264 и MPEG-4 Part 10 (Усовершенствованное видео кодирование (Advanced Video Coding), именуемое далее H.264/AVC) стали международными стандартами в марте 2003.

Далее, в качестве развития этих стандартов в феврале 2005 г. была завершена работа по разработке стандарта FRExt (Расширение диапазона точности воспроизведения (Fidelity Range Extension)), включая инструмент кодирования, необходимый для коммерческого применения, такого как RGB, 4:2:2 или 4:4:4, 8x8DCT и матрицу квантования, определенные в стандартах MPEG-2. Таким образом, стандарт H.264/AVC стал системой кодирования, позволяющей адекватным образом представить даже шумы пленки, входящие в движущееся изображение (кинофильм), и был использован в самых разнообразных приложениях, таких как диски «блю-рей» (Blue-Ray Disc) (зарегистрированная торговая марка) и т.п.

Однако в настоящее время возросла потребность в кодировании с высокой степенью сжатия, например в целях сжатия изображения размером около 4000×2000 пикселов, представляющего собой изображение с четырехкратной высокой четкостью. В альтернативном варианте выросла потребность в дальнейшем увеличении степени сжатия при кодировании, например с целью передачи изображения высокой четкости в среде с ограниченной пропускной способностью, такой как Интернет. Поэтому упомянутая выше VCEG (= Экспертная группа по видео кодированию (Video Coding Expert Group)) продолжает под руководством Международного союза электросвязи (ITU-T) исследования в области повышения эффективности кодирования.

Например, при использовании системы MPEG2 обработка данных для прогнозирования и компенсации движения с точностью 1/2 пиксела производилась посредством линейной интерполяции. С другой стороны, при использовании системы H.264/AVC обработка данных для прогнозирования и компенсации с точностью 1/4 пиксела производится с применением имеющего 6 отводов фильтра с конечной импульсной характеристикой (КИХ-фильтра (FIR)).

Для реализации обработки данных для прогнозирования и компенсации с точностью 1/4 пиксела в последние годы были проведены исследования с целью еще более повысить эффективность системы H.264/AVC. В качестве одной из систем кодирования с этой целью в источнике NPL 1 (Непатентная литература 1) была предложена система прогнозирования движения с точностью 1/8 пиксела.

В частности, согласно NPL 1 интерполяционная обработка данных с точностью 1/2 пиксела осуществляется посредством фильтра [-3, 12, -39, 158, 158, -39, 12, -3] / 256. Кроме того, интерполяционная обработка данных с точностью 1/4 пиксела осуществляется посредством фильтра [-3, 12, -37, 229, 71, -21, 6, -1] / 256 и интерполяционная обработка данных с точностью 1/8 пиксела осуществляется путем линейной интерполяции.

Таким образом, осуществляется прогнозирование движения с использованием интерполяционной обработки данных с более высокой точностью в пикселах, что делает возможным улучшение точности прогнозирования и реализацию повышенной эффективности кодирования, в частности при относительно медленной последовательности движения, обеспечивающей разрешение высокой текстуры.

В частности, в качестве одного из факторов, способствующих реализации системой H.264/AVC более высокой эффективности кодирования по сравнению с обычной системой MPEG2 или аналогичной системой, используют способ внутрикадрового прогнозирования, который будет описан позднее.

В системе H.264/AVC разработаны девять видов режимов прогнозирования для блоков размером 4×4 пикселов и 8×8 пикселов и четыре вида режимов прогнозирования для макроблоков размером 16×16 пикселов для яркостных сигналов. Для цветоразностных сигналов предложены четыре вида режимов внутрикадрового прогнозирования для блоков размером 8×8 пикселов. Режимы внутрикадрового прогнозирования для цветоразностных сигналов можно устанавливать независимо от режимов внутрикадрового прогнозирования для яркостных сигналов. Отметим, что виды режимов прогнозирования соответствуют направлениям 0,1 и 3-8, показанным на фиг.1, Режим 2 прогнозирования представляет собой прогнозирование средней величины.

Использование такой системы внутрикадрового прогнозирования позволило реализовать повышение точности прогнозирования. Однако в системе H.264/AVC, как показывают направления на фиг.1, применяется только внутрикадровое прогнозирование с шагом 22,5 градусов. Соответственно, если угол наклона края отличается от этого, степень повышения эффективности кодирования оказывается ограничена.

Поэтому в непатентной литературе NPL 2 был предложен способ дальнейшего повышения эффективности кодирования, отличающийся тем, что прогнозирование осуществляется с угловым шагом меньше 22,5 градусов.

Перечень литературы

Непатентная литература

NPL 1: «Способ прогнозирования с компенсацией движения при разрешении вектора движения в 1/8 пиксела» ("Motion compensated prediction with 1/8-pel displacement vector resolution", VCEG-AD09, ITU-Telecommunications Standardization Sector STUDY GROUP Question 6 Video coding Experts Group (VCEG), 23-27 Oct 2006)

NPL 2: «Способ прогнозирования края с высокой точностью при внутрикадровом кодировании» (Virginie Drugeon, Thomas Wedi, and Torsten Palmer, "High Precision Edge Prediction for Intra Coding", 2008)

Раскрытие изобретения

Техническая проблема

Хотя при внутрикадровом прогнозировании в системе H.264/AVC для прогнозирования используют заданный соседний пиксел для блока, подлежащего кодированию, с другой стороны, согласно предложению, описанному в источнике NPL 2, используют также пиксел, отличный от указанного соседнего пиксела для блока, подлежащего кодированию.

Соответственно, при использовании предложения, описанного в документе NPL 2, даже при выполнении прогнозирования с более мелким шагом угла, чем 22,5 градусов, число обращений к памяти и общий объем обработки данных увеличиваются.

Настоящее изобретение сделано в свете такой ситуации, чтобы еще больше повысить эффективность кодирования при внутрикадровом прогнозировании и при этом не допустить увеличения числа обращений к памяти и объема обработки данных.

Решение проблемы

Устройство обработки изображения согласно первому аспекту настоящего изобретения включает в себя: средство определения режима, выполненное с возможностью определения режима прогнозирования для внутрикадрового прогнозирования применительно к блоку внутрикадрового прогнозирования, подлежащему внутрикадровому прогнозированию, в качестве данных изображения; фазосдвигающее средство, выполненное с возможностью сдвига фазы соседнего пиксела, примыкающего к блоку внутрикадрового прогнозирования в заданном позиционном отношении, в соответствии с направлением сдвига согласно режиму прогнозирования, определяемому средством определения режима, на величину сдвига, являющуюся кандидатом; средство определения величины сдвига, выполненное с возможностью определения оптимальной величины сдвига указанной фазы для указанного соседнего пиксела с использованием указанного соседнего пиксела и указанного соседнего пиксела с фазой, сдвинутой фазосдвигающим средством; и средство генерирования прогнозируемого изображения, выполненное с возможностью генерирования прогнозируемого изображения блока внутрикадрового прогнозирования с использованием соседнего пиксела, фаза которого сдвинута на оптимальную величину сдвига, определяемую средством определения величины сдвига.

Устройство обработки изображения может дополнительно включать в себя: кодирующее средство, выполненное с возможностью кодирования разностной информации между изображением блока внутрикадрового прогнозирования и прогнозируемым изображением, генерируемым средством генерирования прогнозируемого изображения, для формирования кодированного потока данных; и передающее средство, выполненное с возможностью передачи вместе с кодированным потоком данных, формируемым модулем, информации о величине сдвига, указывающей оптимальную величину сдвига, определяемую средством определения величины сдвига, и информации о режиме прогнозирования, указывающей режим прогнозирования, определяемый средством определения режима.

Кодирующее средство может кодировать разностную информацию, указывающую разность между оптимальной величиной сдвига, определенной для блока внутрикадрового прогнозирования, и оптимальной величиной сдвига, определенной для блока, обеспечивающего наиболее вероятный режим (MostProbableMode), в качестве информации о величине сдвига, а передающее средство может передавать кодированный поток данных, формируемый кодирующим средством, и разностную информацию.

Фазосдвигающее средство может запретить сдвиг фазы, если режим прогнозирования, определенный средством определения режима, представляет собой прогнозирование по среднему значению (DC-прогнозирование).

Фазосдвигающее средство может сдвигать фазу в горизонтальном направлении для верхнего соседнего пиксела из совокупности соседних пикселов в соответствии с величиной сдвига, служащей кандидатом, и запретить сдвиг фазы в вертикальном направлении для левого соседнего пиксела из совокупности соседних пикселов, если режим прогнозирования, определенный средством определения режима, представляет собой режим Вертикального прогнозирования (Vertical prediction mode), режим прогнозирования «Вниз и влево по диагонали» (Diag_Down_Left prediction mode) или режим прогнозирования «По вертикали и влево» (Vertical_Left prediction mode).

Фазосдвигающее средство может сдвигать фазу в вертикальном направлении для левого соседнего пиксела из совокупности соседних пикселов в соответствии с величиной сдвига, служащей кандидатом, и запретить сдвиг фазы в горизонтальном направлении для верхнего соседнего пиксела из совокупности соседних пикселов, если режим прогнозирования, определенный средством определения режима, представляет собой режим Горизонтального прогнозирования (Horizontal prediction mode) или режим прогнозирования «По горизонтали и вверх» (Horizontal_Up prediction mode).

Средство определения режима может определять все режимы прогнозирования для внутрикадрового прогнозирования, фазосдвигающее средство может сдвигать фазу соседнего пиксела в соответствующем направлении сдвига во всех режимах прогнозирования, определенных средством определения режима, и на величину сдвига, служащую кандидатом, а средство определения величины сдвига может использовать указанный соседний пиксел и указанный соседний пиксел, фаза которого сдвинута фазосдвигающим средством, для определения оптимальной величины фазового сдвига и оптимального режима прогнозирования для соседнего пиксела.

Устройство обработки изображения может дополнительно включать в себя средство прогнозирования и компенсации движения, выполненное с возможностью выполнения межкадрового прогнозирования движения в отношении блока межкадрового прогнозирования движения на изображении, а фазосдвигающее средство может использовать фильтр, применяемый при прогнозировании с точностью до долей пиксела средством прогнозирования и компенсации движения, для сдвига фазы соседнего пиксела.

Способ обработки изображения согласно первому аспекту настоящего изобретения может включать в себя этапы, на которых: с помощью устройства обработки изображения определяют режим прогнозирования для внутрикадрового прогнозирования применительно к блоку внутрикадрового прогнозирования, подлежащему внутрикадровому прогнозированию, в качестве данных изображения; сдвигают фазу соседнего пиксела, примыкающего к блоку внутрикадрового прогнозирования в заданном позиционном отношении, в соответствии с направлением сдвига согласно режиму прогнозирования на величину сдвига, служащую кандидатом; определяют оптимальную величину сдвига указанной фазы для указанного соседнего пиксела с использованием указанного соседнего пиксела и указанного соседнего пиксела со сдвинутой фазой; и генерируют прогнозируемое изображение блока внутрикадрового прогнозирования с использованием соседнего пиксела, фаза которого сдвинута на оптимальную величину сдвига.

Устройство обработки изображения согласно второму аспекту настоящего изобретения включает в себя: приемное средство, выполненное с возможностью приема информации о режиме прогнозирования, указывающей режим прогнозирования для внутрикадрового прогнозирования применительно к блоку внутрикадрового прогнозирования, подлежащему обработке для внутрикадрового прогнозирования, и информации о величине сдвига, указывающей величину сдвига фазы соседнего пиксела, примыкающего к блоку внутрикадрового прогнозирования в заданном позиционном отношении, в соответствии с режимом прогнозирования, указанным информацией о режиме прогнозирования; фазосдвигающее средство, выполненное с возможностью сдвига фазы указанного соседнего пиксела в соответствии с направлением сдвига на величину сдвига согласно режиму прогнозирования, принимаемому приемным средством; и средство генерирования прогнозируемого изображения, выполненное с возможностью генерирования прогнозируемого изображения блока внутрикадрового прогнозирования с использованием соседнего пиксела, фаза которого сдвинута фазосдвигающим средством.

Приемное средство может принимать разностную информацию, указывающую разность между величиной сдвига, определяемой для блока внутрикадрового прогнозирования, и величиной сдвига, определяемой для блока, реализующего наиболее вероятный режим (MostProbableMode), в качестве информации о величине сдвига.

Устройство обработки изображения может дополнительно включать в себя декодирующее средство, выполненное с возможностью декодирования блока внутрикадрового прогнозирования с использованием прогнозируемого изображения, генерируемого средством генерирования прогнозируемого изображения.

Декодирующее средство может декодировать информацию о режиме прогнозирования, принимаемую приемным средством, и информацию о величине сдвига.

Фазосдвигающее средство может запретить сдвиг фазы соседнего пиксела, когда режим прогнозирования, декодированный декодирующим средством, является режимом DC-прогнозирования.

Фазосдвигающее средство может сдвигать фазу в горизонтальном направлении для верхнего соседнего пиксела из совокупности соседних пикселов в соответствии с величиной сдвига, декодируемой декодирующим средством, и запретить сдвиг фазы в вертикальном направлении для левого соседнего пиксела из совокупности соседних пикселов, если режим прогнозирования, декодируемый декодирующим средством, представляет собой режим вертикального прогнозирования (Vertical prediction mode), режим прогнозирования «вниз и влево по диагонали» (Diag_Down_Left prediction mode) или режим прогнозирования «по вертикали и влево» (Vertical_Left prediction mode).

Фазосдвигающее средство может сдвигать фазу в вертикальном направлении для левого соседнего пиксела из совокупности соседних пикселов в соответствии с величиной сдвига, декодируемой декодирующим средством, и запретить сдвиг фазы в горизонтальном направлении для верхнего соседнего пиксела из совокупности соседних пикселов, если режим прогнозирования, декодируемый декодирующим средством, представляет собой режим горизонтального прогнозирования (Horizontal prediction mode) или режим прогнозирования «по горизонтали и вверх» (Horizontal_Up prediction mode).

Устройство обработки изображения может дополнительно включать в себя модуль прогнозирования и компенсации движения, выполненный с возможностью выполнения межкадрового прогнозирования движения применительно к блоку межкадрового прогнозирования движения с использованием вектора движения, подлежащего декодированию декодирующим средством, вместе с кодированным блоком межкадрового прогнозирования движения, а фазосдвигающее средство может сдвигать фазу соседнего пиксела с использованием фильтра, применяемого при прогнозировании с точностью до долей пиксела средством прогнозирования и компенсации движения.

Способ обработки изображения согласно второму аспекту настоящего изобретения может включать в себя этапы, на которых: с помощью устройства обработки изображения по изобретению принимают информацию о режиме прогнозирования, указывающую режим прогнозирования при внутрикадровом прогнозировании применительно к блоку внутрикадрового прогнозирования, подлежащего обработке для внутрикадрового прогнозирования, и информацию о величине сдвига, указывающую величину сдвига фазы соседнего пиксела, примыкающего к блоку внутрикадрового прогнозирования в заданном позиционном отношении, в соответствии с режимом прогнозирования, указанным информацией о режиме прогнозирования; сдвигают фазу указанного соседнего пиксела в соответствии с направлением сдвига на величину сдвига согласно режиму прогнозирования, принятому приемным модулем; и генерируют прогнозируемое изображение блока внутрикадрового прогнозирования с использованием соседнего пиксела со сдвинутой фазой.

Согласно первому аспекту настоящего изобретения режим прогнозирования при внутрикадровом прогнозировании определяют применительно к блоку внутрикадрового прогнозирования, подлежащему обработке для внутрикадрового прогнозирования в качестве данных изображения, и сдвигают фазу соседнего пиксела, примыкающего к блоку внутрикадрового прогнозирования в заданном позиционном отношении, в соответствии с направлением сдвига согласно определенному режиму прогнозирования, на величину сдвига, служащую кандидатом. После этого определяют оптимальную величину фазового сдвига для указанного соседнего пиксела с использованием указанного соседнего пиксела и указанного соседнего пиксела со сдвинутой фазой; и генерируют прогнозируемое изображение блока внутрикадрового прогнозирования с использованием указанного соседнего пиксела, фаза которого сдвинута в соответствии с оптимальной величиной сдвига.

Согласно второму аспекту настоящего изобретения принимают информацию о режиме прогнозирования, указывающую режим прогнозирования при внутрикадровом прогнозировании применительно к блоку внутрикадрового прогнозирования, подлежащего обработке для внутрикадрового прогнозирования, и информацию о величине сдвига, указывающую величину сдвига фазы соседнего пиксела, примыкающего к блоку внутрикадрового прогнозирования в заданном позиционном отношении, в соответствии с режимом прогнозирования, указанным информацией о режиме прогнозирования, и сдвигают фазу указанного соседнего пиксела в соответствии с направлением сдвига и величиной сдвига согласно режиму прогнозирования, указанному принятой информацией о режиме прогнозирования. После этого генерируют прогнозируемое изображение блока внутрикадрового прогнозирования с использованием соседнего пиксела, фаза которого сдвинута.

Отметим, что указанные выше устройства обработки изображения могут быть автономными устройствами или могут быть внутренними блоками, составляющими одно устройство для кодирования изображения или устройство для декодирования изображения.

Преимущества изобретения

Согласно первому аспекту настоящего изобретения прогнозируемое изображение можно генерировать посредством внутрикадрового прогнозирования. Кроме того, согласно этому первому аспекту настоящего изобретения можно повысить эффективность кодирования без увеличения числа обращений к памяти и объема обработки данных.

Согласно второму аспекту настоящего изобретения прогнозируемое изображение можно генерировать посредством внутрикадрового прогнозирования. Кроме того, согласно этому второму аспекту настоящего изобретения можно повысить эффективность кодирования без увеличения числа обращений к памяти и объема обработки данных.

Краткое описание чертежей

Фиг.1 представляет диаграмму для описания направления внутрикадрового прогнозирования для блока 4×4 пикселов.

Фиг.2 представляет блок-схему, иллюстрирующую конфигурацию варианта устройства для кодирования изображений, в котором применено настоящее изобретение.

Фиг.3 представляет диаграмму для описания обработки данных при прогнозировании и компенсации движения с точностью 1/4 пиксела.

Фиг.4 представляет диаграмму для описания способа прогнозирования и компенсации движения для случая с несколькими опорными кадрами.

Фиг.5 представляет диаграмму для описания примера способа генерации информации вектора движения.

Фиг.6 представляет блок-схему, иллюстрирующую пример конфигурации модуля внутрикадрового прогнозирования и модуля интерполяции соседнего пиксела.

Фиг.7 представляет логическую схему для описания процесса кодирования в устройстве для кодирования изображения, показанном на фиг.2.

Фиг.8 представляет логическую схему для описания процесса прогнозирования на этапе S21, показанном на фиг.7.

Фиг.9 представляет диаграмму для описания последовательности обработки данных в режиме внутрикадрового прогнозирования для блока размером 16×16 пикселов.

Фиг.10 представляет диаграмму, иллюстрирующую виды режимов внутрикадрового прогнозирования для блоков размером 4×4 пикселов для яркостных сигналов.

Фиг.11 представляет диаграмму, иллюстрирующую виды режимов внутрикадрового прогнозирования для блоков размером 4×4 пикселов для яркостных сигналов.

Фиг.12 представляет диаграмму для описания направления внутрикадрового прогнозирования для блоков размером 4×4 пикселов.

Фиг.13 представляет диаграмму для описания внутрикадрового прогнозирования для блоков размером 4×4 пикселов.

Фиг.14 представляет диаграмму для описания кодирования в режиме внутрикадрового прогнозирования для блоков размером 4×4 пикселов для яркостных сигналов.

Фиг.15 представляет диаграмму, иллюстрирующую виды режимов внутрикадрового прогнозирования для блоков размером 16×16 пикселов для яркостных сигналов.

Фиг.16 представляет диаграмму, иллюстрирующую виды режимов внутрикадрового прогнозирования для блоков размером 16×16 пикселов для яркостных сигналов.

Фиг.17 представляет диаграмму для описания внутрикадрового прогнозирования для блоков 16×16 пикселов.

Фиг.18 представляет диаграмму для описания работы с целью реализации внутрикадрового прогнозирования с точностью до долей пиксела.

Фиг.19 представляет диаграмму для описания предпочтительного примера внутрикадрового прогнозирования с точностью до долей пиксела.

Фиг.20 представляет логическую схему для описания процедуры внутрикадрового прогнозирования на этапе S31, показанном на фиг.8.

Фиг.21 представляет логическую схему для описания процедуры интерполяции соседнего пиксела на этапе S45, показанном на фиг.20.

Фиг.22 представляет логическую схему для описания процесса внутрикадрового прогнозирования движения на этапе S32, показанном на фиг.8.

Фиг.23 представляет блок-схему, иллюстрирующую другой пример конфигурации модуля внутрикадрового прогнозирования и модуля интерполяции соседнего пиксела.

Фиг.24 представляет логическую схему для описания другого примера процесса внутрикадрового прогнозирования на этапе S31, показанном на фиг.8.

Фиг.25 представляет логическую схему для описания процесса интерполяции соседнего пиксела на этапе S101, показанном на фиг.24.

Фиг.26 представляет блок-схему, иллюстрирующую конфигурацию варианта устройства для декодирования изображений, в котором применено настоящее изобретение.

Фиг.27 представляет блок-схему, иллюстрирующую другой пример конфигурации модуля внутрикадрового прогнозирования и модуля интерполяции соседнего пиксела.

Фиг.28 представляет логическую схему для описания процесса декодирования в устройстве для декодирования изображения, показанном на фиг.26.

Фиг.29 представляет логическую схему для описания процесса прогнозирования на этапе S138, показанном на фиг.28.

Фиг.30 представляет блок-схему, иллюстрирующую пример конфигурации аппаратуры компьютера.

Описание вариантов осуществления

Далее вариант настоящего изобретения будет описан со ссылками на перечисленные чертежи.

Пример конфигурации устройства для кодирования изображения

На фиг.2 представлена конфигурация варианта устройства для кодирования изображения, служащего устройством для обработки изображения, в котором применено настоящее изобретение.

Это устройство 51 для кодирования изображения осуществляет сжимающее кодирование с использованием, например, систем Н.264 и MPEG-4 Part 10 (Усовершенствованное видео кодирование) (далее именуемое 264/AVC).

В примере, показанном на фиг.2, устройство 51 для кодирования изображения конфигурировано в составе аналого-цифрового (A/D) преобразователя 61, буфера 62 сортировки экрана, вычислительного модуля 63, модуля 64 ортогонального преобразования, модуля 65 квантования, модуля 66 кодирования без потерь, накопительного буфера 67, модуля 68 обратного квантования, модуля 69 обратного ортогонального преобразования, вычислительного модуля 70, деблокирующего фильтра 71, памяти кадров 72, переключателя 73, модуля 74 внутрикадрового прогнозирования, модуля 75 интерполяции соседнего пиксела, модуля 76 прогнозирования/компенсации движения, модуля 77 выбора прогнозируемого изображения и модуля 78 управления частотой квантования.

Аналого-цифровой преобразователь 61 преобразует входное изображение из аналоговой в цифровую форму и передает буферу 62 сортировки экрана для сохранения. Этот буфер 62 сортировки экрана сортирует изображения кадров, расположенных в порядке записи, для представления на дисплее в порядке кадров для кодирования в соответствии с Группой изображений (GOP).

Вычислительный модуль 63 вычитает из изображения, считываемого из буфера 62 сортировки экрана, прогнозируемое изображение от модуля 74 внутрикадрового прогнозирования, выбранное модулем 77 выбора прогнозируемого изображения, или прогнозируемое изображение от модуля 76 прогнозирования/компенсации движения и передает полученную разностную информацию модулю 64 ортогонального преобразования. Модуль 64 ортогонального преобразования осуществляет ортогональное преобразование, такое как дискретное косинусное преобразование, преобразование Карунена-Лоэва и т.п., этой разностной информации от вычислительного модуля 63 и передает на выход коэффициенты преобразования. Модуль 65 квантования осуществляет квантование этих коэффициентов преобразования с выхода модуля 64 ортогонального преобразования.

Квантованные коэффициенты преобразования с выхода модуля 65 квантования поступают в модуль 66 кодирования без потерь, где к ним применяют кодирование без потерь, такое как кодирование в коде переменной длины, арифметическое кодирование и т.п., и сжимают.

Модуль 66 кодирования без потерь получает информацию индикации внутрикадрового прогнозирования и т.п. от модуля 74 внутрикадрового прогнозирования и получает информацию индикации режима межкадрового прогнозирования и т.п. от модуля 76 прогнозирования/компенсации движения. Отметим, что в дальнейшем информация индикации внутрикадрового прогнозирования будет именоваться информацией режима внутрикадрового прогнозирования. Кроме того, информация индикации режима межкадрового прогнозирования будет именоваться информацией режима межкадрового прогнозирования.

Модуль 66 кодирования без потерь кодирует квантованные коэффициенты преобразования, а также кодирует информацию индикации режима внутрикадрового прогнозирования, информацию индикации режима межкадрового прогнозирования и т.п., и берет все эти данные в качестве части информации заголовка в сжатом изображении. Модуль 66 кодирования без потерь передает кодированные данные в накопительный буфер 67 для накопления.

Например, модуль 66 кодирования без потерь осуществляет обработку данных для кодирования без потерь, такого как кодирование в коде переменной длины, арифметическое кодирование и т.п. Примеры кодирования в коде переменной длины включают CAVLC (Контекстно-адаптивное кодирование в коде переменной длины (Context-Adaptive Variable Length Coding)), определенное в системе H.264/AVC. Примеры арифметического кодирования включают САВАС (Контекстно-адаптивное двоичное арифметическое кодирование (Context-Adaptive Binary Arithmetic Coding)).

Накопительный буфер 67 передает данные, поступившие от модуля 66 кодирования без потерь в, например, расположенное далее по логической схеме запоминающее устройство или в тракт передачи данных и т.п., не показанные на чертеже, в качестве сжатого изображения, кодированного в системе H.264/AVC.

Кроме того, квантованные коэффициенты преобразования с выхода модуля 65 квантования поступают также на вход модуля 68 обратного квантования, где их подвергают операции обратного квантования и затем выполняют обратное ортогональное преобразование полученных коэффициентов в модуле 69 обратного ортогонального преобразования. Вычислительный модуль 70 суммирует результат обратного ортогонального преобразования с прогнозируемым изображением, поступающим от модуля 77 выбора прогнозируемого изображения, и получает локально декодированное изображение. Деблокирующий фильтр 71 устраняет блочные искажения из декодированного изображения и затем передает результат в память 72 кадров для накопления. Изображение, имевшее место перед деблокирующей фильтрацией, выполняемой в деблокирующем фильтре 71, также направляют в память кадров 72 для накопления.

Переключатель 73 передает опорные изображения, накопленные в памяти 72 кадров, модулю 76 прогнозирования/компенсации движения или модулю 74 внутрикадрового прогнозирования.

В таком устройстве 51 для кодирования изображения опорный кадр (I-кадр), аппроксимированный кадр (В-кадр) и прогнозируемый кадр (Р-кадр) из буфера 62 сортировки экрана передают в модуль 74 внутрикадрового прогнозирования в качестве изображения, подлежащего внутрикадровому прогнозированию (именуемому также внутрикадровой обработкой данных), например. Кроме того, В-кадр и Р-кадр, считываемые из буфера 62 сортировки экрана, направляют в модуль 76 прогнозирования/компенсации движения в качестве изображения, подлежащего межкадровому прогнозированию (именуемому также межкадровой обработкой данных).

Модуль 74 внутрикадрового прогнозирования выполняет обработку данных внутрикадрового прогнозирования для всех режимов внутрикадрового прогнозирования, служащих кандидатами, на основе подлежащего внутрикадровому прогнозированию изображения, считываемого из буфера 62 сортировки экрана, и опорного изображения, поступающего из памяти 72 кадров, для генерации прогнозируемого изображения.

Модуль 74 внутрикадрового прогнозирования вычисляет величину целевой функции для режимов внутрикадрового прогнозирования, когда сформировано прогнозируемое изображение, и выбирает режим внутрикадрового прогнозирования, которому соответствует минимальная величина вычисленной целевой функции, в качестве оптимального режима внутрикадрового прогнозирования. Этот модуль 74 внутрикадрового прогнозирования передает пиксел, соседний с текущим блоком для внутрикадрового прогнозирования, и информацию оптимального режима внутрикадрового прогнозирования в модуль 75 интерполяции соседнего пиксела.

Модуль 75 интерполяции соседнего пиксела сдвигает фазу соседнего пиксела в направлении сдвига согласно оптимальному режиму внутрикадрового прогнозирования от модуля 74 внутрикадрового прогнозирования на величину сдвига, служащую кандидатом. На самом деле модуль 75 интерполяции соседнего пиксела применяет к соседнему пикселу имеющий 6 отводов фильтр с конечной импульсной характеристикой (КИХ (FIR)) для выполнения линейной интерполяции относительно направления сдвига согласно оптимальному режиму внутрикадрового прогнозирования, сдвигая тем самым фазу соседнего пиксела с точностью до долей пиксела. Соответственно, в дальнейшем для удобства описания соседний пиксел, фаза которого сдвинута посредством 6-отводного КИХ-фильтра и линейной интерполяции, будет именоваться, где как удобнее, интерполированным соседним пикселом или соседним пикселом со сдвинутой фазой, но оба этих термина будут иметь одинаковое значение.

Модуль 75 интерполяции соседнего пиксела передает соседний пиксел со сдвинутой фазой модулю 74 внутрикадрового прогнозирования.

Этот модуль 74 внутрикадрового прогнозирования использует величину соседнего пиксела из буфера 81 соседнего изображения и величину соседнего пиксела, фаза которого сдвинута в модуле 75 интерполяции соседнего пиксела, для определения оптимальной величины сдвига фазы соседнего пиксела. Кроме того, модуль 74 внутрикадрового прогнозирования использует величину соседнего пиксела со сдвинутой фазой вместе с найденной оптимальной величиной сдвига для генер