Устройство кодирования изображения и способ, и устройство декодирования изображения и способ

Устройство кодирования изображения и способ, и устройство декодирования изображения и способ

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству кодирования изображения и способу и устройству декодирования изображения и способу и более конкретно, к устройству кодирования изображения и способу и устройству декодирования изображения и способу, которые способны подавлять увеличение нагрузки кодирования или декодирования.

Уровень техники

В последнее время получили широкое распространение устройства для сжатия и кодирования изображения, использующие схему кодирования цифровой обработки информации изображения, и выполнения сжатия с помощью ортогонального преобразования, такого как дискретное косинусное преобразование и компенсацию движения, используя избыточность конкретной информации изображения, с целью передачи информации, и накопления с высокой эффективностью, когда информация изображения обрабатывается в цифровом виде. Экспертная группа по вопросам движущегося изображения (MPEG) и т.п. являются примерами таких схем кодирования.

В частности, MPEG-2 (ISO/IEC 13818-2) является стандартом, который определяется как схема кодирования изображения общего назначения, и охватывает изображения с чересстрочной разверткой, изображения с построчной разверткой, изображения стандартного разрешения и изображения высокой четкости. Например, MPEG-2 в настоящее время широко используется в широком диапазоне применений, как для профессионального использования, так и для бытового применения. При использовании схемы сжатия MPEG 2, например, для изображения с чересстрочной разверткой стандартного разрешения, имеющее 720×480 пикселей, выделяется величина кодирования (скорость передачи данных в битах) от 4 до 8 Мбит. Кроме того, с использованием схемы сжатия MPEG 2, например, в случае изображения с чересстрочной разверткой с высоким разрешением, имеющее 1920×1088 пикселей, выделяется величина кодирования (скорость передачи данных в битах) от 18 до 22 Мбит. Таким образом, можно реализовать высокую степень сжатия и предпочтительное качество изображения.

MPEG-2 предназначен в основном для кодирования изображений высокой четкости, пригодного для вещания, но не поддерживает схему кодирования, имеющую величину кодирования (скорость передачи данных в битах) ниже, чем MPEG 1, то есть схему кодирования с высокой степенью сжатия. С распространением мобильных терминалов, считается, что потребность в такой схеме кодирования будет увеличиваться в будущем и, таким образом, схема кодирования MPEG-4 была стандартизирована. Международный стандарт для схемы кодирования изображения был утвержден в качестве стандарта ISO/IEC 14496-2 в декабре 1998 года.

Дополнительно, в последние годы были стандартизированы стандарты, такие как H.26L (Сектор стандартизации Международного союза электросвязи Q6/16 Экспертная группа кодирования видео (ITU-T Q6/16 VCEG)) с целью кодирования изображения для видеоконференций. H.26L требует большего количества вычислений для кодирования и декодирования, чем в существующих схемах кодирования, таких как MPEG 2 или MPEG 4, но, как известно, обеспечивает высокую эффективность кодирования. Кроме того, в настоящее время, в качестве одного аспекта MPEG 4, стандартизация обеспечивает выполнение даже функции, которая не поддерживается в H.26L и реализации высокой эффективности кодирования на основе H.26L была выполнена как Совместная модель усовершенствованного сжатия при кодировании видео.

В соответствии с планами стандартизации был принят международный стандарт под названием Н.264 и MPEG-4 часть 10 (Усовершенствованное видеокодирование (далее - как было установлено "AVC") в марте 2003 года.

Более того, в качестве расширения H.264/AVC, Расширение диапазона достоверности (FRExt), включающий в себя инструмент кодирования, необходимый для профессионального использования, такой как RGB или 4:2:2 или 4:4:4 или 8×8 DCT и матрицу квантования, которые указаны в формате MPEG-2, был стандартизирован в феврале 2005 г. В результате, H.264/AVC стал схемой кодирования, способной также обеспечивать звуковое воспроизведение кинофильмов, включающие в себя художественные фильмы, и обеспечить использование в широком диапазоне применений, таких как Blu-Ray диски (товарный знак).

Тем не менее в последние годы есть растущая потребность в кодировании с высокой степенью сжатия, позволяющая сжимать изображение около 4000×2000 пикселей, что в 4 раза больше, чем на изображении высокой четкости, или доставлять изображение высокой четкости в среду передачу данных с ограниченными возможностями, например, интернет. Для этого способы повышения эффективности кодирования были вопросом постоянного внимания со стороны Экспертной группы кодирования видео (VCEG) ITU-T.

В связи с этим в настоящее время, в целях дальнейшего повышения эффективности кодирования, чтобы быть выше, чем в AVC, Объединенная команда по видеокодированию (JCTVC), которая является совместной организацией по стандартизации ITU-T и ISO/IEC, была стандартизирована схема кодирования, под названием Высокоэффективное видеокодирование (HEVC). Проект стандарта, который является проектом спецификации для стандарта HEVC, был выпущен в январе 2013 года (см. непатентный документ 1).

В HEVC можно выполнить параллельную обработку на основании плитки или волнового фронта параллельной обработки в дополнение к срезу, который также определен в AVC.

Кроме того, существующие схемы кодирования изображения, такие как MPEG-2 и AVC имеет функцию масштабируемости разделения изображения на множество уровней и кодирование множества уровней.

Другими словами, например, для терминала, имеющего низкую способность обработки, такого как мобильный телефон, передается информация сжатия изображения только базового уровня и воспроизводится движущееся изображение низкого пространственного и временного разрешений или низкого качества, и для терминала, имеющего высокую способность обработки, такого как телевизор или персональный компьютер, передается информация сжатия изображений усовершенствованного уровня как базового уровня и воспроизводится движущееся изображение с высоким пространственным и временным разрешением и высоким качеством. То есть информация сжатия изображений в соответствии с возможностями терминала или сети может передаваться от сервера без выполнения процесса перекодировки.

Список литературы

Непатентный документ

Непатентный документ 1: Benjamin Bross, Woo-Jin Han, Gary J. Sullivan, Jens-Rainer Ohm, Gary J. Sullivan, Ye-Kui Wang, Thomas Wiegand, "Высокоэффективное кодирование видео (HEVC) текстовая часть спецификации проекта 10 (для FDIS и одобрения), "JCTVC-L1003_v4, Объединенная команда по видеокодированию (JCT-VC) ITU-T S G 16 WP 3 и ISO/IEC JTC 1/SC 29/WG 11 12-е заседание: Женева, CH, 14-23 января 2013

Раскрытие изобретения

Техническая задача

Тем не менее в способе предшествующего уровня техники при кодировании информации, относящейся к базовому уровню, такой как информация декодированного изображения или информация о движении, упоминается для кодирования и декодирования усовершенствованного уровня, все изображение базового уровня было целевым для ссылки.

По этой причине, вероятно, нагрузка была повышенной, например, при кодировании и декодировании усовершенствованного уровня, число доступов к памяти для обращения к информации кодирования базового уровня увеличивается.

Настоящее изобретение было сделано в свете вышеизложенного и, желательно, не допустить увеличение нагрузки при кодировании или декодировании.

Решение технической задачи

В соответствии с вариантом осуществления настоящего изобретения, предусмотрено устройство кодирования изображения, включающее в себя: секцию генерирования, выполненную с возможностью генерирования информации управления, используемой для управления определенной области, в которой информация, относящаяся кодированию, другого уровня кодированного для каждой из множества определенных областей, полученных путем деления изображения, ссылается на соответствующий текущий уровень данных изображения, включающий в себя множество уровней; секцию кодирования, выполненную с возможностью кодирования текущего уровня данных изображения со ссылкой на информацию, относящуюся к кодированию некоторых областей другого уровня в соответствии с управлением информации управления, сгенерированной секцией генерирования; и секцию передачи, выполненную с возможностью передачи кодированных данных изображения, сгенерированных секцией кодирования, и информации управления, сгенерированной секцией генерирования.

Информация управления может быть информацией для ограничения области, в которой делается ссылка на информацию, относящуюся к кодированию посредством назначения области, в которой допускается ссылка на информацию кодирования, относящуюся к другому уровню, назначением области, в которой запрещается ссылка на информацию, относящуюся к кодированию, или посредством назначения области, в которой осуществляется ссылка на информацию, относящуюся к кодированию.

Информация управления может указывать область, используя идентификационный номер, выделенный в растровом порядке сканирования, информацию, указывающую позиции области в вертикальном и горизонтальном направлениях в кадре, или информацию, указывающую позицию данных в области кодированных данных.

Секция передачи может дополнительно передавать информацию, указывающую, следует ли контролировать область, в которой ссылаются на информацию, относящуюся к кодированию.

Информация, относящаяся к кодированию, может быть информацией, используемой для генерирования изображения предсказания, используемого при кодировании данных изображения.

Информация, используемая для генерирования изображения предсказания, может включать в себя информацию, используемую для предсказания текстуры данных изображения и информацию, используемую для предсказания синтаксиса данных изображения. Управляющая информация может быть информацией, используемой для независимого управления областью, на которую ссылается информация, используемая для предсказания текстуры, и областью, на которую ссылается информация, используемая для предсказания синтаксиса.

Секция генерирования может генерировать информацию управления для каждой из множества определенных областей, полученных путем деления изображения текущего уровня данных изображения. Секция кодирования может кодировать текущий уровень данных изображения со ссылкой на информацию кодирования, относящуюся к некоторым областям другого уровня для каждой из областей, в соответствии с управлением информации управления каждой области, сгенерированной секцией генерирования.

Секция передачи может дополнительно передавать информацию, указывающую является или нет область разделения текущего уровня, аналогичной области разделения другого уровня.

Область может быть срезом или плиткой данных изображения.

В соответствии с вариантом осуществления настоящего изобретения, предусмотрен способ кодирования изображений, включающий в себя этапы, на которых: генерируют информацию управления, используемую для управления определенной областью, в которой информация кодирования, относящаяся к другому уровню, кодируемая для каждой из множества определенных областей, полученных путем деления изображения, ссылается на соответствующий текущий уровень данных изображения, включающих в себя множество уровней; кодируют текущий уровень данных изображения со ссылкой на информацию, относящуюся к кодированию некоторых областей другого уровня в соответствии с управлением информации управления, сгенерированной секцией генерирования; и передают кодированные данные изображения, сгенерированные посредством кодирования данных изображения, и сгенерированную информацию управления.

В соответствии с другим вариантом осуществления настоящего изобретения, предлагается устройство декодирования изображения, включающее в себя: секцию приема, выполненную с возможностью принимать кодированные данные текущего уровня данных изображения, включающие в себя множество уровней, и управляющую информацию, используемую для управления определенной областью, в которой ссылается на информацию, относящуюся к кодированию другого уровня, закодирована для каждой из множества определенных областей, полученных путем деления изображения данных изображения; и секцию декодирования, выполненную с возможностью декодирования кодированных данных со ссылкой на информацию, относящуюся к кодированию некоторых областей другого уровня в соответствии с управлением информации управления, принятой секцией приема.

Информация управления может быть информацией для ограничения области, в которой делается ссылка на информацию, относящуюся к кодированию посредством назначения области, в которой допускается ссылка на информацию кодирования, относящуюся к другому уровню, назначением области, в которой запрещается ссылка на информацию, относящуюся к кодированию, или посредством назначения области, в которой осуществляется ссылка на информацию относящуюся к кодированию.

Информация управления может указывать область, с использованием идентификационного номера, выделенного в растровом порядке сканирования, информацию, указывающую позиции области в вертикальном и горизонтальном направлениях в кадре, или информацию, указывающую позицию данных в области кодированных данных.

Секция приема может дополнительно принимать информацию, указывающую, следует ли управлять областью, в которой делается ссылка на информацию, относящуюся к кодированию.

Информация, относящаяся к кодированию, может быть информация, используемая для генерирования изображения предсказания, используемого при декодировании кодированных данных.

Информация, используемая для генерирования изображения предсказания, может включать в себя информацию, используемую для предсказания текстуры данных изображения и информацию, используемую для предсказания синтаксиса данных изображения. Управляющая информация может быть информацией, используемой для независимого управления областью, в которой делается ссылка на информацию, используемую для предсказания текстуры, и областью, в которой делается ссылка на информацию, используемую для предсказания синтаксиса.

Секция приема может принимать кодированные данные, кодированные для каждой из множества определенных областей, полученных путем деления изображения текущего уровня данных изображения, и информацию управления каждой из областей. Секция декодирования может декодировать кодированные данные, принятые секцией приема, со ссылкой на информацию, относящуюся к кодированию некоторых областей другого уровня для каждой из областей, в соответствии с управлением информации управления каждой области.

Секция приема может дополнительно принимать информацию, указывающую, является или нет разделение области текущего уровня аналогичным разделению области другого уровня.

Область может быть срезом или плиткой данных изображения.

В соответствии с другим вариантом осуществления настоящего изобретения, предусмотрен способ декодирования изображений, включающий в себя этапы, на которых: принимают кодированные данные текущего уровня данных изображения, включающие в себя множество уровней, и управляющую информацию, используемую для управления определенной областью, в которой делается ссылка на информацию, относящуюся к кодированию другого уровня, кодированную для каждой из множества определенных областей, полученных путем деления изображения данных изображения; и декодируют кодированные данные со ссылкой на информацию, относящуюся к кодированию некоторых областей другого уровня, в соответствии с управлением принятой информации управления.

Согласно одному аспекту настоящего изобретения, генерируется информация управления, используемая для управления областью, в которой информация, относящаяся к кодированию, другого уровня кодируемая для каждой из множества отдельных областей, полученных путем деления изображения, ссыпается на соответствующий текущий уровень данных изображения, включающих в себя множество уровней, при этом текущий уровень данных изображения кодируется со ссылкой на информацию, относящуюся к кодированию некоторых областей другого уровня в соответствии с управлением сгенерированной управляющей информацией, и передаются кодированные данные, сгенерированные в процессе кодирования данных изображения и сгенерированная управляющая информация.

В соответствии с другим аспектом настоящего изобретения, принимаются кодированные данные текущего уровня данных изображения, включающие в себя множество уровней, и управляющая информация, используемая для управления областью, в которой делается ссылка на информацию, относящуюся к кодированию другого уровня, кодируемую для каждой из множества определенных областей, полученных делением кадра данных изображения, и кодированные данные декодируются со ссылкой на информацию, относящуюся к кодированию некоторых областей другого уровня, в соответствии с управлением принятой информации управления.

Преимущества изобретения

В соответствии с настоящим изобретением, можно кодировать и декодировать изображение. В частности, можно предотвратить увеличение нагрузки кодирования или декодирования.

Краткое описание чертежей

Фиг. 1 является схемой, предназначенной для описания примера конфигурации блока кодирования.

Фиг. 2 является схемой, иллюстрирующей пример схемы кодирования масштабируемого многоуровневого изображения.

Фиг. 3 является схемой, предназначенной для описания примера пространственного масштабируемого кодирования.

Фиг. 4 показывает схему для описания примера временного масштабируемого кодирования.

Фиг. 5 показывает схему, предназначенную для описания примера масштабируемого кодирования отношения сигнал-шум.

Фиг. 6 показывает схему, предназначенную для описания примера среза.

Фиг. 7 показывает схему, предназначенную для описания примера плитки.

Фиг. 8 показывает схему, описывающую пример управляющей ссылки базового уровня.

Фиг. 9 показывает схему, предназначенную для описания примера установки плитки.

Фиг. 10 является схемой для описания другого примера управляющей ссылки базового уровня.

Фиг. 11 является диаграммой для описания примера параллельного процесса.

Фиг. 12 является диаграммой для описания примера способа выделения идентификационного номера плитки.

Фиг. 13 является диаграммой для описания примера синтаксиса набора параметров изображения.

Фиг. 14 является продолжением фиг. 13 для описания примера синтаксиса набора параметров изображения.

Фиг. 15 является диаграммой для описания примера синтаксиса заголовка среза.

Фиг. 16 является продолжением фиг. 15 для описания примера синтаксиса заголовка среза.

Фиг.17 является продолжением фиг. 16 для описания примера синтаксиса заголовка среза.

Фиг. 18 является блок-схемой, иллюстрирующей пример основной конфигурации устройства кодирования изображения.

Фиг. 19 является блок-схемой, иллюстрирующей пример основной конфигурации секции кодирования изображения базового уровня.

Фиг. 20 является блок-схемой, иллюстрирующей пример основной конфигурации секции кодирования изображения усовершенствованного уровня.

Фиг. 21 является блок-схемой, иллюстрирующей пример основной конфигурации секции синхронизации области.

Фиг. 22 является блок-схемой алгоритма для описания примера потока процесса кодирования изображения.

Фиг. 23 является блок-схемой алгоритма для описания примера потока процесса кодирования базового уровня.

Фиг. 24 является блок-схемой алгоритма для описания примера потока процесса кодирования усовершенствованного уровня.

Фиг. 25 является блок-схемой алгоритма для описания примера потока процесса кодирования усовершенствованного уровня, продолжение фиг. 24.

Фиг. 26 является блок-схемой, иллюстрирующей пример основной конфигурации устройства декодирования изображения.

Фиг. 27 является блок-схемой, иллюстрирующей пример основной конфигурации секции декодирования изображения базового уровня.

Фиг. 28 является блок-схемой, иллюстрирующей пример основной конфигурации секции декодирования изображения усовершенствованного уровня.

Фиг. 29 является блок-схемой, иллюстрирующей пример основной конфигурации секции синхронизации области.

Фиг. 30 является блок-схемой алгоритма для описания примера потока процесса декодирования изображения.

Фиг. 31 является блок-схемой алгоритма для описания примера потока процесса декодирования базового уровня.

Фиг. 32 является блок-схемой алгоритма для описания примера потока процесса декодирования усовершенствованного уровня.

Фиг. 33 является блок-схемой алгоритма для описания примера потока процесса декодирования усовершенствованного уровня, продолжение фиг. 32.

Фиг. 34 показывает схему, иллюстрирующую пример схемы кодирования многопроекционного изображения.

Фиг. 35 показывает схему, иллюстрирующую пример основной конфигурации устройства кодирования многопроекционного изображения, к которому применяется настоящее изобретение.

Фиг. 36 показывает схему, иллюстрирующую пример основной конфигурации устройства декодирования многопроекционного изображения, к которому применяется настоящее изобретение.

Фиг. 37 является блок-схемой, иллюстрирующей пример основной конфигурации компьютера.

Фиг. 38 является блок-схемой, иллюстрирующей пример схематичной конфигурации телевизионного устройства.

Фиг. 39 является блок-схемой, иллюстрирующей пример схематичной конфигурации мобильного телефона.

Фиг. 40 является блок-схемой, иллюстрирующей пример схематической конфигурации устройства записи/воспроизведения.

Фиг. 41 является блок-схемой, иллюстрирующей пример схематичной конфигурации устройства захвата изображения.

Фиг. 42 представляет собой блок-схему, иллюстрирующую пример использования масштабируемого кодирования.

Фиг. 43 представляет собой блок-схему, иллюстрирующую другой пример использования масштабируемого кодирования.

Фиг. 44 представляет собой блок-схему, иллюстрирующую другой пример использования масштабируемого кодирования.

Фиг. 45 является блок-схемой, иллюстрирующей пример схематичной конфигурации устройства воспроизведения видео.

Фиг. 46 является блок-схемой, иллюстрирующей пример схематичной конфигурации видеопроцессора.

Фиг. 47 представляет собой блок-схему, иллюстрирующую другой пример схематической конфигурации видеопроцессора.

Фиг. 48 представляет собой пояснительную схему, иллюстрирующую конфигурацию системы воспроизведения контента.

Фиг. 49 представляет собой пояснительную схему, иллюстрирующую поток данных в системе воспроизведения контента.

Фиг. 50 представляет собой пояснительную схему, иллюстрирующую конкретный пример MPD.

Фиг.51 является функциональной блок-схемой, иллюстрирующей конфигурацию контент-сервера системы воспроизведения контента.

Фиг. 52 показывает функциональную блок-схему, иллюстрирующую конфигурацию устройства воспроизведения контента, системы воспроизведения контента.

Фиг. 53 является функциональной блок-схемой, иллюстрирующей конфигурацию контент-сервера системы воспроизведения контента.

Фиг. 54 является диаграммой последовательности, иллюстрирующей пример обработки связи посредством соответствующих устройств системы беспроводной связи.

Фиг. 55 является диаграммой последовательности, иллюстрирующей пример обработки связи посредством соответствующих устройств системы беспроводной связи.

Фиг. 56 представляет собой схему, схематично иллюстрирующую пример конфигурации формата кадра, передаваемого и принимаемого в процессе связи посредством соответствующих устройств системы беспроводной связи.

Фиг. 57 является диаграммой последовательности, иллюстрирующей пример обработки связи посредством соответствующих устройств системы беспроводной связи.

Осуществление изобретения

Далее будет приведено описание вариантов (далее именуемые как «варианты осуществления») для осуществления настоящего изобретения. Описание будет приведено в следующем порядке.

1. Основное описание настоящего изобретения

2. Первый вариант осуществления (устройство кодирования изображения)

3. Второй вариант осуществления (устройство декодирования изображения)

4. Третий вариант осуществления (устройство кодирования многопроекционного изображения и устройство декодирования многопроекционного изображения)

5. Четвертый вариант осуществления (компьютер)

6. Примеры применения

7. Примеры применения масштабируемого кодирования

8. Пятый вариант осуществления (набор, блок, модуль и процессор)

9. Пример применения системы воспроизведения контента MPEG-DASH

10. Пример применения системы беспроводной связи Wi-Fi стандарта

1. Основное описание настоящего изобретения

Обзор

Схема кодирования

Далее настоящее изобретение будет описано в связи с применением схемы высокоэффективного видеокодирования (HEVC) к процессам кодирования и декодирования.

Блок кодирования

В схеме усовершенствованного кодирования видеосигнала (AVC) определяется иерархическая структура, основанная на макроблоке и суб макроблоке. Тем не менее макроблок 16×16 пикселей не является оптимальным для большого кадра изображения, такого как сверхвысокой четкости (UHD) (4000×2000 пикселей), служащего в качестве целевого для схемы кодирования следующего поколения.

С другой стороны, в HEVC схеме модуль (CU) кодирования определяется, как показано на фиг. 1.

CU также упоминается как блок (СТВ) кодового дерева, и служит в качестве частичной области изображения модуля кадра, выполняющий аналогичную роль макроблока в AVC схеме. Последнее прикреплен к размеру 16×16 пикселей, но первый не фиксируется до определенного размера, но обозначен в информации сжатия изображения в каждой последовательности.

Например, наибольший модуль кодирования (LCU) и наименьший модуль кодирования (SCU) CU указаны в наборе параметров последовательности (SPS), включенного в состав кодированных данных, для вывода.

Так как split_flag=1, являясь набором в диапазоне, в котором каждый LCU не меньше, чем SCU, то модуль кодирования может быть разделен на CUs, имеющие меньший размер. В примере на фиг. 1, размер LCU равен 128 и наибольшая масштабируемая глубина равна 5. CU размера 2N×2Ν делится на CUs, имеющие размер Ν×N, служащий в качестве уровня, который на один уровень ниже, чем значение split_flag равен 1.

Кроме того, CU делится на модули предсказания (PUs), которые являются областями (отдельные области изображения модуля кадра), выступающими в качестве модулей обработки внутрикадрового или межкадрового предсказания, и делятся на модули преобразования (TUs), которые являются областями (частичные области изображения модуля кадра), выступающие в качестве модулей обработки ортогонального преобразования. В настоящее время в схеме HEVC, в дополнение к 4×4 и 8×8, может использоваться ортогональное преобразование 16×16 и 32×32.

Как и в схеме HEVC, в случае схемы кодирования, в которой определяется CU и различные виды процессов выполняются в блоках CUs, в схеме AVC макроблок может рассматриваться как соответствующий LCU, и блок (подблок) можно считать, как соответствующий CU. Дополнительно, в схеме AVC блок компенсации движения может считаться, как соответствующий PU. Однако, поскольку CU имеет иерархическую структуру, размер в LCU самого верхнего уровня обычно установлен наибольшим, чем макроблок в схеме AVC, например, 128×128 пикселей.

Таким образом, далее предполагается, что LCU включает в себя макроблок в схеме AVC, и предполагается, что CU включает в себя блок (подблок) в схеме AVC. Другими словами, «блок», используемый в нижеследующем описании, обозначает произвольную часть области на изображении и, например, размер, форма и его характеристики не ограничиваются. Другими словами, «блок» включает в себя произвольную область (блок обработки), например, TU, PU, SCU, CU и LCU, подблок, макроблок или срез. Конечно, "блок" включает в себя также другие частичные области (блоки обработки). При необходимости ограничить размер, модуль обработки или тому подобного, это будет надлежащим образом описано.

Выбор режима

Более того, в схемах кодирования AVC и HEVC, для достижения высокой эффективности кодирования, важно выбрать подходящий режим предсказания.

В качестве примера такого способа отбора, существует способ, реализованный в эталонном программном обеспечении (см. http://iphome.hhi.de/suehring/tml/index.htm) H.264/MPEG-4 AVC, который называется совместная модель (JM).

В JM, как будет описано позже, можно выбрать два способа определения режима, то есть режим высокой сложности и режим низкой сложности. В обоих режимах, значения функции стоимости, относящиеся к соответствующим режимам предсказания, вычисляются, и выбирается режим предсказания, имеющий меньшее значение функции стоимости, в качестве оптимального режима для соответствующего блока или макроблока.

Функция стоимости в режиме повышенной сложности представляется следующей формулой (1):

[Выражение 1]

Здесь Ω показывает универсальный набор кандидатов режимов для кодирования соответствующего блока или макроблока, и D обозначает дифференциал энергии между декодированным изображением и входным изображением, когда выполняется кодирование в соответствующем режиме предсказания. λ обозначает неопределенный множитель Лагранжа, заданный как функция параметра квантования. R обозначает общее количество кодирования, включающее в себя коэффициент ортогонального преобразования, когда выполняется кодирование в соответствующем режиме.

Другими словами, чтобы выполнять кодирование в режиме повышенной сложности, необходимо выполнить процесс временного кодирования сразу всеми кандидатами режимов, чтобы вычислить параметры D и R и, таким образом, требуется большое количество вычислений.

Функция стоимости в режиме низкой сложности представлена следующей формулой (2):

[Выражение 2]

Здесь D отличается от режима высокой сложности и указывает на дифференциал энергии между изображением предсказания и входным изображением. QP2Quant (QP) задается в виде функции параметра QP квантования, и HeaderBit указывает на количество кодирования, относящийся к информации, принадлежащей к заголовку, такой как вектор движения или режим, в котором отсутствуют коэффициент ортогонального преобразования.

Другими словами, в режиме низкой сложности необходимо выполнить процесс предсказания для соответствующих кандидатов режимов, но так как декодированное изображение не является необходимым, то нет необходимости выполнять процесс кодирования. Таким образом, можно реализовать объем вычислений, меньший, чем в режиме высокой сложности.

Масштабируемое кодирование

Более того, существующие схемы кодирования изображения, такие как MPEG2 и AVC, имеет функцию масштабируемости. Масштабируемое кодирование относится к схеме разделения (иерархии) изображения на множество уровней и выполняется кодирование для каждого уровня. Фиг. 2 является схемой, иллюстрирующей пример схемы кодирования многоуровневого изображения.

Как показано на фиг. 2, в системе иерархии изображения, одно изображение разделено на множество уровней на основании некоторого параметра с функцией масштабирования. Другими словами, иерархия изображения (многоуровневое изображение) включает в себя множество уровней, которые отличаются на значение определенного параметра. Множество уровней многоуровневого изображения имеет базовый уровень, на котором выполняется кодирование и декодирование с использованием только изображения его собственного уровня без использования изображения другого уровня и без дополнительного уровня (который также упоминается как "усовершенствованный уровень"), на котором кодирование и декодирование выполняются с использованием изображение другого уровня. Для дополнительного уровня, изображение базового уровня может быть использовано и изображение другого не базового уровня может быть использовано.

Как правило, чтобы уменьшить избыточность, не-базовый уровень выполнен с данными (дифференциал данных) дифференциального изображения между своим собственным изображением и изображением другого уровня. Например, когда одно изображение расположено в два уровня, то есть базовый уровень и не-базовый уровень (также называемый как "усовершенствованный уровень"), изображение более низкого качества, чем исходное изображение, получают с использованием только данных базового уровня, и исходное изображение (то есть, изображение высокого качества) получают путем комбинирования данных базового уровня с данным усовершенствованного уровня.

Так как изображение имеет иерархическую структуру, как описано выше, то можно получить изображения различного качества в зависимости от ситуации. Например, для терминала, имеющего низкую способность обработки, такого как мобильный телефон, передается только информации сжатия изображения базового уровня, и воспроизводится движущееся изображение низких пространственных и временных разрешений или низкого качества, и для терминала, имеющего высокие характеристики обработки, такого как телевизор или персональный компьютер, информацию передается информация сжатия изображений усовершенствованного уровня, а также базового уровня, и воспроизводится движущееся изображение с высоким пространственным и временным разрешением или высокого качества. Другими словами, информация сжатия изображения в соответствии с возможностями терминала или сети может быть передана с сервера без выполнения процесса перекодировки.

Параметр масштабируемости

В таком процессе кодирования многоуровневого изображения и декодирования многоуровневого изображения (масштабируемого кодирования и масштабируемого декодирования), параметр с функцией масштабируемости является произвольным. Например, пространственное разрешение, как показано на фиг. 3, может быть таковым параметром (пространственная масштабируемость). Когда пространственная масштабируемость отличается, соответствующие уровни имеют разные величины разрешения изображения. Другими словами, каждое изображение раскладывается в иерархическом порядке на два уровня, то есть на базовый уровень с пространственным разрешением ниже, чем у исходного изображения, и на усовершенствованный уровень, который сочетается с изображением базового уровня, для получения исходного изображения (исходное пространственное разрешение), как показано на фиг. 3. Конечно, количество уровней является примерным, и каждое изображение может быть разложено на произвольное количество уровней.

В качестве другого параметра, имеющего такую масштабируемость, например, может рассматриваться временное разрешение (временная масштабируемость), как показано на фиг. 4. В случае временной масштабируемости, соответствующие уровни имеют разные частоты кадров. Другими словами, в этом случае, каждый кадр раскладывается в иерархическом порядке на уровни, имеющие различные частоты кадров, движущееся изображение с высокой частотой кадров может быть получено путем объединения уровня с высокой частотой кадров с уровнем с низкой частотой кадров, и исходное движущееся изображение (исходная частота кадров) может быть получено путем объединения всех уровней, как показано на фиг. 4. Число уровней является примерным, и каждое изображение может иметь произвольное число уровней.

Дополнительно, в качестве другого параметра, имеющего такую масштабируемость, например, может использоваться отношение сигнал-шум (SNR) (SNR масштабируемость). В случае масштабируемости SNR, соответствующие уровни имеют различные значения SNR. Другими словами, в этом случае, каждое изображение иерархически упорядочено на двух уровнях, то есть имеет базовый уровень SNR более низкого значения, чем у исходного изображения, и усовершенствованный уровень, который объединяется с изображением базового уровня, чтобы получить исходное значение SNR, как показано на фиг. 5. Другими словами, для информации сжатия изображения базового уровня передается