Устройство обработки изображения и способ

Устройство обработки изображения и способ

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее раскрытие относится к устройству и способу обработки изображения и, более конкретно, к устройству и способу обработки изображения, которые позволяют предотвращать снижение эффективности кодирования.

Уровень техники

В последние годы, с целью преобразования в цифровую форму информации изображения и передачи, и накопления информации с высокой эффективностью, получили распространение устройства, которые сжимают и кодируют изображения, используя избыточность, специфичную для информации изображения, в которых применяется схема кодирования, которая выполняет сжатие путем ортогонального преобразования, такое как дискретное косинусное преобразование и компенсация движения. В качестве такой схемы кодирования, например, применяется преобразование Экспертной группы движущегося изображения (MPEG).

В частности, MPEG 2 (Международная организация по Стандартизации/Международная электротехническая комиссия (ISO/IEC) 13818-2) представляет собой стандарт, который определен как схема кодирования общего назначения, и преобразует изображения с чересстрочной разверткой, изображения с прогрессивной разверткой, изображения со стандартным разрешением и изображения с высокой четкостью. В настоящее время MPEG 2 повсеместно используется для широкого диапазона приложений, таких как профессиональное использование и использование потребителем. Используя схему сжатия MPEG 2, например, в случае изображения с чересстрочной разверткой со стандартным разрешением, имеющим 720×480 пикселей, выделяется объем кодирования (скорость передачи битов) от 4 Мбит/с до 8 Мбит/с. Кроме того, используя схему сжатия MPEG 2, например, в случае изображения с чересстрочной разверткой, выделяется изображение с высоким разрешением, имеющим 1920×1088 пикселей, с объемом кодирования (скорость передачи битов) от 18 Мбит/с до 22 Мбит/с. Таким образом, становится возможным воплотить высокую степень сжатия с отличным качеством изображения.

MPEG 2 в основном предназначен для кодирования высокой четкости, пригодного для широковещательной передачи, но не поддерживает схему кодирования, имеющую объем кодирования (скорость передачи битов), ниже, чем у MPEG 1, то есть схему кодирования с более высокой степенью сжатия. Считается, что при распространении мобильных терминалов потребность в такой схеме кодирования увеличится в будущем, и, таким образом, была стандартизирована схема кодирования MPEG 4. В связи со схемой кодирования изображения, ее международный стандарт был одобрен как ISO/IEC 14496-2 в декабре 1998 г.

Кроме того, в последние годы была проведена стандартизация такого стандарта, как H.26L (International Telecommunication Union Telecommunication Standardization Sector Q6/16 Video Coding Expert Group (ITU-T Q6/16 VCEG)) с целью кодирования изображения для видеоконференции. Стандарт H.26L требует большего объема вычислений для кодирования и декодирования, чем в существующей схеме кодирования, такой как MPEG 2 или MPEG 4, но известен как воплощение более высокой эффективности кодирования. Кроме того, в настоящее время, в качестве одной из активностей MPEG 4, выполняется стандартизация по внедрению даже такой функции, которая не поддерживается в H.26L и воплощается более высокая эффективность кодирования на основе H.26L, такая как Объединенная модель кодирования видеоданных с улучшенным сжатием.

В качестве плана стандартизации, в марте 2003 г. был установлен международный стандарт, называемый Н.264 и MPEG 4 Часть 10 (который также ниже называется "Усовершенствованном кодированием видеоданных (AVC)").

Кроме того, в качестве расширения H.264/AVC, в феврале 2005 г. было стандартизировано Расширение диапазона точности воспроизведения (FRExt), включающее в себя инструмент кодирования, необходимый для профессионального использования, такой как RGB или 4:2:2, или 4:4:4, или 8×8 DCT и матрица квантования, которые установлены в MPEG 2. В результате H.264/AVC стала схемой кодирования, позволяющей также выражать шумы пленки, включенные в кинофильм, и используется в широких пределах приложений, таких как Blu-ray Disc (товарный знак).

Однако в последние годы все более увеличивается потребность в дальнейшем повышении степени сжатия при кодировании, которая позволяет сжимать изображение (которое также называется "изображение 4K"), представляющем приблизительно 4000×2000 пикселей, что в четыре раза больше, чем изображение высокой четкости, или предоставление изображения высокой четкости в среде с ограниченной пропускной способностью для передачи, такой как Интернет. С этой целью постоянно исследуются возможности улучшения эффективности кодирования в Группе экспертов кодирования видеоизображения (VCEG), в соответствии с ITU-T.

В этом отношении в настоящее время для дальнейшего улучшения эффективности кодирования, которая была бы выше, чем в AVC, выполняется стандартизация схемы кодирования, называемой Кодированием видеоданных с высокой эффективностью (HEVC) Объединенной группы по сотрудничеству в области кодирования видеоданных (JCTVC), которая представляет собой объединенную организацию по стандартизации ITU-T и ISO/IEC. В стандарте HEVC проект комиссии, который представляет собой первый проект описания, был выпущен в феврале 2012 (см. Непатентный документ 1).

В случае HEVC, в общем, информация, которую передают со стороны кодирования на сторону декодирования, включает в себя элементы синтаксиса для Ρ срезов и В срезов, то есть элементы синтаксиса, относящиеся при обработке между экранами, а также к синтаксису для i срезов.

В то же время был предложен профиль неподвижного изображения, используемый как профиль для использования HEVC в качестве кодека неподвижного изображения (например, см. Непатентный документ 2).

Поскольку профиль неподвижного изображения представляет собой профиль для кодирования и декодирования неподвижных изображений, когда этот профиль применяется, элементы синтаксиса, относящиеся к обработке между экранами, становятся ненужными.

Список литературы

Непатентные документы

Непатентный документ 1: Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Thomas Wiegand, "High efficiency video coding (HEVC) text specification draft 8," JCTVC-H1003_d7, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 10th Meeting: Stockholm, SE, 11-20 July 2012

Непатентный документ 2: Kemal Ugur, Jani Lainema, Miska Hannuksela, "On still picture profile," JCTVC-J0037, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 10th Meeting: Stockholm, SE, 11-20 July 2012

Раскрытие изобретения

Задачи, решаемые изобретением

Однако, в случае способа, раскрытого в Непатентном документе 2, управление над элементами синтаксиса, относящееся к обработке между экранами, не выполняется. Другими словами, аналогично случаю профиля движущегося изображения, элементы синтаксиса, относящиеся к обработке между экранами, передают со стороны кодирования на сторону декодирования. Таким образом, эффективность кодирования, вероятно, будет понижена, поскольку выполняется передача ненужной информации.

Настоящее раскрытие было выполнено с учетом описанного выше, и при этом желательно обеспечить возможность предотвращения снижения эффективности кодирования.

Решения задачи

Устройство обработки изображения, в соответствии с аспектом настоящей технологии, представляет собой устройство обработки изображения, включающее в себя модуль приема для приема кодированного потока битов, включающего в себя элемент синтаксиса, относящийся к обработке между изображениями, и модуль анализа для анализа элемента синтаксиса, принятого модулем приема, в состоянии, в котором ограничено значение элемента синтаксиса, когда поток битов представляет собой поток битов, кодированный на основе профиля, для кодирования неподвижного изображения.

Устройство обработки изображения может дополнительно включать в себя модуль декодирования для декодирования потока битов, используя элемент синтаксиса, анализируемый модулем анализа.

Устройство обработки изображения может дополнительно включать в себя модуль определения для определения, было или нет значение элемента синтаксиса, принятое модулем приема, соответствующим образом ограничено, когда поток битов представляет собой поток битов, кодированный на основе профиля, для кодирования неподвижного изображения.

Устройство обработки изображения может дополнительно включать в себя модуль обработки ненормального состояния для выполнения обработки ненормального состояния, когда модуль определения определяет, что значение элемента синтаксиса не было правильным образом ограничено.

Элемент синтаксиса может быть сохранен в параметре последовательности, установленном в потоке битов.

Элемент синтаксиса может представлять собой синтаксис, относящийся к опорному изображению.

Элемент синтаксиса может представлять собой синтаксис, относящийся к числу опорных изображений.

Устройство обработки изображения может дополнительно включать в себя модуль определения для определения, представляет ли значение элемента синтаксиса, принятое модулем приема, заданное значение.

Заданное значение может быть равно 0.

Способ обработки изображения, в соответствии с аспектом настоящей технологии, представляет собой способ обработки изображения, включающий в себя этапы, на которых принимают кодированный поток битов, включающий в себя элемент синтаксиса, относящийся к обработке между изображениями, и анализируют принятый элемент синтаксиса в состоянии, в котором значение элемента синтаксиса ограничено, когда поток битов представляет собой поток битов, кодированный на основании профиля для кодирования неподвижного изображения.

Кроме того, поток битов может быть декодирован, с использованием проанализированного элемента синтаксиса.

Может быть определено, было ли значение принятого элемента синтаксиса правильно ограничено, когда поток битов представляет собой поток битов, кодированный на основе профиля, для кодирования неподвижного изображения.

Обработка ненормального состояния может быть выполнена, когда определяют, что значение элемента синтаксиса не может быть соответствующим образом ограничено.

Элемент синтаксиса может быть сохранен в параметре последовательности, установленном в потоке битов.

Элемент синтаксиса может представлять собой синтаксис, относящийся к опорному изображению.

Элемент синтаксиса может представлять собой синтаксис, относящийся к количеству опорных изображений.

Кроме того, может быть определено, является ли значение принятого элемента синтаксиса заданным значением.

Заданное значение может быть равно 0.

В соответствии с аспектом настоящей технологии, принимают кодированный поток битов, включающий в себя элемент синтаксиса, относящийся к обработке между изображениями, и принятый элемент синтаксиса анализируют в состоянии, в котором значение элемента синтаксиса ограничено, когда поток битов представляет собой поток битов, кодированный на основе профиля, для кодирования неподвижного изображения.

Эффекты изобретения

В соответствии с настоящим раскрытием, возможно кодировать и декодировать изображение. В частности, возможно предотвращать снижение эффективности кодирования.

Краткое описание чертежей

На фиг. 1 показана схема для описания примерной конфигурации модуля кодирования.

На фиг. 2 показана схема для описания элемента мозаичного изображения.

На фиг. 3 представлена схема, иллюстрирующая примерный уровень слоя профиля (Profile_tier_level).

На фиг. 4 представлена схема, иллюстрирующая примерный набор параметров видеоданных (VPS).

На фиг. 5 представлена схема, иллюстрирующая примерный набор параметров последовательности (SPS).

На фиг. 6 представлена схема, иллюстрирующая примерную установку параметра последовательности (SPS), продолжение фиг. 5.

На фиг. 7 представлена схема, иллюстрирующая другой примерный уровень слоя профиля (Profile_tier_level).

На фиг. 8 представлена схема, иллюстрирующая другой примерный набор параметров видеоданных (VPS).

На фиг. 9 представлена схема, иллюстрирующая другой примерный набор параметров последовательности (SPS).

На фиг. 10 представлена схема, иллюстрирующая другой примерный набор параметров последовательности (SPS), продолжение фиг. 9.

На фиг. 11 представлена схема, иллюстрирующая еще один другой примерный набор параметров видеоданных (VPS).

На фиг. 12 представлена схема, иллюстрирующая еще один другой примерный набор параметров последовательности (SPS).

На фиг. 13 представлена схема, иллюстрирующая еще один другой примерный набор параметров последовательности (SPS), продолжение фиг. 12.

На фиг. 14 представлена схема, иллюстрирующая примерный набор параметров изображения (PPS).

На фиг. 15 представлена схема, иллюстрирующая примерный набор параметров изображения (PPS), продолжение фиг. 14.

На фиг. 16 представлена схема, иллюстрирующая примерные данные списка масштабирования (scaling_list_data()).

На фиг. 17 представлена схема, иллюстрирующая примерную семантику ID размера (SizeID).

На фиг. 18 представлена схема, иллюстрирующая примерную семантику ID размера (SizeID) и ID матрицы (MatrixID).

На фиг. 19 представлена схема, иллюстрирующая другие данные примерного списка масштабирования (scaling_list_data()).

На фиг. 20 представлена схема, иллюстрирующая примерный заголовок среза (slice_header()).

На фиг. 21 представлена схема, иллюстрирующая примерный заголовок среза (slice_header()), продолжение фиг. 20.

На фиг. 22 представлена схема, иллюстрирующая примерный заголовок среза (slice_header()), продолжение фиг. 21.

На фиг. 23 представлена схема, иллюстрирующая примерное выделение nal_unit_type.

На фиг. 24 показана схема для описания примерной Области интереса (ROI).

На фиг. 25 показана блок-схема, иллюстрирующая примерную основную конфигурацию устройства кодирования изображения.

На фиг. 26 показана блок-схема, иллюстрирующая примерную основную конфигурацию модуля кодирования без потерь.

На фиг. 27 представлена блок-схема последовательности операций для описания примерного потока обработки кодирования.

На фиг. 28 представлена блок-схема последовательности операций для описания примерного потока обработки кодирования, продолжение фиг. 27.

На фиг. 29 представлена блок-схема последовательности операций для описания примерного потока обработки кодирования без потерь.

На фиг. 30 представлена блок-схема последовательности операций для описания примерного потока обработки установки элемента синтаксиса.

На фиг. 31 показана блок-схема, иллюстрирующая другую примерную конфигурацию устройства кодирования изображения.

На фиг. 32 представлена блок-схема последовательности операций для описания другого примерного потока обработки кодирования.

На фиг. 33 представлена блок-схема последовательности операций для описания другого примерного потока обработки кодирования, продолжение фиг. 32.

На фиг. 34 показана блок-схема, иллюстрирующая примерную основную конфигурацию устройства декодирования изображения.

На фиг. 35 показана блок-схема, иллюстрирующая примерную основную конфигурацию модуля декодирования без потерь.

На фиг. 36 представлена блок-схема последовательности операций для описания примерного потока обработки декодирования.

На фиг. 37 представлена блок-схема последовательности операций для описания примерного потока обработки декодирования, продолжение фиг. 36.

На фиг. 38 представлена блок-схема последовательности операций для описания примерного потока обработки анализа элемента синтаксиса.

На фиг. 39 показана блок-схема, иллюстрирующая другую примерную конфигурацию устройства декодирования изображения.

На фиг. 40 показана блок-схема, иллюстрирующая другую примерную конфигурацию модуля декодирования без потерь.

На фиг. 41 представлена блок-схема последовательности операций для описания другого примерного потока обработки декодирования.

На фиг. 42 представлена блок-схема последовательности операций для описания другого примерного потока обработки декодирования, продолжение фиг. 41.

На фиг. 43 представлена блок-схема последовательности операций для описания примерного потока обработки инспекции элемента синтаксиса.

На фиг. 44 представлена схема, иллюстрирующая примерную схему кодирования многопроекционного изображения.

На фиг. 45 представлена схема, иллюстрирующая примерную основную конфигурацию устройства кодирования многопроекционного изображения, в котором применяется настоящая технология.

На фиг. 46 представлена схема, иллюстрирующая примерную основную конфигурацию устройства декодирования многопроекционного изображения, в котором применяется настоящая технология.

На фиг. 47 представлена схема, иллюстрирующая примерную схему кодирования масштабируемого изображения.

На фиг. 48 показана схема для описания примерного пространственного масштабируемого кодирования.

На фиг. 49 показана схема для описания примерного временного масштабируемого кодирования.

На фиг. 50 показана схема для описания примерного масштабируемого кодирования отношения сигнал-шум.

На фиг. 51 представлена схема, иллюстрирующая примерную основную конфигурацию устройства кодирования масштабируемого изображения, в котором применяется настоящая технология.

На фиг. 52 представлена схема, иллюстрирующая примерную основную конфигурацию устройства декодирования масштабируемого изображения, в котором применяется настоящая технология.

На фиг. 53 показана блок-схема, иллюстрирующая примерную основную конфигурацию компьютера.

На фиг. 54 показана блок-схема, иллюстрирующая примерную схематическую конфигурацию телевизионного устройства.

На фиг. 55 показана блок-схема, иллюстрирующая примерную схематическую конфигурацию мобильного телефона.

На фиг. 56 показана блок-схема, иллюстрирующая примерную схематическую конфигурацию устройства записи/воспроизведений.

На фиг. 57 показана блок-схема, иллюстрирующая примерную схематическую конфигурацию устройства формирования изображения.

На фиг. 58 показана блок-схема, иллюстрирующая пример использования масштабируемого кодирования.

На фиг. 59 показана блок-схема, иллюстрирующая другой пример использования масштабируемого кодирования.

На фиг. 60 показана блок-схема, иллюстрирующая еще один другой пример использования масштабируемого кодирования.

На фиг. 61 показана блок-схема, иллюстрирующая примерную схематическую конфигурацию видеонабора.

На фиг. 62 показана блок-схема, иллюстрирующая примерную схематическую конфигурацию видеопроцессора.

На фиг. 63 показана блок-схема, иллюстрирующая другую примерную схематическую конфигурацию видеопроцессора.

На фиг. 64 представлена пояснительная схема, иллюстрирующая конфигурацию системы воспроизведения содержания.

На фиг. 65 представлена пояснительная схема, иллюстрирующая поток данных в системе воспроизведения содержания.

На фиг. 66 представлена пояснительная схема, иллюстрирующая конкретный пример MPD.

На фиг. 67 показана функциональная блок-схема, иллюстрирующая конфигурацию содержания сервера системы воспроизведения содержания.

На фиг. 68 показана функциональная блок-схема, иллюстрирующая конфигурацию устройства воспроизведения содержания системы воспроизведения содержания.

На фиг. 69 показана функциональная блок-схема, иллюстрирующая конфигурацию сервера содержания системы воспроизведения содержания.

На фиг. 70 показана схема последовательности, иллюстрирующая примерную обработку связи, выполняемую устройствами системы беспроводной связи.

На фиг. 71 показана схема последовательности, иллюстрирующая примерную обработку связи, выполняемую устройствами системы беспроводной связи.

На фиг. 72 показана схема, схематично иллюстрирующая примерную конфигурацию формата фрейма передаваемого и принимаемого при обработке связи, выполняемой устройствами системы беспроводной связи.

На фиг. 73 показана схема последовательности, иллюстрирующая примерную обработку связи, выполняемую устройствами системы беспроводной связи.

Осуществление изобретения

Ниже будут описаны режимы (ниже называемые "вариантами осуществления") выполнения настоящего раскрытия. Описание будет представлено в следующем порядке.

0. Общий обзор

1. Первый вариант осуществления (устройство кодирования изображения)

2. Второй вариант осуществления (устройство кодирования изображения)

3. Третий вариант осуществления (устройство декодирования изображения)

4. Четвертый вариант осуществления (устройство декодирования изображения)

5. Пятый вариант осуществления (устройство кодирования многопроекционного изображения и устройство декодирования многопроекционного изображения)

6. Шестой вариант осуществления (устройство масштабируемого кодирования изображения и устройство масштабируемого декодирования изображения)

7. Седьмой вариант осуществления (компьютер)

8. Примеры применения

9. Примеры применения масштабируемого кодирования

10. Восьмой вариант осуществления (набор/модуль/модуль/процессор)

11. Девятый вариант осуществления (примеры применения системы воспроизведения содержания MPEG-DASH)

12. Десятый вариант осуществления (примеры применения системы беспроводной связи в соответствии со стандартом Wi-Fi)

0. Общий обзор

Схема кодирования

Ниже настоящая технология будет описана в связи с применением к схеме кодирования и декодирования HEVC.

Модуль кодирования

В AVC определена иерархическая структура, основанная на макроблоке и подмакроблоке. Однако макроблок размером 16×16 пикселей не является оптимальным для большого кадра изображения, такого как кадр сверхвысокой четкости (UHD) (4000×2000 пикселей), используемый как цель для схемы кодирования следующего поколения.

С другой стороны, в HEVC модуль кодирования (CU) определен, как представлено на фиг. 1.

CU также называется блоком дерева кодирования (СТВ), и CU представляет собой частичную область изображения для модуля изображения, который выполняет ту же роль, что и макроблок в AVC. Макроблок AVC фиксирован по размеру равным 16×16 пикселей, но размер CU в HEVC не фиксирован и обозначен в информации сжатия изображений в каждой последовательности.

Например, наибольший модуль кодирования (LCU) и наименьший модуль кодирования (SCU) в CU определены в наборе параметров последовательности (SPS), включенном в кодированные данные для вывода.

Поскольку split_flag = 1 установлен в диапазоне, в котором каждый LCU не меньше, чем SCU, модуль кодирования может быть разделен на CU, имеющие меньший размер. В примере на фиг. 1 размер LCU составляет 128×128, и большая глубина масштабирования составляет 5. CU для размера 2N×2Ν разделяют на CU, имеющие размер Ν×Ν, используемые как иерархия, которая на один уровень ниже, чем значение split_flag, равное "1".

Кроме того, CU разделен на модули прогнозирования (PU), которые представляют собой области (частичные области изображения для модуля изображения), используемые как модули обработки для прогнозирования внутри кадра или между кадрами, и разделенные на модули преобразования (TU), которые представляют собой области (частичные области изображения для модуля изображения), используемые как модули обработки ортогонального преобразования. В HEVC любой из размеров 4×4, 8×8, 16×16 и 32×32 может использоваться как модуль обработки ортогонального преобразования.

В случае схемы кодирования, в которой определен CU, и различные виды обработки выполняют в модулях CU, таких как HEVC, макроблок в AVC можно рассматривать как соответствующий LCU, и блок (подблок) можно рассматривать как соответствующий CU. Кроме того, блок компенсации движения в AVC можно рассматривать как соответствующий PU. Здесь, поскольку CU имеет иерархическую структуру, размер LCU самого верхнего уровня обычно устанавливают больше, чем макроблок в AVC, например, такой как 128×128 пикселей.

Таким образом, ниже, LCU, как предполагается, включает в себя макроблок в AVC, и CU, как предполагается, включает в себя блок (подблок) в AVC. Другими словами, "блок", используемый в следующем описании, обозначает произвольную частичную область в изображении, и, например, размер, форма и характеристики блока не ограничены. Другими словами, "блок" включает в себя произвольную область (модуль обработки), такую как TU, PU, SCU, CU, LCU, подблок, макроблок или срез. Конечно, "блок" также включает в себя любую другую частичную область (модуль обработки). Когда необходимо ограничить размер, модуль обработки и т.п., это будет соответствующим образом описано.

Выбор режима

В то же время в схемах кодирования, таких как AVC и HEVC, для достижения более высокой эффективности кодирования, важно выбирать соответствующий режим прогнозирования.

В качестве примера такого способа выбора, используется способ, воплощенный в опорном программном обеспечении (открыто по адресу http://iphome.hhi.de/suehring/tml/index.htm) для H.264/MPEG-4 AVC, называемый объединенной моделью (JM).

В JM возможно выбирать два способа определения режима, то есть режим высокой сложности и режим низкой сложности, описанный ниже. В обоих режимах рассчитывают значения функции стоимости, относящиеся к соответствующим режимам прогнозирования, и режим прогнозирования, имеющий наименьшее значение функции стоимости, выбирают как оптимальный режим для текущего блока, используемого как цель обработки.

Функция стоимости в режиме высокой сложности представлена, как в следующей формуле (1):

Математическая формула 1

Здесь Ω обозначает универсальный набор режима кандидата для кодирования текущего блока, и D обозначает дифференциальную энергию между декодируемым изображением и входным изображением, когда кодирование выполняется в соответствующем режиме прогнозирования, λ обозначает неопределенный множитель Лагранжа, заданный как функция параметра квантования. R обозначает общий объем кодирования, включающий в себя коэффициент ортогонального преобразования, когда кодирование выполняют в соответствующем режиме прогнозирования.

Другими словами, для того, чтобы выполнить кодирование в режиме высокой сложности, необходимо выполнить временную обработку кодирования один раз для всех режимов кандидатов, для того, чтобы рассчитать параметры D и R, и, таким образом, требуется больший объем расчетов.

Функция стоимости в режиме низкой сложности представлена следующей формулой (2):

Математическая формула 2

Здесь D обозначает дифференциальную энергию между прогнозируемым изображением и входным изображением, в отличие от режима высокой сложности. QP2Quant (QP) задана как функция параметра QP квантования, и HeaderBit обозначает объем кодирования, относящийся к информации, принадлежащей заголовку, такой как вектор движения или режим, не включающий в себя коэффициент ортогонального преобразования.

Другими словами, в режиме низкой сложности необходимо выполнить обработку прогнозирования для соответствующих режимов кандидатов, но поскольку это не требуется вплоть до декодируемого изображения, нет необходимости выполнять это до обработки кодирования. Таким образом, она может быть выполнена с меньшим объемом расчетов, чем в режиме высокой сложности.

Мозаичное изображение

В то же время в HEVC, мозаичное изображение, представленное на фиг. 2, установлено как модуль параллельной обработки, в дополнение к срезу, установленному в AVC.

Ширина и высота каждого элемента мозаичного изображения обозначены в информации сжатия изображения, и обработка декодирования может быть независимо выполнена для каждого элемента мозаичного изображения.

Профиль неподвижного изображения

Кроме того, в Непатентном документе 2 был предложен профиль неподвижного изображения, используемый как профиль для использования HEVC, в качестве кодека неподвижного изображения.

Однако, в случае HEVC, обычно информация, которую передают со стороны кодирования на сторону декодирования, включает в себя элементы синтаксиса для Ρ срезов и В срезов, то есть элементов синтаксиса, относящихся к обработке между экранами, а также к синтаксису для i срезов.

Поскольку профиль неподвижного изображения представляет собой профиль для кодирования и декодирования неподвижных изображений, когда этот профиль применяется, описанные выше элементы синтаксиса, относящиеся к обработке между экранами, являются ненужными. Однако, в случае способа, раскрытого в Непатентном документе 2, управление элементами синтаксиса, относящимися к обработке между экранами, не выполняется. Другими словами, аналогично случаю профиля движущегося изображения, элементы синтаксиса, относящиеся к обработке между экранами, передают со стороны кодирования на сторону декодирования. Таким образом, эффективность кодирования, вероятно, будет снижена, поскольку выполняется передача ненужной информации.

В этом отношении, в настоящей технологии, когда выполняется обработка кодирования на основе профиля для кодирования неподвижных изображений, значения элементов синтаксиса, относящихся к обработке между изображениями, ограничены, и передача ненужной информации предотвращается. В результате становится возможным предотвратить снижение эффективности кодирования.

Конкретные примеры ограничения будут описаны ниже.

0-1: Ограничение элемента синтаксиса, относящегося к подуровню

На фиг. 3 показана схема, иллюстрирующая примерный синтаксис уровня слоя профиля (profile_tier_level) в HEVC. Числа с левой стороны представлены как номера строк для описания и не включены в фактический синтаксис. Аналогично, числа с левой стороны, представленные на фиг. 4-23, которые будут описаны ниже, представлены как номера строк для описания чертежей и фактически не включены в синтаксис.

Элемент синтаксиса general_profile_idc, показанный в 5-й строке в уровне слоя профиля (profile_tier_level), представленный на фиг. 3, устанавливает, что профиль последовательности (текущая последовательность) цели обработки представляет собой профиль неподвижного изображения.

Уровень слоя профиля (profile_tier_level) на фиг. 3 называется "набор параметров видеоданных (VPS)" или "набор параметров последовательности (SPS)".

На фиг. 4 показана схема, иллюстрирующая примерный набор параметров видеоданных (VPS) в HEVC. На фиг. 5 и 6 показаны схемы, иллюстрирующие примерный набор параметров последовательности (SPS) в HEVC.

Как представлено на фиг. 4, наборе параметров видеоданных (VPS) вызывают уровень слоя профиля (profile_tier_level) в 7-й строке. Кроме того, как представлено на фиг. 5, в наборе параметров последовательности (SPS) вызывают уровень слоя профиля (profile_tier_level) в 5-й строке.

Здесь, когда выполняют кодирование на основе профиля неподвижного изображения, отсутствует глубина временного уровня (который также называется "подуровень"). Другими словами, элементы синтаксиса, относящиеся к подуровню, являются ненужными.

В этом отношении, в уровне слоя профиля (profile_tier_level) на фиг. 3, прежде чем профиль неподвижного изображения будет установлен элементом синтаксиса general_profile_idc, 0 может быть обозначен как значение параметра vps_max_sub_layers_minus1 (6-я строка), относящегося к подуровню в наборе параметров видеоданных (VPS) на фиг. 4, и 0 может быть обозначен как значение параметра sps_max_sub_layers_minus1 (3-я строка), относящееся к подуровню набора параметров последовательности (SPS) (фиг. 5 и 6).

Другими словами, когда элемент синтаксиса general_profile_idc в уровне слоя профиля (profile_tier_level) на фиг. 3 устанавливает, что профиль представляет собой профиль неподвижного изображения, 0, вероятно, может быть обозначен как значение параметра vps_max_sub_layers_minus1 (6-я строка), относящееся к подуровню в наборе параметров видеоданных (VPS) на фиг. 4, и 0, вероятно, может быть обозначен как значение параметра sps_max_sub_layers_minus1 (3-я строка), относящееся к подуровню в наборе параметров последовательности (SPS) (фиг. 5 и 6).

В результате становится возможным предотвратить считывание ненужных участков уровня слоя профиля (profile_tier_level). Другими словами, становится возможным предотвратить увеличение нагрузки, связанной со считыванием, и предотвратить считывание и передачу ненужных параметров. Таким образом, становится возможным предотвращать снижение эффективности кодирования.

Кроме того, в результате нет необходимости изменять синтаксис уровня слоя профиля (profile_tier_level), набора параметров видеоданных (VPS) и набора параметра последовательности (SPS), и становится возможным предотвращать снижение эффективности кодирования путем управления семантикой. Когда изменяется синтаксис, например, вероятно, становится сложно поддерживать совместимость синтаксиса с кодером и декодером предшествующего уровня техники, которые не поддерживают профиль неподвижного изображения. В частности, в случае кодеров и декодеров, воплощенных с использованием аппаратных средств, возникают случаи, в которых трудно обновлять синтаксис. Снижение совместимости синтаксиса, вероятно, приводит к снижению разносторонности. Однако, как описано выше, когда значения элемента синтаксиса ограничены семантикой, становится возможным поддерживать совместимость синтаксиса и предотвратить снижение разносторонности.

Кроме того, поскольку совместимость синтаксиса поддерживается, как описано выше, становится возможным легко применять общий синтаксис даже для кодирования неподвижных изображений и для кодирования движущихся изображений, и, таким образом, становится возможным легко воплощать кодер и декодер, которые обрабатывают как неподвижное изображение, так и движущееся изображение, используя общую схему. Другими словами, можно способствовать снижению размера устройства, предотвращению повышения стоимости и т.п.

0-2: Ограничение элемента синтаксиса, связанное с вызовом уровня слоя профиля

В данном случае вполне возможно воплотить такое ограничение путем изменения синтаксиса.

Как описано выше, когда уровень слоя профиля (profile_tier_level) вызывают из набора параметров видеоданных (VPS) или из набора параметров последовательности (SPS), значение элемента синтаксиса ProfilePresentFlag, относящееся к вызову уровня слоя профиля, который обозначен во время вызова, постоянно равно 1.

Другими словами, передача этого элемента синтаксиса является чрезмерной. Кроме того, оператор "if во 2-й строке уровня слоя профиля (profile_tier_level) (фиг. 3) также является ненужным.

В этом отношении синтаксис уровня слоя профиля (profile_tier_level) на фиг. 3 может быть изменен, как в примере, показанном на фиг. 7, при этом синтаксис набора параметров видеоданных (VPS) на фиг. 4 может изменяться, как в примере, представленном на фиг. 8, и синтаксис набора параметров последовательности (SPS) на фиг. 5 и 6 может изменяться, как в примере, представленном на фиг. 9 и 10.

Другими словами, уровень слоя профиля (profile_tier_level) может быть обозначен путем обозначения только элемента синтаксиса MaxNumSubLayersMinus1, относящегося к подуровню, как в примерах, показанных на фиг. 7 (в 1-й строке), на фиг. 8 (в 7-й строке), и на фиг. 9 (в 5-й строке), без обозначения элемента синтаксиса ProfilePresentFlag.

Кроме того, как представлено в 1-й - 7-й строках на фиг. 7, в уровне слоя профиля (profile_tier_level), оператор "if, в котором используется элемент синтаксиса ProfilePresentFlag, может быть исключен.

В результате становится возможным предотвратить передачу ненужного параметра и сдержать снижение эффективности кодирования. Кроме того, возможно сдерживать увеличение нагрузки, связанной с обработкой при чтении уровня слоя профиля (profile_tier_level), который связан с чтением ненужного оператора "if.

Другими словами, значение элемента синтаксиса ProfilePresentFlag, относящееся к вызову уровня слоя профиля, может быть зафиксировано равным 1.

0-3: Ограничение элемента синтаксиса, относящегося к уровню слоя профиля

В представленном выше способе, когда элемент синтаксиса max_sub_layers_minus1, относящийся к подуровню, кодируют, должна быть выполнена установка после детектирования информации в отношении того, выполняется или нет кодирование на основе профиля неподвижного изображения в последующем уровне слоя профиля (profile_tier_level()).

В этом отношении, синтаксис набора параметров видеоданных (VPS) на фиг. 4 может изменяться, как в примере, представленном на фиг. 11, и синтаксис набора параметров последовательности (SPS) на фиг. 5 и 6 может изменяться в примере, представленном на фиг. 12 и 13.

Другими словами, в наборе параметров видеоданных (VPS), как в 6-й-8-й строках (на фиг. 11), элемент синтаксиса profile_tier_level (1,0), относящийся к уровню слоя профиля, может быть обозн