Устройство и способ обработки изображения

Устройство и способ обработки изображения

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее раскрытие относится к устройству и способу обработки изображения и, в частности, к устройству и способу обработки изображения, способным сдерживать увеличение емкости запоминающего устройства, необходимой для кодирования и декодирования.

Уровень техники

В последние годы для целей оцифровки информации изображения и передачи и накопления в этом случае информации с высокой эффективностью, получили широкое распространение устройства, которые сжимают и кодируют изображения, используя особую для информации изображения избыточность, и которые используют схему кодирования, выполняющую сжатие посредством ортогонального преобразования, такого как дискретное косинусное преобразование, и компенсации движения. К такой схеме кодирования относится, например, Moving Picture Experts Group (MPEG).

В частности, MPEG2 (ISO/IEC 13818-2) является стандартом, определяемым как универсальная система кодирования изображения, и охватывает изображения с чересстрочной разверткой, изображения с прогрессивной разверткой, изображения со стандартной разрешающей способностью и изображения высокой четкости. Например, MPEG2 широко используется в широком диапазоне применений для профессионального и потребительского использования. Используя способ сжатия MPEG2, например, в случае, когда изображение с чересстрочной разверткой со стандартной разрешающей способностью имеет 720×480 пикселей, назначается объем кода (битовая скорость) 4-8 Мбит/с. Дополнительно, используя способ сжатия MPEG2, например, в случае, когда изображение с чересстрочной разверткой со стандартной разрешающей способностью имеет 1920×1088 пикселей, назначается объем кода (битовая скорость) 18-22 Мбит/с. Таким образом, можно реализовывать высокий коэффициент сжатия и превосходное качество изображения.

MPEG2 предназначен, главным образом, для кодирования высокой четкости, пригодного для вещания, но он не поддерживает схему кодированию, имеющую объем кодирования (битовую скорость) ниже MPEG1, то есть, схему кодирования с высокой степенью сжатия. В связи с распространением мобильных терминалов, потребность в такой схеме кодирования в будущем, как ожидается, должна возрастать и поэтому схема кодирования MPEG4 была стандартизирована. В отношении этой схемы кодирования изображения, в декабре 1998 г. был принят международный стандарт, утвержденный как ISO/IEC 14496-2.

Дополнительно, в последние годы для целей кодирования изображений для видеоконференций произошла стандартизация стандарта, названного H.26L (ITU-T (International Telecommunication Union Telecommunication Standardization Sector, сектор стандартизации в области электросвязи Международного союза электросвязи) Q6/16 VCEG (Video Coding Expert Group, группа экспертов по видеокодированию)). H.26L требует большего объема вычислений при кодировании и декодировании, чем существующая схема кодирования, такая как MPEG2 или MPEG4, но, как известно, позволяет реализовать высокую эффективность кодирования. Дополнительно, в настоящее время, как часть деятельности по MPEG4, основываясь на H.26L, была проведена стандартизация в виде объединенной модели (Joint Model) видеокодирования с улучшенным сжатием (Enhanced-Compression Video Coding), содержащая в себе даже функции, не поддерживаемые H.26L и реализующая более высокую эффективность кодирования.

Согласно календарному графику стандартизации, международный стандарт под названием Н.264 и MPEG-4 Часть L0 (Advanced Video Coding, здесь далее упоминаемый как H.264/AVC) был принят в марте 2003 г.

Однако, размер микроблока 16×16 пикселей может быть не оптимален для больших кадров изображения, таких как Ultra High Definition (UHD, сверхвысокое разрешение; 4000×2000 пикселей), представляющих собой цель для схемы кодирования следующего поколения.

Кроме того, в настоящее время, чтобы дополнительно повысить эффективность кодирования по сравнению с H.264/AVC, группой совместного сотрудничества по видеокодированию, CTVC (Joint Collaboration Team-Video Coding), являющейся совместной группой по стандартизации организаций ITU-T (Международный союз электросвязи - сектор телекоммуникаций) и ISO/IEC (Международная организация по стандартизации/Международная электротехническая комиссия) была проведена стандартизация схемы кодирования под названием HEVC (High Efficiency Video Coding, видеокодирование высокой эффективности). Проект Комитета по стандарту HEVC, являющийся первой версией проекта технических требований, был выпущен в феврале 2012 г. (например, смотрите непатентный документ 1).

Помимо этого, в прошлом, в качестве одной из схем трехмерного расширения HEVC, была рассмотрена схема изменения уровня CU и улучшения характеристик кодирования небазовой проекции. В качестве одного их инструментов этой схемы существует межпроекционное предсказание движения (IVMP), при котором кодированный вектор другой проекции используется в качестве возможного кандидата на вектор предсказания небазовой проекции (например, смотрите непатентный документ 2).

Например, в стандартной версии 1 HEVC существует временной инструмент MVP (TMVP), в котором вектор движения картинки с другой синхронизацией может использоваться в качестве возможного кандидата вектора предсказания. При использовании такого инструмента вектор движения (MV) кодированной картинки сохраняется для TMVP. Вектор движения (MV) кодируется минимум в блоках 4×4, но информация об этом сжимается в блоках 16×16, пока не будет направлена в TMVP. Это сжатие снижает точность предсказания вектора движения (MV), но объем памяти, хранящей вектор движения, может быть уменьшен до 1/16.

Перечень литературы

Непатентный документ

Непатентный документ 1: Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Thomas Wiegand, "High efficiency video coding (HEVC) text specification draft 6," JCTVC-H1003 ver 20, February 17, 2012

Непатентный документ 2: Yoshiya Yamamoto, Tomohiro Ikai, Tadashi Uchiumi, "3D-CE5.h related: Simplification of AMVP," JCT2-A0014, Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 111st Meeting: Stockholm, SE, 16-20 July, 2012

Раскрытие изобретения

Проблемы, решаемые изобретением

Однако в системе IVMP такая функция сжатия вектора движения не подготавливается. Другими словами, в случае IVMP вектор движения является вектором с точностью во время кодирования на другом уровне. Например, когда вектор движения кодируется в минимальных блоках 4×4, для IVMP необходим временный буфер, хранящий вектор движения с точностью 4×4.

Другими словами, в этом временном буфере необходима емкость, способная хранить по меньшей мере "вектор движения с точностью 4×4 на один экран" для одной проекции. Таким образом, во временном буфере необходима емкость, которая в 16 раз больше, чем когда сохраняется вектор движения для TMVP, который должен сжиматься с точностью до 16×16, (быть способен хранить 16 картинок).

Другими словами, емкость хранения, необходимая для кодирования и декодирования, из-за IVMP, вероятно, должна увеличиваться.

Настоящее раскрытие было сделано в свете вышесказанного и желательно, чтобы имелась возможность уменьшить увеличение емкости хранения, необходимой для кодирования и декодирования.

Решения проблем

Вариантом настоящей технологии является устройство обработки изображения, содержащее: модуль компенсации движения для выполнения компенсации движения при декодировании текущего уровня; и первый модуль сжатия для сжатия вектора движения текущего уровня, реконструированного модулем компенсации движения и используемый для компенсации движения при декодировании другого уровня.

Устройство обработки изображения может дополнительно содержать второй модуль сжатия для сжатия вектора движения текущего уровня, реконструированного модулем компенсации движения, с коэффициентом сжатия, большим, чем коэффициент сжатия первого модуля сжатия, и модуль компенсации движения может выполнять компенсацию движения при декодировании текущего уровня, с использованием вектора движения, сжатого вторым модулем сжатия.

Второй модуль сжатия может дополнительно сжимать вектор движения, сжатый первым модулем сжатия.

Блок компенсации движения может выполнять компенсацию движения при декодировании текущего уровня, с использованием вектора движения, сжатого первым модулем сжатия.

Устройство обработки изображения может дополнительно содержать: приемный модуль для приема фага, указывающего, используется ли вектор движения текущего уровня при компенсации движения во время декодирования другого уровня; и модуль выбора для выбора вектора движения, сжатого первым блоком сжатия, в качестве вектора движения текущего уровня, используемого при компенсации движения во время декодирования другого уровня, когда флаг, принятый приемным блоком, указывает что вектор движения сжат, и выбора вектора движения, который не сжат первым модулем сжатия, в качестве вектора движения текущего уровня, используемого при компенсации движения во время декодирования другого уровня, когда флаг, принятый приемным модулем, указывает, что вектор движения не сжат.

Блок компенсации движения может выполнять компенсацию движения при декодировании текущего уровня, используя вектор движения, сжатый первым модулем сжатия, независимо от значения флага, принятого приемным модулем.

Первый модуль сжатия может выбрать вектор движения, служащий в качестве репрезентативного значения, из множества векторов движения, реконструированных модулем компенсации движения, и сжать вектор движения текущего уровня.

Первый модуль сжатия может вычислять вектор движения, служащий в качестве, репрезентативного значения, используя множество векторов движения, реконструированных модулем компенсации движения, и сжать вектор движения текущего уровня.

Модуль компенсации движения может выполнять компенсацию движения, используя вектор движения, реконструированный при компенсации движения во время декодирования другого уровня.

Дополнительно, вариантом настоящей технологии является способ обработки изображения устройства обработки изображения, содержащий этапы, на которых: выполняют посредством модуля компенсации движения компенсацию движения при декодировании текущего уровня; сжимают посредством устройства обработки изображения вектор движения текущего уровня, реконструированный путем компенсации движения и используемый для компенсации движения при декодировании другого уровня.

Другим вариантом настоящей технологии является устройство обработки изображения, содержащее: модуль предсказания/компенсации движения, выполняющий предсказание и компенсацию движения при кодировании текущего уровня; и первый модуль сжатия, который сжимает вектор движения текущего уровня, сгенерированного модулем предсказания/компенсации движения и используемый для предсказания и компенсации при кодировании другого уровня.

Устройство обработки изображения может дополнительно содержать второй модуль сжатия для сжатия вектора движения текущего уровня, сгенерированный модулем предсказания/компенсации движения, с коэффициентом сжатия, большим, чем коэффициент сжатия первого модуля сжатия, и модуль предсказания/компенсации движения может выполнять предсказание и компенсацию движения при кодировании текущего уровня, используя вектор движения, сжатый вторым модулем сжатия.

Второй модуль сжатия может дополнительно сжимать вектор движения, сжатый первым модулем сжатия.

Блок предсказания/компенсации движения может выполнять предсказание и компенсацию движения при кодировании текущего уровня, используя вектор движения, сжатый первым модулем сжатия.

Устройство обработки изображения может дополнительно содержать: модуль управления для управления тем, сжимается ли вектор движения текущего уровня, используемый при предсказании и компенсации движения во время кодирования другого уровня; модуль выбора для выбора вектора движения, который не сжимается первым модулем сжатия, или вектор движения, сжатый первым модулем сжатия в качестве вектора движения текущего уровня, используемого при предсказании и компенсации движения во время декодирования другого уровня в соответствии с управлением, осуществляемым модулем управления; и модуль передачи, передающий флаг, сгенерированный модулем генерирования.

Модуль предсказания/компенсации движения может выполнять предсказание и компенсацию движения при кодировании текущего уровня, используя вектор движения, сжатый первым модулем сжатия, независимо от управления, осуществляемого модулем управления.

Первый модуль сжатия может выбрать вектор движения, служащий в качестве репрезентативного значения, из множества векторов движения, сгенерированных модулем предсказания/компенсации движения, и сжать вектор движения текущего уровня.

Первый модуль сжатия может вычислить вектор движения, служащий в качестве репрезентативного значения, используя множество векторов движения, сгенерированных модулем компенсации движения, и сжать вектор движения текущего уровня.

Блок предсказания/компенсации движения может выполнять предсказание и компенсацию движения, используя вектор движения, сгенерированный при предсказании и компенсации движения во время кодирования другого уровня.

Дополнительно, другим вариантом настоящей технологии является способ обработки изображения устройства обработки изображения, содержащий этапы, на которых: выполняют посредством устройства обработки изображения предсказание и компенсацию движения при кодировании текущего уровня; и сжимают посредством устройства обработки изображения вектор движения текущего уровня, генерируемый путем предсказания и компенсации движения и используемый для предсказания и компенсации движения при кодировании другого уровня.

В одном из вариантов настоящей технологии выполняют компенсацию движения при декодировании текущего уровня; и сжимают вектор движения текущего уровня, реконструированный путем компенсации движения и используемый для компенсации движения при декодировании другого уровня.

В другом варианте настоящей технологии выполняют предсказание и компенсацию движения при кодировании текущего уровня; и сжимают вектор движения текущего уровня, сгенерированный путем предсказания и компенсации движения и используемый для предсказания и компенсации движения при декодировании другого уровня.

Устройство обработки изображения может быть независимым устройством или может быть внутренним модулем, конфигурированным как единое устройство кодирования изображения или единое устройство декодирования изображения.

Эффекты изобретения

В соответствии с настоящим раскрытием, можно кодировать и декодировать изображение. Конкретно, можно сдерживать увеличение емкости хранения, необходимой для кодирования и декодирования.

Краткое описание чертежей

Фиг. 1 - пример конфигурации блока кодирования.

Фиг. 2 - пример схемы кодирования мультипроекционного изображения.

Фиг. 3 - пример IVMP.

Фиг. 4 - пример ссылки вектора движения, соответствующий предшествующему уровню техники.

Фиг. 5 - пример ссылки вектора движения, соответствующий настоящей технологии.

Фиг. 6 - блок-схема примерной основной конфигурации устройства кодирования изображения V0.

Фиг. 7 - блок-схема примерной основной конфигурации устройства кодирования изображения V1.

Фиг. 8 - блок-схема примерной основной конфигурации устройства кодирования изображения V2.

Фиг. 9 - блок-схема последовательности выполнения примерной последовательности операций процесса кодирования.

Фиг. L0 - блок-схема последовательности выполнения примерной последовательности операций процесса кодирования V0.

Фиг. 11 - блок-схема последовательности выполнения примерной последовательности операций процесса межкадрового предсказания движения V0.

Фиг. 12 - блок-схема последовательности выполнения примерной последовательности операций процесса кодирования V1.

Фиг. 13 - блок-схема последовательности выполнения примерной последовательности операций процесса межкадрового предсказания движения V1.

Фиг. 14 - блок-схема последовательности выполнения примерной последовательности операций процесса кодирования V2.

Фиг. 15 - блок-схема последовательности выполнения примерной последовательности операций процесса межкадрового предсказания движения V2.

Фиг.16 - блок-схема примерной основной конфигурации устройства декодирования изображения V0.

Фиг. 17 - блок-схема примерной основной конфигурации устройства декодирования изображения V1.

Фиг. 18 - блок-схема примерной основной конфигурации устройства декодирования изображения V2.

Фиг. 19 - блок-схема последовательности выполнения примерной последовательности операций процесса декодирования.

Фиг. 20 - блок-схема последовательности выполнения примерной последовательности операций процесса декодирования V0.

Фиг. 21 - блок-схема последовательности выполнения примерной последовательности операций процесса компенсации движения V0.

Фиг. 22 - блок-схема последовательности выполнения примерной последовательности операций процесса декодирования V1.

Фиг. 23 - блок-схема последовательности выполнения примерной последовательности операций процесса компенсации движения V1.

Фиг. 24 - блок-схема последовательности выполнения примерной последовательности операций процесса декодирования V2.

Фиг. 25 - блок-схема последовательности выполнения примерной последовательности операций процесса компенсации движения V2.

Фиг. 26 - пример ссылки вектора движения, соответствующий настоящей технологии.

Фиг. 27 - блок-схема примера основной конфигурации устройства кодирования изображения V0.

Фиг. 28 - блок-схема примера основной конфигурации устройства кодирования изображения V1.

Фиг. 29 - блок-схема примера основной конфигурации устройства кодирования изображения V2.

Фиг. 30 - блок-схема последовательности выполнения примерной последовательности операций процесса кодирования V0.

Фиг. 31 - блок-схема последовательности выполнения примерной последовательности операций процесса кодирования V1.

Фиг. 32 - блок-схема последовательности выполнения примерной последовательности операций процесса межкадрового предсказания движения V1.

Фиг. 33 - блок-схема последовательности выполнения примерной последовательности операций процесса кодирования V2.

Фиг. 34 - блок-схема последовательности выполнения примерной последовательности операций процесса межкадрового предсказания движения V2.

Фиг. 35 - блок-схема примерной основной конфигурации устройства декодирования изображения V0.

Фиг. 36 - блок-схема примерной основной конфигурации устройства декодирования изображения V1.

Фиг. 37 - блок-схема примерной основной конфигурации устройства декодирования изображения V2.

Фиг. 38 - блок-схема последовательности выполнения примерной последовательности операций процесса декодирования V0.

Фиг. 39 - блок-схема последовательности выполнения примерной последовательности операций процесса декодирования V1.

Фиг. 40 - блок-схема последовательности выполнения примерной последовательности операций процесса компенсации движения V1.

Фиг. 41 - блок-схема последовательности выполнения примерной последовательности операций процесса декодирования V2.

Фиг. 42 - блок-схема последовательности выполнения операций примерной последовательности операций процесса компенсации движения V2.

Фиг. 43 - пример ссылки вектора движения, соответствующий настоящей технологии.

Фиг. 44 - схема для описания примерного синтаксиса.

Фиг. 45 - блок-схема примерной основной конфигурации устройства кодирования изображения V0.

Фиг. 46 - блок-схема примерной основной конфигурации устройства кодирования изображения V1.

Фиг. 47 - блок-схема примера основной конфигурации устройства кодирования изображения V2.

Фиг. 48 - блок-схема последовательности выполнения примерной последовательности операций процесса кодирования.

Фиг. 49 - блок-схема последовательности выполнения примерной последовательности операций процесса кодирования V0.

Фиг. 50 - блок-схема последовательности выполнения примерной последовательности операций процесса кодирования V0, следующих за фиг. 49.

Фиг. 51 - блок-схема последовательности выполнения примерной последовательности операций процесса кодирования V1.

Фиг. 52 - блок-схема последовательности выполнения примерной последовательности операций процесса кодирования V1, следующих за фиг. 51.

Фиг. 53 - блок-схема последовательности выполнения примерной последовательности операций процесса межкадрового предсказания движения V1.

Фиг. 54 - блок-схема последовательности выполнения примерной последовательности операций процесса кодирования V2.

Фиг. 55 - блок-схема последовательности выполнения примерной последовательности операций процесса кодирования V2, следующих за фиг. 54.

Фиг. 56 - блок-схема последовательности выполнения примерной последовательности операций процесса межкадрового предсказания движения V2.

Фиг. 57 - блок-схема примерной основной конфигурации устройства декодирования изображения V0.

Фиг. 58 - блок-схема примерной основной конфигурации устройства декодирования изображения V1.

Фиг. 59 - блок-схема примерной основной конфигурации устройства декодирования изображения V2.

Фиг. 60 - блок-схема последовательности выполнения примерной последовательности операций процесса декодирования.

Фиг. 61 - блок-схема последовательности выполнения примерной последовательности операций процесса декодирования V0.

Фиг. 62 - блок-схема последовательности выполнения примерной последовательности операций процесса декодирования V0, следующих за фиг. 61.

Фиг. 63 - блок-схема последовательности выполнения примерной последовательности операций процесса декодирования V1.

Фиг. 64 - блок-схема последовательности выполнения примерной последовательности операций процесса декодирования V1, следующих за фиг. 64.

Фиг. 65 - блок-схема последовательности выполнения примерной последовательности операций процесса компенсации движения V1.

Фиг. 66 - блок-схема последовательности выполнения примерной последовательности операций процесса декодирования V2.

Фиг. 67 - блок-схема последовательности выполнения примерной последовательности операций процесса декодирования V2, следующих за фиг. 66.

Фиг. 68 - блок-схема последовательности выполнения примерной последовательности операций процесса компенсации движения V2.

Фиг. 69 - пример схемы кодирования масштабируемого кодирования изображения.

Фиг. 70 - пример пространственного масштабируемого кодирования.

Фиг. 71 - пример временного масштабируемого кодирования.

Фиг. 72 - пример масштабируемого кодирования отношения сигнал/шум.

Фиг. 73 - пример прореживания вектора движения.

Фиг. 74 - другой пример прореживания вектора движения.

Фиг. 75 - пример углового предсказания.

Фиг. 76 - пример пленарного предсказания.

Фиг. 77 - примерный наиболее вероятный режим.

Фиг. 78 - примерный режим, зависящий от внутрикадрового сглаживания (MDIS).

Фиг. 79 - примерный процесс сглаживания значений границ.

Фиг. 80 - пример прореживания режима внутрикадрового предсказания.

Фиг. 81 - блок-схема примерной основной конфигурации устройства масштабируемого кодирования.

Фиг. 82 - блок-схема примера основной конфигурации блока кодирования изображения основного уровня.

Фиг. 83 - блок-схема примерной основной конфигурации блока кодирования изображения улучшенного уровня.

Фиг. 84 - блок-схема примерной основной конфигурации блока обеспечения режима внутрикадрового предсказания.

Фиг. 85 - блок-схема последовательности выполнения примерной последовательности процесса генерирования общей информации.

Фиг. 86 - блок-схема последовательности выполнения примерной последовательности операций процесса кодирования.

Фиг. 87 - блок-схема последовательности выполнения примерной последовательности операций процесса кодирования базового уровня.

Фиг. 88 - блок-схема последовательности выполнения примерной последовательности операций процесса кодирования улучшенного уровня.

Фиг. 89 - блок-схема примерной основной конфигурации устройства масштабируемого декодирования.

Фиг. 90 - блок-схема примерной основной конфигурации блока декодирования изображения базового уровня.

Фиг. 91 - блок-схема примерной основной конфигурации блока декодирования изображения улучшенного уровня.

Фиг. 92 - блок-схема примерной основной конфигурации блока обеспечения режима внутрикадрового предсказания.

Фиг. 93 - блок-схема последовательности выполнения примерной последовательности операций процесса получения общей информации.

Фиг. 94 - блок-схема последовательности выполнения примерной последовательности операций процесса декодирования.

Фиг. 95 - блок-схема последовательности выполнения примерной последовательности операций процесса декодирования базового уровня.

Фиг. 96 - блок-схема последовательности выполнения примерной последовательности операций процесса декодирования улучшенного уровня.

Фиг. 97 - блок-схема последовательности выполнения примерной последовательности операций процесса предсказания.

Фиг. 98 - схема, иллюстрирующая примерный синтаксис заголовка среза.

Фиг. 99 - схема, иллюстрирующая примерный синтаксис заголовка среза, следующего за фиг. 98.

Фиг. 100 - схема, иллюстрирующая примерный синтаксис заголовка среза, следующего за фиг. 99.

Фиг. 101 - схема иллюстрирующая другой примерный синтаксис заголовка среза.

Фиг. 102 - схема, иллюстрирующая другой примерный синтаксис заголовка среза, следующего за фиг. 101.

Фиг. 103 - схема, иллюстрирующая другой примерный синтаксис заголовка среза, следующего за фиг. 102.

Фиг. 104 - блок-схема примерной основной конфигурации устройства кодирования изображения.

Фиг. 105 - блок-схема примерной основной конфигурации блока кодирования изображения базового уровня.

Фиг. 106 - блок-схема примерной основной конфигурации блока кодирования изображения улучшенного уровня.

Фиг. 107 - блок-схема примерной основной конфигурации блока межкадрового предсказания.

Фиг. 108 - блок-схема последовательности выполнения операций примерной последовательности операций процесса кодирования изображения.

Фиг. 109 - блок-схема последовательности выполнения примерной последовательности операций процесса кодирования базового уровня.

Фиг. 110 - блок-схема последовательности выполнения примерного выполнения операций процесса кодирования улучшенного уровня.

Фиг. 111 - блок-схема последовательности выполнения примерной последовательности операций процесса ссылки на информацию о движении базового уровня.

Фиг. 112 - блок-схема примерной основной конфигурации устройства декодирования изображения.

Фиг. 113 - блок-схема примерной основной конфигурации блока декодирования изображения базового уровня.

Фиг. 114 - блок-схема примерной основной конфигурации блока декодирования изображения улучшенного уровня.

Фиг. 115 - блок-схема примерной основной конфигурации блока межкадрового предсказания.

Фиг. 116 - блок-схема последовательности выполнения примерной последовательности операций процесса декодирования изображения.

Фиг. 117 - блок-схема последовательности выполнения примерной последовательности операций процесса декодирования базового уровня.

Фиг. 118 - блок-схема последовательности выполнения примерной последовательности операций процесса декодирования улучшенного уровня.

Фиг. 119 - блок-схема примерной основной конфигурации компьютера.

Фиг. 120 - блок-схема примера схематичной конфигурации телевизионного устройства.

Фиг. 121 - блок-схема примера схематичной конфигурации мобильного телефона.

Фиг. 122 - блок-схема примера схематичной конфигурации устройства записи/воспроизведения.

Фиг. 123 - блок-схема примера схематичной конфигурации устройства получения изображения.

Фиг. 124 - блок-схема примера использования масштабируемого кодирования.

Фиг. 125 - блок-схема другого примера использования масштабируемого кодирования.

Фиг. 126 - блок-схема другого примера использования масштабируемого кодирования.

Фиг. 127 - блок-схема примерной схематичной конфигурации видеокомплекта.

Фиг. 128 - блок-схема примерной схематичной конфигурации видеопроцессора.

Фиг. 129 - блок-схема примерной схематичной конфигурации видеопроцессора.

Фиг. 130 - схема примерной конфигурации системы воспроизведения контента.

Фиг. 131 - схема примерного потока данных в системе воспроизведения контента.

Фиг. 132 - схема конкретного примера MPD.

Фиг. 133 - функциональная блок-схема конфигурации сервера системы воспроизведения контента.

Фиг. 134 - функциональная блок-схема конфигурации устройства воспроизведения контента системы воспроизведения контента.

Фиг. 135 - функциональная блок-схема конфигурации сервера контента системы воспроизведения контента.

Фиг. 136 - карта последовательности операций примерного процесса связи, выполняемого устройствами системы беспроводной связи.

Фиг. 137 - карта последовательности операций примерного процесса связи, выполняемого устройствами системы беспроводной связи.

Фиг. 138 - примерная конфигурация формата кадра, передаваемого и принимаемого в процессе связи устройствами системы беспроводной связи.

Фиг. 139 - карта последовательности операций примерного процесса связи, выполняемого устройствами системы беспроводной связи.

Осуществление изобретения

Здесь далее будут описаны способы выполнения настоящего раскрытия (здесь далее упоминаемые как варианты осуществления). Описание будет продолжаться в следующем порядке.

0. Общий обзор

1. Первый вариант осуществления (устройство кодирования изображения и устройство декодирования изображения)

2. Второй вариант осуществления (устройство кодирования изображения и устройство декодирования изображения)

3. Третий вариант осуществления (устройство кодирования изображения и устройство декодирования изображения)

4. Четвертый вариант осуществления (кодирование и декодирование масштабируемого изображения)

5. Общий обзор 2 (внутрикадровое предсказание)

6. Пятый вариант осуществления (устройство кодирования масштабируемого изображения)

7. Шестой вариант осуществления (устройство декодирования масштабируемого изображения)

8. Общий обзор 3 (управление направлением предсказания)

9. Седьмой вариант осуществления (устройство кодирования изображения)

10. Восьмой вариант осуществления (устройство декодирования изображения)

11. Девятый вариант осуществления (компьютер)

12. Примеры применения

13. Примеры применения масштабируемого кодирования

14. Процессор модуля блока установки

15. Примеры применения системы воспроизведения контента для MPEG-DASH

16. Примеры применения системы беспроводной связи по стандарту Wi-Fi

0. Общий обзор

Схема кодирования

Здесь далее, настоящая технология будет описана в связи с применением к кодированию и декодированию изображения по схеме высокоэффективного видеокодирования, High Efficiency Video Coding (HEVC). При таком кодировании изображения, как Advanced Video Coding (AVC) иди HEVC, предсказание движения выполняется, используя корреляцию (между кадрами) в направлении времени.

Блок кодирования

В схеме AVC определяется иерархическая структура, основанная на макроблоке и субмакроблоке. Однако, макроблок 16×16 пикселей не является оптимальным для большого кадра изображения, такого как изображение сверхвысокой четкости, Ultra High Definition (UHD: 4000×2000 пикселей), служащее целью схемы кодирования следующего поколения.

В отличие от этого, в схеме HEVC блок кодирования (CU) определяется в соответствии с фиг. 1.

CU также упоминается со ссылкой на блок дерева кодирования (СТВ) и является частичной областью изображения в блоке картинки, который выполняет ту же самую роль, что и макроблок в схеме H.264/AVC. Хотя последний фиксирован с размером 16×16 пикселей, размер первого не фиксируется конкретно, а назначается в информации о сжатии изображения в каждой последовательности.

Например, в наборе параметров последовательности (Sequence Parameter Set, SPS), содержащемся в кодированных данных, которые должны выводиться, указываются наибольший блок кодирования (Largest Coding Unit, LCU) и наименьший блок кодирования (Smallest Coding Unit, SCU) блока CU.

Поскольку split-flag=1 устанавливается в диапазоне, в котором каждый блок LCU не меньше, чем блок SCU, кодируемый блок может быть разделен на блоки CU меньшего размера. В примере на фиг. 1 размер LCU равен 128 и наибольшая масштабируемая глубина равна 5. Блок CU с размером 2N×2N делится на CU с размером N×N, служащий в качестве иерархии, которая на один уровень ниже, когда значение split_flag равно "1".

Дополнительно, CU делится на блоки предсказания (PU), являющиеся областями, (частичными областями изображения блока картинки), служащими в качестве обрабатываемых блоков внутрикадрового или межкадрового предсказания, и делится на блоки преобразования (TU), являющиеся областями (частичными областями изображения блока картинки), служащими в качестве обрабатываемых блоков ортогонального преобразования. В настоящее время схема HEVC в дополнение к ортогональным преобразованиям 4×4 и 8×8 может использоваться для ортогональных преобразований 16×16 и 32×32.

В случае схемы кодирования, в которой CU определен и процессы различного рода выполняются в блоках CU, такой как схема HEVC, в схеме AVC макроблок может рассматриваться как соответствующий LCU и блок (субблок) может рассматриваться как соответствующий CU. Дополнительно, в схеме AVC блок компенсации движения может рассматриваться как соответствующий блоку PU. Однако, поскольку блок CU имеет иерархическую структуру, размер LCU на самом верхнем уровне обычно устанавливается большим, чем макроблок в схеме AVC, например, таким как 128×128 пикселей.

Таким образом, здесь далее блок LCU предполагается содержащим макроблок в схеме AVC и CU предполагается содержащим блок (субблок) в схеме AVC. Другими словами, термин "блок", используемый в последующем описании, относится к произвольной частичной области в картинке и, например, размер, форма и характеристики блока не ограничиваются. Другими словами, "блок" содержит произвольную область (обрабатываемый блок), такую как TU, PU, SCU, CU, LCU, субблок, макроблок или срез. Конечно "блок" содержит также и любую другую частичную область (обрабатываемый блок). При необходимости ограничить размер, обрабатываемый блок или т.п., он будет должным образом описан.

Выбор режима

В то же время, в схемах кодирования AVC и HEVC, чтобы достигнуть высокой эффективности кодирования, важно выбрать соответствующий режим предсказания.

В качестве примера такого способа выбора, существует способ, реализуемый в справочном программном обеспечении (открывается на http://iphome.hhi.de/suehring/tml/index.htm) способа H.264/MPEG-4 AVC под названием совместная модель (Joint Model, JM).

В JM можно выбрать два способа определения режима, режим высокой сложности и режим низкой сложности, как будет описано ниже. В обоих режимах вычисляются значения функции стоимости, связанные с соответствующими режимами предсказания, и режим предсказания, имеющий меньшее значение функции стоимости, выбирается в качестве оптимального режима для соответствующего блока или макроблока.

Функция стоимости в режиме высокой сложности представляется следующей формулой (1).

Математическая формула 1

Здесь, Ω указывет универсальную установку возможного режима для кодирования соответствующего блока или макроблока, и D указывает разностную энергию между декодированным изображением и входным изображением, когда кодирование в соответствующем режиме предсказания. λ указывает неопределенный множитель Лагранжа, заданный как функция параметра квантования. "R" представляет общий объем кодирования, в том числе коэффициент ортогонального преобразования, когда кодирование выполняется в соответствующем режиме.

Другими словами, чтобы выполнить кодирование в режиме высокой сложности, необходимо выполнить процесс временного кодирования один раз во всех возможных режимах, чтобы вычислить параметры D и R, и, таким образом, требуется большой объем вычислений.

Функция стоимости в режиме низкой сложности представляется следующей формулой (2).

Математическая формула 2

Здесь "D", в отличие от режима высокой сложности, представляет энергетическую разность между пред