Устройство обработки изображения

Устройство обработки изображения

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству и способу обработки изображения и, в частности, к устройству и способу обработки изображения, которые могут снижать ухудшение эффективности кодирования.

Уровень техники

В последние годы приобрело популярность устройство, которое обращается с информацией изображения как с цифровыми данными и для целей высокоэффективной передачи и хранения информации сжимает и кодирует изображение, используя способ кодирования, сжимающий изображение посредством компенсации движения и ортогонального преобразования, такого как дискретное косинусное преобразование, используя избыточность, свойственную информации изображения. К таким способам кодирования относится, например, MPEG (Moving Picture Experts Group).

В частности, MPEG2 (ISO/IEC 13818-2) определяется как гибкий способ кодирования изображений и является стандартом, охватывающим как изображения чересстрочной развертки, так и изображения построчной развертки, а также, изображения со стандартной разрешающей способностью и изображения высокой точности. Например, в настоящее время MPEG2 широко используется как для профессиональных, так и для бытовых применений. Используя способ сжатия MPEG2, в случае изображения с чересстрочной разверткой со стандартной разрешающей способностью 720×480 пикселей, назначается объем кода (битовая скорость) 4-8 Мбит/с. Используя способ сжатия MPEG2, в случае изображения с чересстрочной разверткой с высокой разрешающей способностью 1920×1088 пикселей, назначается объем кода (битовая скорость) 18-22 Мбит/с. Это позволяет иметь высокий коэффициент сжатия и превосходное качество изображения.

MPEG2 предназначен, главным образом, для кодирования изображения с высокой точностью, которое пригодно для широковещательных передач, но не работает с объемом кода (битовой скоростью), ниже, чем в MPEG1, то есть, со способом кодирования с более высоким коэффициентом сжатия. Как сказано выше, такой способ кодирования, вероятно, весьма необходим в связи с распространением портативных терминалов и, соответственно, был стандартизирован способ кодирования MPEG4. В отношении способа кодирования изображения, технические требования были утверждены в декабре 1998 г. в качестве международного стандарта с названием ISO/IEC 14496-2.

Кроме того, в последние годы для целей кодирования изображений для видеоконференций был установлен стандарт, названный H.26L (ITU-T (International Telecommunication Union Telecommunication Standardization Sector, сектор стандартизации в области электросвязи Международного союза электросвязи) Q6/16 VCEG (Video Coding Expert Group, группа экспертов по видеокодированию)). Известно, что H.26L достигает более высокой эффективности кодирования, хотя Н.26 требует при кодировании и декодировании больше вычислений, чем традиционные способы кодирования, такие как MPEG2 и MPEG4. Кроме того, как одно из направлений деятельности MPEG4, основанной на этом H.26L, стандартизация, достигающая более высокой эффективности кодирования, выполняется как Joint Model of Enhanced-Compression Video Coding (совместная модель видеокодирования с улучшенным сжатием), в которую введена функция, не поддерживаемая в H.26L.

В процессе планового проведения стандартизации в марте 2003 г. был принят международный стандарт с названием Н.264 и MPEG-4 Часть 10 (Advanced Video Coding (передовое видеокодирование), который здесь далее упоминается как AVC).

Дополнительно, как расширение H.264/AVC, в феврале 2005 г. была завершена стандартизация FRExt (Fidelity Range Extension, расширение диапазона точности воспроизведения), содержащая матрицу квантования или 8×8 DCT, определенную в MPEG-2, и инструменты кодирования, необходимые для работы, такие как RGB, 4:2:2 или 4:4:4, Соответственно, была принята система кодирования, способная, используя H.264/AVC, должным образом передавать даже шум пленки, содержащийся в кинофильме, которая используется в широком диапазоне применений, таких как диски Blu-ray (зарегистрированная торговая марка).

В последние годы, однако, возросла потребность в кодировании с повышенным коэффициентом сжатия: сжатие изображения приблизительно с 4000×2000 пикселями, соответствующего четырехкратному содержанию пикселей изображения высокой четкости; или распространение изображения высокой четкости в среде с ограниченной емкостью передачи, такой как Интернет. Это требует дополнительного исследования повышения эффективности кодирования в VCEG под руководством ITU-T.

С этой точки зрения, с целью повышения эффективности кодирования по сравнению с AVC, совместной группой по стандартизации ITU-T и ISO/IEC, известной как JCTVC (Joint Collaboration Team-Video Coding, совместная группа по сотрудничеству в области видеокодирования) проведена стандартизация способа кодирования под названием HEVC (High Efficiency Video Coding, видеокодирование высокой эффективности). В отношении HEVC в феврале 2012 г. был выпущен проект Комитета, являющийся первым проектом технических требований, (например, смотрите непатентный документ 1).

В частности, традиционный способ кодирования, такой как MPEG-2 или AVC, имеет функцию масштабируемости (масштабируемость) для кодирования изображения путем деления изображения на множество уровней.

Другими словами, на терминал с низкой способностью обработки, такой как мобильный телефон, передается информация о сжатии изображения только базового уровня (base layer) так чтобы движущееся изображение воспроизводилось с низкой пространственной временной разрешающей способностью или как изображение низкого качества; с другой стороны, в дополнение к информации о базовом уровне, на терминал с высокой способностью обработки, такой как телевизионный приемник или персональный компьютер, передается информация о сжатии изображения улучшенного уровня (улучшенный уровень), так чтобы движущееся изображение воспроизводилось с высокой пространственной временной разрешающей способностью или как изображение высокого качества. Таким образом, информация о сжатии изображения, в зависимости от способности обработки терминала или сети, может передаваться от сервера без процесса транскодирования.

Таким образом, при масштабируемом кодировании выполнение процесса предсказания между уровнями для всех картинок ведет к увеличению объема вычислений.

С этой точки зрения, было предложено указание включения/выключения (on/off) процесса предсказания между уровнями для каждой картинки (picture) в блоке NAL (NAL_Unit) (например, смотрите непатентный документ 2).

Перечень литературы

Патентный документ

Непатентные документы

Непатентный документ 1: Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Thomas Wiegand, "High efficiency video coding (HEVC) text specification draft 6", JCTVC-H1003 ver21, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG117th Meeting: Женева, CH, 21-30 ноября 2011 г.

Непатентный документ 2: Jizheng Xu, "AHG10: Selective inter-layer prediction signalling for HEVC scalable extension", JCTVC-J0239, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 1110th Meeting: Stockholm, SE, 11-20 July 2012

Раскрытие изобретения

Проблемы, решаемые изобретением

Однако, при традиционном способе информация по управлению включением/выключением (on/off) процесса предсказания между уровнями формировалась и передавалась для каждой картинки. Поэтому существовал риск, что из-за передачи информации объем кода может возрастать, ухудшая, тем самым, эффективность кодирования.

Настоящее изобретение было сделано, учитывая вышесказанное, и для снижения ухудшения эффективности кодирования.

Решения проблем

Вариантом настоящего раскрытия является устройство обработки изображения, содержащее: приемный блок, принимающий кодированные данные, в которых кодировано изображение с множеством основных уровней, и информацию управления межуровневым предсказанием, управляющую тем, выполнять ли с использованием подуровня межуровневое предсказание, которое является предсказанием между множеством основных уровней; и блок декодирования, декодирующий каждый основной уровень кодированных данных, принятых приемным блоком, выполняя межуровневое предсказание только на подуровне, указанном в информации управления межуровневым предсказанием, принятой приемным блоком.

Если текущая картинка текущего основного уровня принадлежит подуровню, указанному посредством информации управления межуровневым предсказанием как подуровень, для которого межуровневое предсказание выполняется, блок декодирования может декодировать кодированные данные текущей картинки, используя межуровневое предсказание.

Информация управления межуровневым предсказанием может указывать наивысший подуровень, для которого разрешается межуровневое предсказание; и блок декодирования, используя межуровневое предсказание, может проводить декодирование кодированных данных картинки, принадлежащих подуровням, от наинизшего подуровня к наивысшему подуровню, указанным информацией управления межуровневым предсказанием.

Информация управления межуровневым предсказанием может устанавливаться для каждого основного уровня.

Информация управления межуровневым предсказанием может устанавливаться как параметр, общий для всех основных уровней.

Приемный блок может принимать информацию управления межуровневым предсказанием пикселей, которая управляет тем, выполнять ли межуровневое предсказание пикселей, являющееся предсказанием пикселей между множеством основных уровней, и информацию управления межуровневым предсказанием синтаксиса, которая управляет тем, выполнять ли межуровневое предсказание синтаксиса, которое является предсказанием синтаксиса между множеством основных уровней, причем информация управления межуровневым предсказанием пикселей и информация управления межуровневым предсказанием синтаксиса устанавливаются независимо как информация управления межуровневым предсказанием; и блок декодирования может выполнять межуровневое предсказание пикселей, основываясь на информации управления межуровневым предсказанием пикселей, принятой приемным блоком, и выполнять межуровневое предсказание синтаксиса, основываясь на информации управления межуровневым предсказанием синтаксиса, принятой приемным блоком.

Информация управления межуровневым предсказанием пикселей может, используя подуровень, управлять тем, выполнять ли межуровневое предсказание пикселей; блок декодирования может выполнять межуровневое предсказание пикселей только на подуровне, указанном в информации управления межуровневым предсказанием пикселей; информация межуровневого предсказания синтаксиса может управлять тем, выполнять ли межуровневое предсказание синтаксиса для каждой картинки или среза; и блок декодирования может выполнять межуровневое предсказание синтаксиса только для картинки или среза, указанных в информации управления межуровневым предсказанием синтаксиса.

Информация управления межуровневым предсказанием пикселей может передаваться как наль-блок (nal_unit), набор видеопараметров (VPS (Video Parameter Set)) или расширение набора видеопараметров (vps_extension).

Информация управления межуровневым предсказанием синтаксиса может передаваться как nal-блок (nal_unit), набор параметров картинки (PPS (Picture Parameter Set)) или заголовок среза (SliceHeader).

Дополнительно, вариантом настоящей технологии является способ обработки изображения, содержащий этапы, на которых: принимают кодированные данные, в которых кодировано изображение с множеством основных уровней, и информацию управления межуровневым предсказанием, управляющую тем, выполнять ли межуровневое предсказание с использованием подуровня, которое является предсказанием между множеством основных уровней; и декодируют каждый основной уровень принятых кодированных данных, выполняя межуровневое предсказание только на подуровне, указанном в принятой информации управления межуровневым предсказанием.

Другим вариантом настоящего раскрытия является устройство обработки изображения, содержащее: блок кодирования, который кодирует каждый основной уровень данных изображения, выполняя межуровневое предсказание, являющееся предсказанием среди множества основных уровней только на подуровне, указанном в информации управления межуровневым предсказанием, которая управляет тем, должно ли выполняться межуровневое предсказание с использованием подуровня; и блок передачи, которые передает кодированные данные, полученные кодированием блоком кодирования, и информацию управления межуровневым предсказанием.

Если текущая картинка текущего основного уровня принадлежит подуровню, указанному как подуровень, для которого межуровневое предсказание выполняется посредством информации управления межуровневым предсказанием, блок кодирования может кодировать данные изображения текущей картинки, используя межуровневое предсказание.

Информация управления межуровневым предсказанием может указывать наивысший подуровень, для которого разрешается межуровневое предсказание; и блок кодирования, используя межуровневое предсказание, может кодировать данные изображения, принадлежащие подуровням, от наинизшего подуровня к наивысшему подуровню, указанным информацией управления межуровневым предсказанием.

Информация управления межуровневым предсказанием может устанавливаться для каждого основного уровня.

Информация управления межуровневым предсказанием может устанавливаться как параметры, общие для всех основных уровней.

Блок кодирования может выполнять межуровневое предсказание пикселей как предсказание пикселей среди множества основных уровней, основываясь на информации управления межуровневым предсказанием пикселей, которая управляет тем, выполнять ли межуровневое предсказание пикселей, и которая устанавливается в качестве информации управления межуровневым предсказанием; блок кодирования может выполнять межуровневое предсказание синтаксиса в качестве предсказания синтаксиса среди множества основных уровней, основываясь на информации управления межуровневым предсказанием синтаксиса, которая управляет тем, выполнять ли межуровневое предсказание синтаксиса, и которая устанавливается в качестве информации управления межуровневым предсказанием независимо от информации управления межуровневым предсказанием пикселей; и блок передачи может передавать информацию управления межуровневым предсказанием пикселей и информацию управления межуровневым предсказанием пикселей синтаксиса, которые устанавливаются независимо друг от друга, в качестве информации управления межуровневым предсказанием.

Информация управления межуровневым предсказанием пикселей может, используя подуровень, управлять тем, выполнять ли межуровневое предсказание пикселей; блок декодирования может выполнять межуровневое предсказание пикселей только на подуровне, указанном в информации управления межуровневым предсказанием пикселей; информация управления межуровневым предсказанием синтаксиса может управлять тем, выполнять ли межуровневое предсказание синтаксиса для каждой картинки или среза; и блок кодирования может выполнять межуровневое предсказание синтаксиса только для картинки или среза, указанных в информации управления межуровневым предсказанием синтаксиса.

Блок передачи может передавать информацию управления межуровневым предсказанием пикселей как nal-блок (nal_unit), набор видеопараметров (VPS (Video Parameter Set)) или расширение набора видеопараметров (vps_extension).

Блок передачи может передавать информацию управления межуровневым предсказанием синтаксиса как nal-блок (nal_unit), набор параметров картинки (PPS (Picture Parameter Set)) или заголовок среза (SliceHeader).

Дополнительно, другим вариантом настоящей технологии является способ обработки изображения, содержащий этапы, на которых: кодируют каждый основной уровень данных изображения, выполняя межуровневое предсказание, являющееся предсказанием среди множества основных уровней только на подуровне, указанном в информации управления межуровневым предсказанием, которая управляет тем, должно ли выполняться межуровневое предсказание с использованием подуровня; и передают кодированные данные, полученные кодированием, и информацию управления межуровневым предсказанием.

В варианте настоящей технологии кодированные данные, в которых кодировано изображение с множеством основных уровней, и информация управления межуровневым предсказанием, управляющая тем, выполнять ли с использованием подуровня межуровневое предсказание, которое является предсказанием между множеством основных уровней, принимаются и межуровневое предсказание выполняется только на подуровне, указанном в принятой информации управления межуровневым предсказанием; таким образом, каждый основной уровень принятых кодированных данных декодируется.

В другом варианте настоящей технологии межуровневое предсказание выполняется только на подуровне, указанном в информации управления межуровневым предсказанием, которая управляет тем, выполнять ли с использованием подуровня межуровневое предсказание, которое является предсказанием среди множества основных уровней; таким образом, каждый основной уровень данных изображения кодируется и кодированные данные, полученные кодированием, и информация управления межуровневым предсказанием передаются. Результаты изобретения

В соответствии с настоящим раскрытием, изображение может кодироваться и декодироваться и, в частности, ухудшение эффективности кодирования может быть уменьшено.

Краткое описание чертежей

Фиг. 1 - пример структуры блока кодирования.

Фиг. 2 - пример пространственного масштабируемого кодирования.

Фиг. 3 - пример временного масштабируемого кодирования.

Фиг. 4 - пример масштабируемого кодирования отношения сигнал/шум.

Фиг. 5 - пример синтаксиса набора видеопараметров.

Фиг. 6 - пример межуровневого предсказания.

Фиг. 7 - пример управления межуровневым предсказанием, используя подуровень.

Фиг. 8 - пример синтаксиса набора видеопараметров.

Фиг. 9 - блок-схема примера основной структуры устройства масштабируемого кодирования.

Фиг. 10 - блок-схема примера основной структуры блока кодирования изображения базового уровня.

Фиг. 11 - блок-схема примера основной структуры блока кодирования изображения улучшенного уровня.

Фиг. 12 - блок-схема примера основной структуры блока формирования общей информации и блока управления межуровневым предсказанием.

Фиг. 13 - блок-схема последовательности выполнения операций примера процесса кодирования.

Фиг. 14 - блок-схема последовательности выполнения операций примера процесса формирования общей информации.

Фиг. 15 - блок-схема последовательности выполнения операций примера процесса кодирования базового уровня.

Фиг. 16 - блок-схема последовательности выполнения операций примера процесса управления межуровневым предсказанием.

Фиг. 17 - блок-схема последовательности выполнения операций примера процесса кодирования улучшенного уровня.

Фиг. 18 - блок-схема последовательности выполнения операций примера процесса предсказания/компенсации движения.

Фиг. 19 - блок-схема примера основной структуры устройства масштабируемого декодирования.

Фиг. 20 - блок-схема примера основной структуры блока декодирования изображения базового уровня.

Фиг. 21 - блок-схема примера основной структуры блока декодирования изображения улучшенного уровня.

Фиг. 22 - блок-схема примера основной структуры блока получения общей информации и блока управления межуровневым предсказанием.

Фиг. 23 - блок-схема последовательности выполнения операций примера процесса декодирования.

Фиг. 24 - блок-схема последовательности выполнения операций примера процесса получения общей информации.

Фиг. 25 - блок-схема последовательности выполнения операций примера процесса декодирования базового уровня.

Фиг. 26 - блок-схема последовательности выполнения операций примера процесса управления межуровневым предсказанием.

Фиг. 27 - блок-схема последовательности выполнения операций примера процесса декодирования улучшенного уровня.

Фиг. 28 - блок-схема последовательности выполнения операций примера процесса предсказания.

Фиг. 29 - блок-схема последовательности выполнения операций примера синтаксиса набора видеопараметров.

Фиг. 30 - пример структуры подуровня.

Фиг. 31 - другой пример структуры подуровня.

Фиг. 32 - блок-схема примера основной структуры блока формирования общей информации и блока управления межуровневым предсказанием.

Фиг. 33 - блок-схема последовательности выполнения операций примера процесса формирования общей информации.

Фиг. 34 - блок-схема примера основной структуры блока получения общей информации и блока управления межуровневым предсказанием.

Фиг. 35 - блок-схема выполнения операций примера процесса получения общей информации.

Фиг. 36 - пример синтаксиса набора видеопараметров.

Фиг. 37 - блок-схема примера основной структуры блока формирования общей информации и блока управления межуровневым предсказанием.

Фиг. 38 - блок-схема последовательности выполнения операций примера процесса формирования общей информации.

Фиг. 39 - блок-схема последовательности выполнения операций примера процесса управления межуровневым предсказанием.

Фиг. 40 - блок-схема примера основной структуры блока получения общей информации и блока управления межуровневым предсказанием.

Фиг. 41 - блок-схема выполнения операций примера процесса получения общей информации.

Фиг. 42 - блок-схема последовательности выполнения операций примера процесса управления межуровневым предсказанием.

Фиг. 43 - пример управления межуровневым предсказанием пикселей и межуровневого предсказания синтаксиса.

Фиг. 44 - блок-схема примера основной структуры блока формирования общей информации и блока управления межуровневым предсказанием.

Фиг. 45 - блок-схема последовательности выполнения операций примера процесса формирования общей информации.

Фиг. 46 - блок-схема последовательности выполнения операций примера процесса кодирования базового уровня.

Фиг. 47 - блок-схема последовательности выполнения операций примера процесса управления межуровневым предсказанием.

Фиг. 48 - блок-схема последовательности выполнения операций примера процесса кодирования улучшенного уровня.

Фиг. 49 - блок-схема последовательности выполнения операций примера процесса предсказания/компенсации движения.

Фиг. 50 - блок-схема последовательности выполнения операций примера процесса внутрикадрового предсказания.

Фиг. 51 - блок-схема примера основной структуры блока получения общей информации и блока управления межуровневым предсказанием.

Фиг. 52 - блок-схема выполнения операций примера процесса получения общей информации.

Фиг. 53 - блок-схема последовательности выполнения операций примера процесса декодирования базового уровня.

Фиг.54 - блок-схема последовательности выполнения операций примера процесса управления межуровневым предсказанием.

Фиг. 55 - блок-схема последовательности выполнения операций примера процесса предсказания.

Фиг. 56 - блок-схема последовательности выполнения операций примера процесса предсказания, следующего за фиг. 55.

Фиг. 57 - пример набора параметров последовательности.

Фиг. 58 - пример набора параметров последовательности, соответствующего фиг. 57.

Фиг. 59 - пример заголовка среза.

Фиг. 60 - пример заголовка среза, следующего за фиг. 59.

Фиг. 61 - пример заголовка среза, следующего за фиг. 60.

Фиг. 62 - блок-схема примера основной конфигурации устройства кодирования изображения.

Фиг. 63 - блок-схема примера основной структуры блока кодирования изображения базового уровня.

Фиг. 64 - блок-схема примера основной структуры блока кодирования изображения улучшенного уровня.

Фиг. 65 - блок-схема последовательности выполнения операций примера процесса кодирования.

Фиг. 66 - блок-схема последовательности выполнения операций примера процесса кодирования базового уровня.

Фиг. 67 - блок-схема последовательности выполнения операций примера процесса формирования набора параметров последовательности.

Фиг. 68 - блок-схема последовательности выполнения операций примера процесса кодирования улучшенного уровня.

Фиг. 69 - блок-схема последовательности выполнения операций примера процесса внутрикадрового предсказания.

Фиг. 70 - блок-схема последовательности выполнения операций примера процесса межкадрового предсказания.

Фиг. 71 - блок-схема примера основной структуры устройства декодирования изображения.

Фиг. 72 - блок-схема примера основной структуры блока декодирования изображения базового уровня.

Фиг. 73 - блок-схема примера основной структуры блока декодирования изображения улучшенного уровня.

Фиг. 74 - блок-схема последовательности выполнения операций примера процесса декодирования изображения.

Фиг. 75 - блок-схема последовательности выполнения операций примера процесса декодирования базового уровня.

Фиг. 76 - блок-схема последовательности выполнения операций примера процесса декодирования набора параметров последовательности.

Фиг. 77 - блок-схема последовательности выполнения операций примера процесса декодирования улучшенного уровня.

Фиг. 78 - блок-схема последовательности выполнения операций примера процесса предсказания.

Фиг. 79 - блок-схема последовательности выполнения операций примера процесса управления межуровневым предсказанием.

Фиг. 80 - блок-схема последовательности выполнения операций примера процесса управления межуровневым предсказанием.

Фиг. 81 - пример способа кодирования уровневого изображения.

Фиг. 82 - пример способа кодирования мультипроекционного изображения.

Фиг. 83 - блок-схема примера основной структуры компьютера.

Фиг. 84 - блок-схема примера схематичной структуры телевизионного устройства.

Фиг. 85 - блок-схема примера схематичной структуры мобильного телефона.

Фиг. 86 - пример схематичной структуры устройства записи/воспроизведения.

Фиг. 87 - блок-схема примера схематичной структуры фотографического устройства.

Фиг. 88 - блок-схема примера использования масштабируемого кодирования.

Фиг. 89 - блок-схема другого примера использования масштабируемого кодирования.

Фиг. 90 - блок-схема другого примера использования масштабируемого кодирования.

Фиг. 91 - блок-схема примера схематичной структуры видеокомплекта.

Фиг. 92 - блок-схема примера схематичной структуры видеопроцессора.

Фиг. 93 - блок-схема другого примера схематичной структуры видеопроцессора.

Фиг. 94 - структура системы воспроизведения контента.

Фиг. 95 - поток данных в системе воспроизведения контента.

Фиг. 96 - конкретный пример управления MPD.

Фиг. 97 - функциональная блок-схема структуры сервера контента системы воспроизведения контента.

Фиг. 98 - функциональная блок-схема структуры устройства воспроизведения контента системы воспроизведения контента.

Фиг. 99 - функциональная блок-схема структура сервера контента системы воспроизведения контента.

Фиг. 100 - карта последовательности операций примера процесса связи каждого устройства в системе беспроводной связи.

Фиг. 101 - карта последовательности операций примера процесса связи каждого устройства в системе беспроводной связи.

Фиг. 102 - пример структуры формата кадра (формат кадра) при обмене в процессе связи каждым устройством в системе беспроводной связи.

Фиг. 103 - карта последовательности операций примера процесса связи каждого устройства в системе беспроводной связи.

Осуществление изобретения

Здесь далее описываются режимы (здесь далее варианты осуществления) выполнения настоящего раскрытия. Описание делается в следующем порядке.

0. Краткое представление изобретения

1. Первый вариант осуществления (устройство кодирования изображения)

2. Второй вариант осуществления (устройство декодирования изображения)

3. Третий вариант осуществления (устройство кодирования изображения)

4. Четвертый вариант осуществления (устройство декодирования изображений)

5. Пятый вариант осуществления (устройство кодирования изображения)

6. Шестой вариант осуществления (устройство декодирования изображения)

7. Краткое представление изобретения 2

8. Седьмой вариант осуществления (устройство кодирования изображения)

9. Восьмой вариант осуществления (устройство декодирования изображения)

10. Краткое представление изобретения 3

11. Девятый вариант осуществления (устройство кодирования изображения)

12. Десятый вариант осуществления (устройство декодирования изображения)

13. Одиннадцатый вариант (управление межуровневым предсказанием синтаксиса)

14. Прочее

15. Двенадцатый вариант осуществления (компьютер)

16. Пример применения

17. Пример применения масштабируемого кодирования

18. Тринадцатый вариант осуществления (комплект/блок/модуль/процессор)

19. Четырнадцатый вариант осуществления (пример применения системы воспроизведения контента MPEG-DASH)

20. Пятнадцатый вариант осуществления (пример применения системы беспроводной связи Wi-Fi)

0. Краткое представление изобретения

Способ кодирования

Настоящий способ будет описан, основываясь на примере, в котором настоящий способ применяется для кодирования или декодирования изображения по способу HEVC (High Efficiency Video Coding, видеокодирование высокой эффективности).

Блок кодирования

При способе AVC (Advanced Video Coding, перспективное видеокодирование) определяется структура уровней макроблоков и субмакроблоков. Макроблоки 16 пикселей × 16 пикселей, однако, не являются оптимальными для кадра картинки с таким высоким разрешением, как UHD (Ultra High Definition, ультравысокое разрешение: 4000 пикселей × 2000 пикселей), который должен кодироваться по способу кодирования следующего поколения.

В отличие от этого, в способе HEVC блок кодирования (CU (Coding Unit, блок кодирования)) определяется в соответствии с фиг. 1.

CU также упоминается как блок дерева кодирования (Coding Tree Block, СТВ) и является частичной областью изображения в блоке картинки, который выполняет роль, подобную макроблоку в способе AVC. Хотя последний фиксирован с размером 16×16 пикселей, размер первого не фиксирован и описывается в информации о сжатии изображения в каждой из последовательностей.

Например, в наборе параметров последовательности (SPS (Sequence Parameter Set)), содержащемся в кодированных данных, которые должны выводиться, определяются максимальный размер (LCU (Largest Coding Unit, наибольший блок кодирования)) и минимальный размер (SCU (Smallest Coding Unit, наименьший блок кодирования)).

В каждом LCU, разделяя блок на части, диапазон размера которых становится не меньшим, чем размер SCU, как split-flag=1, блок может быть разделен на меньшие CU. В примере, показанном на фиг. 1, размер LCU равен 128 и наибольшая глубина уровня равна 5. Когда split_flag имеет значение "1", CU с размером 2N×2Ν делится на CU с размером Ν×N в одном, более низком уровне.

Кроме того, CU делится на блоки предсказания (Prediction Unit (PU)), каждую область, служащую в качестве обрабатываемого блока при межкадровом предсказании или внутрикадровом предсказании (частичная область изображения в блоке картинки), и на блоки преобразования (Transform Unit (TU)), каждую область, служащую в качестве обрабатываемого блока при ортогональном предсказании (частичная область изображения в блоке картинки). В настоящее время система HEVC в дополнение к ортогональным преобразованиям 4×4 и 8×8 может использоваться для ортогональных преобразований 16×16 и 32×32.

В случае каждого способа кодирования, для которого определяется CU и в блоке CU выполняются различные процессы, как в способе HEVC, макроблок в способе AVC соответствует LCU и блок (субблок) соответствует CU. Кроме того, блок компенсации движения в способе AVC соответствует PU. Однако, поскольку CU имеет уровневую структуру, LCU наивысшего уровня имеет размер, который обычно устанавливается большим, чем макроблок в способе AVC, и имеет, например, размер 128×128 пикселей.

Поэтому в приведенном ниже описании в способе AVC LCU содержит в себе макроблоки, и в способе AVC CU содержит в себе блок (субблок). Другими словами, термин "блок", используемый ниже в описании, относится к любой частичной области картинки и его размер, форма и характеристики не ограничиваются. Поэтому, "блок" содержит в себе любую область (блок обработки), такую как TU, PU, SCU, CU, LCU, субблок, макроблок или срез. Разумеется, другие области (блок обработки), отличные от указанных выше, также содержатся в этом термине. Если существует необходимость ограничить размер или блок обработки, описание будет сделано соответствующим образом.

В этом описании CTU (Coding Tree Unit) является блоком, содержащим параметр, когда процесс выполняется его блоком СТВ (Coding Tree Block) блока LCU (Largest Coding Unit, наибольшего блока кодирования) и базовым (уровневым) LCU. Кроме того, CU (Coding Unit) в CTU является блоком, содержащим параметр, когда процесс выполняется его блоком СВ (Coding Block) и базовым (уровневым) LCU.

Выбор режима

Чтобы достигнуть более высокой эффективности кодирования в способах кодирования AVC и HEVC, важен выбор соответствующего режима предсказания.

Например, выбор может быть сделан из числа способов, имеющихся в опорном программном обеспечении (опубликовано в http://iphome.hhi.de/suehring/tml/index.htm) способа H.264/MPEG-4 AVC под названием JM (Joint Model, совместная модель).

В JM выбор может делаться между двумя способами определения режима: режим высокой сложности (High Complexity Mode) и режим низкой сложности (Low Complexity Mode), как описано ниже. В любом из режимов вычисляется значение функции стоимости для каждого режима предсказания "Mode" и режим предсказания, минимизирующий значение функции стоимости, выбирается в качестве оптимального режима для блока или макроблока.

Функция стоимости в режиме высокой сложности (High Complexity Mode) такова, как показано ниже формулой (1).

Математическая формула 1

В этой формуле Ω является универсальным набором возможных режимов для кодирования блока до макроблока, D является разностной энергией между декодированным изображением и входным изображением, когда кодирование выполняется в режиме предсказания, λ является множителем Лагранжа, заданным как функция параметра квантования, и R является общим объемом кода, содержащим коэффициент ортогонального преобразования, когда кодирование выполняется в этом режиме.

Другими словами, для кодирования в режиме высокой сложности требуется вычисление параметров D и R; таким образом, временной процесс кодирования необходимо выполнять каждый раз во всех возможных режимах и это требует большего объема вычислений.

Функция стоимости в режиме низкой сложности (Low Complexity Mode) представляется следующей формулой (2). Математическая формула 2

В этой формуле D является разностной энергией между предсказанным изображением и входным изображением, которая отличается от разностной энергии в случае режима высокой сложности. QP2Quant(QP) задается как функция параметра квантования QP и HeaderBit является объемом кодирования для информации, принадлежащей заголовку, такой как вектор движения или режим, который не содержит коэффициент ортогонального преобразования.

То есть, режим низкой сложности требует процесса предсказания для каждого возможного режима, но не нуждается в декодированном изображении; таким образом, процесс кодирования не требуется. Таким образом, объем вычислений может быть меньше, чем в режиме высокой сложности.

Уровневое кодирование

Традиционный способ кодирования изображения, такой как MPEG2 или AVC, имеет функция масштабируемости (масштабируемость), как показано на фиг. 2-4. Масштабируемое кодирование (уровневое кодирование) является способом деления изображения на множество уровней (расслоение) и кодирования изображения для каждого уровня.

При расслоении изображения на уровни одно изображение делится на множество изображений (уровней), основываясь на заданном параметре. По существу, каждый уровень образуется разностными данными, так чтобы уменьшать избыточность. Например, в случае, когда одно изображение делится на два уровня, базовый уровень и улучшенный уровень, изображение с более низким качеством изображения, чем исходное изображение, получается из данных всего лишь базового уровня и путем синтезирования данных