Устройство обработки информации и способ

Устройство обработки информации и способ

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее раскрытие относится к устройству обработки информации и способу обработки информации, и, более конкретно, к устройству обработки информации и способу обработки информации, которые позволяют распознавать рабочие характеристики, требуемые для более точного декодирования.

Уровень техники

В последние годы, с целью дальнейшего улучшения эффективности кодирования по сравнению с MPEG 4 Часть 10 (Advanced Video Coding, ниже обозначается, как "AVC") Объединенная группа взаимодействия - кодирование видеоданных (JCTVC), которая представляет собой объединенный орган по стандартизации Международного союза электросвязи Сектора стандартизации (ITU-T), и Международная организация по стандартизации/Международная электротехническая комиссия (ISO/IEC) продолжили стандартизацию схемы кодирования, называемой высокоэффективное кодирование видеоданных (HEVC) (см., например, Непатентную литературу 1).

HEVC обеспечивает декодирование только области, требуемой для декодирования, путем применения и использования мозаичной структуры (Tile). Для обозначения того, что область элемента мозаичного изображения может быть независимо декодирована, во второй версии и после нее в HEVC (включая в себя MV-HEVC, SHVC, Range Ext. и т.п.) поддерживается наборами SEI мозаичного изображения с ограниченным движением.

В частности, в качестве технологии распределения содержания, в которой используется протокол передачи гипертекста (HTTP), используется динамическая адаптивная потоковая передача, в соответствии со стандартом Группы экспертов в области движущегося изображения через HTTP (MPEG-DASH) (см., например, Непатентную литературу 2). С использованием MPEG-DASH потоки битов данных изображения, кодированных с использованием схемы кодирования, такой как HEVC, описанной выше, распределяют и формируют в заданном формате файла, таком как, например, формат файла МР4.

Список литературы

Непатентная литература

Непатентная литература 1: Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Ye-Kui Wang, Thomas Wiegand, "High Efficiency Video Coding (HEVC) text specification draft 10 (for FDIS & Last Call)", JCTVC-L1003_v34, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 12th Meeting: Geneva, CH, 14-23 Jan. 2013.

Непатентная литература 2: MPEG-DASH (Dynamic Adaptive Streaming over HTTP) (URL: http: //mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-description-and-segment-formats/text-isoiec-23009-12012-dam-1).

Раскрытие изобретения

Техническая задача

Однако как в потоке битов, так и в формате файла, только значение во всем потоке или значение в единицах слоя (Layer) определено, как уровень (Level), который используется как ссылка для определения, может ли декодер декодировать поток или информацию, относящуюся к возможностям буфера (Buffer).

Поэтому, также при применении для декодирования только части всего изображения, определяют, возможно или нет декодирование, предполагая нагрузку в случае, когда декодируют весь экран, что может вовлекать риск, что потребуется декодер с излишне высоким уровнем (Level). Кроме того, также существует риск того, что приложение, которое может распределяться, может быть излишне ограничено.

Настоящее раскрытие было выполнено с учетом таких обстоятельств, и предназначено для обеспечения распознавания рабочей характеристики, требуемой для более точного декодирования.

Решение задачи

В соответствии с аспектом настоящей технологии, обеспечивается устройство обработки информации, включающее в себя: модуль генерирования файла, выполненный с возможностью генерирования файла в формате файла МР4, в котором информация для группировки множества частичных изображений, которые могут быть независимо декодированы в целое изображение, содержится в moov, и кодированные частичные изображения содержатся в mdat; и модуль хранения, выполненный с возможностью хранения файла, генерируемого модулем генерирования файла.

Информация для группирования множества частичных изображений может включать в себя информацию, указывающую ID группы, сформированной посредством объединения в группу множества частичных изображений.

Информация для объединения в группу множества частичных изображений может включать в себя информацию, указывающую соответствующие ID из множества частичных изображений, относящихся к группе, сформированной в результате формирования группы множества частичных изображений.

Информация для формирования группы множества частичных изображений может быть определена путем использования VisualSampleGroupEntry в moov.

Файл, генерируемый модулем генерирования файла, может включать в себя соответствующую информацию, указывающую множество модулей NAL, составляющих частичные изображения.

Соответствующая информация может включать в себя информацию группы, указывающую соответствующую группу для каждого из модулей NAL.

Соответствующая информация может включать в себя информацию, указывающую количество множества модулей NAL.

Соответствующая информация может включать в себя информацию, определяющую первый модуль NAL в частичных изображениях.

Частичное изображение может представлять собой элемент мозаичного изображения при высокоэффективном кодировании видеоданных (HEVC).

Частичное изображение может включать в себя множество модулей NAL.

Частичное изображение может содержаться в первом треке файла, и другое частичное изображение, которое может быть независимо декодировано во всем изображении, может быть сохранено в другом треке, чем первый трек.

Модуль передачи, выполненный с возможностью передачи файла, содержащегося в модуле хранения, на другое устройство, может быть дополнительно включен.

В соответствии с аспектом настоящей технологии обеспечивается способ обработки информации, включающий в себя этапы, на которых: генерируют файл в формате файла МР4, в котором информацию для группирования множества частичных изображений, которые могут быть независимо декодированы во всем изображении, сохраняют в moov, и кодированные частичные изображения сохраняют в mdat; и сохраняют сгенерированный файл.

В соответствии с другим аспектом настоящей технологии, обеспечивается устройство обработки информации, включающее в себя: модуль воспроизведения файла, выполненный с возможностью воспроизведения файла формата МР4, в котором информацию для группирования множества частичных изображения, которые могут быть независимо декодированы во всем изображении, сохраняют в moov, и кодированные частичные изображения сохраняют в mdat.

Информация для группирования множества частичных изображений может включать в себя информацию, указывающую ID группы, сформированной путем группирования множества частичных изображений.

Информация для группирования множества частичных изображений может включать в себя информацию, указывающую соответствующие ID множества частичных изображений, относящихся к группе, сформированной путем группирования множества частичных изображений.

Информация для группирования множества частичных изображений может быть определена путем использования VisualSampleGroupEntry в moov.

Файл может включать в себя соответствующую информацию, указывающую множество модулей NAL, составляющих частичные изображения в moov.

Соответствующая информация может включать в себя информацию группы, указывающую соответствующую группу для каждого из модулей NAL.

Соответствующая информация может включать в себя информацию, указывающую количество множества модулей NAL.

Соответствующая информация может включать в себя информацию, определяющую первый модуль NAL в частичных изображениях.

Частичное изображение может представлять собой элемент мозаичного изображения при высокоэффективном кодировании видеоданных (HEVC).

Частичное изображение может включать в себя множество модулей NAL.

Частичное изображение может быть сохранено в первом треке в файле, и другое частичное изображение, которое может быть независимо декодировано во всем изображении, может быть сохранено в другом треке, чем первый трек.

Модуль приема, выполненный с возможностью приема файла, может быть дополнительно включен в состав. Модуль воспроизведения файла может воспроизводить файл, принимаемый модулем приема.

В файле информация, указывающая места расположения частичных изображений во всем изображении, информация, указывающая размеры частичного изображения, и информация для группирования множества частичных изображений, может быть сохранена в VisualSampleGroupEntry. Модуль воспроизведения файла может выбирать область, которая требуется для воспроизведения, на основе информации, указывающей места расположения частичных изображений во всем изображении, и информации, указывающей размеры частичных изображений, и может получать данные частичных изображений, соответствующих области, которая требуется для воспроизведения, на основе информации для группирования множества частичных изображений и генерирования потока битов.

В файле информация, указывающая места расположения частичных изображений во всем изображении, информация, указывающая размеры частичных изображений и информация для группирования множества частичных изображений могут быть сохранены в TileRegionGroupEntry. Модуль воспроизведения файла может выбрать область, которую требуется воспроизвести, на основе информации, указывающей места расположения частичных изображений во всем изображении, и информации, указывающей размеры частичных изображений, может получать множество треков, соответствующих выбранной области, которую требуется воспроизвести, на основе информации по группированию множества частичных изображений, и может генерировать потоки битов частичных изображения, соответствующих полученному множеству треков.

Модуль декодирования, выполненный с возможностью декодирования потоков битов частичных изображений, воспроизведенных и генерируемых модулем воспроизведения файла, может быть дополнительно включен в состав.

В соответствии с другим аспектом настоящей технологии, предусмотрен способ обработки информации, включающий в себя: файл воспроизведения в формате файла МР4, в котором информация для группирования множества частичных изображений, которые могут быть независимо декодированы во всем изображении, содержится в moov, и кодированные частичные изображения содержатся в mdat.

В аспекте настоящей технологии генерируют файл формата файла МР4, в котором информацию для группирования множества частичных изображений, которые могут быть независимо декодированы во всем изображении, сохраняют в moov, и. кодированные частичные изображения сохраняют в mdat, и сгенерированный файл сохраняют.

В другом аспекте настоящей технологии обеспечивается воспроизведение файла формата файла МР4, в котором информацию для группирования множества частичных изображений, которые могут быть независимо декодированы во всем изображении, сохраняют в moov, и кодированные частичные изображения сохраняют в mdat.

Предпочтительные эффекты изобретения

В соответствии с настоящим раскрытием, возможно кодировать и декодировать изображение. В частности, возможно распознать рабочую характеристику, требуемую для более точного декодирования.

Краткое описание чертежей

На фиг.1 представлена схема для пояснения примера приложения для выполнения частичного отображения.

На фиг.2 представлена схема для пояснения другого примера приложения для выполнения частичного отображения.

На фиг.3 представлена схема для пояснения примера разрешающей способности подвыборки.

На фиг.4 представлена схема для пояснения общего обзора формата файла МР4.

На фиг.5 представлена схема для пояснения общего обзора формата файла МР4.

На фиг.6 представлена схема для пояснения общего обзора формата файла МР4.

На фиг.7 представлена схема, иллюстрирующая расширенный пример поля таблицы выборки.

На фиг. 8 представлена схема, иллюстрирующая пример поля информации подсказки подвыборки.

На фиг. 9 представлена схема, иллюстрирующая пример семантики независимого.

На фиг. 10 представлена схема, иллюстрирующая пример группы подвыборок.

На фиг. 11 представлена схема, иллюстрирующая другой пример поля информации подсказки подвыборки.

На фиг. 12 представлена схема, иллюстрирующая другой пример поля информации подсказки подвыборки.

На фиг. 13 представлена схема, иллюстрирующая еще один другой пример поля информации подсказки подвыборки.

На фиг. 14 представлена схема для пояснения общего обзора формата файла МР4.

На фиг. 15 представлена схема для пояснения общего обзора формата файла МР4.

На фиг. 16 представлена схема, иллюстрирующая пример расширения поля таблицы выборки.

На фиг. 17 представлена схема, иллюстрирующая пример расширения записи группы визуальной выборки.

На фиг. 18 представлена схема, иллюстрирующая пример индекса подвыборки.

На фиг. 19 представлена схема, иллюстрирующая другой пример расширения записи группы визуальной выборки.

На фиг. 20 представлена схема, иллюстрирующая еще один другой пример расширения записи группы визуальной выборки.

На фиг. 21 представлена блок-схема, поясняющая пример mcts.

На фиг. 22 представлена схема, иллюстрирующая пример синтаксиса MCTS SEI.

На фиг. 23 представлена схема, иллюстрирующая пример расширения формата файла МР4.

На фиг. 24 представлена схема, иллюстрирующая пример расширения записи группы визуальной выборки.

На фиг. 25 представлена схема, иллюстрирующая другой пример расширения записи группы визуальной выборки.

На фиг. 26 представлена схема, иллюстрирующая еще один другой пример расширения записи группы визуальной выборки.

На фиг. 27 представлена схема для пояснения примера конфигурации файла МР4 изображения элемента мозаичного изображения.

На фиг. 28 представлена схема для пояснения записи конфигурации декодера элемента мозаичного изображения HEVC.

На фиг. 29 представлена схема, иллюстрирующая пример синтаксиса временного MCTS SEI.

На фиг. 30 представлена схема для пояснения записи конфигурации декодера элемента мозаичного изображения HEVC.

На фиг. 31 представлена схема для пояснения записи конфигурации декодера элемента мозаичного изображения HEVC.

На фиг. 32 представлена схема для пояснения записи конфигурации декодера элемента мозаичного изображения HEVC.

На фиг. 33 представлена схема для пояснения записи конфигурации декодера элемента мозаичного изображения HEVC.

На фиг. 34 представлена схема для пояснения записи конфигурации декодера элемента мозаичного изображения HEVC.

На фиг. 35 представлена схема для пояснения записи конфигурации декодера элемента мозаичного изображения HEVC.

На фиг. 36 представлена схема для пояснения примера конфигурации файла МР4 элемента мозаичного изображения.

На фиг. 37 представлена схема для пояснения поля расширения элемента мозаичного изображения HEVC.

На фиг. 38 представлена схема для пояснения примера конфигурации файла МР4 элемента мозаичного изображения.

На фиг. 39 представлена блок-схема, поясняющая пример основных компонентов устройства кодирования изображения.

На фиг. 40 представлена блок-схема, поясняющая пример основных компонентов устройства декодирования изображения.

На фиг. 41 представлена блок-схема последовательности операций для пояснения примера потока обработки кодирования изображения.

На фиг. 42 представлена блок-схема последовательности операций для пояснения примера потока обработки декодирования изображения.

На фиг. 43 представлена блок-схема последовательности операций для пояснения примера потока обработки определения, возможно ли воспроизведение.

На фиг. 44 представлена блок-схема последовательности операций для пояснения примера потока обработки воспроизведения.

На фиг. 45 представлена блок-схема последовательности операций для пояснения примера потока обработки воспроизведения.

На фиг. 46 представлена блок-схема последовательности операций для пояснения примера потока обработки воспроизведения.

На фиг. 47 представлена блок-схема последовательности операций для пояснения примера потока обработки воспроизведения.

На фиг. 48 представлена блок-схема последовательности операций для пояснения примера потока обработки воспроизведения.

На фиг. 49 представлена блок-схема, поясняющая пример основных компонентов компьютера.

Осуществление изобретения

Варианты осуществления для воплощения настоящего раскрытия (ниже называются "вариантами осуществления") будут описаны ниже в следующем порядке:

1. Первый вариант осуществления (информация подсказки подвыборки);

2. Второй вариант осуществления (файл МР4);

3. Третий вариант осуществления (устройство кодирования изображения);

4. Четвертый вариант осуществления (устройство декодирования изображения);

5. Пятый вариант осуществления (компьютер).

1. Первый вариант осуществления

Поток стандартизации кодирования изображения

В последние годы получило распространение устройство, которое выполняет цифровую обработку информации изображений, и в это время выполняющее кодирование со сжатием изображения, используя избыточность, определенную для информации изображения, и используя схему кодирования для сжатия, применяя ортогональное преобразование, такое как дискретное косинусное преобразование и компенсация движения, с целью высокоэффективной передачи и накопления информации. Такая схема кодирования включает в себя, например, схему в соответствии со стандартом Группы экспертов в области движущегося изображения (MPEG).

В частности, MPEG2 (ISO/IEC 13818-2), который определен, как универсальная схема кодирования изображения, представляет собой стандарт, который поддерживает, как изображение, сканированное чересстрочной разверткой, так и изображение, сканированное с последовательной разверткой, и изображение со стандартным разрешением, и изображение с высоким разрешением. Например, MPEG2 в настоящее время широко используется в широком диапазоне приложений, предназначенных для профессионального использования и для использования потребителями. Применение схемы сжатия MPEG2 позволяет назначать количество кодирования (скорость передачи битов) 4-8 Мбит/с, если, например, изображение представляет собой изображение, полученное с чересстрочной разверткой со стандартным разрешением, имеющим 720×480 пикселей. Кроме того, использование схемы сжатия MPEG2 обеспечивает назначение количества кодирования (скорости передачи битов) 18-22 Мбит/с, если, например, изображение представляет собой изображение, сканированное с чересстрочной разверткой с высоким разрешением, имеющим 1920×1088 пикселей. Благодаря такому средству, становится возможным реализовать высокую степень сжатия и получить предпочтительное качество изображения.

В то время как MPEG2 предназначен для кодирования с высоким качеством изображения, в основном, адаптированным для широковещательной передачи данных, MPEG2 не поддерживает схему кодирования с более низким количеством кода (скоростью передачи битов), то есть, с более высокой степенью сжатия, чем MPEG1. Ожидается, что в будущем все больше будет требоваться такая схема кодирования в соответствии с распространением мобильных терминалов, и схема кодирования MPEG4 стандартизована для решения этой задачи. Стандарт в соответствии с этой схемой кодирования изображения был одобрен в качестве международного стандарта ISO/IEC 14496-2 в декабре 1998 г.

Кроме того, в последние годы была продолжена первоначально задуманная с целью кодирования изображения для телеконференции стандартизация H.26L (Международный союз электросвязи, Сектор стандартизации (ITU-T)) Q6/16 VCEG (Группа экспертов кодирования видеоданных)). Известно, что, в то время как H.26L требует большего количества операций для кодирования и декодирования, чем схемы кодирования в предшествующем уровне техники, такие как MPEG2 и MPEG4, H.26L позволяет реализовать более высокую эффективность кодирования. Кроме того, в настоящее время, как часть деятельности для MPEG4, была выполнена стандартизация для реализации более высокой эффективности кодирования на основе H.26L, при введении функций, которые не поддерживаются H.26L, как объединенная модель кодирования видеоданных с расширенным сжатием.

В качестве графика для стандартизации, такая более высокая эффективность кодирования на основе H.26L прошла международную стандартизацию в марте 2003 г., как Н.264 и MPEG 4, Часть 10 (Усовершенствованное кодирование видеоданных, ниже сокращенно обозначается, как "AVC").

Кроме того, в качестве расширения H.264/AVC, в феврале 2005 г. была завершена стандартизация инструментов кодирования, таких как RGB 4:2:2 и 4:4:4, которые требуются для профессионального использования и стандартизации расширения диапазона достоверности (FRExt), включая в себя 8×8DCT и матрицу квантования, которая была установлена в MPEG 2. Это означает, что была реализована схема кодирования, которая выполнена с возможностью предпочтительного выражения также шумов пленки, включенных в кинофильм, используя Н.264/AVC, и используется в широком диапазоне приложений, таких как Blu-RayDisc (товарный знак).

Однако, в последние годы, все больше ощущается потребность в кодировании с дополнительно повышенной степенью сжатия, такой как сжатие изображения приблизительно размером 4000×2000 пикселей, что в четыре раза больше, чем у изображения высокой четкости, и распределение изображения высокой четкости в среде с ограниченной пропускной способностью для передачи, такой как Интернет. Поэтому описанная выше VCEG в составе ITU-T продолжает исследовать улучшение эффективности кодирования.

Таким образом, с целью дальнейшего улучшения эффективности кодирования по сравнению с "AVC", Объединенная группа взаимодействия - Кодирование видеоданных (JCTVC), которая представляет собой объединенный орган по стандартизации ITU-T, и Международная организация по стандартизации/Международная электротехническая комиссия (ISO/IEC) в настоящее время продолжают стандартизацию схемы кодирования, называемой высокоэффективное кодирование видеоданных (HEVC). Что касается стандарта HEVC, проект, выдвинутый Комитетом, который представляет собой проект описания, был выработан в январе 2013 г. (см., например, Непатентную литературу 1).

Определение структуры и слоя элемента мозаичного изображения

HEVC обеспечивает декодирование только области, требуемой для декодирования в приложении, используя структуру элемента мозаичного изображения (Tile). Для обозначения, что область элемента мозаичного изображения может быть независимо декодирована, во второй версии и последующих версиях HEVC (включая в себя MV-HEVC, SHVC, Range Ext. и т.п.), это поддерживается наборами SEI элемента мозаичного изображения с ограниченным движения.

DASH

В частности, в качестве технологии распределения содержания, используя протокол передачи гипертекста (HTTP), существует адаптивная динамическая потоковая передача, в соответствии со стандартом Группы экспертов движущегося изображения через HTTP (MPEG-DASH) (см., например, Непатентную литературу 2). Используя MPEG-DASH, потоки битов данных изображения, кодированные используя схему кодирования, такую как HEVC, описанную выше, распределяются после формирования в заданном формате файла, таком как, например, МР4.

Однако при распределении содержания, таком как DASH, предполагается только воспроизведение (декодирование) всего изображения, и воспроизведение (декодирование) частичного изображения, которое представляет собой часть всего изображения, вместо всего изображения, не предполагается.

Более конкретно, только значение во всем потоке или значение в единицах слоя (Layer), то есть значение для всего изображения определено, как уровень (Level), который используется в качестве ссылки для определения, может ли декодер декодировать поток и информацию, относящуюся с емкости буфера (Buffer), как в схеме кодирования, такой как HEVC, так и в формате файла, таком как МР4, и при этом отсутствует информация для воспроизведения только частичного изображения.

Поэтому, например, даже когда декодируют только частичное изображение (частичный элемент мозаичного изображения) (то есть, воспроизводят только частичное изображение), используя структуру мозаичного изображения, поддерживаемую в схеме кодирования, такую как HEVC, описанную выше, определяют, возможно или нет декодирование, предполагая нагрузку в случае, когда декодируют весь экран, что может создавать риск, что потребуется декодер с излишне высоким уровнем (Level). Кроме того, также существует риск того, что приложение, которое может быть распределено, может быть излишне ограничено.

Пример применения

Примеры применения для воспроизведения частичного изображения включают в себя, например, следующее.

Предполагается применение, в котором, в системе, в которой сервер распределяет изображение в терминал, как представлено, например, на фиг. 1, один экран разделяется на множество частей и распределяется при переключении области отображения. Кроме того, как представлено на фиг. 2, предполагается выбор частичной области, предназначенной для отображения (для распределения), для выбора соотношения размеров и разрешения изображения.

В случае варианта применения на фиг. 1, все изображение может быть разделено на множество частей в единицах элемента мозаичного изображения (Tile), и в терминале частичное изображение, включающее в себя один или множество из элементов мозаичного изображения вырезают от всего изображения и отображают. Размер частичного изображения (количество элементов мозаичного изображения), который может отображаться, определяется, например, рабочими характеристиками (способностью к обработке или размерами дисплея (разрешение дисплея)) терминала и т.п. Кроме того, местоположение частичного изображения, предназначенного для отображения во всем изображении, может быть обозначено пользователем и т.п. Поэтому, частичное изображение, как требуемое местоположение во всем изображении, может отображаться в терминале. Таким образом, пользователь терминала может фокусироваться на требуемом участке всего изображения.

В случае варианта применения, показанного на фиг. 2, в то время, как вариант применения на фиг. 2, в основном, является таким же, как и вариант применения на фиг. 1, набор мозаичного изображения установлен таким образом, что соотношение размеров или разрешение изображения, предназначенного для отображения, можно выбирать, и размер каждого элемента мозаичного изображения не является фиксированным. Аналогично случаю, показанному на фиг. 1, в терминале частичное изображение, включающее в себя один или множество элементов мозаичного изображения, вырезают из всего изображения и отображают в соответствии с инструкцией пользователя и т.п. Таким образом, только путем выбора элемента мозаичного изображения, предназначенного для отображения, возможно сделать разрешение изображения для отображения в режиме HD, сделать размер, такой, как размер кинофильма или широкоэкранный размер.

Разрешение, которое может отображаться, определяется, например, рабочей характеристикой (способностью к обработке или размерами устройства отображения (разрешение устройства отображения)) терминала и т.п.

Поскольку такое адаптивное предоставление (воспроизведение) частичного изображения, в соответствии с рабочей характеристикой терминала, обозначением пользователем и т.п., не предполагается в предшествующем уровне техники, даже когда декодируют частичное изображение, которое может быть независимо декодировано, возможно или нет декодирование определяют, предполагая нагрузку в случае, когда декодируют весь экран, что может внести риск того, что потребуется декодер с ненужным высоким уровнем (Level). Кроме того, также существует риск того, что приложение, которое может быть распределено, может быть излишне ограничено.

Предоставление информации подсказки подвыборки

Поэтому, генерируют информацию подвыборки, включающую в себя информацию подсказки, используемую в качестве ссылки для обработки декодирования подвыборки, которая представляет собой частичную область, которая может быть независимо декодирована, генерируют файл, включающий в себя кодированные данные в виде данных изображения, и сгенерированную информацию подвыборки размещают в информации администрирования кодированных данных в файле.

Таким образом, терминал может распознавать рабочую характеристику, требуемую для декодирования частичной области, в соответствии с информацией подвыборки (информацией подсказки) и может более точно определять, может или нет декодер терминала выполнять обработку декодирования частичной области (подвыборки). Таким образом, возможно более точно распознать рабочую характеристика, требуемую для декодирования. Поэтому, возможно выбрать декодер, который обладает рабочей характеристикой, более соответствующей данным изображения. Таким образом, становится возможным предотвратить возникновение случая, когда применяют декодер с ненужно высоким уровнем (Level) для декодирования нагрузки данных изображения. Кроме того, возможно предотвратить излишнее ограничение приложения, которое может быть распределено.

Кроме того, информацию заголовка кодированных данных (потоки битов) частичной области (подвыборки) обновляют до информации в отношении частичной области (подвыборки) из информации всего изображения. Информацию для обновления включают в файл и передают. В результате, терминал может обновлять информацию заголовка потоков битов до информации в отношении частичной области (подвыборки) и может передавать эту информацию в декодер. Поэтому, декодер может более точно определять, может ли декодер или нет декодировать потоки битов, на основе информации заголовка.

Формат схемы и файла кодирования

Пример, в котором настоящая технология применяется для случая, когда схемы кодирования и декодирования представляют собой HEVC и формат файла МР4, будет описан ниже.

Модуль доступа

В следующем описании, предполагается, что выборка МР4 представляет собой модуль доступа (AU) в HEVC. Кроме того, предполагается, что AU включает в себя множество элементов мозаичного изображения (Tile). В таблице выборки (Sample Table) выполняют администрирование в единицах выборки (Sample).

Кроме того, подвыборка представляет собой составляющий элемент выборки, и определена для каждого кодека (Codec), например, как представлено на фиг. 3. В то время, как настоящая технология может применяться, даже если подвыборка представляет собой одну из них, в следующем описании настоящая технология будет описана, используя пример, в котором элемент мозаичного изображения (Tile) представляет собой подвыборку (подвыборка на основе элемента мозаичного изображения).

Формат файла МР4

Далее будет представлен общий обзор формата файла МР4. Как представлено в левой части на фиг. 4, файл МР4 (файл МР4), который соответствует MPEG-DASH, включает в себя ftyp, moov и mdat. В moov содержится информация администрирования в поле таблицы выборки (Sample Table Box (stbl) для каждой выборки (например, изображения).

Кроме того, как представлено на фиг. 4, в поле таблицы выборки (Sample Table Box) предусмотрены поле описания выборки (Sample Description Box), поле времени выборки (Time То Sample Box), поле размера выборки (Sample Size Box), поле выборки в области памяти (Sample to Chunk Box), поле смещения в области памяти (Chunk Offset Box), и поле информации подвыборки (Subsample Information Box).

В поле описания выборки содержится информация, относящаяся к кодеку, размеру изображения и т.п. Например, набор параметра (набор видеопараметра (VPS (Video Parameter Set)), набор параметра последовательности (SPS (Sequence Paramter Set)), вспомогательная информация расширения (Supplemental Enhancement Information)), набор параметра изображения (PPS (Picture Parameter Set)) и т.п., для потоков битов HEVC содержится в записи конфигурации декодера HEVC (HEVC Decoder Configuration Record) для записи выборки HEVC (HEVC sample entry) в пределах поля описания выборки, в качестве информации кодека (Codec).

Кроме того, в поле время выборки содержится информация, относящаяся ко времени выборки. В поле размер выборки содержится информация, относящаяся к размеру выборки. В поле выборки в области памяти содержится информация, относящаяся к местоположению данных выборки. В поле смещения в области памяти содержится информация, относящаяся к смещению данных. В поле информации подвыборки содержится информация, относящаяся к подвыборке.

Кроме того, как представлено на фиг. 4, данные каждой выборки (изображение) HEVC содержатся в mdat, как данные AV.

Как представлено на фиг. 5, в поле времени выборки, поле размера выборки, поле выборки в области памяти и в поле смещения в области памяти содержится информация доступа к выборке, в то время как в поле информации подвыборки содержится информация доступа для подвыборки. Такая информация доступа для подвыборки включает в себя размер каждой подвыборки (Subsample Size) и дополнительная информация (Subsample additional information).

Например, как представлено на фиг. 5, когда выборка (изображение) включает в себя четыре подвыборки (tiles) в поле информации подвыборки, соответственно, содержится информация доступа к элементу 1 мозаичного изображения (Tile1) - элементу 4 мозаичного изображения (Tile4).

Пример описания поля информации подвыборки представлен на фиг. 6. Как показано на фиг. 6, описан размер каждого элемента мозаичного изображения (subsample_size), и, кроме того, описано зарезервированное поле (reserved=0), указывающее информацию о местоположении каждого элемента мозаичного изображения.

Структура мозаичного изображения

В настоящей технологии описанное выше поле таблицы выборки расширяют так, чтобы его можно было применять во всех случаях для случая, когда структура мозаичного изображения является фиксированной для всех выборок (таких как изображения), случая, когда структура мозаичного изображения является переменной во всех выборках, и случая, когда структура мозаичного изображения является фиксированной в течение заданного периода времени, такого как, например, интервал IDR (случай, когда структура мозаичного изображения является переменной в течение каждого заданного периода).

Поле информации подсказки подвыборки

Например, в поле таблицы выборки предусмотрена информация подвыборки, включающая в себя информацию подсказки, используемую, как ссылку обработки декодирования, или подвыборка, которая представляет собой частичную область, которая может быть независимо декодирована, как новое поле для поля таблицы выборки.

Пример представлен на фиг. 7. Как показано на фиг. 7, в поле таблицы выборки, вновь предусмотрено поле 11 информации подсказки подвыборки (Subsample Hint Information Box).

Поле 11 информации подсказки подвыборки представляет собой информацию подвыборки, включающую в себя информацию подсказки, используемую в качестве ссылки для обработки декодирования подвыборки, которая представляет собой частичную область, которая может быть декодирована независимо, и представляет собой другое поле, чем поле информации подвыборки, и т.п. В результате отделения поля 11 информации подсказки подвыборки, которая представляет собой информацию для воспроизведения частичного изображения от поля информации подвыборки, которая представляет собой информацию для воспроизведения всего изображения, таким образом, все поле можно игнорировать (не ссылаться на него) при нормальном воспроизведении для отображения всего изображения, так что становится возможным облегчить управление.

Пример описания поля 11 информации подсказки подвыборки представлен в правой части на фиг. 7. Как показано в этом примере, в поле 11 информации подсказки подвыборки содержится информация, такая как тип данных подсказки (hint_data_type), величина подсчет выборки (sample_count) и данные подсказки (hint_data).

Тип данных подсказки представляет собой информацию, указывающую тип информации подсказки подвыборки, сохраненной в этом поле. Величина подсчета выборки представляет собой информацию, указывающую количество последовательных выборок, ассоциированных с этой информацией. Данные подсказки представляют собой информацию подсказки для подвыборки. Здесь содержится разная информация для каждого типа данных подсказки.

Способ расширения

Далее будет описан конкретный пример, где представлена информация подвыборки, включающая в себя информацию подсказки, используемую в качестве ссылки для обработки декодирования подвыборки, которая представляет собой частичную область, которая может быть декодирована независимо.

Приме