Способ и устройство передачи/приема мультимедиа-содержимого в системе мультимедиа

Способ и устройство передачи/приема мультимедиа-содержимого в системе мультимедиа

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к способу и устройству передачи и/или приема мультимедиа-содержимого в системе мультимедиа. Более конкретно, настоящее изобретение относится к способу и устройству передачи и/или приема мультимедиа-содержимого с использованием различных блоков передачи.

УРОВЕНЬ ТЕХНИКИ

Ввиду увеличения объема мультимедиа-содержимого, доступного через Интернет и сети связи, а также новейших технологических разработок, гибридное мультимедиа-содержимое, включающее в себя различные виды мультимедиа-содержимого, публикуется для просмотра, прослушивания, использования и потребления при одновременном использовании одного или двух или более источников мультимедиа. Гибридное мультимедиа-содержимое может включать в себя различные виды мультимедиа-содержимого. Гибридное мультимедиа-содержимое формируется разделением гибридного мультимедиа-содержимого на отдельные виды мультимедиа-содержимого.

Например, гибридное мультимедиа-содержимое может быть реализовано посредством приложения, такого как виджет для построения изображения, которое представляет собой гибридное мультимедиа-содержимое, включающее в себя видеоданные, данные изображения, голосовые данные и конкретное движущееся изображение, и которые формируются способом кодирования сигнала изображения, способом кодирования голосового сигнала, способом сжатия файлов или другими подобными способами формирования данных в соответствии с характеристикой каждого мультимедиа-объекта, а соответствующее мультимедиа-содержимое преобразуется в виде гибридного мультимедиа-содержимого на принимающей стороне.

Как описано выше, обычное гибридное мультимедиа-содержимое разделяется на множество видов мультимедиа-содержимого на передающей стороне и передается в принимающую сторону в разделенном виде. Принимающая сторона формирует гибридное мультимедиа-содержимое путем преобразования множества видов разделенного мультимедиа-содержимого. Использование гибридного мультимедиа-содержимого обеспечивается посредством разделения на множество разделенных видов мультимедиа-содержимого и преобразования упомянутого множества. Однако из-за увеличения использования гибридного мультимедиа-содержимого необходим способ более эффективного формирования и передачи и/или приема гибридного мультимедиа-содержимого.

В связи с этим, существует потребность в системе и способе выполнения самодиагностики устройства без неудобств, связанных с ручным выбором элемента самодиагностики с компьютера или пользовательского интерфейса.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

ТЕХНИЧЕСКАЯ ЗАДАЧА

Аспекты настоящего изобретения призваны решить по меньшей мере вышеуказанные проблемы и/или устранить недостатки и обеспечить по меньшей мере преимущества, описанные ниже. Соответственно, аспект настоящего изобретения состоит в создании способа и устройства эффективной передачи и/или приема мультимедиа-содержимого с использованием различных блоков передачи.

Другой аспект настоящего изобретения состоит в создании способа и устройства передачи и/или приема гибридного мультимедиа-содержимого, включающего в себя различные данные мультимедиа, с использованием блока передачи, подходящего для соответствующих данных мультимедиа.

РЕШЕНИЕ ЗАДАЧИ

В соответствии с аспектом настоящего изобретения предложен способ передачи мультимедиа-содержимого в системе мультимедиа. Способ включает в себя этапы, на которых определяют блок передачи для передачи по меньшей мере одного источника мультимедиа, относящегося к мультимедиа-содержимому, формируют поток данных, включающий в себя информацию заголовка и по меньшей мере один источник мультимедиа, согласно определенному блоку передачи, и передают сформированный поток данных по сети связи.

В соответствии с другим аспектом настоящего изобретения предложено устройство передачи мультимедиа-содержимого в системе мультимедиа. Устройство включает в себя блок передачи для передачи потока данных по сети связи и контроллер для определения блока передачи для передачи по меньшей мере одного источника мультимедиа, относящегося к мультимедиа-содержимому, для формирования потока данных, включающего в себя информацию заголовка и по меньшей мере один источник мультимедиа, согласно определенному блоку передачи, и для управления передачей сформированного потока данных.

В соответствии с другим аспектом настоящего изобретения предложен способ приема мультимедиа-содержимого в системе мультимедиа. Способ включает в себя этапы, на которых принимают поток данных мультимедиа-содержимого по сети связи и определяют блок передачи для мультимедиа-содержимого, идентифицируют информацию заголовка согласно определенному блоку передачи и декодируют мультимедиа-содержимое, включающее в себя по меньшей мере один источник мультимедиа, согласно идентифицированной информации заголовка.

В соответствии с другим аспектом настоящего изобретения предложено устройство приема мультимедиа-содержимого в системе мультимедиа. Способ включает в себя приемный блок для приема потока данных мультимедиа-содержимого по сети связи и контроллер для определения блока передачи для мультимедиа-содержимого, для идентификации информации заголовка согласно определенному блоку передачи, и для декодирования мультимедиа-содержимого, включающего в себя по меньшей мере один источник мультимедиа, согласно идентифицированной информации заголовка.

Другие аспекты, преимущества и характерные признаки изобретения станут ясны специалисту в области техники из нижеследующего подробного описания, которое в сочетании с приложенными чертежами раскрывает примерные варианты выполнения изобретения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Вышеуказанные и другие аспекты, признаки и преимущества некоторых примерных вариантов выполнения настоящего изобретения станут более ясны из нижеследующего описания в сочетании с сопровождающими чертежами, на которых:

Фиг. 1 представляет собой схему, иллюстрирующую многоуровневую структуру обработки гибридного мультимедиа-содержимого в стандарте передачи мультимедиа Экспертной группы по киноизображению (MPEG MMT) согласно примерному варианту выполнения настоящего изобретения.

Фиг. 2 представляет собой схему, иллюстрирующую структуру заголовка мультимедиа-блока (M-Unit) согласно примерному варианту выполнения настоящего изобретения.

Фиг. 3 представляет собой схему, иллюстрирующую структуру заголовка ресурса согласно примерному варианту выполнения настоящего изобретения.

Фиг. 4 представляет собой блок-схему, иллюстрирующую структуру передающего устройства для формирования и передачи мультимедиа-содержимого согласно примерному варианту выполнения настоящего изобретения.

Фиг. 5 представляет собой блок-схему, иллюстрирующую структуру приемного устройства для приема мультимедиа-содержимого согласно примерному варианту выполнения настоящего изобретения.

Фиг. 6 представляет собой схему, иллюстрирующую видеокадр, конфигурированный из множества серий последовательных макроблоков, согласно примерному варианту выполнения настоящего изобретения.

Фиг. 7 представляет собой блок-схему, иллюстрирующую структуру системы передачи мультимедиа-содержимого с использованием различных блоков передачи согласно примерному варианту выполнения настоящего изобретения.

Фиг. 8 представляет собой схему, иллюстрирующую структуру блока фрагмента мультимедиа (MFU) согласно примерному варианту выполнения настоящего изобретения.

Фиг. 9 представляет собой схему, иллюстрирующую структуру M-Unit согласно примерному варианту выполнения настоящего изобретения.

Следует отметить, что на всех чертежах одинаковые ссылочные позиции используются для изображения одинаковых или подобных элементов, признаков и структур.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Нижеследующее далее описание со ссылкой на сопровождающие чертежи приведено для содействия полному пониманию примерных вариантов выполнения изобретения, которые определены формулой изобретения, и их эквивалентов. Оно включает в себя различные конкретные подробности для содействия этому пониманию, но их следует рассматривать лишь в качестве примерных. Соответственно, специалисту в данной области техники будет понятно, что могут быть выполнены различные изменения и преобразования описанных здесь вариантов выполнения, не выходящие за рамки объема правовой охраны и изобретательского замысла. Кроме того, для ясности и краткости могут быть исключены описания хорошо известных функций и конструкций.

Выражения и понятия, используемые в следующих далее описании и формуле изобретения, не ограничены их библиографическими смыслами, а использованы авторами изобретения лишь для обеспечения ясного и правильного понимания изобретения. Соответственно, специалисту в области техники должно быть ясно, что нижеследующее описание примерных вариантов выполнения настоящего изобретения приведено исключительно для наглядности, но не с целью ограничения изобретения, которое определено приложенной формулой изобретения и ее эквивалентами.

Далее примерные варианты выполнения настоящего изобретения будут описаны на основании технологии по стандарту передачи мультимедиа Экспертной группы по киноизображению (MPEG MMT)в числе технологий, в которых могут быть применены примерные варианты выполнения настоящего изобретения. Однако настоящее изобретение не ограничено данной технологией, и примерные варианты выполнения настоящего изобретения могут быть применены к любой пригодной или подобной технологии или стандарту связи.

Фиг. 1 представляет собой схему, иллюстрирующую многоуровневую структуру обработки гибридного мультимедиа-содержимого в MMT согласно примерному варианту выполнения настоящего изобретения.

Со ссылкой на Фиг. 1 показана структура уровня E, и уровень Е включает уровень 105 E.3 MMT, уровень 107 E.2 MMT и уровень 109 E.1 MMT.

Мультимедиа-кодек A 101 и мультимедиа-кодек В 103 представляют собой уровни мультимедиа-кодека для декодирования и/или кодирования данных мультимедиа. Мультимедиа-кодек A 101 и мультимедиа-кодек В 103 могут иметь различные функции. Например, блок уровня сетевой адаптации (NAL) для обеспечения характеристической информации, сигнальной информации для декодирования и другой подобной информации о данных мультимедиа вместе с данными мультимедиа, включающими в себя сжатые цифровые видеоданные, как управляющая информация, представляет собой выходной сигнал кодера в кодеке H.264 (не показан), а данные мультимедиа, такие как сжатые цифровые видеоданные, представляют собой выходной сигнал кодера в кодеке H.262 (не показан). Кодирование в H.264 может быть выполнено в мультимедиа-кодеке В 103, а кодирование в H.262 может быть выполнено в мультимедиа-кодеке A 101. Однако настоящее изобретение этим не ограничено, и кодирование в H.264 может быть выполнено в мультимедиа-кодеке A 101.

То есть мультимедиа-кодек С 103 способен выполнять кодирование данных мультимедиа, к которым добавлена управляющая информация, такая как характеристическая информация и сигнальная информация, а мультимедиа-кодек A 101 способен выполнять кодирование только данных мультимедиа.

Как показано на Фиг. 1, уровень 105 E.3 MMT добавляет управляющую информацию, такую как характеристическая информация и сигнальная информация, требуемую для декодирования, соответствующего данным мультимедиа, к кодируемым данным мультимедиа, переносимым от мультимедиа-кодека A 101, и передает данные мультимедиа уровню 107 E.2 MMT. В таком случае информация об уровне 105 E.3 MMT содержит заголовок блока NAL и данные блока NAL и дополнительно включает в себя дополнительную информацию заголовка.

Фиг. 6 иллюстрирует видеокадр, конфигурированный из множества серий последовательных макроблоков видеоданных согласно примерному варианту выполнения настоящего изобретения.

Как показано на Фиг. 6, структура видеокадра представлена для одного кадра, отображаемого в виде одного видеоизображения в конкретный момент времени, и включает в себя множество серий 601-613 последовательных макроблоков. Более подробно, одно видеоизображение кодировано в семь небольших блоков, которые представляют собой серии 601, 603, 605, 607, 609, 611 и 613 последовательных макроблоков.

То есть множество серий 601-613 последовательных макроблоков включены в кадр, отображаемый в одном видеоизображении. Множество серий 601-613 последовательных макроблоков могут быть размещены последовательно слева направо, как проиллюстрировано на Фиг. 6, а могут быть размещены с сверху вниз при заполнении кадра, или могут быть размещены любым другим пригодным образом. Например, множество серий последовательных макроблоков, включенных в один кадр, могут заполнять кадр различными комбинациями в направлении слева или справа направо или налево или снизу или сверху вверх или вниз. Множество серий 601-613 последовательных макроблоков могут иметь различные длины.

Кадр, имеющий структуру по Фиг. 6, может быть конфигурирован в виде мультимедиа-блока (M-Unit или MU), который представляет собой один из блоков передачи гибридного мультимедиа-содержимого, включающих в себя по меньшей мере одну часть информации, такую как управляющая информация и среди информации о времени, уровне важности и различной функциональной информации, такой как описываемая точка произвольного доступа. Кроме того, каждая из серий 601-613 последовательных макроблоков, включенных в кадр, является независимо декодируемой и может быть конфигурирована в виде блока фрагмента мультимедиа (MFU).

Кроме того, M-Unit может быть определен как независимо функционирующий блок, такой как кадр наибольшей группы, или, другими словами, группа изображений (GoP), в которой данные имеют подчиненные записываемые блоки данных. Согласно представленному примерному варианту выполнения, когда MFU соответствует одной серии последовательных макроблоков внутри кадра, один кадр конфигурируется как один M-Unit. Кроме того, когда MFU соответствует одному кадру, M-Unit конфигурируется как GoP, которая представляет собой отдельный блок декодирования.

Учитывая систему широковещательной передачи мультимедиа следующего поколения, видеокадр может включать в себя MFU, который представляет собой минимальный блок декодирования, и M-Unit, который представляет собой блок декодирования, включающий в себя управляющую информацию. Более того, M-Unit может включать в себя один MFU, фрагментированные MFU или группу MFU. Декодер может управлять управляющей функцией каждого минимального блока структуры на основании управляющей информации.

Также MFU представляет собой минимальный блок данных, вводимый в уровень 105 E.3 MMT (см. Фиг. 1), а M-Unit представляет собой выводимый блок данных уровня 105 E.3 MMT, включающий в себя управляющую информацию, такую как информация о времени. Соответственно, представленный примерный вариант выполнения обеспечивает конфигурацию эффективных данных мультимедиа-содержимого для передачи и хранения в системе широковещательной передачи мультимедиа следующего поколения с использованием структурированных MFU или M-Unit.

MFU согласно настоящему примерному варианту выполнения представляет собой блок минимальной конфигурации для конфигурирования данных мультимедиа-содержимого и включает в себя информацию о структуре данных мультимедиа-содержимого. Информация о конфигурации включает в себя по меньшей мере один идентификатор, указывающий начальную точку, центральную точку и конечную точку соответствующих данных мультимедиа-содержимого, и указывающий на отсутствие разделения данных, установочную информацию для установки мультимедиа-кодека, информацию о типе, указывающую тип данных, представляющих информацию о формате кодируемого объекта мультимедиа, информацию о приоритете данных мультимедиа-содержимого, информацию о точке, указывающую начальную точку данных мультимедиа-содержимого, информацию о размере данных мультимедиа-содержимого и информацию, указывающую конкретную информацию об уровневом кодировании и многовидовом мультимедиа-кодеке. Размер блока MFU может указывать на размер отдельно кодируемого и/или декодируемого блока. Например, видеоданные могут быть фрагментированы на изображение, серию последовательных макроблоков и блок доступа на основании блока данных из макроблока, который представляет собой минимальный блок кодирования и/или декодирования мультимедиа-кодека.

Фиг. 8 представляет собой схему, иллюстрирующую структуру MFU согласно примерному варианту выполнения настоящего изобретения.

Как показано на Фиг. 8, настоящее изобретение не ограничено примерным вариантом выполнения по Фиг. 8 и проиллюстрированной структурой MFU, и MFU может быть конфигурирован в виде множества пригодных конструкций и типов.

Дополнительная информация заголовка, а также информация о конфигурации MFU, которая представляет собой информацию о блоке, включенную в выводимый блок данных кодирования мультимедиа, включает в себя по меньшей мере одно из информационных полей 801-809 относительно MFU. Информационные поля 801-809 более подробно описаны ниже.

Индикатор 801 MFU включает в себя информацию о конфигурации MFU и указывает информацию флага, указывающую на то, фрагментированы ли данные MFU, и также указывает начальный блок, продолжающийся блок или последний блок из числа MFU. Тип 802 данных указывает тип данных MFU и представляет собой информацию, указывающую атрибут соответствующих данных MFU. Например, тип 802 данных может указывать тип данных для установки информации о мультимедиа-кодеке, информации прогнозирования хода кодирования, кодируемых данных, информации о конфигурации кодируемых данных и других подобных данных.

Порядковый номер 803 декодирования используется для указания, когда продолжается информация флага о фрагментированном MFU. MFU имеет возрастающий номер, который представляет собой информацию о порядке, указывающую порядок использования соответствующего MFU. Кроме того, клиентский терминал может использовать возрастающий номер, который представляет собой информацию о порядке, указывающую порядок использования соответствующего MFU в виде информации о порядке декодирования. Байтовое смещение 804 данных указывает фактическое положение, которое представляет собой начало данных мультимедиа. Длина 805 представляет собой информацию, указывающую длину данных мультимедиа.

Приоритет (Р) 806 представляет собой информацию, которая указывает значение приоритета MFU. Например, когда приоритет 806 равен «0», это указывает на то, что соответствующий MFU не имеет приоритетных данных, а когда приоритет 806 равен «1», соответствующий MFU имеет приоритетные данные. В случае параметра заголовка NAL для объекта мультимедиа приоритет 806 может быть установлен в «1». Приоритет 806 указывает на то, что данные, фрагментированные внутри одного мультимедиа-блока, представляют собой приоритетные данные, так что декодирование может быть прервано при потере приоритетной информации.

Счетчик 807 зависимости указывает значение счетчика зависимых MFU внутри отдельно кодируемого и/или декодируемого блока. Например, когда значение счетчика зависимости равно «4», это значит, что четыре следующих MFU являются зависимыми от соответствующих данных MFU. Например, когда имеются четыре коррелированных MFU в MFU, имеющем счетчик зависимости «4», первый MFU имеет значение счетчика «3», второй MFU имеет значение счетчика «2», третий MFU имеет значение счетчика «1», а последний MFU имеет значение счетчика «0». Посредством использования счетчика зависимости может быть указана степень распространения ошибки, когда соответствующие данные MFU имеют ошибку.

Многоуровневая информация 808 указывает идентификатор основного объекта мультимедиа, идентификатор объекта мультимедиа расширенного уровня в многоуровневом видеокодировании, многовидовом кодировании мультимедиа, и другую подобную информацию. MFU относятся к информации о масштабируемом кодировании мультимедиа или многоуровневом кодировании мультимедиа. Дополнительная информация устройства мультимедиа-кодека (Mi) 809 представляет собой информацию, которую изменяют в соответствии с устройством в процессе кодирования с использованием соответствующего мультимедиа-кодека. Она отображает список или расширенную информацию о соответствующей информации при учете случая, когда изменяется информация о профиле и уровне соответствующего мультимедиа-кодека или изменяется тип кодека.

Кроме того, уровень 105 E.3 MMT формирует M-Unit для добавления управляющей информации, такой как характеристическая информация и сигнальная информация, требуемые для декодирования, о соответствующих данных мультимедиа к кодируемым данным мультимедиа, передаваемым от мультимедиа-кодека A 101, и передачи данных мультимедиа уровню 107 E.2 MMT. Пример управляющей информации, включенной в вышеупомянутый M-Unit, будет описан со ссылкой на Фиг. 9.

Фиг. 9 представляет собой схему, иллюстрирующую структуру блока M-Unit согласно примерному варианту выполнения настоящего изобретения.

Примерный вариант выполнения M-Unit и информационные поля 901-908 описаны ниже со ссылкой на Фиг. 9. Однако настоящее изобретение не ограничено этим, и M-Unit может быть конфигурирован множеством пригодных способов и типов.

Тип 901 представляет собой идентификатор M-Unit, указывающий информацию о конфигурации для M-Unit. Она представляет информацию флага, указывающую, включает ли M-Unit один MFU, фрагментированные MFU, группу MFU или множество блоков доступа (AU), а также информацию флага, дополнительно указывающую, каким является M-Unit - начальным блоком, продолжающимся блоком или последним блоком. Порядковый номер 902 указывает, когда продолжается информация флага. M-Unit имеет возрастающий номер, который представляет собой информацию о порядке его использования.

Смещение 903 данных, которое представлено в байтах, представляет собой информацию, которая указывает начальное положение данных мультимедиа для M-Unit, и может выражаться в длине информации заголовка для M-Unit. Информация 904 длины указывает длину данных мультимедиа для M-Unit. Информация 905 о времени указывает время воспроизведения M-Unit. Информация 905 о времени воспроизведения включает в себя информацию о времени декодирования, информацию о времени выражения и другую подобную информацию о времени, а способ выражения может включать в себя способ выражения информации о времени синхронизации сети и способ выражения информации о времени, ограниченном периодом.

Точка произвольного доступа (RAP) 906 указывает информацию о точке произвольного доступа для соответствующего M-Unit. Видеоданные, использующие RAP 906, могут обеспечивать функцию произвольного воспроизведения. В случае обеспечения RAP 906 M-Unit включает в себя по меньшей мере одну единицу информации RAP 906. Более того, когда M-Unit включает в себя по меньшей мере одну единицу информации RAP 906, RAP обеспечивает множество единиц информации о положении, соответствующей RAP. Учитывая обстоятельства, предусмотрен способ последовательного поиска соответствующей точки путем вставки кода распознавания RAP MFU.

Исходная информация 907 мультимедиа-кодека указывает информацию о значениях исходной установки мультимедиа-кодека. Исходная установка для декодирования в мультимедиа-кодеке может быть выполнена посредством соответствующей структурной информации.

Счетчик 908 может включать в себя информацию о допустимости множества MFU и количестве MFU/AU. Информация о допустимости множества MFU указывает, включают ли данные M-Unit в себя множество MFU или один MFU, и указывает количество MFU, если данные M-Unit включают в себя множество MFU. Количество MFU/AU указывает количество внутренних блоков данных, когда данные M-Unit включают в себя множество MFU или AU. Кроме того, MFU/AU обеспечивает соответствующую информацию о положении данных для доступа соответствующего MFU или AU. Кроме того, соответствующая информация о положении может быть найдена путем добавления индикатора для обеспечения соответствующей информации о положении к информации заголовка о MFU или AU и последовательного поиска соответствующей информации о положении.

Как описано выше, уровень 105 E.3 MMT (см. Фиг. 1) добавляет управляющую информацию к данным мультимедиа, таким как MFU, полученным из источника, причем MFU передается из мультимедиа-кодека A 101 и передает данные мультимедиа в уровень 107 E.2 MMT. Соответственно, уровень 107 E.2 MMT создает M-Unit путем агрегирования по меньшей мере одних данных мультимедиа, включающих в себя добавленную управляющую информацию.

Управляющая информация может классифицироваться на управляющую информацию о MFU и управляющую информацию о M-Unit. Кроме того, особая конфигурация информации каждой из управляющей информации о MFU и управляющей информации о M-Unit может быть конфигурирована в виде, описанном выше в отношении Фиг. 1, 6, 8 и 9. Кроме того, управляющая информация может быть добавлена к информации заголовка в различных формах. Примерный вариант выполнения конфигурации заголовка M-Unit будет описан ниже со ссылкой на Фиг. 1.

Уровень 107 E.2 MMT на Фиг. 1 формирует данные ресурса MMT, далее называемые ресурсом, путем агрегирования различных типов MFU, обеспеченных из одних или более данных мультимедиа из источников мультимедиа, и построения агрегированных MFU в M-Unit. Ресурс MMT строят в гибридное мультимедиа-содержимое путем приема ввода структуры блока в соответствии с атрибутами различных типов источников мультимедиа, т.е. данных мультимедиа, таких как видеоданные, аудиоданные, текстовые данные, файловые данные, данные виджета, данные приложения и другие подобные данные. Ресурс включает в себя одни или более данные M-Unit MMT, каждые из которых представляют собой M-Unit, который представляет собой группу вышеупомянутых блоков NAL таким образом, что данные M-Unit MMT отличаются друг от друга. Уровень 107 E.2 MMT формирует гибридное мультимедиа-содержимое в форме ресурса на основании информации, необходимой для передачи гибридного мультимедиа-содержимого или информации об атрибутах данных мультимедиа. Здесь «группа» может быть понята как блок кодируемой и/или декодируемой информации в системе мультимедиа.

M-Unit, который представляет собой группу данных, включающую в себя блоки информации, имеющие одинаковую характеристическую информацию, формируют путем добавления дополнительной характеристической информации, требуемой для формирования гибридного мультимедиа-содержимого, к данным блока NAL, который представляет собой выход вышеупомянутого кодера. Пример дополнительной характеристической информации включает в себя информацию без потерь, которая представляет собой характеристику данных файла или виджета, и информацию о допуске на потери и задержке, которая является характеристикой данных мультимедиа. Конфигурируется и формируется M-Unit, который представляет собой группу блоков с одинаковой характеристикой. Уровень 109 E.1 MMT на Фиг. 1 конфигурирует один или более ресурсов, переданных с уровня 107 E.2 MMT в виде пакета MMT, используемого пользователем.

Фиг. 2 представляет собой схему, иллюстрирующую структуру заголовка M-Unit согласно примерному варианту выполнения настоящего изобретения.

Поля, включаемые в заголовок M-Unit по Фиг. 2, будут описаны ниже со ссылкой на Фиг. 2.

Идентификатор (ID) M-Unit 201 представляет собой идентификатор для определения типа блоков M-Unit. Порядковый номер 203 указывает порядок в соответствии с функцией M-Unit. Порядковый номер 203 может быть использован для функции изменения порядка согласно времени воспроизведения объекта мультимедиа, например, согласно запросу на повторную передачу при потере передачи или ускоренному воспроизведению объекта мультимедиа и произвольному доступу.

Тип 205 указывает тип данных M-Unit. Тип 205 может указывать характеристическую информацию о группе данных и характеристику файла, учитывающую коэффициент потерь, информацию о задержке для воспроизведения объекта мультимедиа или другие подобные характеристики и информацию. Хотя это не показано на Фиг. 2, полезная нагрузка, на которую загружены данные M-Unit, включена с обратной стороны или после заголовка таким образом, что могут быть переданы данные мультимедиа, имеющие различные источники, такие как видео, аудио, текст, файл или виджет. Соответственно, тип 205 может указывать тип содержимого, передаваемого вместе с заголовком M-Unit.

Тип 205 может включать в себя трехзначное поле, указывающее тип таким образом, что 000 указывает на видеоданные H.264, 001 указывает на аудиоданные AAC, 002 указывает на текст, 003 указывает на приложение, 004 указывает на веб-страницы, 005 указывает на сигнализацию для кодека, 006 обозначает сигнализацию для композиции, а 007 зарезервировано для будущего использования. Тип подходящего содержимого может быть указан поставщиком гибридного мультимедиа-содержимого путем использования заданного значения в пределах определенного диапазона. Другим примером типа 205 может быть случай, когда 000 указывает на I-кадр H.264, 001 указывает на B-кадр H.264 и 002 указывает на Р-кадр H.264 и может быть использован для способа присвоения приоритета различным источникам конкретных данных мультимедиа. Качество обслуживания (QoS) может быть учтено при передаче данных мультимедиа на основании приоритета.

Флаг 207 блока фрагмента (FU) указывает информацию о непрерывных M-Unit. Значение флага FU указывает, каким является соответствующий M-Unit - объединенным, фрагментированным или представляет собой один M-Unit. Флаг 209 времени указывает на то, что соответствующий M-Unit включает в себя информацию о времени. GoP 211 указывает на то, что соответствующий M-Unit включает в себя информацию о его блоке GoP. При включении GoP 211 значение GoP 211 указывает на то, что соответствующий M-Unit имеет один AU или множество AU. Диапазон MFU, хотя он не показан на Фиг. 2, указывает значение группы MFU. Набор пространственных параметров (SPS) 213 указывает на то, что M-Unit включает в себя информацию о наборе пространственных параметров. SPS 213 указывает информацию о пространственном положении, в котором отображаются данные соответствующего M-Unit. Набор параметров представления (PPS) 215 указывает на то, что M-Unit включает в себя информацию о PPS. PPS 215 представляет собой информацию, используемую для инициализации кодека, и содержит конкретную информацию о мультимедиа-кодеке. Кроме того, SPS 213 и PPS 215 используют общее значение набора параметров инициализации кодирования мультимедиа.

Синхронизация 217 указывает на то, что соответствующий M-Unit включает в себя управляющую информацию о синхронизации. Синхронизация 217 представляет собой данные для взаимной синхронизации между обрабатываемым в совокупности множеством блоков M-Unit и, например, используется в качестве маркера синхронизации между M-Unit для правого (R) изображения и M-Unit для левого (L) изображения для трехмерного (3D) изображения. Кроме того, синхронизация 217 может быть использована для присвоения командной информации между соответствующими M-Unit. Командная информация представляет собой управляющую информацию для соответствующих M-Unit и может указывать на то, что соответствующий M-Unit соответствует информации, такой как информация о добавлении, удалении, замене или обновлении. Информация о синхронизации может быть использована в качестве управляющей информации только для M-Unit в том же сеансе, передаваемом по гибридной передающей сети на основании командной информации.

Характеристика 219 передачи (TC) указывает на то, что M-Unit включает в себя информацию о характеристике передачи. TC 219 предназначена для передачи соответствующего M-Unit и указывает, например, коэффициент потерь, время задержки, информацию проверки четности для исправления ошибки, среднюю скорость передачи данных для передачи данных и максимальную скорость передачи данных. RAP 221 указывает на то, что соответствующий M-Unit включает в себя информацию флага для произвольного доступа. Структура функции, такой как ускоренное воспроизведение, может быть обеспечена в соответствии с наличием или отсутствием соответствующего флага.

Фиг. 2 иллюстрирует структуру заголовка M-Unit. Однако настоящее изобретение не ограничено такой структурой, и структура заголовка M-Unit согласно примерному варианту выполнения по Фиг. 2 может иметь другие пригодные формы и структуры. Например, структура заголовка M-Unit может включать в себя совокупность одной или более единиц информации в числе множества единиц информации заголовка, включаемой в заголовок M-Unit, описанный со ссылкой на Фиг. 2, и/или множества единиц управляющей информации, добавляемой при формировании M-Unit в описании уровня 105 E.3 MMT по Фиг. 1.

Фиг. 3 представляет собой схему, иллюстрирующую структуру заголовка ресурса согласно примерному варианту выполнения настоящего изобретения.

Как показано на Фиг. 3, ресурс согласно представленному примерному варианту выполнения сформирован в структуре, включающей в себя по меньшей мере один M-Unit согласно различным данным мультимедиа от источников мультимедиа, и может быть понят как поток данных, включающий в себя различные данные мультимедиа от источников мультимедиа. То есть каждый источник мультимедиа сформирован в виде MFU или M-Unit, а ресурс включает в себя по меньшей мере один M-Unit.

Таблица 1 иллюстрирует пример M-Unit, ресурса и MFU.

Таблица 1
Заголовок ресурса 1) Тип ресурса: A	Заголовок M-unit: диапазон MFU=l~2	Заголовок M-unit: диапазон MFU=3~4	Заголовок M-unit: диапазон MFU=5~6	Заголовок M-unit: диапазон MFU=5~6
Заголовок ресурса 2) Тип ресурса: B(MPEG-2 TS)	Заголовок ресурса 3) Тип ресурса: C(MP4)	Данные MPEG-2 TS	Данные MP4
Заголовок (l) MFU: смещение:длина	Заголовок (2) MFU: смещение:длина	Заголовок (3) MFU: смещение:длина	Заголовок (4) MFU: смещение:длина	Заголовок (5) MFU: смещение:длина
Данные (1) MFU	Данные (2) MFU	Данные (3) MFU	Данные (4) MFU	Данные (5) MFU

В Таблице 1 смещение означает информацию о побайтовом смещении данных.

Более подробно, Фиг. 3 иллюстрирует пример информации заголовка ресурса, используемой, когда уровень 107 E.2 MMT на Фиг. 1 формирует ресурс с входом M-Unit, который представляет собой сгруппированные данные информации с одинаковыми атрибутами для различных типов данных мультимедиа. Кроме того, заголовок ресурса по Фиг. 3 может указывать группу блоков пространственно непрерывного M-Unit. ID 301 ресурса указывает идентификатор для соответствующих непрерывных данных. ID 301 ресурса представляет собой идентификационную информацию соответствующих ресурсов в процессе формирования гибридного мультимедиа-содержимого.

Информация 303, 305, 307 и 311 о длине ресурса указывает длину данных соответствующего ресурса. Информация 303, 305, 307 и 311 о длине ресурса может быть установлена таким образом, что она имеет достаточно большую длину, учитывая видеоданные сверхвысокой разрешающей способности (UD). Информация 303, 305, 307 и 311 о длине ресурса для удобства указана отдельно в трех областях. Однако настоящее изобретение этим не ограничено, и информация 303, 305, 307 и 311 о длине ресурса может представлять собой одну область или любое пригодное количество областей.

Тип 309 ресурса указывает на тип данных соответствующего ресурса и может использовать тип данных M-Unit, упомянутого выше в отношении Фиг. 1, таким же образом, как описано со ссылкой на Фиг. 1. Однако тип мультимедиа может быть указан различными способами в дополнение к вышеупомянутому способу. Например, тип первого источника мультимедиа может быть непосредственно сообщен для предотвращения неточного декодирования источника мультимедиа только именем характерного источника мультимедиа благодаря различным новым способам профилирования и использования аудиокодека, видеокодека или различных приложений. Например, существует приблизительно 10 типов профилирования в H.264, так что когда тип ресурса сообщается лишь как H.264, в процессе декодирования может быть сформирована ошибка. Более того, когда множество данных мультимедиа мультиплексируется и используется в конфигурировании пакета MMT, используется тип ресурса, имеющий большую длину.

Кроме того, например, тип ресурса, имеющий длину 13 бит, может соответствовать типу данных M-Unit, и он может указывать дополнительную информацию согласно соответствующему приоритету путем