Передающее устройство, способ передачи, приемное устройство и способ приема

Передающее устройство, способ передачи, приемное устройство и способ приема

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящая технология относится к передающим устройствам, способам передачи, приемным устройствам и способам приема, и более конкретно, к передающему устройству, которое передает медиа для транспортировки, такое как видео, аудио и т.п., через RF канал связи или канал связи сети связи и т.п.

Уровень техники

MPEG2-TS традиционно используется в качестве транспортной структуры для широковещательной передачи, как описано в патентной литературе 1, например.

Перечень цитируемой литературы

Патентная литература

Патентная литература 1: JP 2011-217161А

Раскрытие изобретения

Техническая задача

Структура транспорта для медиа MPEG (ММТ) в последние годы стала привлекательной в качестве транспортной структуры для широковещания следующего поколения. Основной особенностью структуры ММТ является ее совместимость с сетями IP.

Задача настоящей технологии состоит в том, чтобы обеспечить надежную передачу информации о времени для получения времени декодирования и/или времени представления в приемник в транспортной структуре для широковещания следующего поколения.

Решение технической задачи

Концепцией настоящей технологии является передающее устройство, включающее в себя: блок генерирования транспортного потока, выполненный с возможностью генерирования транспортного потока, в котором первый транспортный пакет, содержащий медиа для транспортировки в полезной нагрузке, и второй транспортный пакет, содержащий информацию о медиа для транспортировки в полезной нагрузке, мультиплексируются с временным разделением; блок передачи транспортного потока, выполненный с возможностью передачи транспортного потока на приемник через заданный канал передачи; и блок вставки информации о времени, выполненный с возможностью вставки информации о времени, обеспечивающей получение приемником времени декодирования и/или времени представления в первом транспортном пакете или во втором транспортном пакете.

В настоящей технологии блок генерирования транспортного потока генерирует транспортный поток. В транспортном потоке первый транспортный пакет, содержащий медиа для транспортировки в полезной нагрузке, и второй транспортный пакет, содержащий информацию о медиа для транспортировки в полезной нагрузке, мультиплексируются с временным разделением. Например, первый транспортный пакет и второй транспортный пакет могут представлять собой пакеты ММТ. Блок передачи транспортного потока передает транспортный поток в приемник через заданный канал передачи. Например, заданный канал передачи может представлять собой RF канал передачи или канал передачи сети связи.

Блок вставки информации о времени вставляет информацию о времени, которая позволяет приемнику получать время декодирования и/или время представления в первом транспортном пакете или во втором транспортном пакете. Например, медиа для транспортировки, которое содержится в первом транспортном пакете, может включать в себя одно или более устройств доступа, и информация о времени, вставленная с помощью блока вставки информации о времени, может представлять собой информацию, которая позволяет получить время декодирования и/или время представления, которые соответствуют каждому из одного или более блоков доступа.

В этом случае информация о времени, вставленная с помощью блока вставки информации о времени, может иметь значение времени декодирования или времени представления, соответствующее начальному блоку доступа из одного или более блоков доступа, и значение смещения от времени декодирования до времени представления, каждое из которых соответствует каждому блоку доступа. Это использование значения смещения позволяет обеспечить эффективную доставку информации о времени. Кроме того, в этом случае информация о времени, вставленная с помощью блока вставки информации о времени, может представлять собой время представления или время представления и время декодирования, которые соответствуют каждому из одного или более блоков доступа. Эта доставка непосредственно времени представления или непосредственно времени представления и времени декодирования позволяет уменьшить нагрузку на обработку, выполняемую в приемнике.

В этом случае значение смещения может представлять собой значение относительного смещения, соответствующее абсолютному значению смещения, и информацию о преобразовании для преобразования значения относительного смещения в значение абсолютного смещения можно добавить в информацию о времени, вставленную с помощью блока вставки информации о времени. Это использование значения относительного смещения позволяет обеспечить эффективную доставку значения смещения в приемник. Например, блок вставки информации о времени позволяет вставить значение относительного смещения после кодирования переменной длины. Это использование кодирования переменной длины позволяет уменьшить пропускную способность передачи информации о времени.

Например, полезная нагрузка первого транспортного пакета может включать в себя часть заголовка полезной нагрузки и часть тела полезной нагрузки, и блок вставки информации о времени позволяет вставить информацию о времени в часть заголовка полезной нагрузки. Например, полезная нагрузка первого транспортного пакета может включать в себя часть заголовка полезной нагрузки и часть тела полезной нагрузки, причем в части тела полезной нагрузки полезные нагрузки фрагментов, каждые из которых содержат один или более блоков доступа, полученных путем фрагментирования медиа для транспортировки, можно обеспечить вместе с заголовками фрагментов, и блок вставки информации о времени позволяет вставить в заголовок фрагмента или в полезную нагрузку фрагмента информацию о времени соответствующего блока доступа. Например, полезная нагрузка второго транспортного пакета может включать в себя часть заголовка полезной нагрузки и часть тела полезной нагрузки, и блок вставки информации о времени позволяет вставить информацию о времени в часть тела полезной нагрузки.

Таким образом, в настоящей технологии информация о времени, которая позволяет приемнику получить время декодирования и время представления, вставляется в первый транспортный пакет или во второй транспортный пакет, и в транспортной структуре для широковещания следующего поколения информацию о времени для получения времени декодирования и/или времени представления можно надежным образом доставить в приемник.

Другая концепция настоящей технологии представляет собой приемное устройство, включающее в себя: блок приема транспортного потока, выполненный с возможностью приема транспортного потока, в котором первый транспортный пакет, содержащий медиа для транспортировки в полезной нагрузке, и второй транспортный пакет, содержащий информацию о медиа для транспортировки в полезной нагрузке, мультиплексируются с временным разделением, из передатчика через заданный канал передачи. Информация о времени для получения времени декодирования и/или времени представления вставляется в первый транспортный пакет или во второй транспортный пакет. Приемное устройство дополнительно включает в себя блок обработки медиа для транспортировки, выполненный с возможностью обработки медиа для транспортировки, извлеченного из транспортного потока с использованием времени декодирования и/или времени представления, которые получаются на основании информации о времени.

В настоящей технологии блок приема транспортного потока принимает транспортный поток из передатчика через заданный канал передачи. В транспортном потоке первый транспортный пакет, содержащий медиа для транспортировки в полезной нагрузке, и второй транспортный пакет, содержащий информацию о медиа для транспортировки в полезной нагрузке, мультиплексируются с временным разделением. Информация о времени для получения времени декодирования и/или времени представления вставляется в первый транспортный пакет или во второй транспортный пакет. Блок обработки медиа для транспортировки обрабатывает медиа для транспортировки, извлеченное из транспортного потока с использованием времени декодирования и/или времени представления, которые получают на основании информации о времени.

Например, медиа для транспортировки, которое содержится в первом транспортном пакете, может включать в себя одно или более устройств доступа, информация о времени может представлять собой значение времени декодирования или времени представления, соответствующее начальному блоку доступа одного или более блоков доступа, и значение относительного смещения, соответствующее значению абсолютного смещения от времени декодирования до времени представления, каждое из которых соответствует каждому блоку доступа, и приемное устройство может дополнительно включать в себя блок преобразования значения смещения, выполненный с возможностью преобразования значения относительного смещения в значение абсолютного смещения.

Таким образом, в настоящей технологии информация о времени для получения времени декодирования и/или времени представления вставляется в первый транспортный пакет или второй транспорт. Время декодирования и/или время представления можно получить на основании информации о времени, и можно надежным образом обработать транспортируемое медиа, извлеченное из транспортного потока.

Полезные эффекты изобретения

Согласно настоящей технологии в транспортной структуре для широковещания следующего поколения, информацию о времени для получения времени декодирования и/или времени представления можно надежным образом доставить в приемник. Следует отметить, что преимущества, описанные в данном документе, предназначены только для иллюстративных целей и не предназначены для ограничения, и возможны дополнительные преимущества.

Краткое описание чертежей

Фиг. 1 - блок-схема, показывающая примерную конфигурацию приемопередающей системы согласно варианту осуществления.

Фиг. 2 - схема, схематично показывающая конфигурацию полезной нагрузки ММТ.

Фиг. 3 - схема, показывающая примерную взаимосвязь соответствия между файлом ММТ и другую примерную взаимосвязь соответствия между файлом ММТ и фактически доставленными пакетами ММТ.

Фиг. 4 - схема, показывающая другую примерную взаимосвязь соответствия между файлом ММТ и фактически доставленными пакетами ММТ.

Фиг. 5 - схема, показывающая еще одну примерную взаимосвязь соответствия между файлом ММТ и фактически доставленными пакетами ММТ.

Фиг. 6 - схема, предназначенная для описания случая, где пакет ММТ, содержащий MFU, который является фрагментом, представляет собой транспортный пакет, и пакет ММТ представляет собой головной пакет (головную часть GOP) произвольного доступа.

Фиг. 7 - схема, предназначенная для описания случая, где пакет ММТ, содержащий MFU, который является фрагментом, представляет собой транспортный пакет, и пакет ММТ представляет собой неголовной пакет произвольного доступа.

Фиг. 8 - схема, предназначенная для описания случая, где пакет ММТ, содержащий MFU, который является фрагментом, представляет собой транспортный пакет, и пакет ММТ представляет собой головной пакет (головную часть GOP) произвольного доступа.

Фиг. 9 - схема, показывающая конфигурацию пакета ММТ в форме дерева.

Фиг. 10 - концептуальная схема устройства транспортировки пакетов передачи и устройства приема транспортных пакетов.

Фиг. 11 - схема, показывающая "сокращенный формат NTP".

Фиг. 12 - схема, предназначенная для описания информации о времени в случае, где медиаданные представляют собой видео, и начальное значение представляет собой время декодирования.

Фиг. 13 - схема, предназначенная для описания информации о времени в случае, где медиаданные представляют собой видео, и начальное значение представляет собой время.

Фиг. 14 - схема, предназначенная для описания информации о времени в случае, где медиаданные представляют собой аудио, и начальное значение представляет собой время декодирования.

Фиг. 15 - блок-схема, показывающая примерную конфигурацию блока декодирования/вывода.

Фиг. 16 - временная диаграмма, показывающая примерное управление синхронным воспроизведением AV в блоке управления.

Фиг. 17 - схема, предназначенная для описания случая, где пакет, который представляет собой фрагмент MFU, отбрасывается во время передачи пакета.

Фиг. 18 - схема, схематично иллюстрирующая примерный способ вставки информации о времени в пакет ММТ.

Фиг. 19 - схема, показывающая примерную конфигурацию пакета в случае, где вставлена информация о времени (временная метка), соответствующая каждому блоку доступа, чтобы уменьшить задержку передачи/приема.

Фиг. 20 - схема, показывающая примерную структуру всего пакета ММТ.

Фиг. 21 - схема, показывающая примерную структуру заголовка пакета ММТ (mmtp_header()).

Фиг. 22 - схема, показывающая примерную структуру заголовка полезной нагрузки ММТ (mmtp_payload_header()).

Фиг. 23 - схема, показывающая примерную структуру расширения заголовка полезной нагрузки ММТ (mmtp_payload_header_extension()).

Фиг. 24 - схема, показывающая семантику основной информации примерной структуры расширения заголовка полезной нагрузки ММТ.

Фиг. 25 - схема, показывающая другую примерную структуру расширения заголовка полезной нагрузки ММТ (mmtp_payload_header_extension()).

Фиг. 26 - схема, показывающая семантику основной информации другой примерной структуры расширения заголовка полезной нагрузки ММТ.

Фиг. 27 - схема, предназначенная для описания случая, где информации о времени передается в полезной нагрузке MPU для каждого блока доступа, который является фрагментом.

Фиг. 28 - схема, показывающая примерную структуру (синтаксис) MFU.

Фиг. 29 - схема, показывающая примерную структуру заголовка MFU (mfu_header()).

Фиг. 30 - схема, показывающая примерную структуру заголовка MFU (mfu_header()).

Фиг. 31 - схема, показывающая семантику основной информации примерной структуры заголовка MFU.

Фиг. 32 - схема, показывающая примерную структуру расширения заголовка MFU (mfu_header_extension()).

Фиг. 33 - схема, показывающая семантику основной информации примерной структуры расширения заголовка MFU.

Фиг. 34 - схема, показывающая примерную структуру заголовка MFU (mfu_header()) в случае, где информация о времени вставлена в полезную нагрузку MFU.

Фиг. 35 - схема, показывающая примерную структуру заголовка MFU (mfu_header()) в случае, где информация о времени вставлена в полезную нагрузку MFU.

Фиг. 36 - схема, показывающая семантику основной информации примерной структуры заголовка MFU в случае, где информация о времени вставлена в полезную нагрузку MFU.

Фиг. 37 - схема, показывающая примерную структуру полезной нагрузки MFU (mfu_payload()) и семантику основной информации.

Фиг. 38 - схема, показывающая другую примерную структуру заголовка MFU (mfu_header()) в случае, где информация о времени вставлена в полезную нагрузку MFU.

Фиг. 39 - схема, показывающая другую примерную структуру заголовка MFU (mfu_header()) в случае, где информация о времени вставлена в полезную нагрузку MFU.

Фиг. 40 - схема, показывающая семантику основной информации другой примерной структуры заголовка MFU в случае, где информация о времени вставлена в полезную нагрузку MFU.

Фиг. 41 - схема, показывающая примерную структуру полезной нагрузки MFU (mfu_payload()).

Фиг. 42 - схема, показывающая семантику основной информации примерной структуры полезной нагрузки MFU.

Фиг. 43 - схема, показывающая примерную структуру (синтаксис) сообщения временной метки.

Фиг. 44 - схема, показывающая примерную структуру (синтаксис) таблицы временных меток (timestamp_table()).

Фиг. 45 - схема, показывающая примерную структуру (синтаксис) сообщения доступа к пакету.

Фиг. 46 - схема, показывающая примерную взаимосвязь соответствия между временем декодирования D(n) и временем представления R(n) блока доступа AU(n).

Фиг. 47 - схема, показывающая примерную таблицу кода переменной длины для выполнения кодирования переменной длины в отношении временного ряда значений смещения.

Фиг. 48 - схема, показывающая, что при увеличении расстояния M переупорядочения увеличивается эффективность уменьшения пропускной способности вследствие кодирования переменной длины.

Осуществление изобретения

Описание вариантов осуществления

Ниже приводится описание вариантов осуществления (именуемых в дальнейшем "варианты осуществления"), предназначенных для выполнения настоящего изобретения. Следует отметить, что описание будет предоставлено в следующем порядке.

1. Варианты осуществления

2. Изменения

1. Варианты осуществления

Примерная конфигурация приемопередающей системы

На фиг. 1 показана примерная конфигурация приемопередающей системы 10 в качестве варианта осуществления. Приемопередающая система 10 включает в себя устройство 100 передачи транспортных пакетов и устройство 200 приема транспортных пакетов.

Передающее устройство 100 генерирует транспортные пакеты со структурой ММТ (смотри ISO/IEC CD 23008-1), то есть транспортный поток, содержащий пакеты ММТ, и передает транспортный поток в приемник через РЧ канал передачи или канал передачи сети связи. В транспортном потоке первый пакет ММТ, содержащий медиа для транспортировки, такой как видео или аудио, в полезной нагрузке, и второй пакет ММТ, содержащий информацию о медиа для транспортировки в полезной нагрузке, мультиплексируются с временным разделением с использованием по меньшей мере размера фрагментированного пакета. В этом варианте осуществления информация о времени, которая позволяет приемнику получать время декодирования и время представления, вставляется в первый пакет ММТ или во второй пакет ММТ.

Приемное устройство 200 принимает вышеупомянутый транспортный поток из передатчика через RF канал передачи или канал передачи сети связи. Приемное устройство 200 обрабатывает медиа для транспортировки, извлеченное из транспортного потока с использованием времени декодирования и/или времени представления, которые получаются на основании информации о времени, для отображения изображения и вывода звука.

На фиг. 2 схематично показана конфигурация полезной нагрузки ММТ. На фиг. 2 пакет ММТ представляет собой логическую концепцию ММТ и означает материал для транспортировки. Пакет ММТ содержит объекты, которые представляют собой медиа, характеристики доставки объекта, сообщения, сопровождающие пакет (доступ к пакету), информацию о таблице пакетов ММТ (MPT packet table), информацию о составе и т.п. Информация о составе представляет собой информацию, которая используется для выполнения управления представлением медиа. В этом примере Asset 1 (Объект 1) представляет собой данные видео 1, Asset 2 (Объект 2) - данные аудио 1, и Asset 3 (Объект 3) - данные видео 2.

На фиг. 2 показана примерная конфигурация файла в случае, где пакет ММТ представляет собой фактически файл ММТ. Эта конфигурация файла имеет конфигурацию в основном почти такую же, как и конфигурация файла МР4. В головной части имеется поле "styp". За ним следует поле "sidx" в качестве информации о сегменте. За ним следует поле "mmpu", которое является уникальным для ММТ. За ним следует поле "moov" в качестве метаданных всего файла. За ним также следует поле "moof" и поле "mdat". Поле "mdat" содержит фактические данные, такие как видео, аудио, субтитры или тому подобное. Следует отметить, что когда поле "mdat" фрагментировано, для каждого фрагмента предусмотрено поле "moof".

При доставке пакета ММТ пакет ММТ доставляется в блоках блоков обработки медиа (MPU), как показано на фиг. 2. MPU, который начинается с точки произвольного доступа (RAP), содержит один или множество блоков доступа (AU). В частности, например, одна группа картинок (GOP) может образовывать один MPU. Этот MPU определен для каждого объекта. Таким образом, MPU видео, которое содержит только видеоданные, генерируется из видеообъекта, и MPU аудио, которое содержит только аудиоданные, генерируется из аудиообъекта.

Как показано на фиг. 2, MPU и сообщение образуют полезную нагрузку ММТ. Сообщение содержит информацию, такую как вышеупомянутая информация о составе и тому подобное. Блоки фрагментов ММТ (MFU) получаются путем деления MPU, то есть путем фрагментирования MPU. Например, в случае видео MFU можно установить таким образом, чтобы он соответствовал одному блоку NAL. Кроме того, например, когда для передачи используется канал передачи сети связи, MFU может включать в себя один или множество размеров MTU.

Как показано на фиг. 2, полезная нагрузка ММТ доставляется в пакетах ММТ. Пакет ММТ включает в себя заголовок пакета ММТ и полезную нагрузку пакета ММТ. Кроме того, полезная нагрузка пакета ММТ включает в себя заголовок полезной нагрузки ММТ и данные полезной нагрузки ММТ. MPU или сообщение вставляется в данные полезной нагрузки ММТ.

MFU, полученные путем фрагментирования MPU объектов, мультиплексируются с временным разделением, как показано на фиг. 2. MPU представляет собой блок с некоторым продолжительным периодом времени, например 15 кадров или 30 кадров. Если каждый MPU не фрагментирован и не выполнено мультиплексирование с временным разделением, аудиоданные нельзя передавать во время некоторого продолжительного периода времени при передаче данных видео. Таким образом, большая емкость буфера требуется для того, чтобы регулировать временную синхронизации, и, в дополнение, существует большая задержка при выводе изображения или звука. Такую проблему можно решить путем фрагментирования каждого MPU и выполнения мультиплексирования с временным разделением.

На фиг. 3, фиг. 4 и фиг. 5 показана примерная взаимосвязь соответствия между файлом ММТ и пакетами ММТ, которые фактически доставлены. Как описано выше, файл ММТ имеет поля, такие как "styp", "sidx", "mmpu", "moov", "moof", "mdat" и т.п.

Пакет ММТ включает в себя заголовок пакета ММТ (ММТ Hdr) и полезную нагрузку ММТ. Заголовок ММТ содержит ГО пакета (packet_id), порядковый номер пакета (packet_sequence_number), временную метку передачи (transmission_timestamp), приоритет передачи (transmission_priority), данные частного пользователя (private_user_data) и т.п.

ID пакета представляет собой идентификатор для идентификации видео или аудиообъекта, или управляющее сообщение. Порядковый номер пакета представляет собой число, показывающее порядок пакетов. Временная метка передачи представляет собой типовую отметку для передачи, то есть время, когда пакет ММТ выводится из передатчика.

Приоритет передачи представляет собой уровень приоритета, который является индикатором для определения того, какой пакет ММТ передается с приоритетом, когда полоса пропускания канала передачи становится узкой. Данные частного пользователя представляют собой данные, которые пользователь может вставлять конфиденциальным образом для некоторого широковещательного применения. Полезная нагрузка ММТ включает в себя заголовок полезной нагрузки ММТ (ММТ Pl_hdr) и данные полезной нагрузки ММТ. Заголовок полезной нагрузки ММТ может содержать расширение заголовка полезной нагрузки.

Заголовок полезной нагрузки ММТ содержит длину полезной нагрузки, тип полезной нагрузки, тип фрагмента (fragmentation_indicator), подсчет фрагментов (fragment_count), флаг информации об агрегации (aggregation_info_flag), флаг RAP (random_accessjpoint_flag) и т.п.

Кроме того, заголовок полезной нагрузки ММТ содержит смещение данных (data_offset), номер блока данных (numDU), смещение блока данных (DU_offset), номер полезной нагрузки (payload_sequence_number), флаг области расширения заголовка (header_extension_field_flag) и т.п.

Длина полезной нагрузки представляет собой информацию о размере всей полезной нагрузки. Тип полезной нагрузки представляет собой информацию, показывающую, представляет ли собой полезная нагрузка MPU или характер управления (сообщение). Одна полезная нагрузка может содержать данные вплоть до 64 кбайт. Тип фрагмента представляет собой информацию, показывающую, может или нет одна полезная нагрузка вмещать в себя полный MPU.

Например, если полный MPU вмещается, то вставляется "0". В ином случае, то есть, если MPU фрагментирован на предварительно определенное число MFU, то вставляется одно из "1", "2" и "3". Значение "1" показывает, что пакет ММТ содержит первый фрагмент. Значение "2" показывает, что пакет ММТ содержит промежуточный фрагмент, но не первый или последний фрагмент. Значение "3" показывает, что пакет ММТ содержит последний фрагмент.

Подсчет фрагментов представляет собой информацию о подсчете MFU. Флаг информации об агрегации представляет собой информацию о флаге, показывающую, содержит или нет полезная нагрузка множество MPU. Значение "0" показывает, что полезная нагрузка содержит только один MPU. Значение "1" показывает, что полезная нагрузка содержит множество MPU. Флаг RAP представляет собой информацию, показывающую, содержит или нет пакет ММТ точку произвольного доступа, то есть блок доступа, соответствующий картинке головной части GOP.

Смещение данных представляет собой информацию, показывающую размер от головной позиции полезной нагрузки до головной позиции данных полезной нагрузки, то есть размер заголовка полезной нагрузки. Номер блока данных показывает число блоков данных MPU, содержащихся в полезной нагрузке. Смещение блока данных представляет собой информацию о смещении относительно головной позиции данных полезной нагрузки в каждом блоке данных. Порядковый номер полезной нагрузки представляет собой порядковый номер полезной нагрузки пакета ММТ. Флаг области расширения заголовка представляет собой информацию о флаге, показывающую, присутствует или нет расширение заголовка полезной нагрузки.

На фиг. 3 показано примерное пакетирование ММТ. Метаданные каждого из полей "styp", "sidx", "mmpu", "moov" и "moof" файла ММТ вставляются в один блок данных MPU полезной нагрузки ММТ для генерирования пакета ММТ. В этом случае в заголовке полезной нагрузки ММТ "fragmentation_indicator" равняется "0", "fragment_count" равняется "0", "aggregation_info_flag" равняется "0", и "RAP flag" равняется "1".

Кроме того, в этом случае один MPU, который присутствует в "mdat" файла ММТ, вставляется в один блок данных MPU полезной нагрузки ММТ для генерирования пакета ММТ. В этом случае в заголовке полезной нагрузки ММТ "fragmentation_indicator" равняется "0", "fragment_count" равняется "0", "aggregation_info_flag" равняется "0", и "RAP_flag" равняется "1".

На фиг. 4 показан другой пример пакетирования ММТ. В этом случае, как и в примере, показанном на фиг. 3, метаданные каждого из полей "styp", "sidx", "mmpu" и "moov" файла ММТ вставляются в один блок данных MPU полезной нагрузки ММТ для генерирования пакета ММТ. Кроме того, в этом случае в нескольких (в этом примере в трех) блоках данных MPU полезной нагрузки ММТ, вставляются три MPU, которые присутствуют в "mdat" файла ММТ, для генерирования пакета ММТ. В этом случае в заголовке полезной нагрузки ММТ "fragmentation_indicator" равняется "0", "fragment_count" равняется "0", "aggregation_info_flag" равняется "1", "RAP_flag" равняется "1", "numDU" равняется "3", и присутствуют три смещения DU "DU offsets".

На фиг. 5 показан еще один пример пакетирования ММТ. В этом случае, как и в примере, показанном на фиг. 3, метаданные каждого из полей "styp", "sidx", "mmpu", "moov" и "moof" файла ММТ вставляются в один блок данных MPU полезной нагрузки ММТ, или выполняется предварительно определенное преобразование информации для генерирования пакета ММТ.

Кроме того, в этом случае один блок доступа (AU), который присутствует в "mdat" файла ММТ, а также заголовок MFU (MFU Hdr) вставляются в один блок данных MPU полезной нагрузки ММТ для генерирования пакета ММТ. В этом случае в заголовке полезной нагрузки ММТ "fragmentation_indicator" равняется "1", "fragment_count" равняется "N", который представляет собой значение количества MFU, "aggregation_info_flag" равняется одному из "1"-"3" в зависимости от MFU, который содержится в нем, и "RAP_flag" равняется "1" или "0". Следует отметить, что заголовок MFU содержит информацию, такую как порядковый номер (sequence_number) MFU.

На фиг. 6 и фиг. 8 показан случай, где пакет ММТ, содержащий MFU, полученный путем фрагментирования, представляет собой транспортный пакет, и пакет ММТ представляет собой головной пакет (головную часть GOP) произвольного доступа. В этом случае этот пакет ММТ доставляется вместе с пакетом ММТ, в который вставляются метаданные каждого из полей "styp", "sidx", "mmpu", "moov" и "moof" файла ММТ, или в котором выполняется предварительно определенное преобразование информации.

Например, область "mmpu" содержит информацию для определения того, являются или нет данные MFU данными реального времени. Эта информация об определении разрешает приемнику, в головной части произвольного доступа, определить, являются или нет данные MFU данными реального времени, например.

На фиг. 7 показан случай, где пакет ММТ, содержащий MFU, полученный путем фрагментирования, представляет собой транспортный пакет, и пакет ММТ представляет собой неголовной пакет произвольного доступа. В этом случае этот пакет ММТ доставляется как пакет ММТ, имеющий минимальную конфигурацию в отличие от вышеупомянутого головного пакета.

На фиг. 9 показана конфигурация пакета ММТ в форме дерева. Как описано выше, пакет ММТ включает в себя заголовок пакета ММТ, заголовок полезной нагрузки ММТ и полезную нагрузку ММТ. Полезная нагрузка ММТ содержит сообщение, блок обработки медиа (MPU), символ восстановления FEC и т.п. Передача их сигналов выполняется на основании типа полезной нагрузки (payload_type), которая содержится в заголовке полезной нагрузки ММТ.

Следует отметить, что различные содержания сообщения вставляются в сообщение в форме таблицы. Кроме того, MPU можно фрагментировать и разделить на блоки фрагментов ММТ (MFU). В этом случае заголовок MFU добавляется в головную часть каждого MFU. В полезной нагрузке ММТ присутствуют MPU, который относится к медиаданным, таким как видео или аудио, и помимо этого MPU, который относится к метаданным. Пакет ММТ, содержащий каждый MPU, можно идентифицировать с использованием ID пакета (Packet_ID), который присутствует в заголовке пакета ММТ.

Концепция передающего устройства и приемного устройства

На фиг. 10 показана концептуальная схема устройства 100 передачи транспортных пакетов и устройства 200 приема транспортных пакетов. Передающее устройство 100 включает в себя блок 101 генерирования объекта, кодер 102, блок 103 пакетирования транспорта, блок 104 генерирования синхронизирующих импульсов, блок 105 передачи IP и блок 106 передачи РЧ сигналов.

Блок 101 генерирования объекта генерирует видео- или аудиоданные в виде медиаданных. Блок 101 генерирования объекта может представлять собой запоминающее устройство для хранения данных, включающее в себя жесткий диск (HDD), полупроводниковую память или тому подобное, или, в качестве альтернативы, видеокамеру, микрофон или тому подобное. Кодер 102 выполняет процесс кодирования видео- или аудиоданных, которые вырабатываются с помощью блока 101 генерирования объекта, для генерирования данных передачи.

Блок 103 пакетирования транспорта генерирует пакет ММТ, содержащий медиаданные, в которых данные передачи, сгенерированные с помощью кодера 102, вставляются в полезную нагрузку в блоках MPU или в блоках MFU, которые представляют собой фрагменты блока MPU, и также генерирует вышеупомянутый пакет ММТ, содержащий метаданные, или вышеупомянутый пакет ММТ, содержащий сообщение. Блок 103 пакетирования транспорта, при генерировании пакета ММТ, вставляет информацию о времени, которая позволяет приемнику получать время декодирования (Decode_Timestamp) и время представления (Display_Timestamp) в пакете ММТ. Вставка информации о времени в пакет ММТ будет подробно описана ниже.

Блок 105 передачи IP при использовании канала передачи сети связи преобразует транспортный поток, включающий в себя пакеты ММТ, которые последовательно выводятся из блока 103 пакетирования транспорта в виде пакетов IP, и передает пакеты IP в приемник через канал передачи сети связи. Блок 106 передачи RF сигналов при использовании RF канала передачи выполняет RF модуляцию транспортного потока, включающего в себя пакеты ММТ, последовательно выводимые из блока 103 пакетирования транспорта через соответствующий уровень адаптации или тому подобное, и передает результирующий транспортный поток в приемник через РЧ канал передачи. В данном случае передающее устройство 100 добавляет временную метку передачи в данные передачи на основании сигнала системной временной синхронизации STC, выводимого из блока 104 генерирования синхронизирующих импульсов.

Приемное устройство 200 имеет блок 201 приема RF сигналов, блок 202 приема IP, блок воспроизведения синхронизирующего импульса 203, блок 204 распаковки транспорта и блок 205 декодирования/вывода.

Блок 201 приема RF сигналов принимает транспортный поток, который представляет собой последовательность пакетов ММТ, переданных от передатчика через RF канал передачи после анализа уровня адаптации, и выводит транспортный поток в блок 204 распаковки транспорта. Кроме того, блок 202 приема IP принимает транспортный поток, который представляет собой последовательность пакетов ММТ, переданных из передатчика через канал передачи сети связи, и выводит транспортный поток в блок 204 распаковки транспорта.

Блок 203 генерирования синхронизирующих импульсов генерирует и подает сигнал системной временной синхронизации STC в блок 204 распаковки транспорта или тому подобное. Блок 203 генерирования синхронизирующих импульсов устанавливает синхронизирующий импульс на основании значения временной метки передачи (значения NTP), добавленного в данные передачи. Альтернативно, блок 203 генерирования синхронизирующих импульсов устанавливает синхронизирующий импульс на основании значения временной метки (значения NTP), поданного с использованием пакета NTP. В этом случае блок 203 генерирования синхронизирующих импульсов исправляет сгенерированный сигнал системной временной синхронизации STC таким образом, чтобы различие между сгенерированным сигналом системной временной синхронизации STC и значением типовой отметки (значением NTP) находилось в пределах некоторого диапазона.

Когда NTP подается с использованием пакета NTP, полученного из сервера NTP или тому подобного вместо временной метки передачи заголовка пакета ММТ, формат NTP не ограничивается "сокращенным форматом NTP", показанным на фиг. 11. Хотя это и не показано, NTP может подаваться в виде 64-разрядного "формата временной метки NTP (32 разряда для целой части секунды + 32 разряда для дробной части секунды)" (смотри IETF RFC 5905). В этом случае в приемнике синхронизирующий импульс декодера устанавливается с использованием значения принятого NTP и сравнивается со значением временной метки медиа. В этом случае различие по точности между временной меткой представления или декодирования медиа и синхронизирующим импульсом учитывается в приемнике во время сравнения.

Блок 204 распаковки транспорта выполняет распаковку пакетов ММТ, последовательно подаваемых из блока 201 приема RF сигналов или блока 202 приема IP, для получения данных приема в качестве медиаданных и помимо этого метаданных или сообщения. Блок 205 декодирования/вывода декодирует данные приема, полученные с помощью блока 204 распаковки транспорта, для получения видео- или аудиоданных и выполняет отображение видео или вывод аудио на основании метаданных или сообщения.

В этом случае блок 205 декодирования/вывода получает время декодирования (Decode_Timestamp) и/или время представления (Display_Timestamp) для каждого блока доступа на основании информации о времени, извлеченный с помощью блока 204 распаковки транспорта, и управляет временной синхронизацией декодирования и временной синхронизацией представления, чтобы достичь синхронного воспроизведения видео и аудио. Это синхронное воспроизведение видео и аудио будет подробно описано ниже.

Далее будут кратко описаны работа передающего устройства 100 и работа приемного устройства 200, которые показаны на фиг. 10. Сначала будет описана работа передающего устройства 100. Видео- или аудиоданные, сгенерированные блоком 101 генерирования объекта, подаются в кодер 102. После этого кодер 102 выполняет процесс кодирования над видео- или аудиоданными для генерирования данных передачи (кодированных данных).

Данные передачи, сгенерированные кодером 102, подаются в блок 103 пакетирования транспорта. После этого блок 103 пакетирования транспорта генерирует пакет ММТ, содержащий медиаданные, в которых данные передачи вставлены в полезную нагрузку в блоки MPU или в блоки MFU, которые представляют собой фрагменты блока MPU и, кроме того, в вышеупомянутый пакет ММТ, содержащий метаданные, или в вышеупомянутый пакет ММТ, содержащий