Управление мультимедийными контейнерными файлами

Управление мультимедийными контейнерными файлами

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение в целом относится к управлению данными мультимедиа и, в частности, к созданию и использованию мультимедийных контейнерных файлов, содержащих такое мультимедийное содержание.

УРОВЕНЬ ТЕХНИКИ

Предоставление данных мультимедиа клиентам через различные сети увеличилось многократно за последние несколько лет. Сегодня Интернет используется многочисленными пользователями для доступа и загрузки или потоковой передачи данных мультимедиа, например, в виде видеопотоков и аудиопотоков или файлов на медиасерверы.

В соответствии с этой возрастающей потребностью в предоставлении данных мультимедиа в проводных и беспроводных сетях связи продолжается работа по развитию серверов потоковых данных и загрузочных серверов, доступных в беспроводных сетях, для предоставления мультимедийного содержания по запросам клиентов. Существует общая тенденция к прозрачности и гибкости серверов потоковых данных/загрузочных серверов, что подразумевает, что серверы должны в основном состоять из множества "стандартных" блоков или программ, выполняющих различные функции управления данными мультимедиа. Затем осуществляется ввод мультимедийного содержания на вход этих функций вместе с инструкциями, как блоки/программы должны обрабатывать содержание. Это обеспечивает более гибкое предоставление данных мультимедиа по сравнению с использованием фиксированной, заранее заданной обработки данных мультимедиа в серверах.

Экспертная группа по вопросам движущегося изображения (MPEG) стандартизировала формат файлов, базовый формат мультимедийных файлов Международной организации по стандартизации (ISO) [1], который соответствует тенденции развития серверов потоковых данных и загрузочных серверов. Базовый формат мультимедийных файлов ISO определяет общий формат файла для хранения и передачи мультимедийных презентаций и служит базисом для многих более специализированных форматов файлов, например формата файлов усовершенствованного кодирования видео (AVC) [2], формата файлов масштабируемого видеокодирования (SVC) [3] и формата файлов мультиракурсного видеокодирования (MVC) [4].

В базовом формате мультимедийных файлов ISO дорожки могут группироваться в группы альтернатив. Дорожки, которые принадлежат одной и той же группе альтернатив, называют альтернативными дорожками, и они являются альтернативами друг другу. Они могут, например, представлять одно и то же содержание, но отличаться качеством, кодеком, языком и т.д. Только одна дорожка из каждой группы альтернатив должна обрабатываться за один раз во время мультимедийного сеанса, чтобы обеспечить целостность презентации.

В дополнение к группам альтернатив базовый формат мультимедийных файлов ISO также определяет группы переключения. Все дорожки в группе альтернатив являются кандидатами на выбор данных мультимедиа, но, возможно, не имеет смысла переключаться во время текущего мультимедийного сеанса между некоторыми из этих дорожек. Например, может быть позволено переключаться между видеодорожками с различными скоростями передачи данных, сохраняя при этом размер кадров, но не позволено переключаться между дорожками с разным размером кадров, различными видеокодеками или различными языками аудио. Различие между группами альтернатив и группами переключения состоит в том, что дорожки в одной и той же группе переключения являются кандидатами на переключение даже во время текущего мультимедийного сеанса, в то время как дорожки в одной и той же группе альтернатив, но в различных группах переключения, не должны переключаться во время текущего мультимедийного сеанса.

Организация на предшествующем уровне техники данных мультимедиа в дорожках и присвоение таких дорожек к различным группам альтернатив и переключения работает хорошо для большинства типов мультимедиа. Однако применительно к некоторым типам мультимедиа, например SVC и MVC [5], встречаются проблемы.

SVC является стандартизированным масштабируемым расширением к общепризнанному H.264/AVC стандарту видеокодирования [5]. SVC позволяет кодировать несколько представлений видео в одном битовом потоке. Каждое такое кодированное представление видео с определенным пространственным разрешением, качеством и частотой кадров обозначается как слой. Слои имеют иерархическую зависимость, где самый нижний слой обозначен как базовый слой (BL), а последующие слои обозначены как слои (ELs) улучшения.

MVC является расширением AVC/SVC стандарта, который предназначен для совместного кодирования множества ракурсов. Множество ракурсов в этом контексте представляют собой последовательности видеокадров, которые представляют один и тот же объект съемки, снятый различными камерами. Структура MVC ракурсов подобна структуре SVC слоев с той разницей, что MVC ракурсы обычно имеют одинаковое разрешение, качество и частоту кадров.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

При применении базового формата мультимедийных файлов ISO к кодированному SVC или MVC содержанию каждая дорожка будет содержать множество версий одного и того же содержания в виде множества слоев или ракурсов. Группы альтернатив и группы переключения, однако, специально разработаны для одной дорожки. Это означает, что во время текущего мультимедийного сеанса может иметь место переключение между различными слоями или ракурсами, определенными дорожкой, поскольку они будут, по сути, принадлежать одной и той же группе альтернатив и одной и той же группе переключения. Есть, тем не менее, ситуации, в которых крайне нежелательно динамически переключаться между слоями или ракурсами. Например, базовый слой может быть бесплатным и содержать рекламу, в то время как слой улучшения содержит оплаченную премиум версию без рекламы содержания. Поэтому неумышленное переключение с премиум версии содержания на бесплатное содержание нежелательно для пользователя, который оплатил отсутствие рекламы.

Таким образом, имеется потребность в решении проблемы применения понятия групп альтернатив и/или переключения к типам мультимедиа, которые несут множество версий одного и того же содержания, например SVC и MVC.

Общей задачей является обеспечение мультимедийного контейнерного файла, который может использоваться в мультимедийных сеансах.

Конкретной задачей является обеспечение такого мультимедийного контейнерного файла, который может использоваться для данных мультимедиа, содержащих множество частей данных мультимедиа, составляющих соответствующие подпотоки.

Эти и другие задачи решаются в вариантах воплощения, раскрытых в настоящем документе.

Кратко, мультимедийный контейнерный файл создается посредством организации данных мультимедиа, определенных мультимедийной дорожкой в мультимедийном контейнерном файле. Данные мультимедиа содержат части, которые составляют различные подпотоки с точки зрения того, что они относятся к различным версиям одного и того же мультимедийного содержания. Например, части данных мультимедиа могут относиться к различным слоям SVC данных или различным ракурсам MVC данных.

Информация о поддорожке предоставляется в мультимедийном контейнерном файле для каждой поддорожки, определенной мультимедийной дорожкой. Информация о поддорожке идентифицирует часть данных мультимедиа в мультимедийном контейнерном файле, которая принадлежит или определяется поддорожкой. По меньшей мере одной из поддорожек присваивается информация о выборе, которая включена в мультимедийный контейнерный файл. Информация о выборе определяет выборочную обработку части данных мультимедиа, определенной поддорожкой, по отношению к другим данным мультимедиа, организованным в мультимедийном контейнерном файле и относящимся к тому же содержанию, что и часть данных мультимедиа поддорожки.

Один аспект изобретения также касается сервера мультимедийного содержания, предназначенного для создания такого мультимедийного контейнерного файла. Сервер мультимедийного содержания содержит организатор данных для организации данных мультимедиа в мультимедийном контейнерном файле. Поставщик информации о поддорожке предоставляет информацию о поддорожке в мультимедийном контейнерном файле, а поставщик информации о выборе обеспечивает информацию о выборе в мультимедийном контейнерном файле.

Другой аспект определяет мультимедийный контейнерный файл, который содержит части данных мультимедиа, которые составляют соответствующие подпотоки. Мультимедийные дорожки включены в мультимедийный контейнерный файл для определения данных мультимедиа. Кроме того, мультимедийный контейнерный файл содержит информации о поддорожке, которая идентифицирует для каждой поддорожки, определенной в мультимедийной дорожке, часть данных мультимедиа, которая принадлежат поддорожке. Информация о выборе содержится в мультимедийном контейнерном файле по меньшей мере для одной поддорожки для определения выборочной обработки части данных мультимедиа, соответствующей поддорожке, по отношению к другим данным мультимедиа, организованным в мультимедийном контейнерном файле и относящимся к тому же информационному мультимедийному содержанию, что и часть данных мультимедиа.

Способ обработки данных мультимедиа согласно аспекту изобретения использует мультимедийный контейнерный файл посредством выбора при установлении мультимедийного сеанса поддорожки на основании идентификатора группы альтернатив, присвоенного поддорожке в виде информации о выборе. Данные мультимедиа, соответствующие выбранной поддорожке, извлекаются из мультимедийного контейнерного файла на основании информации о поддорожке, присвоенной выбранной поддорожке. Извлеченные данные мультимедиа компилируются в пакеты данных и передаются по меньшей мере на один терминал пользователя во время мультимедийного сеанса.

Другой аспект способа обработки данных мультимедиа состоит в переключении с текущей дорожки или поддорожки на другую поддорожку во время текущего мультимедийного сеанса. Переключение выполняется на основании идентификатора группы переключения, присвоенного поддорожке в виде информации о выборе и поэтому присутствующего в мультимедийном контейнерном файле. Информация о поддорожке, присвоенная выбранной поддорожке и включенная в мультимедийный контейнерный файл, используется для извлечения данных мультимедиа поддорожки и компилирования их в пакеты данных, которые отправляются по меньшей мере на один терминал пользователя для осуществления переключения данных мультимедиа, относящихся к одному и тому же содержанию, во время текущего мультимедийного сеанса.

Сервер обработки данных мультимедиа включает согласно аспекту изобретения поставщика контейнера для предоставления мультимедийного контейнерного файла. Селектор дорожки выбирает поддорожку, определенную в мультимедийном контейнерном файле, при установлении мультимедийного сеанса. Селектор дорожки использует идентификатор группы альтернатив из мультимедийного контейнерного файла, присвоенный поддорожке при процедуре отбора. Компилятор пакетов получает данные мультимедиа поддорожки из мультимедийного контейнерного файла и компилирует данные мультимедиа в пакеты данных на основании информации о поддорожке, связанной с поддорожкой. Передатчик передает пакеты данных по меньшей мере на один терминал пользователя во время мультимедийного сеанса.

Другой аспект сервера обработки данных обеспечивает переключение между потоками и подпотоками, относящимися к одному и тому же информационному мультимедийному содержанию, во время текущего мультимедийного сеанса. Поставщик контейнера обеспечивает мультимедийный контейнерный файл, в котором определена по меньшей мере одна поддорожка и который содержит соответствующий идентификатор группы переключения и информацию о поддорожке. Селектор дорожки использует идентификатор группы переключения для выбора поддорожки, относящейся к тому же информационному мультимедийному содержанию, что и текущая дорожка или поддорожка. Компилятор пакетов компилирует пакеты данных, несущие данные мультимедиа выбранной поддорожки, на основании информации о поддорожке. Пакеты данных передаются по меньшей мере на один терминал пользователя во время текущего мультимедийного сеанса для осуществления переключения потока данных мультимедиа или подпотока.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Изобретение наряду с его дальнейшими задачами и преимуществами может быть лучше всего понято с помощью последующего описания совместно с прилагаемыми чертежами, в которых:

фиг. 1 представляет собой блок-схему последовательности операций, которая изображает способ получения мультимедийного контейнерного файла согласно варианту воплощения;

фиг. 2 представляет собой схематическую иллюстрацию организации масштабируемых данных видеокодирования в виде различных слоев;

фиг. 3 представляет собой блок-схему последовательности операций, которая изображает вариант воплощения этапов предоставления информации на фиг. 1, применимый для масштабируемых данных видеокодирования;

фиг. 4 схематично изображает запись объекта съемки с использованием множества ракурсов изображения камеры;

фиг. 5 представляет собой схематическую иллюстрацию организации данных мультиракурсного видеокодирования в виде различных ракурсов;

фиг. 6 представляет собой блок-схему последовательности операций, которая изображает вариант воплощения этапов предоставления информации на фиг. 1, применимый для данных мультиракурсного видеокодирования;

фиг. 7 представляет собой блок-схему последовательности операций, которая изображает дополнительный этап способа создания на фиг. 1 согласно варианту воплощения;

фиг. 8 представляет собой схематическую иллюстрацию мультимедийного контейнерного файла согласно варианту воплощения;

фиг. 9 представляет собой общий вид сети связи, которая включает серверы, создающие и использующие мультимедийные контейнерные файлы согласно варианту воплощения;

фиг. 10 представляет собой блок-схему варианта воплощения сервера мультимедийного содержания;

фиг. 11 представляет собой блок-схему последовательности операций, которая изображает способ обработки данных мультимедиа согласно варианту воплощения;

фиг. 12 представляет собой блок-схему последовательности операций, которая изображает дополнительные этапы способа обработки данных мультимедиа на фиг. 11 согласно варианту воплощения;

фиг. 13 представляет собой блок-схему варианта воплощения сервера обработки данных мультимедиа.

ПОДРОБНОЕ ОПИСАНИЕ

Всюду на чертежах используются одни и те же номера ссылок для подобных или соответствующих элементов.

Настоящее изобретение в целом относится к управлению данными мультимедиа и, в частности, к созданию и использованию мультимедийных контейнерных файлов на медиасерверах, например серверах потоковых данных или загрузочных серверах, в сетях связи, включая сети связи, основанные на радио. Мультимедийный контейнерный файл включает в дополнение к информационному мультимедийному содержанию для передачи запрашивающему клиенту(ам) инструкции, используемые для выполнения обработки данных мультимедиа и передачи в медиасерверах. Эти инструкции содержат информацию о выборе, которая может использоваться медиасерверами для выбора мультимедийного содержания для мультимедийного сеанса, например для выбора мультимедийного содержания при установлении мультимедийного сеанса и/или переключении между потоками данных мультимедиа во время текущего мультимедийного сеанса.

Согласно настоящему изобретению под данными мультимедиа или информационным мультимедийным содержанием подразумеваются любые данные, которые могут быть предоставлены поставщиком информационных ресурсов или сервером клиенту для воспроизведения данных. Типичные примеры предпочтительных вариантов включают видеоданные и аудиоданные. Варианты воплощения в особенности полезны применительно к данным мультимедиа, содержащим множество различных частей данных, где каждая такая часть данных составляет соответствующий подпоток. Такие данные мультимедиа организованы в виде одной мультимедийной дорожки мультимедийного контейнерного файла, но содержат множество частей данных, например, слои в SVC или ракурсы в MVC. Организация данных мультимедиа в виде характерных для подпотоков частей данных мультимедиа приводит к проблемам при использовании методов предшествующего уровня техники, то есть идентификаторов группы альтернатив и группы переключения предшествующего уровня техники. Чтобы более ясно раскрыть преимущества вариантов воплощения, сначала следует краткое обсуждение ограничений методов предшествующего уровня техники.

Классы информационного SVC содержания

SVC позволяет кодирование множества представлений информационного видео-содержания в одном битовом потоке. Масштабируемость видеоданных может быть достигнута в смысле:

• временной масштабируемости - частота кадров может быть уменьшена посредством пропуска кадров.

• пространственной масштабируемости - слои кодируются при различных пространственных разрешениях. Предварительная подготовка данных более высоких разрешений может использовать данные более низкого разрешения.

• масштабируемости качества - слои кодируются при одном и том же пространственном разрешении, но с различным качеством. Масштабируемость качества также называется масштабируемостью отношения сигнал-шум (SNR) в области техники.

Кодированные данные 2 делятся на различные слои 4, 5, которые схематично изображены на фиг. 2. Слои 4, 5 имеют иерархическую зависимость, самый низкий слой обозначен как базовый слой 4, а последующие слои обозначены как слои 5 улучшения. Чертеж схематично изображает эти иерархические зависимости кодирования между слоями 4, 5 с точки зрения того, что (предсказанные или P) кадры слоя 5 улучшения кодируются по меньшей мере частично на основании (кадров с внутренним кодированием, или I/кадров с внутренним кодированием, или P/ кадров базового слоя 4.

SVC может использоваться для представления различных версий или классов одного и того же информационного видеосодержания, например оплаченную премиум версию против бесплатной версии. Разница между этими двумя версиями может быть с точки зрения качества, например высокое против низкого качества, разрешения, например высокая четкость (HD) против стандартной четкости (SD) или 1080p против 720p, рекламы, например отсутствие против наличия пространственных вставок рекламных объявлений и логотипов, и т.д.

Два класса содержания могут быть закодированы одной дорожкой SVC с бесплатной версией в базовом слое (BL) и премиум версией в слое (EL) улучшения. Однако синтаксис группы переключения предшествующего уровня техники не может использоваться для присвоения различных групп переключения в пределах одной дорожки:

Содержание	Слой	Идентификатор дорожки	Группа альтернатив	Группа переключения
Бесплатное SVC	BL	1	1	?
Премиум SVC	EL

Следовательно, нет никакой возможности предотвратить согласно предшествующему уровню техники непреднамеренное переключение между бесплатной версией и премиум версией. Это является, конечно, не приемлемым для пользователя, который заплатил дополнительно, чтобы избежать рекламы в видео.

MVC ракурсы

MVC совместно кодирует видеоданные, захваченные несколькими камерами 80-85 для объекта 86 съемки, как это показано на фиг. 4. Чертеж изображает три камеры 80-82, которые захватывают различные ракурсы левой стороны объекта 86 съемки, тогда как три других камеры 83-85 расположены для захвата различных ракурсов правой стороны объекта съемки. Межракурсные корреляции могут использоваться в совместном кодировании множества ракурсов, таким образом уменьшая скорость передачи данных по сравнению с раздельным кодированием разных ракурсов. Фиг. 5 изображает концепцию MVC данных 3, организованных в виде различных ракурсов 6-8. В таком случае один из ракурсов является основным ракурсом 6, тогда как другие ракурсы, обозначающие дополнительные ракурсы 7, 8, кодируются относительно основного ракурса 6 или других дополнительных ракурсов, как это схематично изображено на чертеже.

MVC данные имеют проблемы в предшествующем уровне техники, аналогичные таковым для SVC данных. Например, предположим случай, в котором видеоданные одной пары ракурсов левой стороны и правой стороны закодированы с помощью H.263, а другая левая и правая пара закодирована как данные MVC:

Содержание	Ракурс	Идентификатор дорожки	Группа альтернатив	Группа переключения
H.263 ракурс левой стороны		1	1	1
H.263 ракурс правой стороны		2	2	2
MVC ракурс левой стороны	1	3	?	?
MVC ракурс правой стороны	2

Согласно предшествующему уровню техники невозможно указать как альтернативы два кодирования левой стороны или два кодирования правой стороны, так как идентификаторы групп альтернатив и переключения присваиваются на уровне дорожек. В этом случае дорожка 3 должна фактически принадлежать и той же группе альтернатив, что и H.263 ракурс левой стороны, и той же группе альтернатив, что и H.263 ракурс правой стороны, так как дорожка содержит видеоданные ракурсов и левой и правой сторон.

На первый взгляд можно было бы попытаться решить эти проблемы предшествующего уровня техники посредством использования экстракторов. Экстракторы ссылаются на другие данные в пределах одного и того же мультимедийного контейнерного файла. Когда экстрактор обрабатывается средством чтения файлов, он заменяется данными мультимедиа, на которые он ссылается.

Одна дорожка для SVC потока

Содержание	Идентификатор дорожки	Группа альтернатив	Группа переключения
SVC BL+EL	1	1	1

Описанные выше проблемы существуют и в этом случае, так как возможно переключение между базовым слоем и слоем улучшения во время мультимедийного сеанса.

Одна дорожка для SVC потока - извлечь BL в другую дорожку

Содержание	Идентификатор дорожки	Группа альтернатив	Группа переключения
SVC BL+EL	1	1	1
SVC BL (экстракторы из дорожки 1)	2	1	2

Даже с различными группами переключения для двух дорожек можно переключаться между базовым слоем и слоем улучшения в дорожке 1.

Одна дорожка для AVC потока - извлечь BL в другую дорожку

Содержание	Идентификатор дорожки	Группа альтернатив	Группа переключения
SVC BL (AVC)	1	1	1
SVC BL (экстракторы из дорожки 1)+SVC EL	2	1	2

Даже с различными группами переключения для двух дорожек можно переключаться между базовым слоем и слоем улучшения в дорожке 2.

Таким образом, ни одна из вышеупомянутых очевидных модификаций предшествующего уровня техники не решает проблему управления переключением, например предотвращения переключения между базовым и слоями улучшения.

На сегодня на самом деле существует специальное решение для SVC, которое может предотвратить переключение на базовый слой. Признак layer_output_flag в информации о масштабируемости в сообщении вспомогательного индикатора (SEI) улучшения является кандидатом. layer_output_flag, равный 1, указывает, что результат декодирования для текущего представления масштабируемого слоя предназначен для вывода. layer_output_flag, равный 0, указывает, что результат декодирования для текущего представления масштабируемого слоя не предназначен для вывода.

Однако установка layer_output_flag равным 0 для базового слоя работает, только если базовый слой вообще не предназначен для вывода. Весь смысл наличия различных классов или версий содержания состоит в том, что все классы должны быть потенциальными кандидатами на вывод. Хотя после выбора одного из них переключение между ними должно быть управляемым, например оно может быть ограничено. Таким образом, использование layer_output_flag подобным образом не будет решать проблему предшествующего уровня техники, так как оно фактически ограничит доступность одного из слоев, тем самым теряя преимущество наличия различных слоев и классов мультимедийного содержания. Кроме того, layer_output_flag отсутствует в базовом формате мультимедийных файлов ISO, а вместо этого требует непрерывной проверки фактического битового потока, что затруднительно во время мультимедийного сеанса.

Таким образом, есть потребность в решении, которое позволит использовать группы альтернатив и переключения также для типов мультимедийного содержания, организованных в виде различных подпотоков, как, например, SVC и MVC данные, так как методы предшествующего уровня техники не могут использоваться для достижения такого решения.

Фиг. 1 представляет собой блок-схему последовательности операций для способа создания мультимедийного контейнерного файла согласно варианту воплощения. Этот мультимедийный контейнерный файл может рассматриваться как целый входной пакет, который может использоваться медиасервером во время мультимедийного сеанса для предоставления мультимедийного содержания и формирования данных мультимедиа в пригодные к передаче пакеты данных. Таким образом, мультимедийный контейнерный файл предпочтительно включает в себя, в дополнение к информационному мультимедийному содержанию как таковому, информацию и инструкции, необходимые медиасерверу для выполнения обработки и разрешения передачи мультимедийного содержания во время мультимедийного сеанса.

Способ начинается с необязательного этапа S1, где обеспечиваются данные мультимедиа, которые будут включены в мультимедийный контейнерный файл. Согласно вариантам воплощения данные мультимедиа содержат множество, то есть по меньшей мере две части данных, которые составляют соответствующие подпотоки мультимедийного содержания. Это множество частей данных мультимедиа могут рассматриваться как различные версии одного и того же мультимедийного содержания. Например, многослойные данные мультимедиа, такие как SVC, содержат много слоев, обычно в иерархическом порядке. При обработке только одного слоя, то есть базового слоя, или вдобавок при обработке слоя улучшения чаще всего создается одно и то же информационное мультимедийное содержание, но в различных классах или версиях, например, с точки зрения качества, разрешения и т.д. Тем не менее, фактическое информационное мультимедийное содержание, которое обеспечивается при обработке альтернативных слоев, в целом такое же, хотя оно может быть в виде различных версий. Аналогичная ситуация имеет место для MVC, где части данных мультимедиа относятся к различным ракурсам изображения камеры. Хотя SVC и MVC являются предпочтительными примерами данных мультимедиа, которые могут быть обеспечены на этапе S1, варианты воплощения этим не ограничиваются. Напротив, может использоваться любой другой тип данных мультимедиа, которые могут быть организованы в виде различных частей данных мультимедиа, например слоев или ракурсов, включая масштабируемые аудиоданные.

В изобретении предполагается, что даже при том что один слой или ракурс могут рассматриваться как одна часть данных мультимедиа, из-за взаимосвязей вследствие кодирования он может нуждаться в кодированных данных из другого слоя или ракурса, чтобы его можно было декодировать. Например, слои улучшения могут быть закодированы относительно базового слоя и/или другого слоя(ев) улучшения, и дополнительные ракурсы могут быть закодированы относительно основного ракурса и/или другого дополнительного слоя(ев). Таким образом, обработка слоя или ракурса с точки зрения обеспечения потока пакетов данных, которые можно декодировать, может требовать данных из других слоев или ракурсов.

Предоставление данных мультимедиа на этапе S1 может быть реализовано согласно различным вариантам воплощения. Данные мультимедиа могли быть созданы или собраны некоторым другим сервером или устройством в сети связи и переданы к серверу мультимедийного содержания, который создает мультимедийный контейнерный файл. В соответствии с другим вариантом воплощения изобретения сервер мультимедийного содержания может самостоятельно содержать оборудование для записи или генерации мультимедийного содержания, которое обеспечивает данные мультимедиа, которые будут включены в мультимедийный контейнерный файл.

На следующем этапе S2 данные мультимедиа, обеспеченные на этапе S1, организуются в мультимедийном контейнерном файле так, чтобы данные мультимедиа задавались мультимедийной дорожкой в мультимедийном контейнерном файле.

Данные мультимедиа, организованные в мультимедийном контейнерном файле на этапе S2, предпочтительно содержат в совокупности все информационное мультимедийное содержание, которое должно быть передано клиенту во время мультимедийного сеанса. Другими словами, мультимедийный контейнерный файл содержит данные мультимедиа для всей мультимедийной презентации, включая все требуемые слои или ракурсы. Таким образом, если информационное мультимедийное содержание содержит музыкальное видео, мультимедийный контейнерный файл предпочтительно содержит видеоданные и соответствующие аудиоданные.

Мультимедийная дорожка в мультимедийном контейнерном файле задает данные мультимедиа и соответствующее множество частей данных мультимедиа. Это означает, что мультимедийная дорожка содержит информацию, которую необходимо предоставить во время мультимедийного сеанса, демонстрации мультимедийного содержания. В предпочтительном варианте воплощения изобретения мультимедийная дорожка несет свою собственную информацию о временных и пространственных параметрах и обеспечивает полезную информацию, касающуюся данных мультимедиа, на которые она ссылается.

Мультимедийная дорожка включает согласно вариантам воплощения множество поддорожек, предпочтительно одну такую поддорожку на каждую часть данных мультимедиа. Таким образом, многослойные или многоракурсные данные мультимедиа могут иметь одну такую поддорожку на каждый слой (или группу слоев) или ракурс изображения камеры мультимедийного содержания.

Следующий этап S3 обеспечивает информацию о поддорожке в мультимедийном контейнерном файле. Эта информация о поддорожке идентифицирует часть данных мультимедиа, которая принадлежит определенной поддорожке. Обеспечение информации на этапе S3 и следующий этап S4 предпочтительно проводятся один раз для каждой поддорожки, что схематично изображено линией L1.

Этап S4 обеспечивает информацию о выборе в мультимедийном контейнерном файле для по меньшей мере одной из множества поддорожек. Информация о выборе задает выборочную обработку части данных мультимедиа, заданной поддорожкой, по отношению к другим данным мультимедиа, организованным в мультимедийном контейнерном файле. Таким образом, информация о выборе может использоваться медиасервером применительно к мультимедийному сеансу для выбора того, какую поддорожку и часть мультимедиа использовать в начале мультимедийного сеанса и/или между какой поддорожкой и мультимедийной частью можно или нельзя переключаться во время мультимедийного сеанса. Информация о выборе может использоваться аналогично идентификатору группы альтернатив и/или идентификатору группы переключения согласно предшествующему уровню техники. Однако в отличие от предшествующего уровня техники, где идентификатор группы альтернатив/переключения присваивается на уровне дорожки, что означает, что один и тот же идентификатор группы альтернатив/переключения применяется ко всем данным мультимедиа, заданным дорожкой, информация о выборе, которая обеспечивается на этапе S4, касается только поддорожки и части данных мультимедиа, заданной поддорожкой. Как следствие другая информация о выборе может быть присвоена и использоваться для других частей данных мультимедиа, все из которых организованы в виде одной мультимедийной дорожки.

Выборочная обработка части данных мультимедиа, к которой относится информация о выборе, предпочтительно находится во взаимосвязи с другими данными мультимедиа, имеющими отношение к тому же содержанию, что и эта часть данных мультимедиа. Другие данные мультимедиа, имеющие отношение к тому же содержанию, могут задаваться той же мультимедийной дорожкой, то есть являться другой поддорожкой в мультимедийной дорожке, или другой мультимедийной дорожкой, представленной в мультимедийном контейнерном файле. В первом случае другими данными мультимедиа могут быть одна или более других поддорожек, заданных одной и той же мультимедийной дорожкой и относящихся к другим SVC слоям или MVC ракурсам по сравнению с SVC слоем или MVC ракурсом текущей поддорожки и части мультимедиа. В последнем случае мультимедийный контейнерный файл содержит по меньшей мере две различные мультимедийные дорожки, относящиеся к одному и тому же содержанию. Например, одна мультимедийная дорожка может содержать множество поддорожек, задающих SVC слои или MVC ракурсы, тогда как по меньшей мере одна другая дорожка может быть закодирована без какой бы то ни было межракурсной или межслойной взаимосвязи, как, например, стандартные AVC (H.264) или H.263 данные.

Соответствующая информация о выборе может быть обеспечена для каждой поддорожки мультимедийной дорожки на этапе S4, который схематично изображен линией L1. В соответствии с другим вариантом воплощения изобретения только одной поддорожке или части множества поддорожек присваивают информацию о выборе. Тогда оставшаяся поддорожка(ки) может, как это описано в настоящем документе, наследовать идентификатор группы альтернатив и/или переключения, присваиваемый всей мультимедийной дорожке, задающей множество поддорожек.

Порядок этапов от S2 до S4 может быть изменен и вместо этого иметь произвольный последовательный или даже по меньшей мере частично параллельный порядок.

Способ на этом заканчивается.

Если мультимедийный контейнерный файл содержит множество мультимедийных дорожек, каждая из которых состоит из множества поддорожек, процедура выполнения этапов S1-S4 может быть проведена для каждой такой мультимедийной дорожки.

Создание мультимедийного контейнерного файла, описанное выше применительно к фиг. 1, предпочтительно проводится на создателе мультимедийного содержания или сервере, имеющем доступ к внутренним или внешним источникам мультимедийного содержания. Затем создаваемый мультимедийный контейнерный файл может быть представлен в виде информации на носителе данных, например памяти компьютера, или в виде физического сигнала, такого как электрический сигнал или радиосигнал, например, для передачи в локальной системе или для передачи по локальной или глобальной сети. В типичном варианте воплощения мультимедийный контейнерный файл обеспечивается в виде радиосигнала для медиасервера для использования в мультимедийном сеансе с различными клиентами.

В дальнейшем термин мультимедийный контейнерный файл будет использоваться в описании изобретения в значении, включающем и файлы данных для хранения на носителе данных и сигналы для передачи или распространения.

Фиг. 3 представляет собой блок-схему последовательности операций, которая изображает определенный вариант воплощения этапов S3 и S4 предоставления информации, применимый для SVC данных, изображенных на фиг. 2. Способ продолжает с этапа S2 фиг. 1. Следующий этап S10 предоставляет информацию о поддорожке, относящуюся к базовому слою 4 SVC данных 2. Эта информация определяет поддорожку базового слоя, чтобы позволить идентификацию части SVC данных, к которым относится поддорожка базового слоя. Следующий этап S11, соответственно, предоставляет информацию о поддорожке для каждого слоя 5 улучшения SVC данных 2 в мультимедийном контейнерном файле. Поддорожка, обеспеченная на этапе S11, таким образом, идентифицирует