Устройство и способ для генерации и отображения медиа-файлов

Устройство и способ для генерации и отображения медиа-файлов

Иллюстрации

Показать все

Реферат

УРОВЕНЬ ТЕХНИКИ

1. Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству и способу для генерации и отображения стереоскопических медиа-файлов.

2. Описание уровня техники

Экспертная группа по вопросам движущихся изображений (MPEG), международная организация по стандартизации, относящейся к мультимедиа, в настоящий момент приступает к работе по стандартизации для MPEG-2, MPEG-4, MPEG-7 и MPEG-21 после первой стандартизации группы MPEG-1. Разработка таких различных стандартов приводит к потребности в создании единого профиля, представляющего собой комбинацию различных технологий стандартизации, и, в качестве части движения к этому, в результате деятельности по стандартизации мультимедиа-приложений создаются различные форматы мультимедиа-приложений (MAF) с использованием MPEG-A (формат мультимедиа-приложений MPEG: ISO/IEC (Международная организация по стандартизации/Международная электротехническая комиссия) 23000). MAF предназначены для повышения полезности использования стандартов путем объединения не только существующих MPEG-стандартов, но и не-MPEG стандартов. Существует возможность максимизации их эффективных значений путем создания MAF, которые представляют собой комбинацию уже проверенных стандартных технологий без приложения усилий по созданию отдельных новых стандартов.

В последнее время были проведены интенсивные исследования, относящиеся к способам реализации трехмерного (3D) видео, в целях выдачи более реалистичной видеоинформации. Среди этих способов, в многообещающем способе, который рассматривается как эффективный в нескольких отношениях, выполняется сканирование изображений, видимых левым глазом, и изображений, видимых правым глазом, на существующем устройстве отображения, в соответствующих местах их размещения, с целью достижения того, чтобы изображения для левого глаза и правого глаза отображались раздельно в левом глазу и правом глазу пользователя, с использованием оптических характеристик человеческого организма, посредством чего пользователь может ощутить 3D-эффекты. Например, портативный терминал, оборудованный барьерным жидкокристаллическим дисплеем (LCD), может выдавать реалистичное видео пользователю посредством воспроизведения стереоскопического содержания.

Однако для стереоскопического содержания, состоящего из двух или более последовательностей изображений, в формате файла не определен синтаксис. На основании синтаксиса может быть определено, связаны ли друг с другом дорожки последовательностей изображений в стереоскопическом содержании. Последовательности изображения представляют собой цифровые потоки видео, состоящие из одного или более кадров видео, и также могут называться элементарными потоками. Кроме того, для информации, которая включает в себя стереоскопическое видео и моноскопическое видео, при этом стереоскопическое видео пространственно объединено с двухмерным (2D) видео, или в которой стереоскопическое видео и моноскопическое видео появляются вместе в одной сцене, например, для службы, в которой имеются подписи к изображению внизу моноскопического музыкального видео и подпись к изображению отображается в виде 2D-изображения, не определен синтаксис в формате файла, при этом на основании синтаксиса было бы возможно определить, связаны ли друг с другом музыкальное видео и подпись к изображению. Следовательно, необходимо дополнительно предоставить информацию, указывающую, связаны ли друг с другом музыкальное видео и подпись к изображению.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Аспект настоящего изобретения состоит в преодолении, по меньшей мере, проблем и/или недостатков и в предоставлении, по меньшей мере, преимуществ, описанных ниже. Соответственно, в аспекте настоящего изобретения представлена генерация медиа-файла, а также устройство и способ для явного определения того, связаны ли дорожки последовательностей изображений друг с другом, в отношении стереоскопического содержания, состоящего из двух или более последовательностей изображений или содержания, имеющего стереоскопическое видео и моноскопическое видео, которые одновременно отображаются в одной сцене.

В соответствии с одним из аспектов настоящего изобретения, представлен компьютерно-читаемый носитель, на котором хранятся данные. Структура данных включает в себя блок медиа-данных, содержащий медиа-данные в количестве двух или более элементов; и блок видеоданных ('moov'), содержащий информацию о данных последовательности изображений в медиа-данных. Предпочтительно, блок 'moov' содержит ссылочную информацию дорожки, указывающую, что блок дорожки для одной последовательности изображений ссылается на блок дорожки для другой последовательности изображений.

В соответствии с другим аспектом настоящего изобретения, представлен способ, реализованный посредством компьютера. Способ включает в себя получение медиа-файла; синтаксический разбор блока медиа-данных полученного медиа-файла, содержащего два или более элементов данных последовательности изображений, а также блока видеоданных ('moov'), содержащего информацию по данным последовательности изображений; и генерацию видео на основании ссылающейся последовательности изображений и последовательности изображений, на которую она ссылается, в соответствии с ссылочной информацией дорожки, которая включена в блок 'moov' и указывает на то, что блок дорожки для одной последовательности изображений ссылается на блок дорожки для другой последовательности изображений.

В соответствии с еще одним аспектом настоящего изобретения, представлено терминальное устройство, включающее в себя блок синтаксического разбора для синтаксического разбора блока медиа-данных полученного медиа-файла, содержащего два или более элементов данных последовательности изображений, а также блока видеоданных ('moov'), содержащего информацию по данным последовательности изображений, и извлечения видео на основании ссылающейся последовательности изображений и последовательности изображений, на которую она ссылается, в соответствии с ссылочной информацией дорожки, которая включена в блок 'moov' и указывает на то, что блок дорожки для одной последовательности изображений ссылается на блок дорожки для другой последовательности изображений; и блок отображения для отображения извлеченного видео.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Приведенные выше и другие аспекты, характеристики и преимущества настоящего изобретения станут более ясными из приведенного ниже подробного описания при использовании прилагаемых чертежей, среди которых:

Фиг.1 представляет собой диаграмму, иллюстрирующую основанный на стандарте ISO формат медиа-файла;

Фиг.2 представляет собой диаграмму, иллюстрирующую файловую структуру в соответствии с первым вариантом осуществления настоящего изобретения;

Фиг.3А и 3В представляют собой диаграммы, иллюстрирующие файловые структуры, спроектированные для соединения ассоциированных дорожек друг с другом в соответствии с первым вариантом осуществления настоящего изобретения;

Фиг.4 представляет собой диаграмму, иллюстрирующую функционирование терминала в соответствии с первым вариантом осуществления настоящего изобретения;

Фиг.5 представляет собой диаграмму, иллюстрирующую файловую структуру в соответствии со вторым вариантом осуществления настоящего изобретения;

Фиг.6 представляет собой диаграмму, иллюстрирующую способ представления первичной последовательностью изображений в соответствии со вторым вариантом осуществления настоящего изобретения;

Фиг.7 представляет собой диаграмму, иллюстрирующую функционирование терминала в соответствии со вторым вариантом осуществления настоящего изобретения;

Фиг.8 представляет собой диаграмму, иллюстрирующую файловую структуру в соответствии с третьим вариантом осуществления настоящего изобретения;

Фиг.9 представляет собой диаграмму, иллюстрирующую способ представления первичной последовательностью изображений в соответствии с третьим вариантом осуществления настоящего изобретения;

Фиг.10 представляет собой диаграмму, иллюстрирующую файловую структуру в соответствии с четвертым вариантом осуществления настоящего изобретения;

Фиг.11А и 11В представляют собой диаграммы, иллюстрирующие файловые структуры для стереоскопического видео в соответствии с пятым вариантом осуществления настоящего изобретения;

Фиг.12А и 12В представляют собой диаграммы, иллюстрирующие файловые структуры для многовидового содержания в соответствии с пятым вариантом осуществления настоящего изобретения;

Фиг.13 представляет собой диаграмму, иллюстрирующую устройство для генерации медиа-файлов в соответствии с одним из вариантов осуществления настоящего изобретения; и

Фиг.14 представляет собой диаграмму, иллюстрирующую устройство воспроизведения медиа-файлов в соответствии с одним из вариантов осуществления настоящего изобретения.

ПОДРОБНОЕ ОПИСАНИЕ ПРЕДПОЧТИТЕЛЬНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

Предпочтительные варианты осуществления настоящего изобретения ниже будут подробно описаны со ссылкой на прилагаемые чертежи. В приведенном ниже описании подробное описание известных функций и конфигураций, включенных в настоящий документ, будет опущено для ясности и краткости. Термины, используемые в настоящем документе, определены на основании функций настоящего изобретения и могут варьироваться в соответствии с намерениями пользователя или операторов или в соответствии с общепринятой практикой. Следовательно, определение терминов во всех местах спецификации должно быть выполнено на основании содержания.

Во-первых, настоящее изобретение предоставляет основанный на формате Международной организации по стандартизации (ISO) формат медиа-файла. Кроме того, настоящее изобретение предоставляет способ для указания взаимосвязи между дорожками, которые образуют пару в стереоскопическом содержании, состоящем из двух или более последовательностей изображений, и также предоставляет способ для указания взаимосвязи между дорожкой стереоскопического видео и дорожкой моноскопического видео в содержании, в котором стереоскопическое видео и моноскопическое видео одновременно отображается в одной сцене.

Фиг.1 иллюстрирует формат медиа-файла, основанный на формате ISO.

Обратимся к Фиг.1; основанный на ISO медиа-файл 100 включает в себя блок типа файла (блок 'ftyp'; не показан), блок видеоданных (блок 'moov') 110 и блок медиа-данных (блок 'mdat') 120. Блок типа файла включает в себя сведения о типе файла и совместимом типе. Нормальное воспроизведение возможно в соответствующем декодере в соответствии с совместимым типом. Блок 'moov' 110 соответствует блоку заголовка в формате файла, и все данные сформированы с использованием структуры, основанной на объекте, называемом 'атомом'. Блок 'moov' 110 включает в себя всю информацию, необходимую для воспроизведения файла, включая информацию информационного наполнения, такую как частота кадров, скорость передачи информации в битах, размер изображения и т.д., и информацию синхронизации, используемую для поддержания функции воспроизведения, такой как ускоренная перемотка вперед/назад (FF/REW). Блок медиа-данных 120, блок данных, включает в себя фактические медиа-данные, и видеоданные и звуковые данные хранятся в каждой дорожке в форме блоков их кадров.

Стереоскопическое видео включает в себя информацию, относящуюся к стереоскопическому видео. Информация, относящаяся к стереоскопическому видео, может представлять собой необходимую информацию, такую как тип композиции стереоскопического видео, и также может представлять собой дополнительные данные, такие как параметры камеры и информацию о дисплее. В случае, когда стереоскопическое видео составлено из двух или более последовательностей изображений, у каждой из последовательностей изображений может иметься одна и та же информация, относящаяся к стереоскопическому видео. Например, для стереоскопического видео, состоящего из двух последовательностей изображений, каждый вид слева и вид справа для видео может включать дополнительную информацию об одной и той же камере и одном и том же дисплее. В случае, когда каждая из последовательностей изображений имеет одну и ту же информацию, относящуюся к стереоскопическому видео, в соответствии с указанным выше, то, во избежание того, чтобы одна и та же информация хранилась в каждой из последовательностей изображений дублирующим образом, соответствующая информация может содержаться только в одной последовательности изображений, и оставшаяся(иеся) последовательность(и) изображений может(гут) иметь ссылку на соответствующую последовательность изображений, с целью использования соответствующей информации, относящейся к стереоскопическому видео, содержащейся в соответствующей последовательности изображений. Однако для этого необходимо сообщить другим элементарным потокам, какой элементарный поток содержит информацию, относящуюся к стереоскопическому видео, и выделить последовательность изображений, содержащую информацию, относящуюся к стереоскопическому видео. Для стереоскопического видео, составленного из двух или более последовательностей изображений, две последовательности изображений могут быть поделены на первичную последовательность изображений и вторичную последовательность изображений. В случае, когда информация, относящаяся к стереоскопическому видео, содержится только в одном элементарном потоке, как описано выше, можно проверить соответствующую информацию путем различения первичной последовательности изображений и вторичной последовательности изображений. Из первичной последовательности изображений и вторичной последовательности изображений, описанных в настоящем изобретении, выделяют последовательность изображений, имеющую более высокий приоритет отображения, в случае, когда только одна из двух или более последовательностей изображений должна быть выбрана и отображена на экране.

Способы различения первичной последовательности изображений и вторичной последовательности изображений включают в себя первый способ проверки идентификатора дорожки каждой из последовательностей изображений. В блоке заголовка дорожки (блок 'tkhd') каждой последовательности изображений есть идентификатор дорожки, которая представляет собой идентификатор, по которому может быть идентифицирована каждая дорожка. Поскольку идентификатор дорожки представляет собой целочисленное значение, последовательно назначенное дорожке каждой последовательности изображений, то последовательность изображений для дорожки, имеющей наименьшее значение идентификатора дорожки, определена как первичная последовательность изображений.

Во втором способе проверяется параметр 'is_left_first', указывающий, какая из левой последовательности изображений и правой последовательности изображений (или какая из двух или более последовательностей изображений) закодирована первой в информации типа композиции стереоскопического видео, и определяет, какая из левой последовательности изображений и правой последовательности изображений (или какая из двух или более последовательностей изображений) представляет собой первичную последовательность изображений или вторичную последовательность изображений в соответствии со значением соответствующего параметра. В третьем способе дорожка, которая ссылается на другую дорожку, определяется в качестве первичной последовательности изображений или вторичной последовательности изображений.

При определении первичной последовательности изображений на основании информации о ссылке дорожки, в случае, когда дорожка, на которую ссылаются (на которую сделана ссылка другой дорожкой), определена как первичная последовательность изображений, то ссылающаяся дорожка (которая ссылается на другую дорожку) определена как вторичная последовательность изображений. Поскольку у дорожки, которая ссылается на другую дорожку, есть ссылочный блок дорожки (блок 'tref'), то стереоскопическое видео с другой стороны или для другого вида определено как первичная последовательность изображений в вышеупомянутом примере. В этом примере местоположение блока 'tref', содержащего информацию о ссылке на дорожку, может стать критерием различения первичной последовательности изображений и вторичной последовательности изображений. С использованием ссылки на дорожку можно соединить последовательности изображений, которые связаны друг с другом, в медиа-файл, составленный из двух или больше видеодорожек, таким образом позволяя определить, какие дорожки связаны друг с другом. Это также может использоваться как способ соединения видеодорожек друг с другом с целью создания единого видео из многовидового видео. За счет использования метода ссылок на дорожки можно избежать того, что относящаяся к стереоскопическому видео информация была повторно вставлена в несколько дорожек путем вставки дублированной относящейся к стереоскопическому видео информации только в конкретную дорожку, то есть в одну последовательность из первичной последовательности изображений и вторичной последовательности изображений.

В соответствии с другим способом для различения первичной последовательности изображений и вторичной последовательности изображений, первичная последовательность изображений и вторичная последовательность изображений определяются не только путем использования одного информационного элемента или одного параметра, как в вышеупомянутых способах, но также и путем комбинирования двух или более полей, параметров или блоков относящейся к стереоскопическому видео информации, такой как информация стереоскопического видео, требующаяся для отображения конфигурации стереоскопическое видео, включая идентификатор дорожки и параметр 'is_left_first'; параметры, по которым может быть идентифицирована информация блока 'tref'; и информация типа обработчика. Приведенные ниже способы представляют собой возможные способы определения первичной последовательности изображений и вторичной последовательность изображений путем комбинирования двух или более полей, параметров или блоков относящейся к стереоскопическому видео информации. Во-первых, для стереоскопического видео, составленного из двух последовательностей изображений для вида слева и вида справа, можно определить соответствующую дорожку как первичную последовательность изображений или вторичную последовательность изображений согласно критерию различения первичной последовательности изображений и вторичной последовательности изображений, использующему значение поля 'is_left_first' и информацию блока 'tref', в которой имеется ссылка на стереоскопическое видео другой дорожки. В качестве альтернативы, можно определить соответствующую дорожку как первичную последовательность изображений или вторичную последовательность изображений согласно критерию различения первичной последовательности изображений и вторичной последовательности изображений, использующему информацию блока 'tref', который ссылается на стереоскопическое видео другой дорожки, и идентификатор дорожки.

Существует еще один способ определения первичной последовательности изображений и вторичной последовательности изображений для стереоскопического видео, составленного из двух или более последовательностей изображений (то есть множества или мультипоследовательностей изображений), состоящий в комбинировании двух или более полей, параметров и блоков относящейся к стереоскопическому видео информации. В соответствии с еще одним способом, можно определить первичную последовательность изображений и вторичную последовательность изображений с использованием значения поля 'is_left_first', идентификатора дорожки и блока 'tref', который ссылается на дорожку стереоскопического видео.

Параметры или информация, отличные от указанных выше, также могут быть использованы в качестве параметров или информации для определения первичной последовательности изображений и вторичной последовательности изображений указанным выше способом, и способ объединения двух или более полей, параметров и блоков относящейся к стереоскопическому видео информации также может быть расширен или дополнен рядом методов.

Ниже представлено описание способа указания взаимосвязи между дорожками последовательностей изображений, который соединяет вместе стереоскопическое содержание двух или более последовательностей изображений, в соответствии с вариантами осуществления настоящего изобретения. Приведенное ниже описание также включает в себя способ указания взаимосвязи между стереоскопической последовательностью изображений и моноскопической последовательностью изображений в содержании, имеющем стереоскопическое видео и моноскопическое видео, которые одновременно отображаются в одной сцене, в соответствии с вариантами осуществления настоящего изобретения.

Первый вариант осуществления

В целях декодирования стереоскопического содержания, составленного из двух или более последовательностей изображений, и отображения содержания на экране необходимо указать, что дорожка левой последовательности изображений и дорожка правой последовательности изображений ассоциированы друг с другом. Однако, поскольку блок и информация, указывающие взаимосвязь между дорожками, отсутствуют в имеющихся форматах файлов стереоскопических изображений, первый вариант осуществления настоящего изобретения предоставляет следующий способ для решения этой проблемы.

Блок ссылки на обработчик (блок 'hdlr') и ссылочный блок дорожки (блок 'tref') определены, помимо других блоков, в документе 'Формат медиа-файла ISO/IEC 14496-12 на основе ISO'. Блок ссылки на обработчик (блок 'hdlr') представляет тип медиа-данных в текущей дорожке с использованием типа обработчика ('handler_type') и определен в Таблице 1.

Таблица 1
handler_type	Описание
Vide	Видеодорожка
Soun	Аудиодорожка
Hint	Дорожка подсказки
Meta	Дорожка регулируемых по времени метаданных

В целях соединения двух ассоциированных дорожек друг с другом для стереоскопического содержания, составленного из двух или более видеодорожек, первый вариант осуществления настоящего изобретения добавляет значение 'svid', которое указывает на то, что тип медиа-данных в соответствующей дорожке представляет собой стереоскопическое видео, в типы обработчика ('handler_type') блока ссылки на обработчик (блок 'hdlr'), как показано в Таблице 2.

Таблица 2
handler_type	Описание
Vide	Видеодорожка
Soun	Аудиодорожка
Hint	Дорожка подсказки
Meta	Дорожка регулируемых по времени метаданных
Svid	Дорожка стереоскопического видео

Ссылочный блок дорожки (блок 'tref') используется для дальнейшего присоединения другой дорожки, на которую текущая дорожка делает ссылку, с использованием типа ссылки ('reference_type') и идентификатора дорожки (track_ID). 'reference_type', в настоящее время определенный в документе 'Формат медиа-файла ISO/IEC 14496-12 на основе ISO', показан в Таблице 3.

Таблица 3
reference_type	Описание
hint	Ссылающаяся дорожка содержит оригинал мультимедиа для данной дорожки подсказок
cdsc	Данная дорожка описывает дорожку, на которую ссылаются

В целях соединения двух ассоциированных дорожек, первый вариант осуществления настоящего изобретения добавляет 'avmi' в 'reference_type' ссылочного блока дорожки (блок 'tref), как показано в Таблице 4.

Таблица 4
reference_type	Описание
Hint	Дорожка, на которую ссылаются, содержит оригинал мультимедиа для данной дорожки подсказок
Cdsc	Данная дорожка описывает дорожку, которая ссылается
Avmi	Дорожка, которая ссылается, содержит дополнительную медиа-информацию для изображения

Фиг.2 иллюстрирует файловую структуру, которая соединяет дорожки ассоциированных последовательностей изображений друг с другом для стереоскопического содержания, составленного из двух последовательностей изображений, с использованием вновь определенных 'handler_type' и 'reference_type' в соответствии с первым вариантом осуществления настоящего изобретения.

Обратимся к Фиг.2; дорожка стереоскопической левой последовательности изображений содержит блок 'tref' и соединяется с дорожкой стереоскопической правой последовательности изображений, на которую соответствующая дорожка предполагает сделать ссылку, с использованием ссылочного блока дорожки (блок 'tref') 210. Здесь установка reference_type='avmi' в ссылочном блоке дорожки (блок 'tref') означает, что соответствующая ссылающаяся дорожка представляет собой дорожку, содержащую относящуюся к стереоскопическому видео информацию и ассоциированную с дорожкой, на которую будет сделана ссылка, то есть с дорожкой, на которую ссылаются. Относящаяся к стереоскопическому видео информация, содержащаяся в соответствующей ссылающейся дорожке, представляет собой информацию стереоскопического видео, которую обычно должна содержать каждая дорожка последовательностей изображений, составляющих стереоскопическое содержание, при этом относящаяся к стереоскопическому видео информация может храниться только в одной из двух ассоциированных дорожек. Если дорожка имеет взаимосвязь с дорожкой, на которую ссылаются, то это означает, что две дорожки составляют пару, и это означает, что между двумя дорожками существует зависимость. Другими словами, в случае, когда последовательность изображений дорожки, на которую ссылаются, представляет собой первичную последовательность изображений, то поскольку последовательность изображений ссылающейся дорожки становится вторичной последовательностью изображений, ссылающаяся дорожка имеет зависимость от дорожки, на которую ссылаются. Кроме того, путем установки handler_type='svid' в блоке ссылки на обработчик (блок 'hdlr') 220 дорожки, на которую ссылаются, можно отметить, что дорожка, на которую ссылаются, является дорожкой стереоскопического видео.

Поскольку можно определить первичную последовательность изображений и вторичную последовательность изображений в соответствии с наличием/отсутствием ссылочного блока дорожки (блок 'tref'), то дорожка стереоскопической левой последовательности изображений становится дорожкой вторичной последовательности изображений на Фиг.2 в случае, когда дорожка, имеющая ссылочный блок дорожки (блок 'tref'), определяется как вторичная последовательность изображений. Левая последовательность изображений также может стать первичной последовательностью изображений согласно способу принятия решения о первичной последовательности изображений. В случае, когда первичная последовательность изображений и вторичная последовательность изображений определены с использованием ссылочного блока дорожки (блок 'tref') 210, и если дорожка стереоскопической правой последовательности изображений определена как первичная последовательность изображений, то дорожка стереоскопической правой последовательности изображений устанавливается как дорожка, на которую выполняется ссылка с дорожки стереоскопической левой последовательности изображений. В этом случае ссылающаяся дорожка, имеющая ссылочный блок дорожки (блок 'tref'), считается установленной в качестве вторичной последовательности изображений.

Фиг.3А иллюстрирует файловую структуру, которая соединяет ассоциированные дорожки друг с другом для содержания мультиизображения, имеющего множество последовательностей изображений в соответствии с первым вариантом осуществления настоящего изобретения.

Обратимся к Фиг.3А и предположим, что дорожка первичной (или главной) последовательности изображений имеет ссылочный блок дорожки (блок 'tref'), тогда появляется возможность соединения дорожки первичной последовательности изображений с множеством дорожек, имеющих взаимосвязь с этой дорожкой, посредством ссылочного блока дорожки (блок 'tref') 310. В этом случае в дорожке, содержащей первичную последовательность изображений, тип ссылки ('reference_type') ссылочного блока дорожки (блок 'tref') 310 устанавливается как reference_type='avmi', и типы обработчиков ('handler_type') блоков ссылки на обработчик (блоки 'hdlr') 320 и 330 дорожек, на которые ссылается данная дорожка, устанавливаются как handler_type='svid'.

Как описывалось выше, можно выполнять различение первичной последовательности изображений и вторичной последовательности изображений с использованием информации ссылочного блока дорожки (блок 'tref'). Фиг.3В иллюстрирует файловую структуру, которая соединяет ассоциированные дорожки друг с другом в случае, когда предполагается, что последовательность дорожки, не имеющей ссылочного блока дорожки (блок 'tref'), то есть дорожки, на которую ссылаются, является первичной последовательностью изображений, в соответствии с первым вариантом осуществления настоящего изобретения.

Фиг.4 иллюстрирует функционирование терминала для идентификации ассоциированных видеодорожек и отображения их на экране для случая стереоскопического видео, составленного из двух или более последовательностей изображений, в соответствии с первым вариантом осуществления настоящего изобретения.

Обратимся к Фиг.4; терминал выполняет синтаксический разбор блока типа файла (блок 'ftyp') в медиа-файле на этапе 401. На этапах 402 и 403 терминал выполняет синтаксический разбор блока 'moov' и блока дорожки (блок 'trak') медиа-файла. На этапе 404 терминал определяет, имеется ли ссылочный блок дорожки (блок 'tref') в блоке дорожки. В случае, когда дорожка имеет ссылочный блок дорожки (блок 'tref'), терминал проверяет тип ссылки ('reference_type') ссылочного блока дорожки (блок 'tref') на этапе 405. Если было определено, что тип ссылки ('reference_type') представляет собой 'avmi', терминал проверяет идентификатор ссылающейся дорожки ('track_ID') ссылочного блока дорожки (блок 'tref') и определяет, какая дорожка стереоскопической последовательности изображений является парной к соответствующей дорожке. Терминал проверяет блок медиа-информации (блок 'mdia') на этапе 406 и проверяет на этапе 407 тип обработчика ('handler_type') блока обработчика (блок 'hdlr'), на основании чего терминал может определить тип медиа-данных соответствующей дорожки. На этапе 408 терминал проверяет информацию оставшихся блоков, содержащих стереоскопическую информацию, выполняет синтаксический разбор информации, относящейся к стереоскопическому видео, для дорожек стереоскопических последовательностей изображений и отображает информацию ассоциированных последовательностей изображений на экране. Последовательность процессов для синтаксического разбора блока дорожки (блок 'trak') выполняется от первой дорожки к последней дорожке медиа-файла одинаковым образом в случае, когда соответствующие дорожки являются дорожками стереоскопических последовательностей изображений.

Однако если на этапе 404 было определено, что дорожка не имеет ссылочного блока дорожки (блок 'tref'), то терминал переходит к этапу 406, на котором терминал проверяет блок медиа-информации (блок 'mdia') соответствующей дорожки. После этого терминал проверяет тип обработчика ('handler_type') на этапе 407, и проверяет оставшиеся блоки, содержащие стереоскопическую информацию, и отображает стереоскопическое содержание на экране на этапе 408.

Несмотря на то, что терминал идентифицирует первичную последовательность изображений и вторичную последовательность изображений на этапе 408 на Фиг.4, порядок этапов в процессе идентификации первичной последовательности изображений и вторичной последовательности изображений может быть изменен в соответствии с вышеописанным способом различения первичной последовательности изображений и вторичной последовательности изображений.

При идентификации первичной последовательности изображений и вторичной последовательности изображений, например, с использованием ссылочного блока дорожки (блок 'tref') терминал идентифицирует первичную последовательность изображений и вторичную последовательность изображений путем проверки типа ссылки ('reference_type') и идентификатора дорожки ('track_ID') ссылочного блока дорожки (блок 'tref') на этапе 405 на Фиг.4. В случае, когда дорожка последовательности изображений, имеющей ссылочный блок дорожки (блок 'tref'), определена как вторичная последовательность изображений, и когда тип ссылки ('reference_type') ссылочного блока дорожки (блок 'tref') представляет собой 'avmi', то идентификатор ссылающейся дорожки ('track_ID') является идентификатором дорожки ('track_ID') первичной последовательности изображений. Например, в случае, когда дорожка с идентификатором дорожки=1 (track_ID=1) имеет ссылочный блок дорожки (блок 'tref'), тип ссылки соответствующего ссылочного блока дорожки='avmi' (тип ссылки='avmi'), и идентификатор ссылающейся дорожки равен 2 (track_ID - 2), то дорожка с идентификатором дорожки=1 (track_ID=1) представляет собой дорожку стереоскопической последовательности изображений, которая является парной с дорожкой с идентификатором дорожки=2 (track_ID=2), и последовательность изображений дорожки с идентификатором дорожки=2 (track_ID=2) представляет собой первичную последовательность изображений.

В качестве еще одного способа различения первичной последовательности изображений и вторичной последовательности изображений в соответствии с вариантом осуществления настоящего изобретения, в случае, когда терминал проверяет поле 'is_left_first', указывающее, какая из левой последовательности изображений и правой последовательности изображений (или, в качестве альтернативы, какая из двух или более последовательностей изображений) кодируется первой в информации типа композиции стереоскопического видео, и определяет, какая из левой последовательности изображений и правой последовательности изображений (или, в качестве альтернативы, какая из двух или более последовательностей изображений) представляет собой первичную последовательность изображений или вторичную последовательность изображений в соответствии со значением соответствующего поля, терминал идентифицирует первичную последовательность изображений и вторичную последовательность изображений путем проверки поля относящейся к стереоскопическому видео информации, содержащей параметр 'is_left_first', и отображает соответствующие последовательности изображений на этапе 408 в соответствии с процессом на Фиг.4.

Таким образом, порядок операций в процессе идентификации первичной последовательности изображений и вторичной последовательности изображений подлежит изменению в соответствии с каждым из способов для различения первичной последовательности изображений и вторичной последовательности изображений в соответствии с настоящим изобретением.

Несмотря на то, что тип обработчика дорожек, на которые ссылаются, то есть остальных дорожек, не имеющих блока 'tref', представлен как тип «стереоскопическое видео» ('svid') в варианте осуществления настоящего изобретения, также является возможным, что дорожки, на которые ссылаются, могут иметь тип «видео» ('vide') и ссылающиеся дорожки могут иметь тип «стереоскопическое видео» ('svid'). Также тип обработчиков ('handler_type') и ссылающихся дорожек, и дорожек, на которые ссылаются, может быть представлен как тип «видео» ('vide') без отдельной дифференциации.

При этом процессы идентификации дорожек медиа-файла и отображения дорожек на экране, описанные на Фиг.4, могут не быть представлены в данной последовательности для некоторых терминалов и систем. Процесс синтаксического разбора формата файла и функционирование соответствующего терминала, не описанные подробно в настоящем документе, следуют ISO/IEC 14496-12 и ISO/IEC 23000-11.

Второй вариант осуществления

Второй вариант осуществления настоящего изобретения предоставляет способ организации ссылок на дорожки, содержащие параметры камеры и информацию безопасности дисплея, которые являются дополнительной информацией, с использованием ссылочного блока дорожки (блок 'tref') в стереоскопическом содержании. Параметры камеры, которые могут быть включены в стереоскопическое содержание в качестве д