Медиаданные с множеством изображений

Медиаданные с множеством изображений

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение, в целом, относится к медиаданным с множеством изображений и, в частности, к генерированию и обработке таких медиаданных с множеством изображений.

УРОВЕНЬ ТЕХНИКИ

Продолжающаяся стандартизация видео-кодирования с множеством изображений (Multi-View Video Coding) группой экспертов по движущимся изображениям MPEG (Moving Picture Experts Group) [1] и отделом стандартизации телекоммуникаций ITU-T (Telecommunication Standardization Sector) исследовательской группы SG 16 (Study Group 16) представляет собой технологию видео-кодирования, которая кодирует видеопоследовательности, произведенные несколькими камерами или системой камер. Видео-кодирование MVC эффективным образом использует избыточность между множественными видеоизображениями для предоставления компактного закодированного видео-потока. Видео-кодирование MVC основывается на стандарте усовершенствованного видео-кодирования AVC (Advanced Video Coding), известном также как ITU-T H.264, и, следовательно, синтаксис и семантика потока битов при видео-кодировании MVC были сохранены по аналогии с синтаксисом и семантикой потока битов при видео-кодировании AVC.

Стандарт ISO/IEC 14496-15 [2] представляет собой международный стандарт, разработанный для того, чтобы поместить информацию о потоке битов при видео-кодировании AVC в гибкий и расширяемый формат, который облегчает управление потоком битов при видео-кодировании AVC. Этот стандарт совместим с форматом файлов MP4 [3] и форматом файлов 3GPP [4]. Все эти стандарты происходят из базового формата медиа файлов ISO [5], определенного группой MPEG. Система сохранения видео-потоков при видео-кодировании MVC называется как формат файлов видео-кодирования MVC.

В формате файлов видео-кодирования MVC видео-поток с множеством изображений представляется посредством одного или большего количества видеодорожек в некотором файле. Каждая дорожка представляет одно или большее количество изображений из вышеупомянутого потока. Формат файла видео-кодирования MVC содержит, в дополнение к непосредственно самим закодированным видеоданным с множеством изображений, метаданные, которые используются при обработке видеоданных. Например, каждое изображение имеет связанный с ним идентификатор изображения, подразумевающий, что блоки сетевого абстрактного укладчика NAL (Network Abstraction Layer) при видео-кодировании MVC в пределах одного изображения имеют один и тот же идентификатор изображения, то есть одну и ту же величину полей view_id в расширениях заголовков блоков NAL при видео-кодировании MVC.

Расширение заголовка блока NAL при видео-кодировании MVC содержит также поле priority_id, устанавливающее идентификатор приоритета для блока NAL. В предложенных стандартах [6], меньшая величина priority_id устанавливает более высокий приоритет. Идентификатор priority_id используется для определения приоритета блока NAL и является зависимым от потока битов, поскольку он отражает соотношения взаимного кодирования видеоданных с различных изображений.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Идентификаторы приоритета, используемые в настоящее время, просто устанавливают соотношения взаимного кодирования видеоданных с изображений камер, предоставленных в файле видео-кодирования MVC. Такие приоритеты, относящиеся к кодированию, имеют, однако, ограниченное применение для успешного исполнения обработки, основанной на контенте, видеоданных от другого изображения камеры.

Настоящие осуществления изобретения преодолевают эти и другие недостатки технических установок предшествующего уровня техники.

Общей целью является предоставление медиаданных с множеством изображений, которые могут быть обработаны более эффективным образом.

Эта и другие цели достигаются посредством осуществлений изобретения, как это определено посредством сопровождающих пунктов формулы изобретения.

Кратко, настоящее осуществление изобретения предусматривает генерирование медиаданных с множеством изображений посредством предоставления закодированных медиаданных, представляющих множественные медиа изображения эпизода. Каждое из медиа изображений связывается с соответствующим структурным идентификатором приоритета. Идентификатор структурного приоритета представляет взаимоотношения кодирования медиаданных связанного медиа изображения относительно медиаданных, по меньшей мере, одного из других медиа изображений. Таким образом, идентификаторы структурного приоритета зависят от потока битов таким образом, что они относятся к кодированию медиаданных и предоставляют инструкции иерархического уровня для предсказаний между изображениями, используемых при кодировании медиаданных.

Определяется идентификатор приоритета контента для каждого медиа изображения, по меньшей мере, из части множественных медиа изображений. Ясное отличие с идентификаторами структурного приоритета состоит в том, что идентификатор приоритета контента является представлением об уровне значимости рендеринга медиаданных связанного медиа изображения. Определенный идентификатор приоритета контента связывается с соответствующим медиа изображением, например, посредством его включения в состав одного или большего числа пакетов данных, переносящих медиаданные медиа изображения, или посредством его присоединения к идентификатору изображения, указывающему на медиа изображение.

Необязательно, закодированные медиаданные могут быть включены в качестве одной или большего количества медиа дорожек в состав файла медиа контейнера. Тогда идентификаторы структурного приоритета и идентификаторы приоритета контента включаются в качестве метаданных, применимых к медиа дорожке или дорожкам в процессе обработки медиаданных.

Идентификаторы приоритета контента позволяют осуществить выборочную и дифференцированную обработку, основанную на контенте, медиаданных с множеством изображений в устройстве обработки данных. В таком случае выбирается подмножество медиаданных из закодированных медиаданных на основе идентификаторов приоритета контента и, предпочтительно, также на основе идентификаторов структурного приоритета. Обработка медиаданных тогда применяется исключительно к выбранному подмножеству медиаданных, или для вышеупомянутого выбранного подмножества медиаданных используется другой тип обработки медиаданных, по сравнению с оставшимися медиаданными.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Осуществления изобретения вместе с дополнительными объектами и преимуществами этого, лучше всего могут быть поняты посредством ссылки на следующее описание, предпринятое вместе с сопровождающими чертежами, в которых:

Фиг. 1 представляет собой структурную схему технологических этапов, демонстрирующую способ генерирования медиаданных с множеством изображений, согласно некоторому осуществлению изобретения;

Фиг. 2 представляет собой схематическую демонстрацию системы камер, которые могут использоваться для записи видеоданных с множеством изображений;

Фиг. 3 представляет собой структурную схему технологических этапов, демонстрирующую дополнительные этапы способа генерирования медиаданных на Фиг. 1;

Фиг. 4 представляет собой схематическую демонстрацию файла аудиовизуального контейнера, согласно некоторому осуществлению изобретения;

Фиг. 5 представляет собой схематическую блок-схему устройства, генерирующего медиаданные, согласно некоторому осуществлению изобретения;

Фиг. 6 представляет собой структурную схему технологических этапов, демонстрирующую способ обработки медиаданных со множеством изображений, согласно некоторому осуществлению изобретения;

Фиг. 7-11 представляют собой структурные схемы технологических этапов, демонстрирующих технологические этапы обработки в различных осуществлениях изобретения способа обработки медиаданных на Фиг. 6;

Фиг. 12 представляет собой схематическую блок-схему устройства обработки данных, согласно некоторому осуществлению изобретения;

Фиг. 13 представляет собой схематическую блок-схему устройства обработки данных, согласно другому осуществлению изобретения; и

Фиг. 14 представляет собой краткий обзор примера системы связи, в которой могут быть реализованы осуществления изобретения.

ПОДРОБНОЕ ОПИСАНИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ

Всюду на чертежах одни и те же ссылочные символы будут использоваться для соответствующих или подобных элементов.

Настоящие осуществления изобретения, вообще говоря, относятся к генерированию и обработке так называемых медиаданных со множеством изображений и, более конкретно, к предоставлению информации о приоритете и использованию такой информации о приоритете в связи с обработкой медиаданных.

Медиаданные с множеством изображений подразумевают, что в наличии имеются множественные медиа изображения медиа контента, где каждое такое медиа изображение съемки генерирует медиаданные, представляющие медиа контент, но с одного из имеющихся в наличии множественных медиа изображений. Типичным примером таких медиаданных с множеством изображений является видеоданные с множественных изображений. В таком случае предоставляются множественные камеры или другое медиа записывающее/создающее оборудование, или предоставляется система таких множественных камер, относящихся к эпизоду, который следует записать. Так как камеры имеют различные позиции относительно контента и/или различные направления съемки и/или различные фокусные расстояния, они, таким образом, предоставляют альтернативные изображения для контента. Фиг. 2 схематично демонстрирует эту конфигурацию посредством системы 10 из множественных камер 12-18, расположенных рядом с эпизодом 30, например, футбольным полем, на котором должен быть записан футбольный матч посредством различных камер 12-18. На чертеже также указаны соответствующие изображения камер 22-28 от камер 12-18. Камеры 12-18, в этом демонстрационном примере, располагаются на различных позициях вдоль футбольного поля, и поэтому записывают различные части поля. Это означает, что камеры 12-18 захватывают различные версии медиа контента, видимого с их соответствующих изображений камер 22-28.

Как хорошо известно в данной области техники, кодирование видеоданных обычно основывается на относительных предсказаниях пикселей, таких как в H.261, H.263, MPEG 4 и H.264. В H.264 есть три способа используемых предсказаниях пикселей, а именно, внутренние, взаимные и двунаправленные предсказания. Внутреннее предсказание предоставляет пространственное предсказание текущего блока пикселей, исходя из ранее декодированных пикселей текущего кадра. Взаимное предсказание дает временное предсказание текущего блока пикселей с использованием соответствующего, но перемещенного, блока пикселей в ранее декодированном кадре. Двунаправленное предсказание дает взвешенное среднее двух взаимных предсказаний. Таким образом, внутренние кадры не зависят ни от какого предыдущего кадра в видео-потоке, тогда как промежуточные (взаимные) кадры, включая в себя такие промежуточные кадры с двунаправленным предсказанием, используют компенсацию движения от одного или большего количества других эталонных кадров в видео-потоке.

Видео-кодирование со множеством изображений приняло в обращение это кодирование, основанное на предсказании, с одним дополнительным этапом, не только позволяя осуществлять предсказания между кадрами с единственного изображения камеры, но также и предварительное предсказание между изображениями. Таким образом, эталонный кадр может быть кадром того же самого относительного момента времени, но принадлежащим другому изображению камер, по сравнению с текущим кадром, подлежащим кодированию. Также может иметь место и комбинация предсказаний между изображениями и внутри изображений, имея, таким образом, множественные эталонные кадры с различных изображений камер.

Эта концепция наличия множественных медиа изображений и интер-кодирования медиаданных с медиа изображений не обязательно ограничивается видеоданными. Ясное отличие состоит в том, что концепция медиаданных со множеством изображений может также быть применена к другим типам медиаданных, включая, например, графику, к примеру, такую как масштабируемая векторная графика SVG (Scalable Vector Graphics). Фактически, осуществления изобретения могут применяться к любому типу медиаданных, которые могут представляться в виде множественных медиа изображений, и где может осуществляться медиа кодирование, по меньшей мере, частично, между медиа изображениями.

На предшествующем уровне техники и как это раскрыто в проекте [6] стандарта видео-кодирования MVC, приоритет в виде так называемого поля priority_id включается в состав заголовка блока NAL. В частном случае, все блоки NAL, принадлежащие конкретному изображению, могут иметь один и тот же priority_id, давая, таким образом, единственный идентификатор приоритета из предшествующего уровня техники для каждого изображения. Эти идентификаторы приоритета из предшествующего уровня техники могут рассматриваться как так называемые идентификаторы структурного приоритета, так как идентификаторы приоритета указывают взаимоотношения кодирования медиаданных с различных медиа изображений. Например, со ссылкой на Фиг. 2, предположим, что изображение 26 камеры рассматривается в качестве основного изображения. Это означает, что изображение 26 камеры представляет собой независимое изображение, которое кодируется и может декодироваться, исходя из своих собственных видеоданных, без каких-либо предсказаний с других изображений 22, 24, 28 камер. Два смежных изображения 24, 28 камеры могут тогда зависеть от основного изображения 26, подразумевая, что видеоданные с этих изображений 24, 28 камеры могут предсказываться исходя из видеоданных с основного изображения 26. Наконец, последнее изображение 22 камеры может зависеть от соседнего изображения 24 камеры. Эти аспекты зависимости определяют структурный приоритет следующим образом:

Таблица IИдентификаторы структурного приоритета
Изображение камеры*	22	24	26	28
Идентификатор структурного приоритета	3	2	1	2
*Номер ссылки на изображение камеры согласно Фиг. 2

В Таблице I, как и в предложенном стандарте [6], более низкое значение структурного идентификатора приоритета устанавливает более высокий приоритет. Таким образом, основному изображению 26 придается самый низкий идентификатор структурного приоритета, а два изображения 22, 28 камеры кодируются в зависимости от основного изображения 26, имея следующий самый низкий идентификатор структурного приоритета. Изображение 22 камеры, которое кодируется в зависимости от одного из изображений 24, 28 камеры со вторым самым низким структурным идентификатором приоритета, таким образом, имеет самый высокий идентификатор структурного приоритета из четырех изображений камеры в этом примере.

Идентификаторы структурного приоритета являются, таким образом, зависимыми от потока битов, поскольку они отражают взаимоотношения кодирования видеоданных с различных изображений камеры. Осуществления изобретения предоставляют и используют альтернативную форму идентификаторов приоритета, которые применимы к медиаданным со множеством изображений и являются, вместо этого, зависимыми от медиа контента.

Фиг. 1 представляет собой блок-схему, демонстрирующую способ генерирования медиаданных со множеством изображений согласно некоторому осуществлению изобретения. Способ начинается на этапе S1, на котором предоставляются закодированные данные, представляющие множественные медиа изображения медиа контента. Каждое из этих множественных медиа изображений связывается с соответствующим структурным идентификатором приоритета, как это описано выше. Таким образом, идентификатор структурного приоритета указывает взаимоотношения кодирования медиаданных медиа изображения относительно медиаданных, по меньшей мере, с одного другого медиа изображения из множественных медиа изображений.

Это введение в действие медиаданных съемок со множеством изображений на этапе S1 может быть реализовано посредством извлечения медиаданных из доступной медиа памяти, в которую заранее были введены медиаданные. В качестве альтернативы, медиаданные принимаются от некоторого другого внешнего блока, где вышеупомянутые медиаданные были сохранены, записаны или сгенерированы. Дополнительной возможностью является фактическое создание и кодирование медиаданных, а именно запись видеопоследовательности или искусственное генерирование медиаданных.

На следующем этапе S2 определяется так называемый идентификатор приоритета контента для медиа изображения из имеющихся в наличии множественных медиа изображений. Ясное отличие от идентификаторов структурного приоритета, которые зависят от взаимоотношений кодирования медиа изображений, состоит в том, что идентификатор приоритета контента, определенный на этапе S2, указывает уровень значимости рендеринга медиаданных медиа изображения. Таким образом, идентификаторы приоритета контента в большей степени относятся к фактическому медиа контенту и предоставляют приоритеты медиа изображениям, относящиеся к тому, насколько значимыми являются медиаданные, исходящие с одного из медиа изображений, относительно медиаданных с других медиа изображений.

Посредством еще одного обращения к Фиг. 2, вообще говоря, принято считать, что более ценным для зрителя является просмотр видеоданных, относящихся к области на футбольном поле вокруг одних из футбольных ворот. Соответственно, изображение 22 камеры будет, поэтому, обычно считаться как имеющий самый высокий приоритет с точки зрения контента и рендеринга. В соответствии с тем, как организуются идентификаторы структурного приоритета, идентификатор приоритета контента изображения 22, поэтому, должен иметь самую низкую величину приоритета, соответствующую самому высокому приоритету, см. Таблицу II.

Таблица IIИдентификаторы приоритета контента
Изображение камеры*	22	24	26	28
Идентификатор приоритета контента	1	2	3	4
*Номер ссылки на изображение камеры согласно Фиг. 2

Таким образом, с точки зрения рендеринга, чем ближе находится изображение камер к самой интересной части футбольного поля, то есть к футбольным воротам, тем выше приоритет у контента и ниже идентификатор приоритета контента изображения камеры.

В некотором альтернативном подходе, чем выше структурный приоритет/приоритет контента медиа изображения, тем выше и величина структурного идентификатора приоритета/идентификатора приоритета контента.

Затем на этапе S3 идентификатор приоритета контента, определенный на этапе S2, связывается с подходящим медиа изображением и назначается тому же подходящему медиа изображению из множественных медиа изображений. Это связывание может быть реализовано посредством сохранения идентификатора приоритета контента вместе с идентификатором изображения медиа изображения. Альтернативно, идентификатор приоритета контента сохраняется вместе с медиаданными с подходящего медиа изображения.

Определяется идентификатор приоритета контента, по меньшей мере, для части множественных медиа изображений, которая схематично демонстрируется линией Ll. Это означает, что цикл, образованный этапами S2 и S3, может производиться один раз, с тем, чтобы только одно из медиа изображений имело идентификатор приоритета контента. Предпочтительно, этапы S2 и S3 определяются многократно, а еще более предпочтительно один раз для каждого медиа изображения из множественных медиа изображений. Таким образом, если медиаданные со множеством изображений были записаны с M медиа изображений, этапы S2 и S3 могут производиться N раз, где 1 ≤ N ≤ M и M ≥ 2 .

Способ на этом заканчивается.

Идентификатор приоритета контента указывает уровень значимости рендеринга или проигрывания медиаданных с медиа изображения, с которым связывается идентификатор приоритета контента. Поэтому, как это было обсуждено выше, в связи с Фиг. 2, величина идентификатора приоритета контента может определяться на основе позиций записи с множественных медиа изображений, относящихся к записанному эпизоду. Таким образом, позиции, фокальные направления и/или фокусные расстояния камер 12-18 медиа изображений 22-28 могут использоваться для определения соответствующих идентификаторов приоритета контента изображений 22-28 камеры. Дополнительным или альтернативным параметром, который может использоваться для определения идентификаторов приоритета контента, является разрешение, с которым различные камеры 12-18 записывают эпизод 30. Вообще говоря, для целей рендеринга гораздо более значимым является наличие видеоданных эпизода 30 с высоким разрешением по сравнению с более низкой версией разрешения видеоданных.

Идентификаторы приоритета контента осуществлений изобретения могут определяться провайдером контента посредством записи и/или обработки, такой как кодирование, медиаданных с множеством изображений. Например, оператор может вручную, при просмотре записанных медиаданных с различных медиа изображений, определить и сопоставить идентификаторы приоритета контента на основе его/ее мнения о том, какое медиа изображение или изображения представляют собой более значимые или расцениваются как являющиеся более значимыми для просмотра пользователем во время медиа рендеринга, по сравнению с другими медиа изображениями.

Определение идентификаторов приоритета контента может также определяться автоматически, то есть без каких-либо действий со стороны человека. В таком случае, любой из вышеупомянутых параметров, таких как позиция камеры, фокальное направление, фокусное расстояние, разрешение камеры, может использоваться процессором или алгоритмом для того, чтобы классифицировать изображения камеры согласно различным уровням приоритета контента.

Определенные идентификаторы приоритета контента, будучи структурными идентификаторами приоритета, обычно являются статичными, под этим подразумевается, что единственный идентификатор приоритета контента связывается с изображением камеры с целью записи контента. Однако иногда бывает так, что уровень значимости рендеринга медиаданных с различных медиа изображений может фактически меняться с течением времени. В таком случае идентификаторы приоритета контента могут связываться с так называемой величиной времени жизни или разрабатываться для применения в течение ограниченного промежутка времени или для ограниченного количества медиа кадров. Например, медиа изображение может иметь первый идентификатор приоритета контента для первых f медиа кадров или первых m минут медиа контента, в то время как второй, отличный от него идентификатор приоритета контента используется для последующих медиа кадров или оставшейся части медиаданных с этого медиа изображения. Это может, конечно, быть распространено и на ситуацию с больше чем одним изменением между идентификаторами приоритета контента для медиа изображения.

Фиг. 3 представляет собой блок-схему, демонстрирующую дополнительные, согласно выбору, этапы способа генерирования медиаданных с множеством изображений. Способ продолжается с момента этапа S3 на Фиг. 1. Следующий этап S10 организует закодированные медиаданные множественных медиа изображений в качестве, по меньшей мере, одной медиа дорожки в файле медиа контейнера. Файл медиа контейнера может, например, представлять собой, так называемый, файл видео-кодирования MVC или использовать некоторый другой формат файла, который, предпочтительно, основывается на основном формате медиа файлов ISO.

Файл медиа контейнера может рассматриваться как полный входной пакет, который используется медиа сервером во время медиа сеанса для предоставления медиа контента и формирования медиаданных внутри передаваемых пакетов данных. Таким образом, файл медиа контейнера, предпочтительно, содержит, в дополнение к непосредственно самому медиа контенту, информацию и инструкции, которые требуются медиа серверу, чтобы осуществлять обработку и позволить ему осуществить передачу медиа контента во время медиа сеанса.

В некотором осуществлении изобретения каждое медиа изображение имеет отдельную назначенную ему медиа дорожку файла контейнера, предоставляя, таким образом, взаимно-однозначное соотношение между количеством медиа изображений и количеством медиа дорожек. Альтернативно, медиаданные, по меньшей мере, с двух, а возможно и со всех, медиа изображений могут быть помещены в единственной медиа дорожке файла медиа контейнера. Фиг. 4 схематично демонстрирует пример файла медиа контейнера 30, который имеет одну или большее количество медиа дорожек 32, несущих в себе закодированные медиаданные со множеством изображений.

Соответствующие медиаданные множественных медиа изображений, независимо от того, организованы ли они в виде одной или большего количества медиа дорожек, предпочтительно, назначаются соответствующим идентификаторам изображений, связанным с медиа изображениями.

Следующий этап S11 на Фиг. 3 организует с возможностью связывания идентификаторы структурного приоритета в файле медиа контейнера относительно, по меньшей мере, одной медиа дорожки из этапа S10. Организация с возможностью связывания подразумевает, что идентификатор структурного приоритета включается в файл медиа контейнера таким образом, чтобы предоставить связывание между структурным идентификатором приоритета и медиа изображением, к которому применяется идентификатор структурного приоритета. Соответственно, такое связывание может, вместо этого, осуществляться между структурным идентификатором приоритета и медиаданными, исходящими с медиа изображения, к которому применяется идентификатор структурного приоритета.

Связывание может иметь вид указателя от места сохранения медиаданных медиа изображения в пределах файла медиа контейнера к месту сохранения структурного идентификатора приоритета, или в обратном направлении. Таким образом, этот указатель, или метаданные, дают возможность, исходя из определенных конкретных медиаданных или их расположения в пределах файла медиа контейнера, идентифицировать связанный с ними идентификатор структурного приоритета или место хранения структурного идентификатора приоритета в пределах файла. Вместо того чтобы использовать указатель, метаданные могут включать в себя идентификатор ракурса медиаданных/медиа изображение. В таком случае, метаданные используются для идентификации тех данных из медиаданных, к которым применяется идентификатор структурного приоритета.

Фиг. 4 схематично демонстрирует осуществление изобретения организации с возможностью связывания идентификаторов структурного приоритета 36 в файле медиа контейнера 30. В этом осуществлении изобретения каждый идентификатор структурного приоритета 36 связывается с идентификатором 34 изображения, указывающем на медиаданные и медиа изображение, к которым применяется идентификатор структурного приоритета 36.

Следующий этап S12 на Фиг. 3, соответственно, организовывает с возможностью связывания идентификаторы приоритета или идентификаторы приоритета контента в файле медиа контейнера относительно, по меньшей мере, одной медиа дорожки. Подобно структурным идентификаторам приоритета, связывание может быть реализовано посредством метаданных, таких как идентификаторы изображения, предоставляющие взаимосвязи между медиаданными/медиа изображением и идентификатором приоритета контента в файле медиа контейнера. Это также демонстрируется на Фиг. 4, где каждый идентификатор приоритета контента 38 связывается с идентификатором 34 изображения, указывающим на медиаданные и медиа изображение, к которым применяется идентификатор приоритета контента 36.

Не ограничивающий общности пример предоставления идентификаторов приоритета контента для файла медиа контейнера представляет собой включение в его состав поля "vipr" в поле описания группы выборки (Sample Group Description Box) файла медиа контейнера [6].

Типы поля: Vipr

Контейнер: Поле Описания группы выборки ('sgpd')

Метод выбора: Никакого

Количество: Нуль или больше

class ViewPriorityBox extends VisualSampleGroupEntry 'vipr'{

unsigned int(l6) view_count

for (i=0; i<view count; i++){

unsigned int(6) reserved = 0;

unsigned int(10) view_id;

unsigned int(32) content_priority_id;

}

}

где поле view_count представляет собой общее количество медиа изображений, поле view_id представляет собой идентификатор изображения медиа изображения, как это указано в ViewPriorityBox в документе [6], а поле content_priority_id представляет собой идентификатор приоритета контента.

В качестве альтернативы, поле "vipr" могло предоставляться в поле Sample Entry файла медиа контейнера.

Типы поля: vipr

Контейнер: Sample entry ('avc1', 'avc2', 'mvc1')

Метод выбора: Нет

Количество: Точно один

class ViewPriorityBox extends Box('vwsc'){

unsigned int(l6) view_count

for (i=0; i<view count; i++){

unsigned int(6) reserved = 0;

unsigned int(10) view_id;

unsigned int(32) content_priority_id;

}

}

Дополнительные этапы S10-S12 на Фиг. 3 могут быть произведены в порядке, раскрытом на этом чертеже. В качестве альтернативы, может использоваться любой другой последовательный порядок этапов функционирования С10-С12. Этапы С10-С12 могут также осуществляться параллельным образом или, по меньшей мере, частично параллельным образом.

Идентификаторы структурного приоритета и идентификаторы приоритета контента, включенные в состав файла медиа контейнера в дополнение к медиа дорожкам, могут рассматриваться как метаданные, которые могут использоваться во время обработки медиаданных со множеством изображений в медиа дорожках. Таким образом, идентификаторы приоритета применимы и полезны в качестве дополнительных данных для облегчения обработки сформированного файла медиа контейнера, как дополнительно описывается в данном документе.

Фиг. 5 представляет собой медиа генерирующее устройство 100 для генерирования медиаданных со множеством изображений согласно некоторому осуществлению изобретения. Медиа генерирующее устройство 100 содержит медиа провайдер 120, реализованный для того, чтобы предоставить закодированные медиаданные, представляющие множественные медиа изображения медиа контента. Каждое медиа изображение связывается со структурным идентификатором приоритета, указывающим взаимоотношения кодирования медиаданных с медиа изображения относительно медиаданных, по меньшей мере, с одного другого медиа изображения. Медиа провайдер 120 может присоединяться к внутреннему или внешнему медиа механизму, содержащему оборудование 12-18 для записи или генерирования медиаданных с множественных медиа изображений и кодировщик 180 для кодировки записанных или сгенерированных медиаданных. В качестве альтернативы, медиа провайдер 120 принимает медиаданные, обычно в закодированном виде, или как незакодированные медиаданные, от присоединенного приемника 110 медиа генерирующего устройства 100. Приемник 110 затем принимает медиаданные от внешнего терминала в системе связи через проводное или беспроводное соединение. В качестве дополнительной альтернативы, медиа провайдер 120 может извлекать медиаданные со множеством изображений из присоединенного блока 140 медиа памяти медиа генерирующего устройства 100.

Блок 130 назначения приоритетов реализуется в медиа генерирующем устройстве 100 для того, чтобы назначить идентификаторы приоритета контента одному или большему числу множественных медиа изображений. Идентификаторы приоритета контента указывают уровень значимости рендеринга медиаданных множественных медиа изображений. Блок 130 назначения приоритетов может принять идентификаторы приоритета контента от внешнего источника, например через приемник 110. В качестве альтернативы, идентификаторы приоритета контента могут быть введены вручную создателем контента, и в таком случае блок 130 назначения приоритетов включает в себя пользовательское устройство ввода данных или он присоединяется к пользовательскому устройству ввода данных и извлекает идентификаторы приоритета контента из вводимых пользователем данных.

В дополнительном осуществлении изобретения медиа генерирующее устройство 100 содержит блок 150 определения приоритетов, присоединенный к блоку 130 назначения приоритетов. Блок 150 определения приоритетов устанавливается для того, чтобы определить идентификатор приоритета контента, по меньшей мере, для одного медиа изображения из множественных медиа изображений. Блок 150 определения приоритетов, предпочтительно, использует входные параметры, например, от медиа механизма, медиа провайдера 120, приемника 110 или из данных, введенных пользователем, относящихся к камерам 12-18 или оборудованию, используемому для записи или генерирования медиаданных со множеством изображений. Эти входные параметры включают в себя, по меньшей мере, одну из позиций камер относительно записанного эпизода, фокальное направление, фокусное расстояние и разрешение съемки камер.

Определенные идентификаторы приоритета контента направляются от блока 150 определения приоритетов к блоку 130 назначения приоритетов, который назначает их соответствующим медиа изображениям. Итак, таким образом, каждое медиа изображение съемки, предпочтительно, получает идентификатор приоритета контента, назначенный ему блоком 130 определения приоритетов, хотя другие осуществления изобретения просто назначают идентификаторы приоритета контента подмножеству, по меньшей мере, из одного медиа изображения из множественных медиа изображений. Дополнительный блок 160 организации дорожек предоставляется в медиа генерирующем устройстве 100 и начинает функционировать, если медиаданные с множеством изображений от медиа провайдера 120 должны быть организованы внутри файла медиа контейнера. В таком случае блок организации дорожек организует закодированные медиаданные от медиа провайдера 120 в виде, по меньшей мере, одной медиа дорожки в файле медиа контейнера.

Блок 170 организации приоритетов, предпочтительно, реализуется в медиа генерирующем устройстве 100 для того, чтобы организовать идентификаторы приоритета в файле медиа контейнера. Таким образом, блок 170 организации приоритетов организует с возможностью связывания идентификаторы структурного приоритета и идентификаторы приоритета контента в файле медиа контейнера относительно одной или большего количества медиа дорожек. В таком случае, блок 170 организации приоритетов, предпочтительно, сохраняет каждый из структурных идентификаторов и идентификаторов приоритета контента вместе с соответствующим идентификатором изображения, представляющим медиа изображение съемки и медиаданными, к которым применяются структурный идентификатор или идентификатор приоритета контента. Медиа кадр контейнера, сгенерированный согласно осуществлению изобретения медиа генерирующего устройства 100, может войти в медиа память 140 для последующей передачи на внешний блок, который предназначен для направления или обработки файла медиа контейнера. В качестве альтернативы, файл медиа контейнера может непосредственно передаваться на этот внешний блок, например, медиа сервер, транскодер или пользовательский терминал с медиа техническими средствами рендеринга или проигрывания.

Блоки 110-130 и 150-170 медиа генерирующего устройства 100 могут предоставляться в виде аппаратных средств, программного обеспечения или комбинации аппаратного и программного обеспечения.

Медиа генерирующее устройство 100 с пользой может устанавливаться в сетевом узле проводной или, предпочтительно, беспроводной, основанной на радио, системы связи. Медиа генерирующее устройство 100 может представлять собой составную часть провайдера контента или сервера или может присоединяться к ним.

Идентификаторы приорите