Файл медиаконтейнера

Файл медиаконтейнера

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение в целом относится к многоракурсным видеоданным и конкретно к файлу медиаконтейнера, содержащему такие многоракурсные видеоданные.

УРОВЕНЬ ТЕХНИКИ

Происходящая в настоящее время стандартизация Кодирования Многоракурсного Видео (Multi-View Video Coding (MVC)), выполняемая Экспертной Группой по Кинематографии (MPEG) [1] и Исследовательской Группой 16 (SG16) Сектора Стандартизации Телекоммуникаций Международного Союза Электросвязи (ITU-T), является технологией кодирования видео, которая кодирует видеопоследовательности, созданные несколькими камерами или совокупностью камер. MVC эффективно использует избыточность множества видеоракурсов, чтобы обеспечить компактный поток закодированного видео. MVC основана на стандарте Улучшенного Кодирования Видео (AVC), также известного как ITU-T H.264, и поэтому синтаксис и семантика битового потока MVC были сохранены по аналогии с синтаксисом и семантикой битового потока AVC.

ISO/IEC 14496-15 [2] является международным стандартом, предназначенным содержать в себе информацию битового потока Улучшенного Кодирования Видео (AVC) в гибком и расширяемом формате, который способствует управлению битовым потоком AVC. Этот стандарт совместим с Форматом Файла MP4 [3] и Форматом Файла 3GPP [4]. Все эти стандарты являются производными Базового Формата Мультимедийного Файла ISO [5], описанного MPEG. Структура хранения видеопотоков MVC именуется форматом файла MVC.

В формате файла MVC многоракурсный видеопоток представлен в файле одной или более видеодорожками. Каждая дорожка представляет собой один или более ракурсов потока. Формат файла MVC содержит, в дополнение к самим многоракурсным видеоданным, метаданные, используемые при обработке видеоданных. Например, каждый ракурс имеет связанный с ним идентификатор ракурса, предполагающий, что все элементы Уровня Сетевых Абстракций (NAL) MVC внутри одного ракурса имеют, тем не менее, одинаковый идентификатор ракурса, т.е. одинаковое значение полей id_ракурса в расширениях заголовка элемента NAL MVC.

На сегодняшний день параметры камеры сохраняются в информации получения Многоракурсности сообщения Информации Дополнительного Улучшения (SET), которое содержится в Блоке Внешних Параметров Камеры и Блоке Внутренних Параметров Камеры. Эти параметры включают в себя векторы перемещения, обеспечивающие позицию камер и координаты фокусного расстояния камеры.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Очень сложно, а порой даже невозможно определить взаимосвязи и общее размещение и расположение камер и ракурсов камер на основании информации, включаемой на сегодняшний день в информацию получения многоракурсности сообщения SET.

Настоящие варианты осуществления преодолевают эти и прочие недостатки мероприятий известного уровня техники.

Основная цель обеспечить формирование файла медиаконтейнера, содержащего важную информацию о размещении ракурсов камеры.

Эти и прочие цели достигаются вариантами осуществления в соответствии с тем, что определено сопроводительной формулой изобретения.

Вкратце вариант осуществления задействует формирование файла медиаконтейнера посредством организации закодированных видеоданных, представляющих множество ракурсов камер, применительно к сцене в, по меньшей мере, одной дорожке файла медиаконтейнера. Доступно множество заранее установленных представлений компоновки ракурсов, указывающих альтернативное заранее определенное размещение и взаимосвязи позиций ракурсов камеры. Выбирается представление компоновки ракурсов или представления, свойственные текущей совокупности множества ракурсов камер. Идентификаторы ракурсов, относящиеся к множеству ракурсов камер, включаются в выбранное представление компоновки ракурсов. Это представление компоновки ракурсов вместе с идентификаторами ракурсов ассоциативно организуются в файле медиаконтейнера в отношении, по меньшей мере, одной дорожки мультимедийной информации.

Представление компоновки ракурсов предоставляет высокоуровневую информацию, которая непосредственно дает наглядное понимание того, каким образом друг относительно друга скомпонованы камеры, используемые для записи многоракурсных данных, и задает любые модели размещения камер.

Варианты осуществления также относятся к устройству формирования файла медиаконтейнера и такому файлу медиаконтейнера.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Варианты осуществления совместно с их дополнительными целями и преимуществами могут быть наилучшим способом поняты посредством ссылки на нижеследующее описание, рассматриваемое вместе с сопроводительными чертежами, в которых:

фиг.1 является блок-схемой способа формирования файла медиаконтейнера, в соответствии с вариантом осуществления;

фиг.2 является схематическим примером совокупности множества камер и ракурсов камер;

фиг.3 является другим примером совокупности множества ракурсов камер;

фиг.4 является иллюстрацией варианта осуществления файла медиаконтейнера;

фиг.5 является иллюстрацией блока множества представлений компоновки ракурсов, который может включаться в файл медиаконтейнера фиг.4;

фиг.6 является блок-схемой, иллюстрирующей вариант осуществления этапов выбора и включения способа формирования на фиг.1;

фиг.7A и 7B иллюстрируют примеры представления компоновки ракурсов в виде линии;

фиг.8 является блок-схемой, иллюстрирующей другой вариант осуществления этапов выбора и включения способа формирования на фиг.1;

фиг.9A и 9B иллюстрируют примеры представления компоновки ракурсов в виде плоскости;

фиг.10 является блок-схемой, иллюстрирующей вариант осуществления этапа выбора способа формирования на фиг.1;

фиг.11 иллюстрирует пример представления компоновки ракурсов в виде прямоугольной структуры;

фиг.12 является блок-схемой, иллюстрирующей другой вариант осуществления этапа выбора способа формирования на фиг.1;

фиг.13A и 13B иллюстрируют примеры представления компоновки ракурсов в виде сферической структуры;

фиг.14 является блок-схемой, иллюстрирующей еще один другой вариант осуществления этапа выбора способа формирования на фиг.1;

фиг.15 иллюстрирует представление компоновки ракурсов в виде стереопары;

фиг.16 является блок-схемой, иллюстрирующей опциональные, дополнительные этапы способа формирования на фиг.1;

фиг.17 иллюстрирует пример представления накладывающихся ракурсов камер, которое может включаться в файл медиаконтейнера на фиг.4;

фиг.18 является принципиальной структурной схемой устройства формирования файла контейнера в соответствии с вариантом осуществления;

фиг.19 является обзором примера системы связи, в которой могут быть реализованы варианты осуществления; и

фиг.20 схематично иллюстрирует накладывающиеся ракурсы камеры.

ПОДРОБНОЕ ОПИСАНИЕ

Во всех чертежах одинаковые условные обозначения будут использоваться применительно к соответствующим или аналогичным элементам.

Настоящие варианты осуществления направлены на многоракурсные видеоданные и файл медиаконтейнера, содержащий закодированные многоракурсные видеоданные.

Многоракурсные видеоданные подразумевают, что доступно множество ракурсов камер в отношении контента, где такой ракурс камеры формирует видеоданные, отображающие контент, но только с одного из множества доступных ракурсов камер. В многоракурсном видео применительно к сцене, которая должна быть записана, предоставлено множество камер или прочего оборудования записи/создания мультимедийной информации или совокупность множества таких камер. Так как по отношению к сцене камеры имеют разные позиции и/или разные направления наведения и/или фокусные расстояния, они тем самым предоставляют альтернативные ракурсы контента. Фиг.2 схематично иллюстрирует эту идею при помощи совокупности 10 множества камер 12-18, установленных непосредственно перед сценой 5, например, футбольным полем, где разными камерами 12-18 будет записан футбольный матч. Фигура также указывает соответствующие ракурсы 22-28 камер, относящиеся к камерам 12-18. В этом иллюстративном примере камеры 12-18 установлены на разных позициях вдоль футбольного поля и тем самым записывают разные части поля. Это означает, что камеры 12-18 захватывают разные версии мультимедийного контента в соответствии с тем, что просматривается с их ракурсов 22-28 камер.

Как хорошо известно в соответствующей области техники, кодирование видеоданных, как правило, основано на предсказании соответствующих пикселей, таком как в соответствии с форматами H.261, H.263, MPEG-4 и H.264. В формате H.264 существует три используемых способа предсказания пикселя, а именно внутрикадровое, межкадровое и двунаправленное предсказание. Внутрикадровое предсказание обеспечивает пространственное предсказание текущего пиксельного блока из ранее декодированных пикселей текущего кадра. Межкадровое предсказание дает предсказание текущего пиксельного блока во времени, используя соответствующий, но смещенный пиксельный блок в ранее декодированном кадре. Двунаправленное предсказание дает средневзвешенное из двух межкадровых предсказаний. Таким образом, кадры с внутренним предсказанием не зависят от любого предшествующего кадра в видеопотоке, тогда как кадры с межкадровым предсказанием, включая такие кадры с межкадровым предсказанием, полученные двунаправленным предсказанием, используют компенсацию движения из одного или более других опорных кадров в видеопотоке.

Кодирование многоракурсного видео применяет это, основанное на предсказании, кодирование на один этап дальше, разрешая предсказание не только между кадрами одной камеры, но также и предсказание между ракурсами. Таким образом, опорным кадром для сравнения с текущим кодируемым кадром может быть тот же по времени кадр, но принадлежащий другому ракурсу камеры. Также возможно сочетание межракурсного и внутриракурсного предсказания, и получение, таким образом, множества опорных кадров из разных ракурсов камер.

На известном уровне техники и в соответствии с тем, что раскрывается в проекте стандарта MVC [6], существует ограниченный объем информации, включаемой в формат файла MVC, применительно к позициям камер по отношению к записываемой сцене. По существу информация известного уровня техники ограничивается векторами перемещения и координатами в отношении фокусного расстояния камер. Тем не менее, эта информация, по сути, не обеспечивает какое-либо наглядное указание, например, того, каким образом в целом организованы ракурсы камер, какие ракурсы камер являются соседними по отношению друг к другу или в действительности могут быть накладывающимися. В явную противоположность информация вектора и координат для каждой камеры должна извлекаться из соответствующих адресов хранения файла медиаконтейнера ракурсов камер. Извлеченные данные обрабатываются сложным, с точки зрения вычисления, алгоритмом, для того чтобы определить любые общие и локальные взаимосвязи ракурсов камер. Например, может быть достаточно трудно, а иногда даже невозможно, на основании векторов и координат, решить, организованы ли камеры в сетке на плоскости или по сферической поверхности.

Варианты осуществления снимают эти ограничения известного уровня техники посредством обеспечения явной информации о представлениях компоновки ракурсов, которая может быть извлечена непосредственно из файла медиаконтейнера, и не прибегая к сложным вычислениям.

Фиг.1 является блок-схемой, иллюстрирующей способ формирования файла медиаконтейнера в соответствии с вариантом осуществления.

Способ начинается с этапа S1, на котором предоставляются закодированные видеоданные, представляющие собой видеоконтент с множеством ракурсов камер. Это предоставление многоракурсных видеоданных на этапе S1 может быть реализовано посредством извлечения видеоданных из доступной памяти хранения мультимедийной информации, в которую ранее были загружены видеоданные. В качестве альтернативы, видеоданные принимаются от некоторого другого внешнего модуля, в котором были сохранены записанные или сформированные видеоданные. Дополнительной возможностью является фактическое создание и кодирование видеоданных, как, например, запись видеопоследовательности или искусственное формирование видеоданных.

На следующем этапе S2 предоставленные закодированные многоракурсные видеоданные организуются в качестве, по меньшей мере, одной дорожки мультимедийной информации файла медиаконтейнера. Файл медиаконтейнера может, например, быть так называемым файлом MVC или в некотором другом формате файла, который предпочтительно основан на Базовом Формате Мультимедийного Файла ISO.

Файл медиаконтейнера может рассматриваться в качестве законченного входного пакета, который используется сервером мультимедийной информации во время сеанса передачи мультимедийной информации для обеспечения видеоконтента и преобразования видеоданных в приемлемые для передачи пакеты данных. Таким образом, файл контейнера предпочтительно содержит, по сути, в дополнение к видеоконтенту информацию и инструкции, требуемые серверу мультимедийной информации для выполнения обработки и позволяющие осуществление передачи видеоконтента во время сеанса передачи мультимедийной информации.

В варианте осуществления каждый ракурс камеры имеет отдельную назначенную дорожку мультимедийной информации файла медиаконтейнера, тем самым обеспечивая однозначную взаимосвязь между числом ракурсов камер и числом дорожек мультимедийной информации. В качестве альтернативы, в одной дорожке мультимедийной информации файла медиаконтейнера могут содержаться закодированные видеоданные, по меньшей мере, двух, возможно всех, ракурсов камер. Фиг.4 схематически иллюстрирует пример файла 30 медиаконтейнера, имеющего одну или более дорожки 32 мультимедийной информации, несущие в себе закодированные многоракурсные видеоданные.

Соответствующие видеоданные множества ракурсов камер независимо от того, организованы ли они в одну или более дорожки мультимедийной информации, предпочтительно являются с назначенными соответствующими идентификаторами ракурсов, связанными с ракурсами камер.

Далее на этапе S3 способа формирования выбирают представление компоновки ракурсов применительно к многоракурсным видеоданным на основании относительных позиций множества ракурсов камер. Это представление компоновки ракурсов дополнительно выбирается среди множества заранее определенных представлений компоновки ракурсов. Эти представления компоновки ракурсов указывают разное заранее определенное размещение и взаимосвязи позиций множества ракурсов камер. Представление компоновки ракурсов может рассматриваться в качестве идентификатора конкретного общего размещения множества камер и ракурсов камер в отношении записанной сцены. Следовательно, представление компоновки ракурсов непосредственно предоставляет информацию о том, каким образом организовано множество ракурсов камер, и не требует какой-либо обработки векторов и координат камеры, для того чтобы определить текущее размещение ракурса камеры.

На этапе S3 выбирают компоновку ракурсов из набора множества заранее определенных представлений компоновок ракурсов. Это означает, что существует конечное число заранее указанных и разрешенных размещений, в соответствии с которыми могут быть организованы камеры в отношении сцены или объекта, который должен быть записан с многоракурсной настройкой. Эти заранее определенные представления компоновки ракурсов соответствуют наиболее часто используемым схемам размещения камер, которые используются при многоракурсной записи.

Примерами таких заранее определенных представлений компоновки ракурсов, которые могут использоваться, включают в себя представление компоновки ракурсов в виде линии, представление компоновки ракурсов в виде плоскости, представление компоновки ракурсов в виде прямоугольной структуры, представление компоновки ракурсов в виде сферической структуры и представление компоновки ракурсов в виде стереопары. Таким образом, набор множества заранее определенных представлений компоновки ракурсов может включать в себя все из вышеупомянутых представлений компоновки ракурсов или его подмножество, если существует несколько, т.е., по меньшей мере, два заранее определенных представления компоновки ракурсов в наборе. Тем не менее, настоящие варианты осуществления не ограничены этими конкретными представлениями компоновки ракурсов и в качестве альтернативы или в дополнение могут использовать прочие представления компоновки ракурсов, имеющие отличные размещения ракурсов камер кроме как вдоль линии, в плоскости, в прямоугольной решетке, по сфере или в качестве стереопары ракурсов.

Выбор на этапе S3 может выполняться посредством выбора одного представления компоновки ракурсов. В качестве альтернативы для текущей компоновки ракурсов камер, несомненно, может применяться и, следовательно, может выбираться на этапе S3 подмножество из множества заранее определенных представлений компоновки ракурсов. Например, ракурсы камер, размещенные, как определено представлением компоновки ракурсов в виде прямоугольной структуры, также размещены в плоскости, следовательно, также может быть выбрано представление компоновки ракурсов в виде плоскости.

На этапе S4 в выбранное представление компоновки ракурсов включаются идентификаторы ракурсов, относящиеся к множеству ракурсов камер. Таким образом, эти идентификаторы ракурсов указывают, какие ракурсы камер, что размещены в отношении записываемой сцены в соответствии со схемой размещения, указываются выбранным представлением компоновки ракурсов. Идентификаторы ракурсов предпочтительно включаются в представление компоновки ракурсов в порядке, описывающем относительный порядок позиций ракурсов камер в размещении и взаимосвязь позиций, определяемую выбранным представлением компоновки ракурсов. Таким образом, идентификаторы ракурсов, относящиеся к ракурсам камер, предпочтительно включаются в представление компоновки ракурсов в порядке, в котором ракурсы камер были позиционированы относительно сцены на схеме размещения, определяемой представлением компоновки ракурсов.

На этапе S5 выбранное представление компоновки ракурсов с включенными идентификаторами ракурсов ассоциативно организуются в файле медиаконтейнера в отношении, по меньшей мере, одной дорожки мультимедийной информации, организованной в файле на этапе S2. Под ассоциативно организованным подразумевается, что представление компоновки ракурсов включается в файл медиаконтейнера таким образом, чтобы обеспечивать привязку представления компоновки ракурсов к ракурсам камер, в отношении которых применяется представление компоновки ракурсов. Соответственно такая привязка может вместо этого быть между представлением компоновки ракурсов и закодированными многоракурсными данными, организованными в, по меньшей мере, одну дорожку мультимедийной информации.

Привязка может быть выполнена в виде указателя из адреса хранения видеоданных внутри файла медиаконтейнера на адрес хранения представления компоновки ракурсов или наоборот. Следовательно, этот указатель или метаданные позволяют, учитывая конкретные видеоданные или их местоположение внутри файла медиаконтейнера, осуществлять идентификацию привязанного представления компоновки ракурсов или адреса хранения представления компоновки ракурсов внутри файла. Вместо использования указателя метаданные могут включать в себя идентификатор видеоданных, относящийся к видеоданным, или идентификатор дорожки, относящийся к дорожке мультимедийной информации, несущей в себе многоракурсные видеоданные. Дополнительные примеры включают в себя идентификаторы ракурсов, включенные в представление компоновки ракурсов, которые позволяют идентифицировать ракурсы камер и, следовательно, видеоданные и дорожки мультимедийной информации, в отношении которых используется представление компоновки ракурсов.

Затем способ завершается. Этапы операций способа формирования могут выполняться последовательно, как проиллюстрировано на фиг.1. В качестве альтернативы, этапы с S3 по S5 могут выполняться заранее или наоборот параллельно с этапами S1 и S2.

Фиг.4 схематично иллюстрирует вариант осуществления файла 30 медиаконтейнера. Файл 30 медиаконтейнера содержит одну или более дорожки 32 мультимедийной информации, несущие в себе закодированные многоракурсные видеоданные. Представление 34 компоновки ракурсов, содержащее идентификаторы 36 ракурсов применительно к ракурсам камер, также организованы в качестве метаданных в файле 30 медиаконтейнера.

Фиг.5 иллюстрирует пример того, каким образом в файле медиаконтейнера может быть организовано представление компоновки ракурсов. В этом иллюстративном примере файл медиаконтейнера содержит блок, обозначенный как Общий Дополнительный Блок 38 Позиций Ракурсов. Этот блок 38 документирует обычно используемые позиции камер. Это в частности полезно, когда камеры и ракурсы камер сориентированы по интуитивно понятной модели, которая может быть сложной для получения из координат позиций камер. Создатель контента может использовать этот блок для выделения полезных взаимосвязей между камерами по его или ее выбору.

Общий дополнительный блок 38 позиций ракурсов на фиг.5 иллюстрирует множество заранее определенных представлений с 34A по 34E компоновки ракурсов. Таким образом, блок 38 содержит линейный блок 34A ракурсов, плоскостной блок 34B ракурсов, прямоугольный блок 34C ракурсов, сферический блок 34D ракурсов и стереоблок 34E ракурсов. Отметим, что в более реальных вариантах реализации в общий дополнительный блок 38 позиций ракурсов вместо этого могут включаться только одно или подмножество из представлений с 34A по 34E компоновки ракурсов в соответствии с тем, как это представление или эти подмножества выбраны применительно к текущей компоновке ракурсов камер.

Не накладывающим ограничений примером предоставления общего дополнительного блока 38 позиций ракурсов в файле медиаконтейнера может служить следующее:

Типы Блоков: 'gsvp'

Контейнер: Блок Фильма ('moov')

Обязательность: Нет

Количество: Ровно один

выровненный(8) класс Общий Дополнительный Блок Позиций Ракурсов

расширяет Полный блок('gsvp', версия = 0,0) {

Линейный Блок Ракурсов(); //опционально

Плоскостной Блок Ракурсов(); //опционально

Прямоугольный Блок Ракурсов(); //опционально

Сферический Блок Ракурсов(); //опционально

Стерео Блок Ракурсов(); //опционально

}

Блоки с 34A по 34E ракурсов, доступные применительно к типу блока 'gsvp', являются опциональными, подразумевая, что не все из них обязательно должны включаться в файл медиаконтейнера для заданной компоновки ракурсов камер. На фиг.5 блок 38 проиллюстрирован как имеющий не более одного блока с 34A по 34E на каждый тип представления компоновки ракурсов. Тем не менее, для некоторой совокупности камер может быть преимущественно необходимым включить несколько представлений компоновки ракурсов заданного типа, таких как несколько представлений 34A компоновки ракурсов в виде линии и/или несколько представлений 34E компоновки ракурсов в виде стереопары.

Фиг.6 является блок-схемой, иллюстрирующей вариант осуществления этапа S3 выбора и этапа S4 включения способа формирования на фиг.1. Способ продолжается с этапа S2 на фиг.1. На следующем этапе S10 выбирают, на основании относительных позиций множества ракурсов камер или множества камер, представление компоновки ракурсов в виде линии. Например, и со ссылкой на фиг.2, все ракурсы 22-28 камер скомпонованы вдоль прямой линии, и для этого размещения ракурсов камер должно быть выбрано представление компоновки ракурсов в виде линии.

Фиг.3 иллюстрирует другую группу ракурсов камер. В этом случае фактически возможно 34 варианта записи представления компоновки ракурсов в виде линии для совокупности из 16 ракурсов с 22A по 28D камер, если минимальное число ракурсов камер равно трем:

22A, 22B, 22C, 22D28A, 28B, 28C, 28D22C, 24C, 26C, 28C28A, 26B, 24C, 22D24B, 26C, 28D28A, 26B, 24C22A, 22B, 22C24B, 24C, 24D28A, 28B, 28C24A, 26A, 28A22C, 24C, 26C24D, 26D, 28D

24A, 24B, 24C, 24D22A, 24A, 26A, 28A22D, 24D, 26D, 28D24A, 26B, 28C22B, 24C, 26D26B, 24C, 22D22B, 22C, 22D26A, 26B, 26C28B, 28C, 28D22B, 24B, 26B24C, 26C, 28C

26A, 26B, 26C, 26D22B, 24B, 26B, 28B22A, 24B, 26C, 28D22A, 24B, 26C26A, 24B, 22C28B, 26C, 24D24A, 24B, 24C26B, 26C, 26D22A, 24A, 26A24B, 26B, 28B22D, 24D, 26D

В предпочтительном варианте осуществления число ракурсов камер, рассматриваемых как находящиеся на прямой линии, составляет, по меньшей мере, 3, как в примере выше.

На опциональном следующем этапе S11 выбирают версию линейности из первой версии линейности и второй версии линейности. Эти несколько версий линейности определяют разные способы организации идентификаторов ракурсов применительно к, предпочтительно, по меньшей мере, трем ракурсам камер, размещенным на прямой линии. Выбор на этапе S11 версии линейности выполняется на основании относительных позиций множества ракурсов камер. Если на этапе S11 выбрана первая версия V1 линейности, то способ переходит к этапу S12. На этапе S12 в представление компоновки ракурсов в виде линии включают все идентификаторы ракурсов, относящиеся к ракурсам камер, размещенных вдоль прямой линии. Таким образом, ракурсы камер предоставляются в правильном порядке по мере их размещения вдоль линии. Например, 22A, 24B, 26C, 28D на фиг.3, если с 22A по 28D представляют собой идентификаторы ракурсов, относящиеся к ракурсам камер.

Тем не менее, если на этапе S11 выбирается вторая версия V0 линейности, то на этапе S13 в представление компоновки ракурсов в виде линии включают идентификатор начального ракурса и опционально приращение идентификатора. Этот способ представления идентификаторов ракурсов будет более эффективным с точки зрения общего размера битов, отводимых на идентификаторы ракурсов. Тем не менее, вторая версия линейности допустима, только если ракурсы камер организованы так, что их идентификаторы ракурсов будут соответствовать id_начального_ракурса, id_начального_ракурса + приращение_id, id_начального_ракурса + 2хприращение_id, id_начального_ракурса + 3хприращение_id, …, где id_начального_ракурса является идентификатором ракурса, относящимся к ракурсу камеры с наименьшим идентификатором ракурса среди серии выстроенных в линию ракурсов камер, а приращение_id является приращением идентификатора. В некоторых приложениях приращение идентификатора может быть заранее заданным значением, таким как единица, тем самым исключая требование об указании какого-либо приращения идентификатора в линейном блоке ракурсов. Затем способ переходит к этапу S5 на фиг.1.

Фиг.7A иллюстрирует первый пример линейного блока 34A ракурсов, если на этапе S11 на фиг.6 была выбрана первая версия линейности. Линейный блок 34A ракурсов содержит идентификатор 31 версии, имеющий значение, связанное с первой версией линейности. Идентификаторы 36A ракурсов, расположенных в линию ракурсов камер, также включаются в линейный блок 34A ракурсов.

Фиг.7B иллюстрирует соответствующий линейный блок 34A ракурсов, если на этапе S11 на фиг.6 наоборот была выбрана вторая версия линейности. Линейный блок 34A ракурсов содержит идентификатор 31 версии линейности, идентификатор 36B начального ракурса и, опционально, приращение 36C идентификатора, упомянутые выше. Идентификатор 36B начального ракурса и приращение 36C идентификатора являются представлениями идентификаторов ракурсов, относящихся к расположенным на одной линии ракурсам камер, и могут использоваться для вычисления ракурсов камеры в соответствии с id_ракурса = id_начального_ракурса + kxприращение_id, где k=0, 1, 2, …, количество_ракурсов-1, а количество_ракурсов является целочисленным количеством, которое указывает количество последовательных расположенных на одной линии ракурсов камеры.

Несмотря на то, что не проиллюстрировано на фиг.7A и 7B, линейный блок 34A ракурсов также может содержать количество_ракурсов, т.е. общее число ракурсов камер, расположенных на прямой линии. Тем не менее, это не является обязательным, так как размер поля, содержащегося в структуре блока/полного блока, дает указание на то, какое количество записей ракурсов содержится в блоке. Всегда можно разделить размер на число битов, занятых каждым ракурсом, чтобы получить общее число ракурсов.

Линейный блок 34A ракурсов может быть определен в соответствии со следующим:

Типы Блоков: 'ilvi'

Контейнер: Общий Дополнительный Блок Позиций Ракурсов ('gsvp')

Обязательность: Нет

Количество: ноль или более

выровненный(8) класс Линейный Блок Ракурсов расширяет Полный блок('ilvi', версия, 0) {

если(версия==1){

для(i=0;;i++{ //до конца блока

беззнаковая int(6) зарезервированная1=0;

беззнаковая int(10) id_ракурса;

}

{иначе{

беззнаковая int(6) зарезервированная2=0;

беззнаковая int(10) id_начального_ракурса;

беззнаковая int(16) количество_ракурсов

беззнаковая int(16) приращение_id

}

}

Семантика

версия является целочисленным значением, указывающим версию линейности применительно к линейному блоку ракурсов.

id_ракурса является идентификатором ракурса камеры в соответствии с тем, что указывается в Блоке Идентификатора Ракурса в документе [6].

id_начального_ракурса является идентификатором ракурса применительно к ракурсу камеры в соответствии с тем, что указывается в Блоке Идентификатора Ракурса, который является наименьшим id_ракурса среди серий, расположенных на одной линии ракурсов камер.

количество_ракурсов является целочисленным значением, которое вычисляет число последовательных расположенных на одной линии ракурсов камер.

приращение_id является приращением идентификатора.

Отметим, что одно представление компоновки ракурсов может содержать множество линейных блоков ракурсов, как указано выше и рассматривалось применительно к фиг.3.

В альтернативном варианте осуществления доступна первая версия линейности. Таким образом, этапы S11 и S13 могут быть пропущены, и линейные блоки ракурсов соответствуют тем, что проиллюстрированы на фиг.7A. Второй альтернативой является разрешение только второй версии линейности. Таким образом, могут быть пропущены этапы S11 и S12, и линейные блоки ракурсов соответствую тем, что проиллюстрированы на фиг.7B.

В других вариантах осуществления представление компоновки ракурсов также содержит информацию, указывающую, является ли прямая линия расположенных в одну линию ракурсов камер горизонтальной линией, вертикальной линией или наклонной линией.

Фиг.8 является блок-схемой, иллюстрирующей вариант осуществления этапа S3 выбора и этапа S4 включения на фиг.1. Способ продолжается с этапа S2 на фиг.1. На следующем этапе S20 выбирают, на основании относительных позиций множества ракурсов камер, представление компоновки ракурсов в виде плоскости. Это представление компоновки ракурсов выбирается, если группа ракурсов камер или камеры размещены в плоскости. Число ракурсов камер в группе предпочтительно не менее трех. Все ракурсы с 22A по 28D камер, проиллюстрированные на фиг.3, лежат в плоскости, и поэтому для группы ракурсов с 22A по 28D может быть выбрано представление компоновки ракурсов в виде плоскости.

На следующем опциональном этапе S21 выбирают между первой версией плоскости ракурсов и второй версией плоскости ракурсов в соответствии со случаем с представлением компоновки ракурсов в виде линии. Выбор на этапе S21 выполняется на основании относительных позиций множества ракурсов камер. Если на этапе S21 выбирается первая версия V1 плоскости, то на этапе S22 в представление компоновки ракурсов в виде плоскости включают все идентификаторы ракурсов, относящиеся к ракурсам камер, выровненным по плоскости. Этот этап S22 по существу выполняется, как и этап S12 на фиг.6, за исключением того, что множество ракурсов камер выровнены по плоскости, а не только по прямой линии. Предпочтительно идентификаторы ракурсов включаются в порядке, полученном посредством перехода по ракурсам камер в плоскости в соответствии с заранее определенной схемой сканирования, такой как начиная с верхнего левого ракурса камеры и дальнейшего сканирования по первому ряду и затем переходя ко второму ряду и т.д. Другие возможные порядки сканирования, которые могут использоваться, включают в себя зигзагообразный порядок сканирования. В таком случае это означает, что матрица, содержащая, например, 3x3 камер или ракурсы камер, может сканироваться в порядке (1,1), (1,2), (2,1), (3,1), (2,2), (1,3), (2,3), (3,2) и (3,3) при записи (ряд, столбец). Дополнительным примером является чересстрочный порядок сканирования.

Если вместо этого на этапе S22 выбирается вторая версия V0 плоскости, то на этапе S23 в представление компоновки ракурсов в виде плоскости включают идентификатор начального ракурса, опционально и в случае, если не фиксировано, то приращение идентификатора. Этот этап S23 по существу выполняется, как и этап S13 на фиг.6. Затем способ переходит к этапу S5 на фиг.1.

Фиг.9A иллюстрирует плоскостной блок 34B ракурсов, т.е. представление компоновки ракурсов в виде плоскости, для первой версии плоскости. Плоскостной блок 34B ракурсов содержит идентификатор 31 версии и все идентификаторы 36A ракурсов, относящиеся к ракурсам камер, выровненных по плоскости. Фиг.9B иллюстрирует плоскостной блок 34B ракурсов, если идентификатор 31 сигнализирует вторую версию плоскости. Плоскостной блок 34B ракурсов в этом случае содержит идентификатор 36B начального ракурса и, опционально, приращение 36С идентификатора. Плоскостной блок 34B ракурсов опционально содержит информацию, т.е. количество_ракурсов, относящуюся к количеству ракурсов камер, выровненных по плоскости.

Аналогично представлению компоновки ракурсов в виде линии в альтернативном варианте осуществления доступна только первая версия плоскости или только вторая версия плоскости.

Плоскостной блок ракурсов может быть определен в соответствии со следующим:

Типы Блоков: 'plvi'

Контейнер: Общий Дополнительный Блок Позиций Ракурсов ('gsvp')

Обязательность: Нет

Количество: ноль или более

выровненный(8) класс Плоскостной Блок Ракурсов расширяет Полный блок('plvi', версия, 0) {

если(версия==1){

для(i=0;;i++{ //до конца блока

беззнаковая int(6) зарезервированная1=0;

беззнаковая int(10) id_ракурса;

}

{иначе{

беззнаковая int(6) зарезервированная2=0;

беззнаковая int(10) id_начального_ракурса;

беззнаковая int(16) количество_ракурсов

беззнаковая int(16) приращение_id

}

}

Семантика

версия является целочисленным значением, указывающим версию плоскости применительно к плоскостному блоку ракурсов.

id_ракурса является идентификатором ракурса камеры в соответствии с тем, что указывается в Блоке Идентификатора Ракурса в документе [6].

id_начального_ракурса является идентификатором ракурса применительно к ракурсу камеры в соответствии с тем, что указывается в Блоке Идентификатора Ракурса, который является наименьшим id_ракурса среди серий последовательных ракурсов камер, размещенных в плоскости.

количество_ракурсов является целочисленным значением, которое вычисляет количество последовательных выровненных по плоскости ракурсов камер.

приращение_id является приращением идентификатора.

Фиг.10 является блок-схемой, иллюстрирующей вариант осуществления этапа S3 выбора на фиг.1. Способ продолжается с этапа S2 на фиг.1. На следующем этапе S30 выбирают представление компоновки ракурсов в виде прямоугольной структуры на основании относительных позиций множества ракурсов камер. Такое представление компоновки ракурсов в виде прямоугольной структуры приемлемо для представления группы ракурсов камер или камер, которые образуют на плоскости прямоугольную решетку или сетку. Число ракурсов камер в группе предпочтительно не менее четырех, и ракурсы камер предпочтительно равноудалены друг от друга в повторяющейся модели. Фиг.3 иллюстрирует группу ракурсов с 22A по 28D камер, скомпонованных в прямоугольной структуре.

На следующем этапе S31 в представление компоновки ракурсов в виде плоскости включают представление количества рядов и представление количества столбцов прямоугольной структуры ракурсов камер. На этапе S32 определяются представления расстояния между последовательными рядами и последовательными ст