Способ кодирования сигнала видеоданных для использования с мультивидовым стереоскопическим устройством отображения

Способ кодирования сигнала видеоданных для использования с мультивидовым стереоскопическим устройством отображения

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к способу кодирования сигнала видеоданных для использования с мультивидовым стереоскопическим устройством отображения, способу декодирования сигнала видеоданных, сигналу видеоданных, кодеру сигнала видеоданных для использования с мультивидовым стереоскопическим устройством отображения, декодеру сигнала видеоданных, компьютерному программному продукту, содержащему инструкции для кодирования сигнала видеоданных, и компьютерному программному продукту, содержащему инструкции для декодирования сигнала видеоданных.

УРОВЕНЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ

За последние два десятилетия технология трехмерного отображения достигла высокого уровня. Трехмерные (3D) устройства отображения добавляют к восприятию визуального изображения третье измерение (глубину), обеспечивая каждому глазу наблюдателя различные виды наблюдаемой сцены.

Вследствие этого в настоящее время существуют различные способы наблюдения видеосигналов/сигналов трехмерных изображений. С одной стороны, имеются очки, основанные на системе трехмерного отображения, в которой пользователю демонстрируются отдельные изображения для его/ее левого глаза и правого глаза. С другой стороны, существуют автостереоскопические трехмерные системы отображения, которые обеспечивают невооруженному глазу наблюдателя трехмерное изображение сцены.

В основанных на очках системах активные/пассивные очки обеспечивают фильтр для выделения отдельных изображений, демонстрируемых на экране, для соответствующего глаза наблюдателя. В не использующих очки автостереоскопических системах устройства довольно часто представляют собой мультивидовые дисплеи, в которых используются светонаправляющие средства, например, в виде барьера или линзообразного элемента для направления левого изображения в левый глаз и правого изображения в правый глаз.

С целью обеспечения контента для использования со стереоскопическими мультивидовыми устройствами отображения со временем были разработаны различные форматы ввода. Пример такого формата приведен в опубликованной заявке согласно PCT WO2006/137000(A1). В настоящем документе описывается формат обмена изображениями для информации об изображении и глубине в совокупности с дополнительной информацией, такой как глубина и/или глубина заграждения. Обеспеченная таким образом информация может использоваться для визуализации изображений для использования с автостереоскопическими мультивидовыми дисплеями на основе линзообразной или барьерной технологии.

В статье П.А. Редерт, Е.А. Хедрикс и Дж. Бьемонд «Синтез многоракурсных изображений в непромежуточных положениях» в Трудах Международной конференции по акустике, речи и обработке сигналов, том IV, ISBN 0-8186-7919-0, стр. 2749-2752, IEEE Computer Society, Лос-Аламитос (штат Калифорния), 1997 г. описывается способ извлечения информации о глубине и визуализации мультивидового изображения на основе входного изображения и карты глубин.

Чтобы улучшить результаты вышеупомянутых методов визуализации на основе изображений, были разработаны различные методы, в которых используются дополнительная текстура заграждения и глубина заграждения, как описано в WO2006/137000(A1). Однако добавление текстуры заграждения и карты глубин заграждения является относительно дорогостоящим в том отношении, что это может потребовать передачи дополнительной карты изображений и глубин для использования при визуализации.

Помимо добавления дополнительных данных изображений в виде дополнительных карт изображений и глубин, известно также, что могут обеспечиваться дополнительные метаданные с целью улучшения качества основанной на изображении визуализации. Пример таких метаданных обеспечен в заявке согласно PCT WO2011/039679(A1). В этом документе описывается способ кодирования сигнала видеоданных, предусматривающий указатель предпочтительного направления визуализации для использования при визуализации дополнительных изображений.

ЦЕЛЬ ИЗОБРЕТЕНИЯ

Авторы изобретения обнаружили, что всего лишь кодирование указателя направления визуализации может быть дополнительно усовершенствовано, в частности, при рассмотрении визуализации основанного на изображении и глубине контента для стереоскопических мультивидовых дисплеев.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

В соответствии с первым аспектом изобретения, обеспечивается способ кодирования сигнала видеоданных для использования с мультивидовым стереоскопическим устройством отображения, причем способ содержит: обеспечение первого изображения сцены, видимой из входной точки наблюдения, обеспечение карты глубин, связанной с первым изображением, обеспечение данных о предпочтениях, содержащих указатель, указывающий на предпочтительное положение центрального вида для использования при видовой визуализации, причем предпочтительное положение центрального вида и входной точки наблюдения относятся к базовой линии между опорным левым видом и опорным правым видом, и генерирование сигнала видеоданных, содержащего кодированные данные, представляющие первое изображение, карту глубин и данные о предпочтениях.

Преимущество кодирования сигнала видеоданных, таким образом, состоит в том, что оно позволяет декодеру, который будет использовать контент для видовой визуализации для мультивидового дисплея, выбирать подходящий центральный вид для соответствующего конуса видимости. В результате можно выбирать приятное для восприятия, т.е. предпочтительное центральное положение для конуса видимости устройства отображения способом, являющимся независимым от выходного дисплея.

В этой заявке упоминается центральный вид. Мультивидовое стереоскопическое устройство отображения выполнено с возможностью визуализации видов конуса видимости, имеющего множество видов, причем центральный вид находится в центральном положении конуса видимости. Необходимо отметить, что существуют мультивидовые стереоскопические дисплеи, имеющие нечетное число видов, а также мультивидовые стереоскопические дисплеи, имеющие четное число видов. В случае мультивидового стереоскопического дисплея центральный вид соответствует среднему виду в конусе видимости; т.е. как правило, виду, который перпендикулярен панели дисплея. Центральный вид в случае четного числа видов соответствует положению посередине между двумя видами, ближайшими к центру конуса видимости.

Факультативно данные о предпочтениях содержат указатель, указывающий на предпочтительное положение центрального вида для использования при визуализации изображений для отображения на мультивидовом стереоскопическом дисплее.

Факультативно данные о предпочтениях содержат данные о предпочтениях в зависимости от отношения входной точки наблюдения к базовой линии, содержащие - для видеосигнала, имеющего лишь одиночный вид, составляющий входную точку наблюдения, в тех случаях, когда опорный левый вид и опорный правый вид представляют заданное положение левого вида и заданное положение правого вида относительно одиночного вида - значение смещения центра одиночного вида, обеспечиваемое в качестве упомянутого указателя, указывающего предпочтительное положение относительно одиночного вида. Данные о предпочтениях могут дополнительно включать в себя флаг смещения центра одиночного вида, который устанавливается в тех случаях, когда обеспечивается значение смещения центра одиночного вида.

Факультативно данные (30) о предпочтениях содержат данные о предпочтениях в зависимости от отношения входной точки наблюдения к базовой линии, содержащие - для видеосигнала, имеющего левый вид и правый вид, составляющие опорный левый вид и опорный правый вид;

- значение смещения центра обработки одиночного вида, обеспечиваемое в качестве упомянутого указателя, указывающего предпочтительное положение относительно центрального положения между левым и правым видами. Данные о предпочтениях могут дополнительно включать в себя по меньшей мере одно из следующего:

- флаг смещения центра обработки одиночного вида, устанавливаемый в тех случаях, когда обеспечивается значение смещения центра обработки одиночного вида;

- предпочтительный флаг одиночного вида, устанавливаемый в тех случаях, когда обработка одиночного вида является предпочтительной;

- указатель предпочтительного вида, указывающий, что левый вид является предпочтительным видом для обработки одиночного вида, либо что правый вид является предпочтительным видом для обработки одиночного вида.

Факультативно данные о предпочтениях указывают предпочтительное положение центрального вида относительно базовой линии между опорным левым видом и опорным правым видом с точностью 1/100-я базовой линии - так достигается компромисс между требованиями к точности и памяти.

Факультативно данные о предпочтениях указывают предпочтительное положение центрального вида посредством значения смещения относительно центра между левым опорным видом и правым опорным видом, причем значение смещения, равное нулю, соответствует входной точке наблюдения. Таким образом, представление положения центра может являться сингулярным значением, которое для выбранного входа относится к входной точке наблюдения, и к выходному предпочтительному положению для использования при визуализации.

Факультативно предпочтительное положение центрального вида определяется на основе оценки воспринимаемого качества изображения после визуализации контента для множества различных положений центрального вида для эталонного дисплея. Так может быть выбрано приятное для восприятия центральное положение таким образом, что, например, ошибки, возникающие в результате снятие заграждения, могут быть исправлены или значительно уменьшены, но с учетом персональных ограничений. Например, рассмотрим сцену, в которой человек стоит перед белой стеной с одной стороны и перед значительно текстурированной шторой с другой стороны. Благодаря выбору визуализации в определенном направлении артефакты заграждения, возникающие в результате снятия заграждения в виде шторы, могут быть уменьшены. Однако если человек в сцене смотрит за окно, продление сцены слишком далеко в этом направлении может стать раздражающим, поскольку это может повлиять на значительную интересующую область окна.

Способ в соответствии с данным вариантом осуществления обеспечивает обнаружение такой ситуации и обеспечивает выбор компромиссного решения, визуализация которого может надлежащим образом осуществляться на автостереоскопическом мультивидовом дисплее.

Факультативно данные о предпочтениях устанавливаются для одного из следующего: на кадр, на группу кадров или на снимок/сцену. Поскольку изменения в центральной точке наблюдения в сцене могут оказаться нежелательными, можно устанавливать данные о предпочтениях на каждый кадр, на каждую группу кадров или на каждый снимок или сцену. Последнее на практике оказывается наименее навязчивым. Кроме того, в случае необходимости покадровое кодирование данных о предпочтениях - либо прямо путем включения обновлений данных для каждого кадра, либо косвенно, например, путем указания набора увеличений значения данных о предпочтениях для ряда последовательных кадров, либо путем задания выходного значения для некоторого кадра в будущем - обеспечивает плавный переход данных о предпочтениях в течение некоторого времени.

В соответствии со вторым аспектом изобретения, обеспечивается способ декодирования сигнала видеоданных, причем сигнал видеоданных включает в себя кодированные данные, представляющие: первое изображение сцены, видимой из входной точки наблюдения, карту глубин, связанную с первым изображением, данные о предпочтениях, содержащие указатель, указывающий на предпочтительное положение центрального вида для использования при видовой визуализации, причем предпочтительное положение центрального вида и входной точки наблюдения относятся к базовой линии между опорным левым видом и опорным правым видом, причем способ содержит: получение сигнала видеоданных, визуализацию множества видов на основе первого изображения, карты глубин и данных о предпочтениях таким образом, что визуализированные виды совпадают с предпочтительным положением центрального вида, кодированного в сигнале видеоданных, или находятся вблизи него.

В предпочтительном варианте осуществления способ декодирования дополнительно включает в себя последующее объединение визуализированных видов для использования управления стереоскопическим мультивидовым дисплеем.

В соответствии с третьим аспектом изобретения, обеспечивается сигнал видеоданных, причем сигнал видеоданных содержит кодированные данные, представляющие: первое изображение сцены, видимой из входной точки наблюдения, карту глубин, связанную с первым изображением, данные о предпочтениях, содержащие указатель, указывающий на предпочтительное положение центрального вида для использования при видовой визуализации, причем предпочтительное положение центрального вида и входной точки наблюдения относятся к базовой линии между опорным левым видом и опорным правым видом.

Факультативно данные о предпочтениях дополнительно включают в себя предпочтительные положения множества видов, соотносящие предпочтительное положение соответствующего вида с входной точкой наблюдения и базовой линией между опорным левым видом и опорным правым видом.

В соответствии с четвертым аспектом изобретения, обеспечивается носитель данных для хранения сигнала видеоданных в долговременной форме, причем носитель данных может отличаться от известных устройств, таких как оптический диск, накопитель на жестком диске, твердотельный накопитель или твердотельная память.

В соответствии с пятым аспектом изобретения, предлагается кодер для кодирования сигнала видеоданных для использования в мультивидовом стереоскопическом устройстве отображения, причем кодирование содержит: первый блок получения для обеспечения первого изображения сцены, видимой из входной точки наблюдения, второй блок получения для обеспечения карты глубин, связанной с первым изображением, третий блок получения для обеспечения данных о предпочтениях, содержащих указатель, указывающий на предпочтительное положение центрального вида для использования при видовой визуализации, причем предпочтительное положение центрального вида и входной точки наблюдения относятся к базовой линии между опорным левым видом и опорным правым видом, и генератор, выполненный с возможностью генерирования сигнала видеоданных, содержащего кодированные данные, представляющие первое изображение, карту глубин и данные о предпочтениях.

В соответствии с шестым аспектом изобретения, обеспечивается декодер для декодирования сигнала видеоданных, причем сигнал видеоданных содержит кодированные данные, представляющие: первое изображение сцены, видимой из входной точки наблюдения, карту глубин, связанную с первым изображением, данные о предпочтениях, содержащие указатель, указывающий на предпочтительное положение центрального вида для использования при видовой визуализации, причем предпочтительное положение центрального вида и входной точки наблюдения относятся к базовой линии между опорным левым видом и опорным правым видом, причем декодер содержит демультиплексор для демультиплексирования данных первого изображения, карты глубин и данных о предпочтениях и средство визуализации видов, выполненное с возможностью визуализации множества видов на основе первого изображения, карты глубин и данных о предпочтениях таким образом, что визуализированные виды совпадают с предпочтительным положением центрального вида, кодированного в сигнале видеоданных, или находятся вблизи него.

Факультативно декодер дополнительно выполнен с возможностью визуализации равноудаленных друг от друга видов для использования с мультивидовым дисплеем на основе предпочтительного центрального положения и величины диспаратности, имеющейся для визуализации.

Факультативно данные о предпочтениях дополнительно включают в себя предпочтительные положения всех видов выходного дисплея, соотносящие предпочтительное положение соответствующего вида с входной точкой наблюдения и базовой линией между опорным левым видом и опорным правым видом.

В соответствии с седьмым аспектом изобретения, обеспечивается компьютерный программный продукт, содержащий инструкции для побуждения процессорной системы к выполнению способа кодирования в соответствии с изобретением.

В соответствии с восьмым аспектом изобретения, обеспечивается компьютерный программный продукт, содержащий инструкции для побуждения процессорной системы к выполнению способа декодирования в соответствии с изобретением.

Эти и другие аспекты изобретения понятны из описываемых ниже вариантов осуществления и поясняются применительно к ним.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

На чертежах:

на фиг.1А изображено упрощенное представление конуса видимости стереоскопического 4-видового мультивидового дисплея,

на фиг.1В изображено упрощенное представление конуса видимости стереоскопического 5-видового мультивидового дисплея,

на фиг.2 изображена блок-схема кодера и декодера в соответствии с изобретением,

на фиг.3 изображен схематический общий вид представления данных о предпочтениях,

на фиг.4 изображен схематический общий вид возможных визуализированных видов на основе данных о предпочтениях,

на фиг.5 показана блок-схема способа кодирования,

на фиг.6 показана подробная блок-схема предпочтительного способа выбора предпочтительного положения, и

на фиг.7 показана блок-схема способа декодирования.

Необходимо отметить, что элементы, имеющие одинаковые ссылочные позиции на различных чертежах, имеют одинаковые структурные признаки и одинаковые функции или являются одинаковыми сигналами. В тех случаях, когда функция и/или структура такого элемента была объяснена, в подробном описании нет необходимости в ее повторном описании.

ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

Перед тем, как обратиться к изобретению, сначала введем понятие конусов видимости, поскольку они повсеместно встречаются на мультивидовых автостереоскопических дисплеях. В отношении особенно предпочтительной формы такого мультивидового дисплея упоминается документ US6801243 B1, в котором приведен пример основанного на линзообразном элементе мультивидового автостереоскопического дисплея.

На фиг.1А изображено упрощенное представление конуса видимости стереоскопического 4-видового мультивидового дисплея, причем конус 26 видимости иллюстрирует виды, которые будет видеть наблюдатель. Когда наблюдатель сидит перед панелью дисплея в центре панели дисплея (не показана), наблюдатель воспринимает своим левым глазом вид -1, а своим правым глазом - вид 1. Благодаря обеспечению надлежащим образом визуализируемого вида, т.е. вида, визуализируемого для левого глаза, и вида, визуализируемого для правого глаза, наблюдатель 21 воспринимает стереоскопическое изображение. Однако когда наблюдатель 21 перемещается вдоль линии, параллельной плоскости дисплея, вправо в направлении положения, изображенного на фиг.1А, наблюдатель воспринимает виды 1 и 2. Отсюда следует, что виды 1 и 2 также должны представлять виды стереопары. В ситуации, изображенной на фиг.1А, конус видимости устройства отображения центрирован в точке посредине между видами -1 и 1. То есть считается, что эти виды центрированы в «виртуальном» виде 0, в данном случае этот вид считается виртуальным, поскольку дисплей не демонстрирует этот вид.

На фиг.1В изображено упрощенное представление конуса видимости стереоскопического 5-видового мультивидового дисплея. Наблюдатель 23 обращен к панели 24 дисплея, которая может, например, быть покрыта наклонной линзообразной фольгой или переключаемым барьером, чтобы направлять 5 видов, которые возникают из панели отображения, в 5 отдельных направлениях, как показано на фиг.1В. Правый глаз наблюдателя 23 расположен обращенным к панели дисплея в середине панели дисплея, в результате чего вид 0, который направлен под углом перпендикулярно экрану отображения, является видимым для правого глаза наблюдателя 23. Аналогичным образом, вид -1 является видимым для левого глаза наблюдателя 23. В случае, изображенном на фиг.1В, виды считаются центрированы в виде 0, который расположен в центре конуса видимости.

На фиг.2 изображена блок-схема кодера 200 и декодера 300 в соответствии с изобретением. Кодер 200, представленный на левой стороне чертежа, формирует сигнал 50 видеоданных, который далее передается передатчиком 70. Передатчик 70 может быть реализован в виде регистрирующего устройства для регистрации сигнала 50 видеоданных на носителе информации, как указано выше, либо, в соответствии с другим вариантом, может формировать сигнал видеоданных для передачи в проводной 73 или беспроводной 72 среде, либо в комбинации обеих (не показана).

Передаваемые данные принимаются в декодере 300, изображенном справа. Декодер 300 принимает сигнал видеоданных, демультиплексирует контент и использует его для визуализации видов в блоке 90 визуализации. Как показано на чертеже, декодер может быть реализован в устройстве 105, которое управляет внешним мультивидовым стереоскопическим дисплеем, либо декодер может быть реализован в устройстве 105’, которое также содержит мультивидовый стереоскопический дисплей.

Функциональные возможности декодера в устройстве 105 могут, например, быть реализованы в декодере каналов кабельного телевидения в случаях, когда управление устройством отображения осуществляется с помощью, например, интерфейса типа HDMI, DVI или DisplayPort, хорошо известного специалистам. В соответствии с другим вариантом, функциональные возможности декодера могут быть реализованы в портативном компьютере, планшетном компьютере или смартфоне, который передает визуализированный и перемежающийся видеоконтент по интерфейсу WirelessHD или WiGiG.

На фиг.2 более подробно показан кодер 200 для кодирования сигнала 50 видеоданных для использования с мультивидовым стереоскопическим устройством 100 отображения, причем кодер содержит первый блок 15 получения для получения первого изображения 10 сцены, видимой из входной точки наблюдения, второй блок 25 получения для получения карты 20 глубин, связанной с первым изображением 10, третий блок 35 получения для получения данных 30 о предпочтениях, указывающих на предпочтительное положение центрального вида для использования при видовой визуализации на основе первого изображения и карты глубин. Предпочтительное положение центрального вида соотносит входную точку наблюдения с базовой линией между опорным левым видом и опорным правым видом. Блоки получения могут быть выполнены с возможностью считывания входных сигналов для кодера со средства хранения данных или из сети.

После получения генератор 60 выполнен с возможностью генерирования сигнала 50 видеоданных, содержащего кодированные данные, представляющие первое изображение 10, карту 20 глубин и данные 30 о предпочтениях. Входные данные могут кодироваться в одном или более потоков, которые затем мультиплексируются в сигнал 50 видеоданных.

Аналогичным образом, на фиг.2 изображен декодер 300 для декодирования сигнала 50 видеоданных, который принимается из проводной сети 73, беспроводной сети 72 или, возможно, считывается с носителя 71 информации. Сигнал 50 видеоданных содержит кодированные данные, представляющие: первое изображение 10 сцены, видимой из входной точки наблюдения, карту 20 глубин, связанную с первым изображением 10, данные 30 о предпочтениях, указывающие на предпочтительное положение центрального вида для использования при видовой визуализации на основе первого изображения и карты глубин, причем предпочтительное положение центрального вида соотносит входную точку наблюдения с базовой линией между опорным левым видом и опорным правым видом. Изображенный декодер содержит демультиплексор 80 для демультиплексирования данных 10 первого изображения, карты 20 глубин и данных 30 о предпочтениях для последующей обработки. Далее средство 90 визуализации видов выполнено с возможностью видовой визуализации множества видов на основе первого изображения 10, карты 20 глубин и данных 30 о предпочтениях таким образом, что визуализированные виды визуализируются совпадающими с предпочтительным положением центрального вида, кодированного в сигнале 50 видеоданных, или находятся вблизи него.

При этом необходимо отметить, что при визуализации видов для дисплея с нечетным числом видов визуализируемый центральный вид совпадает с предпочтительным положением, на которое указывают данные 30 о предпочтениях, а остальные виды располагаются симметрично относительно предпочтительного положения центрального вида. Аналогичным образом, при визуализации видов для дисплея с четным числом видов все виды располагаются симметрично относительно предпочтительного положения центрального вида, а два вида, ближайшие к предпочтительному положению, располагаются симметрично относительно предпочтительного положения.

Кодирование предпочтительного положения в видеоинформации

В существующих системах кодирования сигнала видеоданных, в которых используется первое изображение и соответствующая карта глубин, реальные видеоданные довольно часто кодируются на основе либо стандарта AVC, либо стандарта HEVC.

В таких системах информация о глубине часто используется устройством отображения, которое стремится визуализировать сигнал видеоданных в совокупности с видеоинформацией и соответствующими метаданными для создания видов, не являющихся непосредственно доступными в кодированной видеопоследовательности (видеопоследовательностях). Глубина может присутствовать или не присутствовать в потоке кодированных данных. Если в кодированной видеопоследовательности (видеопоследовательностях) отсутствует глубина, карты глубин могут генерироваться по видеоинформации устройством отображения.

В тех случаях, когда глубина присутствует, она должна кодироваться в той форме, которую может декодировать устройство отображения. Хотя в большинстве обеспеченных в настоящем документе примеров демонстрируется видеоинформация, которая содержит моноскопическую (1-видовую) видеоинформацию, настоящее изобретение может также использоваться со стереоскопической (2-видовой) видеоинформацией, когда для визуализации видов используется лишь один из видов. В случае стереоскопической видеоинформации глубина может быть обеспечена для обоих видов или для одного из двух видов.

Изображение и информация о глубине могут быть упакованы в ряде форматов. Одним из таких форматов является формат, представленный выше в WO2006/137000(A1). В соответствии с другим вариантом, данные могут быть упакованы в другом формате совместимой с кадром 2-мерной видеоинформации и глубины.

При кодировании совместимой с кадром 2-мерной видеоинформации и глубины 2-мерная видеоинформация и соответствующие карты глубин упаковываются одним из нескольких возможных способов в кодированные видеокадры. Например, в параллельной конфигурации видеоинформация может быть горизонтально субдискретизирована в 2 раза и помещена в левой половине изображения, в то время как связанная с этим глубина кодируется в яркости правой половины изображения. Основные преимущества этого способа состоят в том, что для распространения доступны стандартизованные транспортные каналы AVC/HEVC, и для декодирования могут использоваться декодеры AVC/HEVC. Видеоинформация и глубина могут быть включены в единый видеопоток AVC или HEVC таким образом, что в декодере каждый кадр декодированного изображения содержит масштабированные версии 2-мерной видеоинформации и соответствующей глубины (Z). Предполагаются такие форматы, как параллельный и нисходящий.

В соответствии с другим вариантом, количество информации о глубине может быть дополнительно сокращено посредством дополнительной дискретизации или субдискретизации вертикально и/или горизонтально, посредством этого создавая более широкую полосу частот Storing depth.

Карты глубин, в свою очередь, могут кодироваться, например, с использованием 8-битовых или 16-битовых значений. В случае 8 битов это будет соответствовать диапазону от 0 до 255 включительно. В тех случаях, когда карты глубин сохраняются в части зоны изображения, значения глубины сохраняются в отсчетах сигнала яркости пикселей в зоне изображения, которая предназначена для хранения глубины.

Данные 30 о предпочтениях представляют метаданные, которые обеспечиваются в дополнение к информации об изображении и глубине, для улучшения качества визуализации. Такие метаданные могут входить в состав сообщений SEI в кодированных видеопоследовательностях на основе AVC или HEVC. Предпочтительно такие метаданные содержатся в незарегистрированных сообщениях SEI пользовательских данных. Эти сообщения SEI метаданных входят в элементарный поток, который содержит глубину. Это может быть единый элементарный поток с видеоинформацией и глубиной или отдельный элементарный поток глубины в зависимости от выбранного формата.

user_data_unregistered( payloadSize ) {	C	Дескриптор
...	5	u(8)
metadataSize = payloadSize - 17
if( metadata_type = = 0)
depth_processing_information( metadataSize)
else if( metadata_type = = 1 )
view_rendering_assist_information( metadataSize)
else
for( i = 0; i < metadataSize; i++ )
reserved_metadata_byte	5	b(8)
}
Таблица 1 Синтаксис контейнера сообщений SEI метаданных

Метаданные могут быть включены в кодированную видеопоследовательность посредством одного или более незарегистрированных сообщений SEI пользовательских данных, которые однозначно идентифицируются посредством 128-битового идентификатора с постоянным значением. Было задано несколько типов метаданных. Метаданные одного и того же типа содержатся в едином сообщении SEI, тип которого указывается в поле metadata_type.

Множество сообщений SEI метаданных может быть связано с одним модулем доступа, но с этим модулем доступа может быть связано не более чем одно сообщение SEI метаданных определенного типа.

Ниже в Таблице 2 приведен пример синтаксиса информации depth_processing, указанной выше в Таблице 1.

depth_processing_information( metadataSize ) {	C	Дескриптор
...
depth_coding_format	5	u(4)
dual_depth	5	u(1)
preferred_view	5	u(2)
single_view_preferred	5	u(1)
...
single_view_processing_center_offset_flag	5	u(1)
single_view_center_offset_flag	5	u(1)
...
if (single_view_processing_center_offset_flag) {
i = i + 1
single_view_center_offset	5	i(8)
}
if (single_view_center_offset_flag) {
i = i + 1
single_view_center_offset	5	i(8)
}
...
}
Таблица 2Синтаксис информации об обработке глубины

Далее следует дополнительное объяснение различных элементов. depth_coding_format может использоваться для указания, какой конкретный формат кодирования используется при наличии множества форматов depth_coding.

dual_depth представляет собой флаг, который указывает, обеспечиваются ли одна или две карты глубин в случае стереоконтента, при этом значение, равное 1, указывает, что обеспечиваются две карты глубин. Примечательно, что когда имеется лишь одна карта глубин, настоящее изобретение может использоваться для визуализации дополнительных видов на основе вида, связанного с одной картой глубин.

preferred_view: когда preferred_view устанавливается равным 1, это означает, что левый вид является предпочтительным видом для обработки одиночного вида дисплеем. Это поле, установленное равным 2, означает, что правый вид является предпочтительным видом для обработки одиночного вида дисплеем.

Это значение особенно важно для устройств отображения, которые предназначены для генерирования видов по одному виду. Для устройств отображения, которые способны использовать множество видов для генерирования видов, preferred_view указывает на наилучший вид для видовой визуализации, когда single_depth_preferred устанавливается равным 1.

Если dual_depth равно 0, либо когда предпочтительный вид отсутствует, это поле устанавливается равным 0.

single_view_preferred: когда это поле установлено равным 1, это означает, что обработка одиночного вида устройством отображения является предпочтительной. Если dual_depth равно 0, это поле устанавливается равным 0.

Single_view_processing_center_offset содержит целочисленное значение, которое задает рекомендуемое положение визуализируемого центрального вида для мультивидовых устройств отображения, в которых не используется информация о двойной глубине. Это поле может присутствовать лишь в тех случаях, когда dual_depth установлено равным 1. single_view_processing_center_offset_flag устанавливается в тех случаях, когда обеспечивается значение для single_view_processing_center_offset, на что указывает условная функция “if” в таблице 2.

Параметры смещения центра содержат значения в диапазоне от -128 до 127 включительно и относятся к точному положению центра (представляющему собой значение смещения, равное 0) между левым и правым видами в единицах 1/100 базовой линии между левым и правым видами. Значения увеличиваются с положениями слева направо; при этом -50 соответствует исходному положению левого вида, а 50 соответствует исходному положению правого вида.

single_view_center_offset содержит целочисленное значение, которое задает рекомендуемое положение визуализируемого центрального вида для мультивидовых устройств отображения. Это поле может присутствовать лишь в тех случаях, когда dual_depth установлено равным 1, либо в тех случаях, когда single_view_preferred установлено равным 1. single_view_center_offset_flag устанавливается в тех случаях, когда обеспечивается значение для single_view_center_offset, на что указывает условная функция “if” в таблице 2.

Параметр смещения центра одиночного вида содержит значения в диапазоне от -128 до 127 включительно и относится к обеспечиваемому виду (соответствующему значению смещения, равному 0) в единицах 1/100 базовой линии между заданными левым и правым видами. Значения увеличиваются с положениями слева направо; при этом -50 соответствует заданному положению левого вида, а 50 соответствует заданному положению пр