Данные сигнализации глубины

Данные сигнализации глубины

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Изобретение относится к 3D-устройству-источнику для обеспечения трехмерного (3D) видеосигнала для передачи к 3D-устройству-адресату. 3D-видеосигнал содержит первую видеоинформацию, представляющую левый вид на 3D-дисплее, и вторую видеоинформацию, представляющую правый вид на 3D-дисплее. 3D-устройство-адресат содержит приемник для приема 3D-видеосигнала и процессор глубины адресата для обеспечения карты глубины адресата для обеспечения возможности деформирования видов для 3D-дисплея. 3D-устройство-источник содержит блок вывода для формирования 3D-видеосигнала и для передачи 3D-видеосигнала 3D-устройству-адресату.

Изобретение дополнительно относится к способу обеспечения 3D-видеосигнала для передачи 3D-устройству-адресату.

Изобретение относится к области формирования и передачи 3D-видеосигнала на устройстве-источнике, например широковещательной станции, сервере веб-сайта в интернет, системе разработки, производителе дисков Blu-ray, к 3D-устройству-адресату, например, проигрывателю дисков Blu-ray, 3D-телевизору, 3D-дисплею, мобильному вычислительному устройству и т.д., которому требуется карта глубины для визуализации множества видов.

УРОВЕНЬ ТЕХНИКИ

Документ “Real-time free-viewpoint viewer from multiview video plus depth representation coded by H.264/AVC MVC extension” за авторством Shinya Shimizu, Hideaki Kimata и Yoshimitsu Ohtai, NTT Cyber Space Laboratories, NTT Corporation, 3DTV-CON, IEEE 2009 описывает технологии 3D-видео в дополнение к кодированным по MPEG видеосигналам передачи, в частности, расширения кодирования многоракурсных видов (MVC) для включения в видеоформат карт глубины. Расширения MVC для включения в видеокодирование карт глубины допускают создание битовых потоков, которые представляют собой множество видов со связанными дополнительными видами, т.е. видами карт глубины. В соответствии с документом карты глубины могут добавляться к потоку 3D-видеоданных, имеющему первую видеоинформацию, представляющую левый вид на 3D-дисплее, и вторую видеоинформацию, представляющую правый вид на 3D-дисплее. Карта глубины на стороне декодера обеспечивает возможность формирования дополнительных видов, являющихся дополнительными к левому и правому виду, например, для авто-стереоскопического дисплея.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Видеоматериал может быть обеспечен картами глубины. Также существует большое количество существующего 3D-видеоматериала, который не имеет данных по картам глубины. Для такого материала устройство-адресат может иметь конвертор из стерео в глубину для формирования сформированной карты глубины на основании первой и второй видеоинформации.

Задача изобретения состоит в создании системы для обеспечения информации о глубине и передачи информации о глубине, которая является более гибкой для повышения качества визуализации 3D видео.

Для этого в соответствии с первым аспектом изобретения устройство-источник, описанное во вступлении, содержит процессор глубины источника для обеспечения данных сигнализации глубины, причем данные сигнализации глубины представляют собой условие обработки для адаптирования к 3D-дисплею карты глубины адресата или деформирования видов, и блок вывода выполнен с возможностью включения в 3D-видеосигнал данных сигнализации глубины.

Способ содержит формирование 3D-видеосигнала, обеспечение данных сигнализации глубины, причем данные сигнализации глубины представляют собой условие обработки для адаптирования к 3D-отображению карты глубины адресата или деформирования видов, и включение в 3D-видеосигнал данных сигнализации глубины.

3D-видеосигнал содержит данные сигнализации глубины, причем данные сигнализации глубины представляют собой условие обработки для адаптации к 3D-отображению карты глубины адресата или деформирования видов.

В устройстве-адресате приемник выполнен с возможностью извлечения данных сигнализации глубины из 3D-видеосигнала. Процессор глубины источника выполнен с возможностью адаптирования к 3D-отображению карты глубины адресата или деформирования видов в зависимости от данных сигнализации глубины.

Эти меры приводят к тому, что устройству-адресату обеспечивается возможность адаптировать карту глубины адресата или деформирование видов к 3D-отображению, используя данные сигнализации глубины в 3D-видеосигнале. Следовательно, когда и где это является доступным, применяются данные сигнализации глубины для того, чтобы улучшить карту глубины адресата или деформирование. Эффективным образом устройство-адресат обеспечивается дополнительными данными сигнализации глубины под управлением источника, например, параметрами обработки или инструкциями, причем данные обеспечивают возможность источнику управлять и улучшать деформирование видов в 3D-дисплее на основании карты глубины адресата.

Предпочтительно данные сигнализации глубины формируются на источнике, где доступны обрабатывающие ресурсы и возможно формирование в автономном режиме. Требования по обработке на стороне адресата снижаются, и 3D-эффект улучшается, потому что карта глубины и деформирование видов оптимизируются для соответствующего дисплея.

Изобретение также основано на следующем утверждении. Авторы изобретения заметили, что обработка или формирование карты глубины на стороне адресата, и последующее деформирование вида, обычно обеспечивает очень приемлемый результат. Однако, принимая во внимание функциональные возможности 3D-дисплея, такие как резкость изображения на различных глубинах, в какие-то моменты времени или каких-то положениях фактический видеоконтент может лучшим образом представляться зрителю при помощи воздействия на глубины, например, при помощи применения смещения к карте глубины адресата. Необходимость, объем и/или параметры для такого воздействия на конкретный 3D-дисплей могут предусматриваться на источнике, и добавление упомянутых данных сигнализации глубины в качестве условия обработки обеспечивает возможность для улучшения карты глубины или деформирования видов на стороне адресата, в то время как объем данных сигнализации глубины, которые должны передаваться, является ограниченным.

При необходимости в 3D-устройстве-источнике процессор глубины источника выполнен с возможностью обеспечения данных сигнализации глубины, включающих в себя по меньшей мере одно из смещения; усиления; типа масштабирования; типа границ, в качестве условия обработки. Смещение, при применении к карте глубины адресата, эффективным образом перемещает объекты назад или вперед по отношению к плоскости дисплея. Преимущественным образом сигнализация смещения обеспечивает возможность стороне источника перемещать важные объекты на положение около плоскости 3D-дисплея. Усиление, при применении к карте глубины адресата, эффективным образом перемещает объекты от или к плоскости 3D-дисплея. Преимущественным образом сигнализация усиления обеспечивает возможность стороне источника управлять перемещением важных объектов по отношению к плоскости 3D-дисплея, т.е. размером глубины на картинке. Тип масштабирования обозначает то, каким образом значения в карте глубины должны переводиться в фактические значения, которые должны использоваться при деформировании видов, например, билинейное масштабирование, бикубическое масштабирование, или каким образом адаптировать конус просмотра. Тип границ в информации о глубине обозначает свойство объектов в 3D-видео, например, резкие границы, например, из глубины, извлеченной из контента, сформированного компьютером, плавные границы, например, из естественных источников, размытые границы, например, из обработанного видеоматериала, и т.д. Преимущественным образом, свойства 3D-видео могут использоваться при обработке данных глубины адресата для деформирования видов.

При необходимости процессор глубины источника выполнен с возможностью обеспечения данных сигнализации глубины за период времени в зависимости от кадра в 3D-видеосигнале. Эффективным образом данные сигнализации глубины применяются к периоду 3D-видеосигнала, который имеет ту же самую 3D-конфигурацию, например конкретную конфигурацию камеры и масштабирования. Обычно конфигурация в значительной степени является постоянной в течение кадра видеопрограммы. Границы кадра могут быть известными или могут запросто обнаруживаться на стороне источника, и набор данных сигнализации глубины преимущественным образом собирается за период времени, соответствующий кадру.

При необходимости процессор глубины источника выполнен с возможностью обеспечения данных сигнализации глубины, включающих в себя данные области по интересующей области в качестве условия обработки для того, чтобы обеспечить возможность осуществить отображение интересующей области в предпочтительном пределе глубины 3D-дисплея. Эффективным образом интересующая область составляется из элементов или объектов в 3D-видеоматериале, которые, как предполагается, привлекут внимание зрителя. Интересующая область может быть известной или может запросто обнаруживаться на стороне источника, и набор данных сигнализации глубины преимущественно собирается для обозначения положения, зоны или предела глубины, соответствующих интересующей области, что обеспечивает возможность того, чтобы деформирование видов являлось адаптированным к тому, чтобы отображать интересующую область близко к оптимальному пределу глубины 3D-дисплея (например, близко к плоскости дисплея).

При необходимости процессор глубины источника может быть дополнительно выполнен с возможностью обновления данных области в зависимости от изменения интересующей области, превышающей пороговое значение, такого как значительное изменение глубины положения лица. Помимо всего прочего, процессор глубины источника может быть дополнительно выполнен с возможностью обеспечения, в качестве данных области, данных глубины для области, указывающих предел глубины интересующей области. Данные глубины для области позволяют устройству-адресату деформировать виды во время перемещения объекта в таком пределе глубины до предпочтительного предела глубины устройства 3D-отображения. Процессор глубины источника может быть дополнительно выполнен с возможностью обеспечения, в качестве данных по области, данных по зоне области, обозначающих зону интересующей области, которая совмещена по меньшей мере с одним макроблоком в 3D-видеосигнале, причем макроблок представляет собой заданный блок сжатых видеоданных. Такие данные по зоне области будут эффективным образом кодироваться и обрабатываться.

При необходимости 3D-видеосигнал содержит данные глубины. Процессор глубины источника может быть дополнительно выполнен с возможностью обеспечения данных сигнализации глубины, включающих в себя тип данных глубины в качестве условия обработки, которое должно применяться к карте глубины адресата для регулировки деформирования видов. Тип данных глубины может включать в себя по меньшей мере одно из:

- индикатора фокуса, обозначающего данные глубины, сформированные на основании данных фокуса;

- индикатора перспективы, обозначающего данные глубины, сформированные на основании данных перспективы;

- индикатора перемещения, обозначающего данные глубины, сформированные на основании данных перемещения;

- индикатора источника, обозначающего данные глубины, исходящие от конкретного источника;

- индикатора алгоритма, обозначающего данные глубины, обработанные по конкретному алгоритму;

- индикатора расширения, обозначающего величину расширения, используемого на границах объектов в данных глубины. Соответствующие индикаторы обеспечивают возможность процессору глубины на стороне адресата соответствующим образом интерпретировать и обрабатывать данные глубины, включенные в 3D-видеосигнал.

Другие предпочтительные варианты осуществления устройств и способов в соответствии с изобретением приводятся в прилагаемой формуле изобретения, раскрытие которой включено в настоящее описание путем ссылки.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Эти и другие аспекты изобретения станут очевидными и дополнительно разъясненными со ссылкой на варианты осуществления, описанные в качестве примера в следующем описании и со ссылкой на сопровождающие чертежи, на которых

На Фиг. 1 показана система для обработки 3D-видеоданных и отображения 3D-видеоданных,

На Фиг. 2 показан 3D-декодер, использующий данные сигнализации глубины,

На Фиг. 3 показан 3D-кодер, обеспечивающий данные сигнализации глубины,

На Фиг. 4 показано устройство авто-стерео отображения и деформирование множества видов,

На Фиг. 5 показано устройство двойного стерео отображения и деформирование улучшенных видов,

На Фиг. 6 показаны данные сигнализации глубины в 3D-видеосигнале,

На Фиг. 7 показаны данные сигнализации глубины для интересующей области в 3D-видеосигнале,

На Фиг. 8 показаны данные сигнализации глубины для множества 3D-дисплеев, и

На Фиг. 9 показано масштабирование для адаптирования конуса просмотра.

Чертежи являются чисто схематичными и выполненными не в масштабе. На чертежах элементы, которые соответствуют уже описанным элементам, могут иметь одни и те же ссылочные обозначения.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Существует множество различных способов, которыми 3D-видеосигнал может форматироваться и передаваться, в соответствии с так называемым 3D-видео форматом. Некоторые форматы основаны на использовании 2D-канала для того, чтобы также переносить стерео информацию. В 3D-видеосигнале изображение представляется при помощи значений изображения в двухмерной матрице пикселов. Например, левый и правый виды могут перемежаться или размещаться бок о бок или сверху-вниз (над или под друг другом) в кадре. Также может передаваться карта глубины, и возможно, дополнительные 3D-данные, такие как данные затемнения или прозрачности. Карта диспарантности в этом тексте также считается типом карты глубины. Карта глубины имеет значения глубины также в двухмерной матрице, соответствующей изображению, хотя карта глубины может иметь другое разрешение. 3D-видеоданные могут сжиматься в соответствии с известными способами сжатия, такими как, например, MPEG. Любая 3D-видеосистема, такая как интернет или Blu-ray Disc (BD), может выигрывать от предложенных улучшений.

3D-дисплей может представлять собой относительно маленький блок (например, мобильный телефон), большой стерео дисплей (STD), требующий стереоскопические очки, любой стереоскопический дисплей (STD), усовершенствованный STD, учитывающий переменную базовую линию, активный STD с целевыми видами L и R для глаз зрителя на основании слежения за поворотом головы, или авто-стереоскопический многовидовой дисплей (ASD) и т.д.

Как правило, все компоненты, необходимые для управления различными типами 3D-дисплеев, передаются, что обычно влечет за собой сжатие и передачу более одного вида (сигнала камеры) и его соответствующих глубин, например, как это обсуждается в «Call for Proposals on 3D Video Coding Technology» - документе N12036 по MPEG, март 2011 г., Женева, Швейцария. Авто-конверсия в декодере (глубина, автоматически извлеченная из стерео) сама по себе является известной, например, из “Description of 3D Video Coding Technology Proposal by Disney Research Zurich and Fraunhofer HHI”, документа N22668 по MPEG, ноябрь 2011 г., Женева, Швейцария. Виды необходимо деформировать для упомянутых различных типов дисплеев, например, для ASD и усовершенствованного STD для переменной базовой линии, на основании данных глубины в 3D-сигнале. Однако качество видов, деформированных на основании различных типов данных глубины, является ограниченным.

На Фиг. 1 показана система для обработки 3D-видеоданных и отображения 3D-видеоданных. Первое 3D-видеоустройство, называемое 3D-устройством-источником 40, обеспечивает и передает 3D-видеосигнал 41 дополнительному устройству обработки 3D-изображения, называемому 3D-устройством-адресатом50, которое объединено с устройством 60 3D-отображения для передачи сигнала 56 3D-отображения. Видеосигнал может, например, представлять собой телевизионный широковещательный 3D-сигнал, такой как стандартная стерео передача с использованием совместимого с ½ HD кадром, многовидового закодированного (MVC) или совместимого кадра полного разрешения (например, FCRF как предложено со стороны Dolby Laboratories, Inc.). Выстраивая уровень на основании совместимости по кадрам, Dolby создал усовершенствованный уровень для того, чтобы восстанавливать 3D-изображения полного разрешения. Этот технический прием был предложен для MPEG для стандартизации, и требует только ~10% увеличения в битовой скорости. Традиционный 3D-видеосигнал улучшается при помощи данных сигнализации глубины, как это разъясняется ниже.

На Фиг. 1 дополнительно показан носитель 54 записи в качестве носителя 3D-видеосигнала. Носитель записи имеет форму диска и имеет дорожку и центральное отверстие. Дорожка, составленная при помощи схемы физически-обнаруживаемых меток, расположена в соответствии со спиральной или концентрической схемой поворотов, составляющей практически параллельные дорожки на одном или более информационных слоях. Носитель записи может являться оптически-читаемым, называемым оптическим диском, например, DVD или BD (Blue-ray Disc). Информация реализуется на информационном слое при помощи оптически-обнаруживаемых меток вдоль дорожки, например, микроскопических углублений и плоских участков. Структура дорожки также содержит позиционную информацию, например, заголовки и адреса, для определения положения информационных единиц, обычно называемых информационными блоками. Носитель 54 записи несет информацию, представляющую собой закодированные цифровым образом данные 3D-изображения, такие как видео, например, закодированные в соответствии с системой кодирования MPEG2 или MPEG4, в заданном записывающем формате, таком как формат DVD или BD.

3D-устройство-источник имеет процессор 42 источника глубины для обработки 3D-видеоданных, принятых посредством блока 47 ввода. Входные 3D-видеоданные 43 могут быть доступными из системы хранения, записывающей студии, из 3D-камер и т.д. Система источника может обрабатывать карту глубины, обеспеченную для данных 3D-изображения, причем карта глубины может или изначально присутствовать на входе системы, или может автоматическим образом формироваться при помощи системы обработки высоко качества, как описывалось выше, например, из левых/правых кадров в стерео (L+R) видеосигнале или из 2D-видео, и, возможно, дополнительно обрабатываться или регулироваться для того, чтобы обеспечить карту глубины источника, которая точным образом представляет значения глубины, соответствующие сопровождающим данным 2D-изображения или левым/правым кадрам.

Процессор 42 источника глубины формирует 3D-видеосигнал 41, содержащий 3D-видеоданные. 3D-видеосигнал имеет первую видеоинформацию, представляющую левый вид на 3D-дисплее, и вторую видеоинформацию, представляющую правый вид на 3D-дисплее. Устройство-источник может быть выполнен с возможностью передачи 3D-видеосигнала от видео процессора посредством блока 46 вывода и к дополнительному 3D-видеоустройству, или для обеспечения 3D-видеосигнала для распространения, например, через посредство носителя записи. 3D-видеосигнал основан на обработке входных 3D-видеоданных 43, например, при помощи кодирования и форматирования 3D-видеоданных в соответствии с заданным форматом.

3D-устройство-источник может иметь конвертор 48 стерео-в-глубину источника для формирования сформированной карты глубины на основании первой и второй видеоинформации. Конвертор стерео-в-глубину для формирования карты глубины в процессе функционирования принимает стерео 3D-сигнал, также называемый левый-правый видеосигнал, имеющий временную последовательность левых кадров L и правых кадров R, представляющих собой левый вид и правый вид, которые должны отображаться для соответствующих глаз зрителя для формирования 3D-эффекта. Блок вырабатывает сформированную карту глубины при помощи расчета диспарантности левого вида и правого вида, и может дополнительно обеспечить 2d-изображение на основании левого вида и/или правого вида. Расчет диспарантности может быть основан на алгоритмах расчета перемещения, используемых для сравнения кадров L и R, или свойствах перспективы, извлеченных из данных изображения, и т.д. Большие разницы между L и R видами объекта преобразуются в значения глубины спереди или сзади экрана дисплея в зависимости от направления разницы. Выходными данными блока формирования является сформированная карта глубины.

Сформированная карта глубины, и/или карта глубины источника высокого качества может использоваться для того, чтобы определить данные сигнализации глубины, требуемые на стороне адресата. Процессор 42 источника глубины выполнен с возможностью обеспечения данных сигнализации глубины, как было описано выше.

Данные сигнализации глубины могут формироваться там, где обнаружены ошибки глубины, например, когда разница между картой глубины источника и сформированной картой глубины превышает заданное пороговое значение. Например, заданная разница глубины может составлять упомянутое пороговое значение. Пороговое значение также может быть зависимым от дополнительных свойств изображения, которые воздействуют на видимость ошибок глубины, например, локальной яркости или контрастности изображения или текстуры. Пороговое значение также может определяться при помощи определения уровня качества сформированной карты глубины так, как описывается ниже. Сформированная карта глубины используется для того, чтобы деформировать вид, имеющий ориентацию, соответствующую заданному другому виду. Например, вид R основан на данных изначального изображения L и сформированной карте глубины. Как следствие, разница вычисляется между видом R’ и исходным видом R, например, при помощи хорошо известной функции PSNR (пиковое отношение сигнал-шум). PSNR представляет собой отношение между максимально возможной мощностью сигнала и мощностью вредоносного шума, который воздействует на правильность его представления. Поскольку многие сигналы имеют очень широкий динамический диапазон, PSNR обычно выражается в терминах логарифмической шкалы в децибелах. PSNR может использоваться теперь в качестве показателя качества сформированной карты глубины. В этом случае сигнал представляет собой изначальные данные R, и шум представляет собой ошибку, представленную при помощи деформирования R на основании сформированной карты глубины. Кроме того, пороговое значение также может оцениваться на основании дополнительного критерия контрастности, или при помощи редакторской разработки или пересмотра результатов на основании сформированной карты глубины, и регулирования того, какие секции и/или периоды 3D-видео должны дорабатываться при помощи данных сигнализации глубины.

Данные сигнализации глубины представляют собой условия обработки глубины для регулирования деформирования видов на стороне адресата. Деформирование может регулироваться, чтобы соответствовать 3D-видеоконтенту, который переносится 3D-видеосигналом к конкретному 3D-дисплею, т.е. для того, чтобы оптимальным образом использовать свойства 3D-дисплея для того, чтобы обеспечивать 3D-эффект для зрителя в зависимости от конкретного 3D-видеоконтента и возможностей 3D-видеодисплея. Например, 3D-дисплей может иметь ограниченный предел глубины вокруг экрана дисплея, где резкость отображаемого изображения является высокой, в свою очередь изображение на положении глубины в передней части экрана или далеко за пределами экрана является менее резким.

Данные сигнализации глубины могут включать в себя различные параметры, например, один или более из: смещение; усиление; тип масштабирования; тип границ, в качестве условия обработки, которое должно применяться к карте глубины адресата для регулирования деформирования видов. Смещение, при применении к карте глубины адресата, эффективным образом перемещает объекты назад или вперед по отношению к плоскости дисплея. Сигнализация смещения обеспечивает возможность стороне источника перемещать важные объекты на положение рядом с плоскостью 3D-дисплея. Усиление, при применении к карте глубины адресата, эффективным образом перемещает объекты от и к плоскости 3D-дисплея. Например, карта глубины источника может определяться имеющей нулевое значение для глубины на плоскости дисплея, и усиление может применяться в виде умножения значений. Сигнализация усиления обеспечивает возможность стороне источника управлять перемещением важных объектов по отношению к плоскости 3D-дисплея. Усиление определяет разницу между ближайшим и наиболее далеким элементом при отображении 3D-изображения.

Тип масштабирования определяет то, каким образом значения в карте глубины должны переводиться в конкретные значения, которые должны использоваться при деформировании видов, например, би-линейное масштабирование, би-кубическое масштабирование, или заданный тип нелинейного масштабирования. Дополнительный тип масштабирования относится к масштабированию формы конуса просмотра, который описывается ниже со ссылкой на Фиг. 9.

Тип границ в информации глубины может обозначать свойства объектов в 3D-видео: резкие границы, например, из контента, сформированного компьютером, плавные границы, например, из естественных источников, размытые границы, например, из обработанного видеоматериала, и т.д. Свойства 3D-видео могут использоваться при обработке данных глубины источника для деформирования видов.

Блок 46 вывода выполнен с возможностью включения в 3D-видеосигнал данных сигнализации глубины. Блок процессора, имеющий функции процессора 42 глубины, возможного конвертора 48 стерео-в-глубину и блока 46 вывода, может называться 3D-кодером.

3D-источник может представлять собой сервер, широковещательное устройство, записывающее устройство или систему разработки и/или производства для изготовления оптических носителей записи, таких как Blue-ray Disc. Blu-ray Disc обеспечивает интерактивную платформу для распространения видео для создателей контентов. Информация на формате Blue-ray Disc является доступной с вэбсайтов ассоциации Blue-ray Disc в документах по формату аудио-видео приложений, например, http://www.blue-raydisc.com/Assets/Downloadablefile/2b_bdrom_audiovisualapplication-0305-12955-15269.pdf. Процесс производства оптического носителя записи дополнительно содержит этапы обеспечения физической схемы меток на дорожках, причем схема реализует 3D-видеосигнал, который включает в себя данные сигнализации глубины, и вслед за этим формирование материала носителя записи в соответствии со схемой для того, чтобы обеспечить дорожки меток по меньшей мере на одном слое хранения.

3D-устройство-адресат 50 имеет приемник для приема 3D-видеосигнала 41, причем приемник имеет один или более блоков согласования сигналов и блок 51 ввода для анализа входящего видеосигнала. Например, приемник может включать в себя блок 58 оптического диска, связанный с блоком ввода для считывания 3D-видео информации с оптического носителя 54 записи, подобного DVD или диска Blue-ray. Альтернативно (или дополнительно) приемник может включать в себя блок 59 сетевого интерфейса для присоединения к сети 45, например, интернет или широковещательной сети, причем такое устройство представляет собой абонентскую приставку или мобильное вычислительное устройство, такое как мобильный телефон или планшетный компьютер. 3D-видеосигнал может считываться с удаленного вэб-сайта или медиа-сервера, например, 3D-устройства-источника 40. Устройство обработки 3D-изображения может представлять собой конвертор, который преобразует входной сигнал изображения в выходной сигнал изображения, имеющий требуемую информацию о глубине. Подобный конвертор может использоваться для преобразования различных входных 3D-видеосигналов для конкретного типа 3D-дисплея, например стандартного 3D-контента в видеосигнал, подходящий для авто-стереоскопических дисплеев конкретного типа или производителя. Практически устройство может представлять собой усилитель или приемник с 3D-возможностями, 3D-проигрыватель оптических дисков, или спутниковый приемник или абонентскую приставку, или любой тип медиа-проигрывателя.

3D-устройство-адресат имеет процессор 52 глубины, связанный с блоком 51 ввода для обработки 3D-информации для формирования сигнала 56 3D-дисплея, который должен передаваться посредством блока 55 интерфейса вывода устройству отображения, например сигнал отображения в соответствии со стандартом HDMI, см. “High Definition Multimedia Interface; Specification Version 1.4a of March 2, 2010”, 3D часть которого является доступной на http://hdmi.org/manufacturer/specification.aspx для общедоступного скачивания.

3D-устройство-адресат может иметь конвертор 53 стерео-в-глубину для формирования сформированной карты глубины адресата на основании первой и второй видеоинформации. Функционирование конвертора стерео-в-глубину является аналогичным конвертору стерео-в-глубину в устройстве-источнике, описанному выше. Блок, имеющий функции процессора 52 глубины адресата, конвертора 53 стерео-в-глубину и блока 51 ввода, может называться 3D-декодером.

Процессор 52 глубины адресата выполнен с возможностью формирования данных изображения, включенного в сигнал 56 3D-дисплея для отображения на устройстве 60 отображения. Процессор глубины выполнен с возможностью обеспечения карты глубины адресата для обеспечения возможности деформирования видов для 3D-дисплея. Блок 51 ввода выполнен с возможностью считывания данных сигнализации глубины из 3D-видеосигнала, причем данные сигнализации глубины основаны на информации о глубине источника, относящейся к видеоинформации, и представляют собой условия для обработки глубины для регулирования деформирования видов. Процессор глубины адресата выполнен с возможностью адаптирования карты глубины адресата для деформирования видов в зависимости от данных сигнализации глубины, считанных из 3D-видеосигнала. Осуществление обработки данных сигнализации глубины дополнительно разъясняются ниже.

Устройство 60 3D-отображения для отображения данных 3D-изображений. Устройство имеет блок 61 интерфейса ввода для приема сигнала 56 3D-дисплея, включающего в себя 3D-видеоданные и карту глубины источника, переданные от 3D-устройства-адресата 50. Устройство имеет процессор 62 видов для формирования множества видов 3D-видеоданных на основании первой и второй видеоинформации в зависимости от карты глубины адресата, и 3D-дисплей 63 для отображения множества видов 3D-видеоданных. Переданные 3D-видеоданные обрабатываются в блоке 62 обработки для деформирования видов для отображения на 3D-дисплее 63, например, многовидовом LCD. Устройство 60 отображения может представлять собой любой тип стереоскопического дисплея, также называемого 3D-дисплеем.

Видеопроцессор 62 в устройстве 60 для 3D-отображения выполнен с возможностью обработки 3D-видеоданных для формирования управляющих сигналов дисплея для визуализации одного или более новых видов. Виды формируются из данных 3D-изображения с использованием 2D-видов в известном положении и карты глубины адресата. Процесс формирования видов для различных положений глаз для 3D-отображения на основании использования видов в известном положении и карты глубины обычно называется деформированием видов. Альтернативным образом, видеопроцессор 52 в устройстве 3D-проигрывателя может быть выполнен с возможностью выполнять упомянутую обработку карты глубины. Множество видов, сформированных для конкретного 3D-дисплея, могут передаваться при помощи сигнала 3D-изображения через посредство специализированного интерфейса к 3D-дисплею.

В дополнительном варианте осуществления устройство-адресат и устройство отображения объединены в одно устройство. Функции процессора 52 глубины и блока 62 обработки и оставшиеся функции блока 55 вывода и блока 61 ввода, могут выполняться одним блоком видеопроцессора.

Следует отметить, что принцип данных сигнализации глубины может применяться на каждом этапе передачи 3D-видео, например, между студией или автором и широковещательным устройством, который в дальнейшем кодирует улучшенные теперь карты глубины для передачи потребителю. Также система данных сигнализации глубины может выполняться на последовательных передачах, например, дополнительная усовершенствованная версия может создаваться на изначальной версии при помощи включения вторых данных сигнализации глубины на основании дополнительной усовершенствованной карты глубины источника. Это придает большую гибкость в терминах достижимого качества на 3D-дисплеях, битовых скоростей, необходимых для передачи информации о глубине, или стоимостей для создания 3D-контента.

На Фиг. 2 показан 3D-декодер, использующий данные сигнализации глубины. 3D-декодер 20 показан схематически с наличием входа для 3D-видеосигнала, помеченным BS3 (основной 3D-сигнал). Входной демультиплексор 21 (DEMUX) разбивает входящие данные на битовые потоки для левого и правого видов (LR-bitstr) и данных (DS-bitstr). Первый декодер (DEC) декодирует левый и правый виды в выходные данные L и R, которые также связываются с конвертором (CE-S2D) стерео-в-глубину потребительского типа, который формирует первую левую карту LD1 глубины и первую правую карту RD1 глубины. Альтернативным образом, формируется только одна первая карта глубины, или карта глубины является непосредственным образом доступной во входящем сигнале. Второй декодер 23 декодирует DS-bitstr и обеспечивает один или более управляющих сигналов 26, 27 глубины. Управляющие сигналы глубины связываются с процессором 25 карты глубины, который формирует карту глубины адресата, например, на основании флажка, обозначающего присутствие данных сигнализации глубины. В примере левая карта LD3 глубины адресата и правая карта RD3 глубины адресата обеспечиваются при помощи использования данных сигнализации глубины для того, чтобы модифицировать изначальную карту LD1, RD1 глубины. Окончательные выходные данные по карте глубины адресата от 3D-декодера (LD3/RD3) затем передаются блоку по деформированию видов, как это обсуждалось по Фиг. 4 или 5, в зависимости от типа дисплея.

3D-декодер может быть частью абонентской приставки (STB) на стороне клиента, которая получает битовый поток в соответствии с системой (BS3) данных сигнализации глубины, которая де-мультиплексируется на 2 потока: один видео поток имеет L и R виды, и один поток глубины имеет данные сигнализации глубины (DS), которые затем оба отправляются соответствующим декодерам (например, MVC/H.264).

На Фиг. 3 показан 3D-кодер, обеспечивающий данные сигнализации глубины. 3D-кодер 30 показан схематически с наличием входа (L, R) для приема 3D-видеосигнала. Конвертор стерео-в-глубину (например, профессиональный высокого качества типа HQ-S2D) может быть выполнен с возможностью формировать левую карту LD4 глубины и правую карту RD4 глубины, называемые сформированной картой глубины источника. Альтернативным образом, дополнительный вход может принимать карту глубины источника (помеченной LD-man, RD-man), которая может обеспечиваться в автономном режиме (например, от ввода камеры, вручную отредактированную или исправленную, или вычисленную в случае контента, сформированного компьютером), или может являться доступной при помощи входного 3D-видеосигнала. Блок 32 обработки глубины принимает одну или обе из сформированных карт LD4, RD4 глубины источника и карту LD-man и RD-man глубины источника и определяет, должны ли формироваться данные сигнализации глубины. В примере два сигнала 36, 37 данных сигнализации глубины связываются с кодером 34. Различные дополнительные средства для данных сигнализации глубины приводятся ниже.

После кодирования данные сигнализации глубины включаются в выходной сигнал выходным мультиплексором 35 (MUX). Мультиплексор также принимает закодированный битовый поток (BS1) видеоданных от первого кодера 33 и закодированный битовый поток (BS2) видеоданных от второго кодера 34 и формирует 3D-видеосигнал, помеченный BS3.

При необходимости процессор глубины источника выполнен с возможностью формирования данных сигнализации глубины за период времени в зависимости от кадра в 3D-видеосигнале. Эффективным образом данные сигнализации глубины применяются к периоду 3D-видеосигнала, который имеет ту же самую 3D-конфигурацию, например, конкретную конфигурацию камеры и масштабирования. Обычно конфигурация является в значительной степени постоянной в течение кадра видеопрограммы. Границы кадра