Комбинирование 3d видео и вспомогательных данных

Комбинирование 3d видео и вспомогательных данных

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ИЗОБРЕТЕНИЯ

Изобретение относится к способу предоставления сигнала трехмерного [3D] видео для передачи на конечное 3D устройство, способ, содержащий определение метаданных о глубине, указывающих глубины, фигурирующие в данных 3D видео.

Изобретение дополнительно относится к исходному 3D устройству, конечному 3D устройству, сигналу, носителю записи и компьютерному программному продукту.

Изобретение относится к области рендринга данных 3D видео в комбинации с вспомогательными данными, такими как субтитры, логотипы или дополнительные данные 3D изображения, на устройстве 3D отображения.

УРОВЕНЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ

Устройства для генерирования данных 2D видео известны, например, видеосерверы, телевизионные станции или устройства разработки. В настоящее время, предлагаются устройства с 3D расширением для предоставления данных трехмерных (3D) изображений. Аналогично, предлагаются конечные устройства для отображения рендринга данных 3D видео, такие как проигрыватели оптических дисков (например, Blu-ray Диск; BD) или телеприставки, которые рендерят принятые цифровые сигналы видео. Конечное устройство подлежит соединению с отображающим устройством, таким как телевизор или монитор. Видеоданные передаются из исходного устройства через подходящий интерфейс, предпочтительно высокоскоростной цифровой интерфейс, такой как HDMI. 3D дисплей может быть также интегрирован с конечным устройством, например, телевизор, имеющий принимающую секцию и 3D дисплей.

Для 3D контента, такого как 3D фильмы или телевизионные трансляции, дополнительно могут отображаться вспомогательные данные в комбинации с данными изображения, например, субтитрами, логотипами, игровым счетом, бегущая строка для финансовых новостей или других объявления или новостей.

Документ W02008/115222 описывает систему для комбинирования текста с трехмерным контентом. Система вставляет текст на тот же уровень, что и ближайшее значение глубины в 3D контенте. Одним примером 3D контента является двумерное изображение и связанная карта глубины. В этом случае, значение глубины вставленного текста выставляется так, чтобы совпасть с ближайшим значением глубины данной карты глубины. Еще одним примером 3D контента является множество двумерных изображений и связанных карт глубины. В этом случае, значение глубины вставленного текста постоянно выставляется так, чтобы совпасть с ближайшим значением глубины данной карты глубины. Дополнительным примером 3D контента является стереоскопический контент, имеющий представление для правого глаза и представление для левого глаза. В этом случае, текст в одном из представлении для левого глаза или представлении для правого глаза сдвигается, чтобы совпасть с ближайшим значением расхождения в стереоскопическом изображении. И еще одним примером 3D контента является стереоскопический контент, имеющий множество представлений для правого глаза и представлений для левого глаза. В этом случае, текст в представлениях для левого глаза или представлениях для правого глаза постоянно сдвигается, чтобы совпасть с ближайшим значением глубины в стереоскопических изображениях. В качестве результата, система выдает текст, скомбинированный с 3D контентом, где текст не препятствует 3D эффектам в 3D контенте и не создает зрительное утомление при просмотре наблюдателем.

WQ2008/0382Q5 описывает систему для отображения видео и графических данных на 3D дисплее. 3D дисплей имеет диапазон глубины, который разбит на поддиапазоны. Основное видео отображается в первом поддиапазоне и вторичная визуальная информация назначается на второй поддиапазон. Входные данные изображения для 3D дисплеев обычно являются цифровыми данными, имеющими информацию о глубине в 3D формате. Например, левое представление и правое представление предоставляются имеющими информацию о глубине в расхождении объектов в представлениях, появляющихся в разных расположениях, или 2D изображение и карту глубины.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Документ W02008/115222 описывает, что вспомогательные графические данные подлежат отображению перед ближайшей частью данных изображения. Проблема возникает, когда нужно скомбинировать вспомогательные данные с данными 3D видео на конечном устройстве, которое имеет ограниченные вычислительные ресурсы. Получение ближайшего значения глубины из потока 3D видео требует обработки информации о глубине. В частности, для потока 3D видео из нескольких представлений, например, содержащий левое и правое представление, обнаружение ближайшей глубины или значения расхождения, соответствующего этому, требует значительной обработки.

Целью изобретения является предоставление системы для комбинирования вспомогательных данных и 3D видеоконтента наиболее удобным образом.

Для этой цели, согласно первому аспекту изобретения, способ, как описано во вступительном абзаце, содержит

- определение метаданных о глубине, где метаданные о глубине содержат ближнее значение, указывающее глубины элементов в данных 3D видео, ближайших к наблюдателю, при отображении на 3D дисплее,

- генерирование сигнала 3D видео, содержащего данные 3D видео, и

- внесение метаданных о глубине в сигнал 3D видео для обеспечения возможностью конечного 3D устройства

- извлекать метаданные о глубине,

- предоставлять вспомогательные данные, и

- располагать вспомогательные данные на вспомогательной глубине в зависимости от извлеченных метаданных для отображения вспомогательных метаданных в комбинации с данными 3D видео.

Для этой цели, согласно второму аспекту изобретения, исходное 3D устройство для предоставления сигнала трехмерного [3D] видео для передачи на конечное 3D устройство, содержит средства обработки для

- определения метаданных о глубине, указывающих глубины, фигурирующие в данных 3D видео, метаданные о глубине которых содержат ближнее значение, указывающее глубины элементов в данных 3D видео, ближайших к наблюдателю, при отображении на 3D дисплее,

- генерирования сигнала 3D видео, содержащего данные 3D видео, и

- внесения метаданных о глубине в сигнал 3D видео для обеспечения возможностью конечного 3D устройства

- извлекать метаданные о глубине,

- предоставлять вспомогательные данные, и

- располагать вспомогательные данные на вспомогательной глубине в зависимости от извлеченных метаданных для отображения вспомогательных метаданных в комбинации с данными 3D видео.

Для этой цели, согласно дополнительному аспекту изобретения, конечное 3D устройство для приема сигнала трехмерного [3D] видео, содержит средства приема для приема сигнала 3D видео, содержащего данные 3D видео и метаданные о глубине, указывающие глубины, фигурирующие в данных 3D видео, метаданные о глубине которого содержат ближнее значение, указывающее глубины элементов в данных 3D видео, ближайших к наблюдателю, при отображении на 3D дисплее, и средства обработки для

- извлечения метаданных о глубине из сигнала 3D видео,

- предоставления вспомогательных данных, и

- расположения вспомогательных данных на вспомогательной глубине в зависимости от извлеченных метаданных для отображения вспомогательных метаданных в комбинации с данными 3D видео.

Для этой цели, согласно дополнительному аспекту изобретения, сигнал трехмерного [3D] видео для передачи данных 3D видео на конечное 3D устройство, содержит данные 3D видео и метаданные о глубине, указывающие глубины, фигурирующие в данных 3D видео, метаданные о глубине которых содержат ближнее значение, указывающее глубины элементов в данных 3D видео, ближайших к наблюдателю, при отображении на 3D дисплее, для обеспечения возможностью конечного 3D устройства

- извлекать метаданные о глубине,

- предоставлять вспомогательные данные, и

- располагать вспомогательные данные на вспомогательной глубине в зависимости от извлеченных метаданных для отображения вспомогательных метаданных в комбинации с данными 3D видео.

Измерения оказывают воздействие, на источнике, по определению значений глубины, фигурирующих в данных 3D видео, например, вычисление значений расхождения из левого и правого представления в левом/правом 3D формате, или обработка данных о глубине из потока 2D + глубина, или получение таких значений глубины из любого другого формата 3D изображения. Метаданные о глубине впоследствии вносятся в сигнал 3D видео. Выгодно, что на конечном устройстве, любые вспомогательные данные могут быть скомбинированы с данными 3D видео, и расположены в направлении глубины на основе метаданных о глубине, так чтобы избежать загораживание вспомогательных данных указанными ближайшими видеоданными и возмущающего воздействия на границе вспомогательных данных. Отмечено, что такое возмущающее действие происходит, когда вспомогательные данные располагаются дальше, чем более ближний объект, но еще отображаются. В частности, не требуется, чтобы вспомогательные данные были доступны на исходном устройстве, но динамически предоставляются на конечное устройство, которое генерирует скомбинированный сигнал 3D видео посредством расположения вспомогательных данных на подходящей глубине, не требуя значительных вычислительных ресурсов для получения метаданных о глубине.

Изобретение также основано на следующем утверждении. Документ известного уровня техники описывает расположение текста на глубине перед ближайшим элементом в изображении в исходной системе 3D видео. Однако, вспомогательные данные могут быть недоступны в источнике. Расположение вспомогательных данных на конечном устройстве на основе известного уровня техники потребует существенной обработки. Кроме того, для показа динамических вспомогательных данных, таких как меню или сгенерированных вспомогательных графических объектов, таких как игровые персонажи, может быть выбрана подходящая часть данных 3D видео на основе метаданных о глубине, например, период во времени, имеющий ближнее значение, которое не является близким для наблюдателя. Такое расположение подносит текст и объекты немного ближе к наблюдателю. И наконец, система позволяет автору 3D видео задавать метаданные о глубине и воздействовать на расположение любых вспомогательных данных, добавленных на устройство рендринга.

В варианте осуществления метаданные о глубине содержат дальнее значение, указывающее глубины, фигурирующие в данных 3D видео, наиболее дальние от пользователя для позволения конечному 3D устройству устанавливать вспомогательную глубину, более отдаленную от пользователя, чем ближнее значение, и применять сдвиг к данным 3D видео в направлении от пользователя для сдвига указанных ближайших видеоданных к глубине, более отдаленной от пользователя, чем вспомогательная глубина, сдвиг будучи максимизированным на основе дальнего значения. Смысл состоит в том, что сигнал трехмерного видео адаптируется за счет сдвига назад (от наблюдателя) входного сигнала трехмерного видео посредством сдвига в направлении глубины на основе дальнего значения. Следовательно, диапазон глубины свободен для расположения вспомогательных данных по направлению глубины перед сдвинутым трехмерным видео.

В варианте осуществления ближнее значение является значением расхождения. Смысл состоит в том, что конечное устройство осведомлено о значении расхождения ближайших видеоданных, и может легко расположить вспомогательные данные перед видео за счет использования значения расхождения. В варианте осуществления конечного устройства, когда вспомогательные данные являются двумерными [2D] данными и ближнее значение является значением расхождения, средства обработки выполнены с возможностью генерирования по меньшей мере левого вспомогательного изображения и правого вспомогательного изображения за счет применения, к вспомогательным 2D данным, по меньшей мере одного горизонтального сдвига на основе значения расхождения. Выгодно могут использоваться для генерирования правого представления посредством сдвига левого представления, или сдвига представления на 50% от расхождения влево и право, чтобы сгенерировать левое и правое представление.

В варианте осуществления сигнал 3D видео содержит поток закодированных видеоданных, выполненный с возможностью передачи декодированной информации, согласно предопределенному стандарту, и указанный, содержащий метаданные о глубине в сигнале 3D видео, содержит метаданные о глубине в по меньшей мере одном из:

- сообщении с пользовательскими данными;

- оповещающем сообщении с информацией об элементарном потоке [SEI];

- таблице точек входа;

- описании на основе XML.

Смысл состоит в том, что дополнительные метаданные о глубине вносятся посредством сообщений расширенного управления или параметров согласно предопределенному стандарту. Выгодно, что улучшенный, закодированный поток видео является совместимым с существующим предопределенным стандартом, при этом эффективно передавая метаданные о глубине.

Кроме того, предпочтительные варианты осуществления способа, 3D устройств и сигнала согласно изобретению заданы в прилагаемой формуле изобретения, раскрытие которых включено в настоящий документ по ссылке.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Эти и другие аспекты изобретения станут очевидны из и объяснены дополнительно согласно вариантам осуществления, описанным в качестве примера в следующем описании, и согласно прилагающимся чертежам, в которых

на фиг. 1 проиллюстрированы несколько общих концептов и параметров, определяющих расхождение, на фиг. 2A проиллюстрирована гистограмма расхождения трехмерного входного сигнала, на фиг. 2B проиллюстрирована дополнительная гистограмма расхождения трехмерного входного сигнала и трехмерное наложение,

на фиг. 3 проиллюстрирована адаптация изображения правого представления входной стереопары в соответствии с настоящим изобретением,

на фиг. 4 проиллюстрирован способ согласно настоящему изобретению,

на фиг. 5A проиллюстрирована система согласно настоящему изобретению и

на фиг. 5B проиллюстрирована дополнительная система согласно настоящему изобретению,

на фиг. 6 показана система для отображения данных 3D изображения,

на фиг. 7 показаны метаданные о расхождении/глубине в частном сообщении SEI пользовательских данных,

на фиг. 8 показана структура данных для метаданных о глубине в сигнале 3D видео,

на фиг. 9 показана структура данных для метаданных о глубине в сигнале 3D видео на носителе записи,

на фиг. 10a показан формат поля метаданных, содержащего метаданные о глубине, и

на фиг. 10b показан формат поля метаданных, содержащего данные о расхождении.

На фигурах, элементы, которые соответствуют ранее описанным элементам, имеют те же самые номера позиций.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

Отмечено, что текущее изобретение может быть использовано для любого типа 3D дисплея, который имеет диапазон глубины. Предполагается, что видеоданные для 3D дисплеев доступны в виде электронных, обычно цифровых, данных. Текущее изобретение относится к таким данным изображения и манипулирует данными изображения в цифровой области.

Существует множество разных образов действия, при которых 3D изображения могут быть отформатированы и переданы, называемых форматом 3D видео. Некоторые форматы основаны на использовании 2D канала, чтобы также нести стереоинформацию. Например, левое и правое представления могут чередоваться или помещаться одно к другому и над и под. Эти способы уменьшают разрешение, чтобы переносить стереоинформацию. Другим вариантом является уменьшение цвета, этот подход называется анаглифным стерео. Анаглифное стерео использует спектральное мультиплексирование, которое основано на отображении двух отдельных, наложенных изображений в комплиментарных цветах. За счет использования очков с цветными фильтрами, каждый глаз видит только изображение того же цвета, что и фильтр перед этим глазом. Так например, правый глаз видит только красное изображение, а левый глаз только зеленое изображение.

Другой 3D формат основан на двух представлениях, использующих 2D изображение и дополнительное изображение глубины, так называемой карты глубины, которая передает информацию о глубине объектов в 2D изображении. Формат, называемый изображение + глубина, отличается тем, что он является комбинацией 2D изображения с так называемой "глубиной", или картой расхождения. Она представляет собой полутоновое изображение, тем самым значение полутона пикселя указывает величину расхождения (или глубину в случае карты глубины) для соответствующего пикселя в связанном 2D изображении. Отображающее устройство использует расхождение, глубину или карту параллакса для вычисления дополнительных представлений, принимая 2D изображение в качестве входа. Это может быть сделано множеством методов, в самом простом виде это вопрос сдвига пикселей влево или вправо, в зависимости от значения расхождения, связанного с этими пикселями. Документ, озаглавленный как "Depth image based rendering, compression and transmission for a new approach on 3D TV" написанный Christoph Fehn, дает отличный обзор данной технологии (смотри http://iphome.hhi.de/fehn/Publications/fehn_EI2004.pdf).

На фиг. 1 проиллюстрированы несколько общих концептов и параметров, определяющих расхождение. На фиг. 1 показаны две точки наблюдения, размещенные на краях двойной стрелки E, разнесенные на расстояние E между зрачками. На расстоянии Z наблюдения, размещен экран S, представленный пунктирной линией, который используется для отображения трехмерной информации. На практике таким экраном может являться, например, дисплей временной или спектральной последовательности, который поочередно предоставляет глазу наблюдателя, носящего предназначенные очки, предназначенную информацию изображения для соответствующей точки наблюдения. Здесь экран S помещен на нулевом расхождении, и W указывает ширину экрана. N (ближний) представляет максимальную воспринимаемую глубину перед экраном S. Аналогично, F (дальний) представляет максимальную воспринимаемую глубину за экраном S.

Линия представляет воспринимаемое расхождение объекта, размещенного на расстоянии N перед экраном S, здесь значение dN расхождения является отрицательным, также называемое сходящимся расхождением, и может быть выражено как:

d_N=NE/(Z-N) [1]

Линия dF представляет воспринимаемое расхождение объекта, размещенного на расстоянии F за экраном S, здесь значение dF расхождения является положительным, также называемое несходящимся расхождением, и может быть выражено как:

d_F=FE/(Z+F) [2]

На практике, максимальное расхождение должно быть меньше расстояния E между зрачками для обеспечения комфортного наблюдения. На практике, максимальное расхождение предпочтительно устанавливать в значение меньшее расстояния E между зрачками для обеспечения вариаций расстояния E между зрачками среди людей.

Отмечено, что максимальный положительный параллакс экрана, который является числом пикселей, соответствующих максимальному положительному расхождению, зависит от ширины W экрана и разрешения экрана S.

На фиг. 2A проиллюстрирована гистограмма 205 расхождения трехмерного входного сигнала. Гистограмма 205 определена на основе входного трехмерного сигнала, т.е. на всей пространственной зоне трехмерного входного сигнала. Иначе, гистограмма расхождения может быть составлена для репрезентативных выборок из всей пространственной зоны трехмерного входного сигнала.

На фиг. 2A ближайшим значением расхождения по оси d является точка C, имеющая отрицательное расхождение. Самым дальним значением расхождения является точка B по оси d, имеющая положительное расхождение. Основываясь на гистограмме 205, оценка дальнего расхождения, для использования в способе в соответствии с настоящим изобретением, соответствует точке B.

Гистограмма 205 указывает, что существует свободное пространство 215, доступное внутри диапазона расхождения, для сдвига диапазона расхождения входного трехмерного (сигнала) от наблюдателя, что перемещает гистограмму вправо.

Учитывая ситуацию, в которой требуется поместить наложение внутри конкретной пространственной области в соответствующих представлениях. На фиг. 2A также показана гистограмма для входного трехмерного сигнала в релевантной пространственной области. Гистограмма трехмерного входного сигнала для пространственной области указана жирной пунктирной линией 205'. Основываясь на гистограмме 205', оценка ближнего расхождения, указывающего наименьшее значение расхождения для этой пространственной области, соответствует точке A. Учтите, что так как эта конкретная пространственная область не содержит меньшие (т.е. более отрицательные) значения расхождения, то в пространственной области уже существует существенное свободное пространство 210 для помещения наложения.

Учтите, что пространственная область для помещения наложения обычно является блоком или сегментом, определенным контуром, и в силу этого, явно отличается от точек выборки, которые использовались для определения оценки расхождения для представления в полном объеме, как описано выше в этом документе.

Несмотря на то, что в пространственной области для помещения наложения уже существует существенное свободное пространство, возможно создать еще большее свободное пространство посредством сдвига диапазона расхождения входного сигнала трехмерного видео от наблюдателя посредством сдвига DS, где DS<E-B. Несмотря на то, что нет строгой необходимости, целесообразно сохранить запас (E-B)-DS, как показано на фиг. 2B посредством запаса 215', для согласования разных расстояний между значками среди различных людей. В качестве результата, настоящее изобретение обеспечивает дополнительное увеличение в диапазоне расхождения для помещения наложения.

Гистограмма 220 указывает гистограмму расхождения наложения, когда наложение помещено полностью внутри этой пространственной области, эта гистограмма также является гистограммой наложения поверх всего изображения. В результате сдвига расхождения, теперь возможно поместить информацию наложения, такую как субтитры на или рядом с плоскостью нулевого расхождения, что улучшает комфорт наблюдения наложения.

Как указано выше, оценка дальнего и ближнего расхождения может быть определена на основе информации гистограммы расхождения, предоставленной с помощью входного сигнала трехмерного видео. Иначе, оценка дальнего и ближнего расхождения может быть получена из входного сигнала трехмерного видео, используя известные специалисту в данной области техники алгоритмы. Пример такого алгоритма представлен в документе "Dense disparity estimation from feature correspondences", написанном Konrad и соавторами, IS&T/SPIE Симпозиум по электронным стереоскопическим дисплеям и системам виртуальной реальности, январь 23-28, 2000, Сан-Хосе, Калифорния, США.

На фиг. 3 проиллюстрирован процесс сдвига расхождения как предложено настоящим изобретением. С левой стороны показаны пара изображений LV1 и RV1 из входящего стерео видеосигнала. Изображения показывают серый блок 310 и 310', помещенный на нулевом расхождении и белый диск 305 и 305', помещенный перед блоком на отрицательном расхождении в изображениях LV1 и RV1 соответственно.

Как может быть видно благодаря мелкопунктирным вертикальным линиям на краях серого блока 310 и 310', прямоугольник имеет нулевое расхождение, так как он помещен на ту же позицию в левом и правом изображении.

Диск 305 и 305' имеет отрицательный параллакс экрана, т.е. на правом изображении RV1 диск 305' находится левее позиции диска 305 на левом изображении LV1. В результате он визуализируется перед дисплеем.

Для того, чтобы сдвинуть сцену назад, мы сдвигаем RV1 вправо для получения RV1'. Сравнивая RV1' с LV1 теперь мы видим, что диск 305' имеет нулевое расхождение, а прямоугольник имеет положительное расхождение.

Для того, чтобы вписать сдвинутое изображение в стереодисплей, сдвинутое изображение RV1' кадрируется с правой стороны и расширяется на равную величину с левой стороны для достижения RV1''. В свою очередь, LV1 и RV1" могут визуализироваться вместе, как новая стереопара, в которой сцена была сдвинута назад по сравнению с оригинальной LV1-RV1 парой. В результате, пара LV1-RV1" имеет больше свободного пространства для помещения наложения, чем пара LV1-RV1.

Необходимо отметить, что несмотря на то, что в вышеописанном примере сдвинуто только одно из представлений, также возможно сдвинуть и левое изображение LV1, и правое изображение RV1 на одинаковую противоположную величину, где скомбинированная величина соответствует сдвигу RV1'. В результате, оба сдвинутых изображения должны быть расширены, но область расширения составляет половину размера этого кадрированного и расширенного на фиг. 3. В результате, возникшие из-за расширения артефакты могут распределяться более равномерно.

При сдвиге контента из нескольких представлений, например трех представлений, возможно сохранить центральное изображение и сдвинуть и расширить левое и правое изображение соответственно. Специалисту будет ясно, что вышеуказанный метод сдвига диапазона расхождения может быть впоследствии расширен для дополнительных изображений из нескольких представлений и для любых предназначенных величин сдвига изображений, что приводит к тем же относительным величинам сдвига между ними.

При адаптации входного сигнала трехмерного видео доступны некоторые варианты, например, первым вариантом является использование только кадрирования. Рассмотрим стерео видеосигнал, в этом случае возможно кадрировать как левое, так и правое изображения в видеосигнале на равную величину. В случае, когда отношение ширины изображения к высоте не является проблемой, кадрированные представления не требуют расширения и могут использоваться как есть. Преимущество этого состоит в том, что не требуется расширения, и не вносятся артефакты расширения. Вторым вариантом является использование кадрирования и расширения, как описано выше в этом документе. Рассмотрим стерео видеосигнал, в этом случае возможно кадрировать как левое, так и правое изображения в видеосигнале на равную величину и впоследствии расширить соответствующие представления как показано на фиг. 3. Преимущество использования расширения состоит в том, что соотношение ширины к высоте входного сигнала трехмерного видео может быть сохранено. Отмечено, что вышеуказанный список вариантов не является исчерпывающим.

На фиг. 4 показана блок-схема способа 400 согласно настоящему изобретению для обработки входного сигнала трехмерного видео, содержащего несколько представлений. Способ содержит этап для определения 405 оценки дальнего расхождения, указывающей наибольшее значение расхождения для входного сигнала трехмерного видео, и оценки ближнего расхождения, указывающей наименьшее значение расхождения для пространственной области внутри входного сигнала трехмерного видео. Как указано выше, оценки соответствующих расхождений могут быть основаны на метаданных или иначе могут определяться на основе контента изображения входного сигнала трехмерного видео.

Способ дополнительно содержит этап адаптации 410 сигнала трехмерного видео за счет сдвига входного сигнала трехмерного видео назад посредством сдвига расхождения на основе оценки дальнего расхождения и генерирования 415 наложения внутри пространственной области для сдвинутого сигнала трехмерного видео на основе оценки ближнего расхождения и сдвига расхождения.

Предпочтительно способ содержит этап накладывания 420 наложения поверх сдвинутого сигнала трехмерного видео.

Как указано выше в этом документе, этап адаптации входного сигнала трехмерного видео может содержать этап для кадрирования 425 и расширения 430 соответствующих представлений с помощью заполнения пикселями, так чтобы получить измененный диапазон расхождения.

В случае стереосигнала, кадрируется и впоследствии расширяется одно или предпочтительно оба представления. Для изображения из нескольких представлений в количестве N-представлений, при четном N, N-1 или предпочтительно N-представлений кадрированы и расширены как описано выше в настоящем документе.

На фиг. 5A показана система 500 согласно настоящему изобретению для обработки входного сигнала трехмерного видео, содержащего несколько представлений. Система 500 содержит средство определения 505 расхождения для определения оценки дальнего расхождения, указывающей наибольшее значение расхождения для входного сигнала трехмерного видео, и оценки ближнего расхождения, указывающей наименьшее значение расхождения для пространственной области внутри входного сигнала трехмерного видео. Как указано выше в этом документе, средство определения 505 расхождения может быть реализовано как средство оценки расхождения. Система дополнительно содержит средство сдвига 510 расхождения, выполненное с возможностью адаптации сигнала трехмерного видео за счет сдвига сигнала трехмерного видео назад посредством сдвига расхождения на основе оценки дальнего расхождения. Система 500 дополнительно содержит генератор 515 наложений, выполненный с возможностью генерирования наложения внутри безопасной зоны наложения для сдвинутого сигнала трехмерного видео на основе оценки ближнего расхождения и сдвига расхождения.

Предпочтительно система 500 также содержит видеомикшер 520, выполненный с возможностью накладывания наложения поверх сдвинутого сигнала трехмерного видео. Как показано на фиг. 5A, система 500 может быть реализована на персональном компьютере или другой вычислительной платформе для автономной обработки контента. Иначе, она может быть реализована, например, в устройстве, способном проигрывать диски Blu-ray, или телеприставке или 3D-TV.

На фиг. 5B показана дополнительная система 500 согласно настоящему изобретению, в которой система разделена на анализирующее устройство 502 и устройство 503 совмещения изображений, оба скомбинированных устройства реализуют функциональность, обеспеченную системой 500, как показано на фиг. 5A.

Отмечено, что оценка дальнего и ближнего расхождения может быть определена, например, за счет использования анализа расхождения на уровне крупных структурных единиц входного сигнала трехмерного видео, как описано выше, или иначе, за счет использования метаданных, предоставленных во входном сигнале трехмерного видео.

В варианте осуществления, глубина и/или параллакс субтитров поставляется в виде метаданных с видео либо на кадр, либо на группу кадров. Продюсер фильма или специалисты пост-производства могут создавать эти метаданные посредством средства разработки. Глубина и/или параллакс субтитров используется для расположения субтитров на соответствующей глубине или параллаксе перед фоном видео.

Предоставление метаданных о глубине в сигнале 3D видео сейчас объясняется более подробно. Отмечено, что метаданные о глубине являются любыми данными, описывающими характеристику информации о глубине в сигнале 3D видео. Для описанной здесь системы по меньшей мере ближнее значение содержится в метаданных о глубине, которое указывает глубины видеоданных, ближайшие к пользователю, т.е. элементы в 3D видео, ближайшие к наблюдателю, при правильном отображении на 3D дисплее. Описанная выше оценка ближнего расхождения и указанная глубина и/или параллакс субтитров являются примерами ближнего значения.

На фиг. 6 показана система для отображения данных трехмерного (3D) изображения, таких как видео, графическая или другая визуальная информация. Исходное 3D устройство 40 передает сигнал 41 3D видео на конечное устройство 50, которое соединено с устройством 60 3D отображения для передачи сигнала 56 3D отображения. Конечное 3D устройство имеет входной блок 51 для приема сигнала 3D видео. Например, устройство может содержать блок 58 оптических дисков, соединенный с входным блоком для приема информации 3D видео из носителя 54 оптических записей, таких как DVD или Blu-ray диск. Иначе, устройство может содержать блок 59 сетевого интерфейса для соединения с сетью 45, например, Интернет или широковещательной сетью, такое конечное устройство обычно называется телеприставкой. Сигнал 3D видео может быть извлечен из удаленного медиасервера, например, исходного устройства 40. Конечное устройство может также являться спутниковым приемником или медиапроигрывателем.

Исходное 3D устройство имеет блок 42 обработки данных для определения метаданных о глубине, указывающих глубины, фигурирующие в данных 30 3D видео. Данные 3D видео могут быть доступны из хранилища, из камеры и т.д. Метаданные о глубине содержат ближнее значение, указывающее глубины видеоданных, ближайшие к пользователю, т.е. элементы в 3D видео, ближайшие к наблюдателю, при правильном отображении на 3D дисплее. Определение метаданных о глубине, таких как значения расхождения, и примеры ближнего значения были описаны выше для данных нескольких представлений (например, оценка (A) ближнего расхождения, указывающая наименьшее значение расхождения для пространственной области внутри входного сигнала трехмерного видео). Блок обработки данных генерирует сигнал 3D видео, содержащий данные 3D видео, и содержит метаданные о глубине в сигнале 3D видео.

Исходное 3D устройство может быть сервером, вещательной станцией, записывающим устройством или системами разработки и/или производства для изготовления носителей записи, таких как Blu-ray Disc. Blu-ray Disc поддерживает интерактивную платформу для создателей контента. Он поддерживает два уровня наложения графики и два набора программируемой среды для автора, из которых он может выбрать. Для стереоскопического 3D видео существует множество форматов. Основными форматами являются форматы стерео и изображение-плюс-глубина. И среди них существует множество возможных методов, в которых контент может быть отформатирован, чтобы подходить для использования с новыми и существующими 3D дисплеями и форматами распространения. Это так же оказывает влияние на то, как расширять графические системы в стандарте Blu-ray Disc, чтобы сделать их подходящими для использования с конкретным форматом 3D видео. Дополнительная информация по формату Blu-ray Disc доступна на веб-сайте ассоциации Blu-ray Disc в документе по формату аудиовизуального применения. http://www.blu-raydisc.com/Assets/Downloadablefile/2b_bdrom_audiovisualapplication_030 5-12955-15269.pdf. Следовательно, могут содержаться вспомогательные данные, подлежащие добавлению на различных этапах рендринга. Процесс производства дополнительно содержит этапы получения физических образцов меток в треках, которые осуществляют сигнал 3D видео, содержащий метаданные о глубине, и впоследствии придание материалам формы носителя записи, чтобы предоставить треки меток на по меньшей мере одни слой хранения.

Конечное 3D устройство имеет блок 52 обработки данных, соединенный с входным блоком 51 для обработки 3D информации для генерирования сигнала 56 3D отображения, подлежащего передаче через блок 55 выходного интерфейса на отображающее устройство, например, сигнал отображения согласно стандарту HDMI, смотри документ "High Definition Multimedia Interface; Specification Version 1.3a of Nov 10 2006", доступный по адресу http://hdmi.org/manufacturer/specification.aspx. Блок 52 обработки данных выполнен с возможностью генерирования данных изображения, содержащихся в сигнале 56 3D отображения, для отображения на отображающем устройстве 60.

Конечное устройство имеет вспомогательный блок 53 обработки данных для предоставления вспомогательных данных, подлежащих комбинированию с данными 3D видео на 3D дисплее. Вспомогательными данными могут быть любые дополнительные данные графического изображения, которые подлежат комбинированию локально, т.е. на конечном устройстве, с контентом 3D видео, таким как субтитры, логотип вещательной станции, меню или системное сообщение, коды ошибок, экстренное сообщение, бегущая строка, дополнительный 3D поток, такой как комментарии и т.д. В тексте ниже, обычно субтитры будут использоваться как указывающие для каждого типа вспомогательных данных.

Устройство 60 3D отображения для отображения данных 3D изображения. Устройство имеет блок 61 входного интерфейса для приема сигнала 56 3D отображения, содержащего данные 3D видео и вспомогательные данные, переданные от конечного устройства 50. Переданные данные 3D видео обрабатываются блоком 62 обработки данных для отображени