Обнаружение формата трехмерного видео

Обнаружение формата трехмерного видео

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Изобретение относится к видеоустройству для обработки видеосигнала, устройство содержит приемное средство для приема видеосигнала, содержащего видеоданные, представляющие либо контент трехмерного видео [3D], форматированный в соответствии с форматом трехмерного видео (3D), либо контент двумерного видео [2D], форматированный в соответствии с форматом двумерного видео (2D), формат 3D содержит, по меньшей мере, два подкадра 3D, чтобы составлять один кадр 3D, и является одним форматом из набора возможных форматов 3D.

Изобретение дополнительно относится к способу обработки видеосигнала, содержащему прием видеосигнала, содержащего видеоданные, представляющие либо контент трехмерного видео [3D], форматированный в соответствии с форматом 3D, либо контент двумерного видео [2D], форматированный в соответствии с форматом 2D, формат 3D содержит, по меньшей мере, два подкадра 3D, чтобы составлять один кадр 3D, и является одним форматом из набора возможных форматов 3D.

Изобретение дополнительно относится к видеосигналу и компьютерному программному продукту.

Изобретение относится к области техники передачи 3D видеоданных с помощью формата сигнала 2D видеоданных.

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

Являются известными устройства для формирования двумерных (2D) видеоданных, например видеосерверы, вещательные станции, или устройства авторской разработки. В настоящем предлагаются расширенные для 3D устройства для обеспечения трехмерных (3D) данных изображения. Подобным образом предлагаются видеоустройства для обработки отображения 3D видеоданных, подобные проигрывателям для оптического диска (например, диска Blu-ray; BD) или телевизионным приставкам, которые визуализируют принимаемые сигналы цифрового видео. Видеоустройство должно быть связано с устройством 3D отображения, подобным телевизору или монитору. Видеоданные могут передаваться от устройства через подходящий интерфейс, предпочтительно высокоскоростной цифровой интерфейс, подобный мультимедийному интерфейсу высокой четкости (HDMI). Устройство 3D отображения также может быть интегрированным с видеоустройством, например, телевизор (TV) с наличием приемного блока и устройства 3D отображения.

В документе WO 2009/077929 описываются подходы, которые могут предприниматься к переходу между 2D и 3D. Видеосигнал формата 3D содержит видеоинформацию и связанную с ней информацию воспроизведения, видеоинформация и связанная информация воспроизведения организуются в соответствии с форматом воспроизведения. Видеоинформация может содержать первичный поток видеоданных для 2D отображения, и поток дополнительной информации для предоставления возможности 3D отображения. Связанная информация воспроизведения содержит информацию отображения, указывающую возможные типы отображения. Информация отображения обрабатывается в приемнике, чтобы определить, что являются возможными и 2D отображение, и 3D отображение. Устанавливается режим воспроизведения, определяющий, должна ли видеоинформация отображаться в режиме 2D или 3D.

В документе WO 2006/018773 описывается система для обнаружения режима представления изображения на основании входного видеосигнала. Видеосигнал может быть видеосигналом 3D, содержащим множество представлений. Представления организованы в массив значений пикселов, каковые значения пикселов подлежат отображению на соответственную структуру элементов данных, соответствующих позициям пикселов в отображении мультипредставления. Специальный сигнал 3D видео используется, чтобы передавать значения пикселов соответственных представлений, и количество представлений обнаруживается посредством приемника.

КРАТКОЕ ОПИСАНИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ

Трудность WO 2009/077929 состоит в том, что переходы между воспроизведением в 3D и 2D основываются на доступности соответствующей 3D сигнализации во входном видеосигнале. Однако форматы 3D могут ставиться в соответствие видеосигналам формата 2D, чтобы являться совместимыми с существующими системами распространения видеосигналов и/или носителями данных. Вследствие отсутствия сигнализации в существующем формате сигнала 2D, пользователь должен вручную выбирать надлежащий режим для визуализации видеосигнала в 3D.

Задача изобретения состоит в том, чтобы обеспечить систему для осуществления перехода между 3D и 2D более удобным образом.

С этой целью, согласно первому аспекту изобретения, устройство, как описано во вступительном параграфе, содержит процессор для обеспечения сигнала состояния 3D, указывающий формат видеосигнала, процессор выполнен с возможностью определения соответственных количественных показателей форматов для ряда возможных форматов 3D путем обработки видеоданных согласно соответственным заранее заданным характеристикам формата для получения и сравнения соответственных подкадров 3D, каковое определение упомянутых соответственных показателей форматов для упомянутого ряда возможных форматов 3D организовано в заранее заданном порядке следования, и установки сигнала состояния 3D на основании соответственных показателей форматов, чтобы указать формат видеосигнала, если оценка соответственных показателей форматов обеспечивает заранее заданный уровень доверия, при этом видеосигнал имеет кадр 2D и управляющую структуру формата 2D, подкадры 3D формируются согласно формату пространственной субдискретизации и субдискретизированные элементы изображения подкадров 3D размещаются в кадре 2D видеосигнала.

С этой целью, согласно дополнительному аспекту изобретения, способ обработки видеосигнала содержит обеспечение состояния 3D, указывающего формат видеосигнала, на основании определения соответственных показателей форматов для ряда возможных форматов 3D путем обработки видеоданных согласно соответственным заранее заданным характеристикам формата для получения и сравнения соответственных подкадров 3D, каковое определение упомянутых соответственных показателей форматов для упомянутого ряда возможных форматов 3D организовано в заранее заданном порядке следования, и установки состояния 3D на основании оценки соответственных показателей форматов, чтобы указать формат видеосигнала, если оценка соответственных показателей форматов обеспечивает заранее заданный уровень доверия, при этом видеосигнал имеет кадр 2D и управляющую структуру формата 2D, подкадры 3D формируются согласно формату пространственной субдискретизации и субдискретизированные элементы изображения подкадров 3D размещаются в кадре 2D видеосигнала.

Меры имеют нижеследующий эффект. Видеосигнал, поступающий на вход, анализируется видеоустройством, чтобы определить сигнал состояния 3D, состояние 3D является либо состоянием 2D, либо состоянием 3D, указывающим один формат из ряда возможных форматов 3D видео. Видеоустройство обеспечивает сигнал состояния 3D для управления отображением 3D видео, то есть, устанавливает операционный режим для корректной визуализации видеосигнала. Анализ основывается на определении показателя формата для соответственных форматов 3D, то есть, полагая, что сигнал содержит видеоданные согласно соответственном формату 3D видео, соответствующие подкадры 3D получают, исходя из сигнала. Например, оба подкадра 3D предположительно располагаются рядом в кадре 2D. Впоследствии подкадры 3D, например, левый кадр и правый кадр, получают из сигнала и сравнивают, то есть анализируют, чтобы проверить, имеют ли оба предполагаемых подкадра 3D характеристики формата соответствующих подкадров 3D. Например, для левого (L) и правого (R) кадра вычисляется корреляция, которая должна быть относительно высокой, поскольку тот же контент присутствует в обоих подкадрах 3D, хотя просматривается со слегка отличающегося угла обзора. Впоследствии показатели форматов оцениваются, например, сравниваются с заранее заданным пороговым значением. На основании оценки один из форматов 3D может иметь достоверно высокий показатель, и затем сигнал состояния 3D соответственно устанавливается, чтобы указать формат видеосигнала. Если ни один из форматов 3D не имеет достаточно высокого показателя, подразумевается видеосигнал 2D, и состояние устанавливается соответственно. Полезно, что фактическим режимом 3D отображения например, 3D телевизионного приемника, можно автоматически управлять на основании сигнала состояния 3D.

Изобретение также основывается на нижеследующем признании. Поскольку потребители привыкают к просмотру в режиме 3D, будет необходимо передавать видеосигналы через существующие каналы распространения, например, широковещательные сети или носители данных видео. Практически кажется, что незначительное ухудшение разрешения будет приемлемым, и поставщики контента могут упаковывать свой контент 3D в существующие форматы видеосигнала 2D, размещая подкадры 3D в кадре 2D. Изобретатели увидели, что является удобным автоматически обнаруживать такой специально форматированный сигнал 3D, который не может нести управляющие данные, сигнализирующие формат 3D, поскольку по существу формат видеосигнала должен оставаться существующим форматом 2D. Хотя могут использоваться различные структуры подкадров 3D, однако представляется, что обнаружение формата 3D возможно на основании предположения сначала, что использовался соответственный формат 3D видео, и впоследствии анализа предполагаемых подкадров 3D относительно этого формата. Полезно, что на основании текущей относительной дешевизны вычислительной мощности обработки видео, возможно выполнение анализов в режиме реального времени в пределах достаточно короткого времени, чтобы пользователь едва заметил задержку переключения на режим 2D или 3D видео соответственно.

В варианте осуществления набор возможных форматов 3D содержит, по меньшей мере, один формат пространственной субдискретизации для формирования подкадров 3D, и заранее заданные характеристики формата содержат размещение субдискретизированных элементов изображения из подкадров 3D в кадре видеосигнала формата 2D. Пространственная субдискретизация уменьшила количество пикселов, то есть разрешение, в одном или нескольких направлениях пространства. Полезно, что подкадры 3D требуют меньшего количества пикселов и могут быть вмещены в кадр 2D (полное разрешение). Делается предположение о схемах размещения пространственно субдискретизированных подкадров 3D в различных форматах 3D (например, в ряд или сверху/снизу), и вычисляется соответственный показатель формата.

В варианте осуществления, определение соответственных показателей форматов для ряда форматов 3D из набора возможных форматов 3D организуется в заранее заданном порядке следования, и устанавливается сигнал состояния 3D, если оценка показателей форматов обеспечивает заранее заданный уровень доверия. Полезно, что высокий показатель ожидаемого формата 3D находится более быстро.

В варианте осуществления, определение соответственного показателя формата содержит вычисление соответствия между подкадрами 3D путем, по меньшей мере, одного из вычисления корреляции между подкадрами 3D; вычисления среднего от разностей между подкадрами 3D; вычисления цветовых характеристик соответственных подкадров 3D для обнаружения подкадра данных глубины. Ожидается корреляция или наличие низкого среднего средних разностей между обоими подкадрами 3D для соответствующих левого и правого подкадров 3D, тогда как цветовые характеристики для карты глубин в качестве подкадра 3D являются существенно различными (обычно, данные глубины не содержат цвет).

В варианте осуществления, по меньшей мере, один из возможных форматов 3D содержит левый и правый [L и R] подкадры 3D, размещенные в кадре 2D в соответствии с полярностью левый/правый, и процессор выполнен с возможностью, при определении показателя формата, определять показатель полярности на основании заранее заданного распределения глубины, имеющего место в кадре 3D, и установка состояния 3D включает в себя установку сигнала состояния полярности левый/правый на основании оценки показателя полярности. Глубина в кадре 3D может быть получена, исходя из значений диспаратности (различий), фактических значений глубины в карте глубин или подходящей оценки на основании подкадров 3D. Обнаружение наличия подкадров 3D может также потребовать обнаружения, какой подкадр является левым, и какой подкадр является правым. Если подкадры перестанавливаются, имеет место сильное искажение информации глубины в 3D изображении. Согласно предположению заранее заданного распределения значений глубин или соответствующих значений диспаратности, определяется показатель полярности. Полезно, что 3D отображение будет обеспечиваться корректным состоянием полярности левый и правый.

В варианте осуществления, процессор имеет средство обнаружителя для сравнения соответственных подкадров 3D путем, по меньшей мере, одного из обнаружения вертикальной черной маски (непрозрачного фрагмента) на вертикальных границах подкадров 3D; обнаружение горизонтальной черной маски на горизонтальных границах подкадров 3D. На основании наличия черной маски могут достоверно обнаруживаться соответственные подкадры 3D.

Согласно дополнительному аспекту изобретения, видеосигнал содержит видеоданные, представляющие либо контент трехмерного видео [3D], форматированный в соответствии с форматом 3D, либо контент двумерного видео [2D], форматированный в соответствии с форматом 2D, видеосигнал имеет кадр 2D и управляющую структуру формата 2D, формат 3D содержит, по меньшей мере, два подкадра 3D, чтобы составлять один кадр 3D, и является одним форматом из набора возможных форматов 3D, видеоданные содержат, по меньшей мере, одно из вертикальной черной маски на вертикальных границах подкадров 3D, тогда как форматное соотношение контента видео не требует вертикальных черных полос; горизонтальной черной маски на горизонтальных границах подкадров 3D, тогда как форматное соотношение контента видео не требует горизонтальных черных полос; для предоставления возможности обнаруживать черную маску для определения формата 3D. Полезно, что на основании наличия черной маски соответственные подкадры 3D могут быть достоверно обнаружены.

Дополнительно предпочтительные варианты осуществления способа, видеоустройств и сигнала согласно изобретению даются в прилагаемой формуле изобретения, раскрытие которой включено в документ путем ссылки.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Эти и другие аспекты изобретения будут очевидны и пояснены дополнительно с помощью ссылки на варианты осуществления, описанные в качестве примера в нижеследующем описании, и со ссылкой на сопроводительные чертежи, на которых

Фиг. 1 - показ системы для отображения данных 3D изображения,

Фиг. 2 - показ кадра 2D видео,

Фиг. 3 - показ формата 3D «в ряд»,

Фиг. 4 - показ формата 3D «верх-низ»,

Фиг. 5 - показ формата 3D «изображение и глубина»

Фиг. 6 - показ процессора для автоматического обнаружения формата 3D,

Фиг. 7a - показ карты глубин на основании корректной полярности левый/правый,

Фиг. 7b - показ карты глубин на основании ошибочной полярности левый/правый,

Фиг. 8 - показ анализа глубины в горизонтальных полях, и

Фиг. 9 - показ анализа глубины в вертикальных полях.

На фигурах чертежей элементы, соответствующие уже описанным элементам, имеют одинаковые числовые ссылочные позиции.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

Отмечается, что настоящее изобретение может использоваться для любого типа 3D отображения, имеющего диапазон глубин. Полагается, что видеоданные для 3D отображений будут доступными в виде электронных, обычно цифровых, видеоданных. Настоящее изобретение относится к таким данным изображения и управляет данными изображения в цифровой области.

Имеются много различных способов, которыми 3D изображения могут форматироваться и передаваться, называемых форматом 3D видео. Некоторые форматы 3D основываются на использовании канала 2D, чтобы также нести информацию стерео. В данном документе обращается основное внимание на форматы 3D, использующие сигнал формата 2D, чтобы являться совместимым с существующим распределением 2D.

На Фиг. 1 показана система для отображения данных трехмерного (3D) изображения, таких как видео, графика или другая визуальная информация. Устройство-источник 40 передает видеосигнал 41 на видеоустройство 50. Устройство-источник обеспечивает видеосигнал на основании ввода 43 видеоданных, доступного от системы хранения, от камеры 3D, и т.д. Видеосигнал 41 может быть сигналом 2D видео или сигналом 3D видео. В этом документе основное внимание обращается на передачу контента 3D видео посредством сигнала, который форматируется согласно ранее существовавшему формату сигнала 2D, например, чтобы являться совместимым с существующими каналами распространения. В таком 2D-форматированном видеосигнале формат 3D задает позицию и структуру 3D видеоданных. Следовательно, видеоданные представляют либо контент трехмерного видео [3D], форматированный в соответствии с форматом 3D, либо контент двумерного видео [2D], форматированный в соответствии с форматом 2D. В частности, видеосигнал имеет кадр 2D и управляющую структуру формата 2D, тогда как в случае, если используемым является формат 3D, видеоданные содержат, по меньшей мере, два подкадра 3D, чтобы составлять один кадр 3D. Фактически используются разнообразные различные форматы 3D, и видеосигнал содержит структуру одного из ряда возможных форматов 3D. Различные примеры форматов 3D обсуждаются ниже со ссылкой на фигуры Фиг. 2-5.

Устройство-источник может быть сервером, вещательной станцией, записывающим устройством или системой авторской разработки и/или производства для изготовления носителей записи, подобных диску по технологии Blu-ray. Диск Blu-ray поддерживает интерактивную платформу для создателей контента. Для стереоскопического 3D видео имеются многие форматы. Основными форматами являются стерео и формат «изображение плюс глубина». Для них снова имеются многие возможные способы, которыми контент может форматироваться, чтобы подходить для использования с новыми и существующими форматами 3D отображения и распределения. Больше информации о формате диска Blu-ray доступно с веб-сайта ассоциации Blu-ray Disc в статье по формату аудиовизуального приложения.

http://www.blu-raydisc.corn/Assets/Downloadablefile/2b_bdrom_audiovisualapplication_0305-12955-15269.pdf. Процесс производства дополнительно содержит этапы получения физического шаблона меток на дорожках, который реализует сигнал 3D видео, включая метаданные глубин, и впоследствии придания формы материалу носителя записи, чтобы обеспечивать дорожки меток, по меньшей мере, на одном слое хранения.

В варианте осуществления устройство-источник содержит процессор 42 для модификации видеоданных на входе 43 3D видео, чтобы усовершенствовать обнаружение 3D видеоданных, которые передаются посредством 2D-форматированного видеосигнала, как пояснено ниже.

Видеоустройство 50 соединено с устройством 60 3D отображения, чтобы передавать сигнал 56 3D отображения. В видеоустройстве 3D имеется входной блок 51 для приема видеосигнала. Например, устройство может включать в состав блок 58 оптического диска, связанный с входным блоком, чтобы извлекать видеосигнал с оптического носителя 54 записи, подобного цифровому многофункциональному диску (DVD) или диску Blu-ray. Альтернативно, устройство может включать в состав блок 59 сетевого интерфейса для подсоединения к сети 45, например, сети Интернет или широковещательной сети, такое видеоустройство обычно называется телевизионной приставкой. Видеоустройством также может быть приемник спутниковой связи, медиаплеер, персональный компьютер, мобильное устройство, и т.д.

Видеоустройство содержит процессор 52, связанный с входным блоком 51, для обработки видеосигнала. Процессор обеспечивает сигнал 57 состояния 3D, указывающий формат видеосигнала. Состоянием 3D является или состояние 2D, или состояние 3D, указывающее один формат 3D из набора возможных форматов 3D видео. Процессор выполнен с возможностью определения соответственного показателя формата, по меньшей мере, для одного формата из возможных форматов 3D путем обработки видеоданных согласно соответственным заранее заданным характеристикам формата. Видеосигнал анализируется, чтобы вычислить показатели форматов для соответственных форматов 3D, то есть по предположению, что сигнал содержит видеоданные согласно соответственному формату 3D видео, осуществляется вывод соответствующих подкадров 3D, исходя из сигнала. К тому же процессор получает соответственные подкадры 3D, и устанавливает сигнал состояния 3D на основании оценки показателя формата, чтобы указать формат видеосигнала. Видеоустройство обеспечивает сигнал состояния 3D для управления отображением 3D видео, то есть, чтобы устанавливать операционный режим для корректной визуализации видеосигнала. Примерный вариант осуществления процессора 52 описан со ссылкой на Фиг. 6.

В варианте осуществления видеоустройство имеет обнаружитель 53 для обнаружения характеристик сигнала формата 3D на границах подкадров 3D. Например, обнаружитель может обнаруживать вертикальную черную маску на вертикальной границе подкадров 3D или горизонтальную черную маску на горизонтальной границе подкадров 3D. Относительно широкие черные полосы могут присутствовать в видеоданных вследствие несоответствия форматного соотношения для кадра 2D и активной области видео, например, кинофильма с форматным соотношением 2,35:1 в видеокадре 16:9. Такие широкие черные полосы могут легко обнаруживаться, например, в формате 3D «верх-низ», как пояснено ниже. Как таковое, обнаружение широких черных полос для обнаружения форматного соотношение является известным, например, из документа US 5686970.

Обнаружитель соединен с процессором 52 для формирования сигнала состояния 3D, и может быть физически интегрированным с процессором 52.

В варианте осуществления видеосигнал содержит видеоданные, представляющие либо контент 3D, форматированный в соответствии с форматом 3D, либо контент 2D, форматированный в соответствии с форматом 2D, видеосигнал имеет кадр 2D и управляющую структуру формата 2D, формат 3D содержит, по меньшей мере, два подкадра 3D, чтобы составлять один кадр 3D, и является одним форматом из набора возможных форматов 3D, видеоданные содержат, по меньшей мере, одно из вертикальной черной маски на вертикальных границах подкадров 3D, тогда как форматное соотношение контента видео не требует вертикальных черных полос; горизонтальной черной маски на горизонтальных границах подкадров 3D, тогда как форматное соотношение контента видео не требует горизонтальных черных полос. Нужно отметить, что черная маска добавляется к видеоданным не для коррекции какого-либо несоответствия форматного соотношения, а для предоставления возможности обнаруживать черную маску, чтобы определить формат 3D. Теперь черной маской является небольшая черная полоска из одного или нескольких пикселов в области видео. Отмечается, что черная маска может быть достаточно малой, чтобы находиться внутри граничной области видеокадра, которая обычно не отображается, и называется нерабочей областью экрана. Черная маска может применяться к верхней и нижней границе или к левой и правой границе области видео. Альтернативно черная маска может применяться только к одной боковой границе, например, границе, на которой оба подкадра 3D будут смежными при размещении в кадре 2D для 2D-форматированного видеосигнала.

В варианте осуществления обнаружитель 53 выполнен с возможностью обнаружения вертикальной черной маски на вертикальной границе подкадров 3D или горизонтальной черной маски на горизонтальной границе подкадров 3D, если преднамеренно добавлена в видеосигнал, определенный выше. Относительно небольшие полоски были включены в видеоданные подкадров 3D для улучшения автоматического обнаружения 3D видеоданных, которые передаются в 2D-форматированном видеосигнале. Обнаружитель получает конкретную граничную область для подкадров 3D, которая по предположению содержит черную маску согласно соответственному формату 3D видео, исходя из видеоданных, при этом принимая во внимание любую предварительную обработку, такую как субдискретизация, предписанную соответственным форматом 3D, на стороне кодирования.

В варианте осуществления уровни черного для черной маски могут иметь различные значения (например, 0 и 4) для левых и правых подкадров 3D. Оба значения будут по существу черными при просмотре на устройстве отображения. Эта характеристика может использоваться, чтобы дополнительно содействовать обнаружению полярности.

В варианте осуществления процессор выполнен с возможностью формирования сигнала 56 отображения, подлежащего передаче посредством блока 55 выходного интерфейса на устройство отображения, например, сигнала отображения по стандарту HDMI, см. "High Definition Multimedia Interface; Specification Version 1.3a of Nov 10 2006" (Мультимедийный интерфейс высокой четкости; Техническое описание версии 1.3a от 10 ноября 2006", доступный по адресу http://hdmi.org/manufacturer/specification.aspx. Процессор 52 выполнен с возможностью формирования данных изображения, включаемых в сигнал 56 отображения, для отображения на устройстве 60 отображения. Сигнал отображения может форматироваться согласно существующему формату сигнала 2D, и сигнал состояния 3D может поставляться отдельно, например, через отдельный интерфейс, на устройство 3D отображения, чтобы управлять отображением 3D видео, то есть устанавливать операционный режим для корректной визуализации видеосигнала.

В варианте осуществления сигнал состояния 3D может быть вложен в сигнал 56 3D отображения, например, в кадр управляющего сигнала или управляющих данных. Блок (55) выходного интерфейса составляет передающее средство для осуществления передачи сигнала 3D отображения, сигнал 3D отображения содержит контент 3D видео и управляющие данные, указывающие сигнал состояния 3D. В практическом варианте осуществления сигнал отображения снабжается 3D сигнализацией согласно стандарту HDMI 1.4.

Устройство 60 3D отображения предназначено для отображения данных 3D изображения. Устройство имеет в составе блок 61 входного интерфейса для приема сигнала 56 отображения, который может включать данные 3D видео, передаваемые от видеоустройства 50. Передаваемые видеоданные обрабатываются в блоке 62 обработки для отображения на устройстве 63 3D отображения, например, двойном (сдвоенном) или линзорастровом жидкокристаллическом устройстве отображения (LCD). Устройство 60 отображения может быть любым типом устройства стереоскопического отображения, называемым также устройством 3D отображения, и имеет диапазон глубин отображения, обозначенный стрелкой 64.

В варианте осуществления устройства 60 3D отображения обработка видеосигнала и обнаружение форматов 3D и 2D выполняются в блоке 62 обработки в устройстве отображения. Видеоданные передаются посредством сигнала 56 отображения. Обнаружение формата выполняется локально в устройстве отображения. Блок 62 обработки теперь выполняет функцию обеспечения сигнала состояния 3D для формирования сигналов отображения в режиме или 2D, или 3D, которые непосредственно связаны с устройством 3D отображения. Средство 62 обработки может быть предназначено для соответствующих функций, как описано для процессора 52 и/или обнаружителя 53 в составе видеоустройства.

В варианте осуществления видеоустройство 50 и устройство 60 отображения интегрированы в едином устройстве, где один набор средств обработки выполняет упомянутую функцию обнаружения формата 2D/3D. Сигнал 57 состояния 3D обеспечивается внутренне для непосредственного управления встроенным устройством отображения 3D видео.

На Фиг. 1 дополнительно показан носитель 54 записи в виде носителя видеосигнала, несущего формат 3D. Носитель записи имеет форму диска и содержит дорожку и отверстие в центре. Дорожка, образуемая последовательностью физически обнаруживаемых меток, выполняется в соответствии со спиральной или концентрической схемой витков, образующих, по существу параллельные дорожки на информационном слое. Носитель записи, который может быть оптически считываемым, называемым оптическим диском, например, компакт-диск (CD), цифровой многофункциональный диск (DVD) или диск формата Blue-ray (BD). Информация представляется на информационном слое посредством оптически обнаруживаемых меток вдоль дорожки, например, впадин и площадок. Структура дорожки также содержит позиционную информацию, например, заголовки и адреса, для указания позиции единиц информации, обычно называемых блоками информации. Носитель 54 записи несет информацию, представляющую в кодированные в цифровой форме данные изображения, подобные видео, например, кодированные в соответствии с системой кодирования стандартов MPEG2 или MPEG4 Экспертной группы по вопросам движущегося изображения, в заранее заданном формате записи, подобном формату DVD или BD.

В различных вариантах осуществления процессор 52 и обнаружитель 53 в видеоустройстве приспособлены для исполнения нижеследующих функций, как подробно описано ниже.

В варианте осуществления способ обеспечивает видеосигнал, который содержит видеоданные, представляющие либо контент трехмерного видео [3D], форматированный в соответствии с форматом 3D, либо контент двумерного видео [2D], форматированный в соответствии с форматом 2D,

видеосигнал имеет кадр 2D и управляющую структуру формата 2D,

формат 3D содержит, по меньшей мере, два подкадра 3D, чтобы составлять один кадр 3D, и является одним форматом из набора возможных форматов 3D,

видеоданные имеют, по меньшей мере, одно из

- вертикальной черной маски на вертикальной границе подкадров 3D, тогда как форматное соотношение контента видео не требует вертикальных черных полос;

- горизонтальной черной маски на горизонтальной границе подкадров 3D, тогда как форматное соотношение контента видео не требует горизонтальных черных полос;

для предоставления возможности обнаружения черной маски, чтобы определять формат 3D.

В дополнительном варианте осуществления способ содержит этап изготовления носителя записи, носитель записи снабжается дорожкой меток, представляющих видеосигнал.

В качестве продукта, носитель 54 записи снабжается дорожкой меток, содержащей вышеупомянутый видеосигнал, посредством вышеупомянутого способа изготовления.

На Фиг. 2 показан кадр 2D видео. На фигуре показан пример контента 2D видео в обозначенном пунктирной линией 21 кадре 2D видео. Тот же контент видео, но в форме 3D, также используется на фигурах Фиг. 3-5 в качестве примера форматов 3D. Отмечается, что кадр 2D является кодированным в сигнал 2D видео согласно одному формату из различных известных форматов 2D. Кодирование может включать в себя компрессию согласно стандартам MPEG2 или MPEG4, как известно в области техники.

На Фиг. 3 показан формат 3D «в ряд», далее обозначаемый SBS. На фигуре показан пример контента 3D видео, образуемого левым кадром L 31 и правым кадром R 32, размещенными в ряд в кадре 21 2D видео.

На Фиг. 4 показан формат 3D «верх-низ», далее обозначаемый TB. На фигуре показан пример контента 3D видео, образуемого левым кадром L 33, находящимся в верхней половине кадра 2D 21, и правого кадра R 34, выполненного находящимся в нижней половине кадра 2D 21.

Другой формат 3D основывается на двух видах, использующих 2D изображение, и дополнительном изображении D глубины, так называемой карте глубин, которая передает информацию о глубине объектов в 2D изображении. Формат, называемый «изображение + глубина» (2D+D), отличается тем, что является комбинацией 2D изображения с так называемой "глубиной", или картой диспаратности. Оно является полутоновым изображением (градаций серого), посредством чего значение серой шкалы для пиксела указывает величину диспаратности (или глубину в случае карты глубин) для соответствующего пиксела во взаимосвязанном 2D изображении. Устройство отображения использует карту диспаратности, глубин или параллаксов, чтобы вычислять дополнительные виды, взяв 2D изображение в качестве входного. Это может выполняться различными способами, в наипростейшей форме, это что-нибудь вроде смещения пикселов влево или вправо в зависимости от значения диспаратности, связанного с этими пикселами. Отмечается, что в формат 2D+D может включаться дополнительная информация глубины, подобная загораживанию и/или прозрачности. В статье, озаглавленной "Depth image based rendering, compression and transmission for a new approach on 3D TV" (Визуализация, компрессия и передача на основе глубины изображения для нового подхода к трехмерному телевидению" автор Christoph Fehn дает отличный обзор технологии (см. http://iphome.hhi.de/fehn/Publications/fehn_EI2004.pdf).

На Фиг. 5 показан формат 3D «изображение и глубина», далее обозначаемый 2D+D. На фигуре показан пример контента 3D видео, образуемого кадром 2D 35 и кадром D 36 глубины, размещенными в ряд в 2D-видеокадре 21. Кадр 2D и глубины также может быть размещен в конфигурации верх/низ, подобной показанной на Фиг. 4. Дополнительно форматы 3D, размещенные в 2D-форматированный видеосигнал, будут обсуждены далее.

В нижеследующем разделе будет обсуждаться рассмотрение 2D форматированного видеосигнала, который содержит контент 3D видео в соответствии с форматом 3D, таким как SBS, TB или 2D+D. В перечне ниже показаны некоторые дополнительные способы субдискретизации и форматы 3D для стереоскопического видео.

- С перемежением строк (LI)

- С перемежением столбцов (CI)

- Шахматный (CB), также называемый расположением в шахматном порядке

- Шахматный в ряд (CBS), подобный шахматному, но сохраняющий выборки L и R как в способе SBS для лучшей компрессии.

Пример CB описан в документе US2005/0117637.

Путем предположения, что был использован конкретный формат 3D, и сравнения возможностей с использованием способов, таких как компенсация движения/диспаратности, корреляция, вычисление средних абсолютных разностей (MAD), и т.д., фактический режим 3D обнаруживается автоматически. Для различных способов дискретизации система ниже использует соответствующий способ для обнаружения формата. Первым этапом в способе является получение подкадров 3D исходя из сигнала формата 2D согласно схеме размещения и/или перемежения для соответственного формата 3D. Например, для схемы LI, способ восстанавливает L и R на основании соответственных строк. Впоследствии предполагаемые подкадры 3D анализируются, чтобы определить, являются ли характеристики такими, как ожидалось. Если это так, устанавливается сигнал состояния 3D, чтобы указать соответственный формат 3D.

На Фиг. 6 показан процессор для автоматического обнаружения формата 3D. На фигуре показан примерный вариант осуществления процессора 52 с параллельной организацией для анализа 2-х возможных форматов 3D. В верхней части фигуры входной сигнал 600 видео подается на блок SPH 601 разделения подкадра 3D, чтобы разделять кадр 2D во входном сигнале на два (или большее число) подкадров 3D согласно первому формату 3D. В примере, в блоке SPH имеется функция для разделения кадра горизонтально согласно схеме «в ряд» (SBS) для подкадров 3D. Запоминающий блок L 602 сохраняет пикселы левого подкадра 3D, и запоминающий блок R 603 сохраняет пикселы правого подкадра 3D. Блоки 602, 603 L и R могут только сохранять входящие пикселы или могут дискретизировать с повышением видеоданные до полной разрешающей способности согласно соответственному формату 3D, который полагается подлежащим использованию. Лучшие результаты должны ожидаться для полной разрешающей способности на основании повышающей дискретизации, поскольку видеоданные на стороне кодера были дискретизированы с понижением согласно соответственному формату 3D, например, в направлении горизонтали, вертикали или в шахматном порядке, каковое теперь компенсируется.

Впоследствии подкадры 3D подаются на блок сравнения для вычисления соответствия между подкадрами 3D. В варианте осуществления обеспечивается блок MAD 605 вычисления соответствия, который выполняет вычисление средних абсолютных разностей между подкадрами 3D. Вычисляется средняя абсолютная разность для каждого (или подмножества) из соответствующих пикселов в этих 2 частях. Альтернативно, или дополнительно, могут оцениваться другие соответствия между подкадрами 3D, например, вычисление среднеквадратичных разностей (MSD), вычисление корреляции между подкадра