Передача данных 3d изображения

Передача данных 3d изображения

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Изобретение относится к способу передачи данных трехмерного (3D) изображения, причем способ содержит: на исходном устройстве 3D обработку данных исходного изображения для генерирования сигнала отображения 3D, при этом сигнал отображения 3D содержит кадры, составляющие данные 3D изображения в соответствии с форматом передачи 3D видео, в этом формате кадры содержат по меньшей мере два различных типа кадра, и выведение сигнала отображения 3D; и на устройстве отображения 3D отображение данных 3D изображения на 3D дисплее, прием сигнала отображения 3D, и обнаружение различных типов кадра в принятом сигнале отображения 3D, и генерирование управляющих сигналов отображения для визуализации данных 3D изображения на 3D дисплее, на основании различных типов кадра.

Изобретение также относится к вышеупомянутому исходному устройству 3D, сигналу отображения 3D и устройству отображения 3D.

Изобретение относится к области передачи через высокоскоростной цифровой интерфейс, например HDMI, данных трехмерного изображения, например 3D видео, для его отображения на устройстве отображения 3D.

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

Устройства для выдачи исходных 2D данных видео известны, например, видеопроигрыватели, такие как видеопроигрыватели DVD или телевизионные приставки, которые обеспечивают цифровые сигналы видео. Исходное устройство должно быть подключено к устройству отображения, подобному телевизору или монитору. Данные изображения передают от исходного устройства через подходящий интерфейс, предпочтительно через высокоскоростной цифровой интерфейс, такой как HDMI. В настоящее время предлагаются 3D усовершенствованные устройства для выдачи исходных трехмерных (3D) данных изображения. Аналогично, предлагаются устройства для отображения данных 3D изображения. Для передачи сигналов 3D видео с исходного устройства на устройство отображения развивались новые стандарты цифровых интерфейсов высокоскоростной передачи данных, например, основанные на и сходные с существующим стандартом HDMI. Передача 2D цифровых сигналов изображения на устройство отображения обычно вовлекает посылку пиксельных данных видео кадр за кадром, эти кадры должны быть отображены последовательно. Такие кадры могут или представлять видеокадры прогрессивного видеосигнала (полные кадры), или могут представлять кадры видеосигнала чересстрочной развертки (основанные на известной чересстрочной развертке строк, где один кадр обеспечивает нечетные строки и следующий кадр обеспечивает четные строки, которые должны быть показаны последовательно).

Документ US 4979033 описывает пример традиционного сигнала видео, имеющего формат чересстрочной развертки. Традиционный сигнал включает в себя горизонтальные и вертикальные сигналы синхронизации для отображения строк и кадров, четных и нечетных кадров на традиционный телевизионный приемник. Предложены система и способ стереоскопического видео, которые обеспечивают синхронизацию стереоскопического видео с дисплеем, который использует очки с активным затвором. Четные и нечетные кадры используются для передачи соответствующих левого и правого изображений сигнала стереоскопического видео. Предложенное устройство отображения 3D содержит обычный детектор огибающей для обнаружения обычных нечетных/четных кадров, но вместо этого генерирует сигналы отображения для левого и правого дисплейных блоков LSD (жидкокристаллического монитора). В частности, импульсы выравнивания, имеющие место во время вертикального интервала гашения, которые различны для четных и нечетных кадров в традиционном аналоговом сигнале видео чересстрочной развертки, учитываются для идентификации соответствующих левой или правой областей. Система использует эту информацию, чтобы синхронизировать пары очков с активным затвором таким образом, чтобы очки с активным затвором поочередно открывались и закрывались с синхронизацией с видео стерео.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Документ US 4979033 обеспечивают пример устройства отображения, в котором два типа кадра 3D (левый/правый) обнаруживают на основании существования импульсов синхронизации горизонтальных строк в традиционном аналоговом сигнале видео. Однако в случае с сигналами чересстрочной развертки видео нет никаких опций для того, чтобы манипулировать импульсами синхронизации горизонтальных строк. Проблема, которая имеет место с текущими системами, как упомянуто выше, состоит в том, что нет абсолютной синхронизации левого и правого кадров видео с очками с активным затвором. Синхронизация является относительной. На практике это означает, что часто левое и правое изображения меняются так, что левый глаз видит изображения, предназначенные для правого глаза и наоборот. Обычно это не проблема, поскольку разработчик CAD 3D, профессиональный пользователь, быстро заметит это и поменяет левую и правую стороны в исходном устройстве, обычно PC.

Обнаружено, что неопытные пользователи стереоскопической системы 3D, как описано в уровне техники, должным образом не распознают, когда левое и правое изображения поменяны. Это может быть очень проблематично, поскольку это может привести к серьезному чрезмерному напряжению зрения и даже тошноте. Если бы такая система широко применялась сейчас, то она вызвала бы замешательство среди потребителей и сильно препятствовала бы освоению технологии. Следовательно, известный сигнал отображения 3D не может быть использован для передачи различных цифровых сигналов 3D изображения для потребительского использования.

EP 1705929 описывает данные 3D видео, имеющие кадры L для левого глаза и кадры R для правого глаза. Сигнал S управления обеспечивается для различения кадров L и R. Сигнал S сохраняется в подобласти секции управления кадров.

Задачей изобретения является обеспечение более гибкой и надежной системы для передачи сигналов 3D видео на устройство отображения.

С этой целью согласно первому аспекту изобретения в способе, который был описан во вводном параграфе, каждый кадр имеет структуру данных для того, чтобы представить последовательность пиксельных данных цифрового изображения, и каждый тип кадра представляет частичную структуру данных 3D, и способ содержит, в исходном устройстве 3D, включение по меньшей мере одного индикатора синхронизации типа кадра в сигнал отображения 3D, при этом индикатор синхронизации типа кадра содержит индикатор формата 3D видео, указывающий формат передачи 3D видео в последующей секции сигнала отображения 3D; и упомянутое обнаружение содержит извлечение индикатора синхронизации типа кадра из сигнала отображения 3D, и упомянутое генерирование управляющих сигналов отображения основано на синхронизации частичных структур данных 3D в зависимости от индикатора синхронизации типа кадра.

С этой целью согласно второму аспекту изобретения исходное устройство 3D для передачи данных 3D изображения на устройство отображения 3D, как описано во вводном параграфе, содержит средство генерирования для обработки исходных данных изображения, чтобы генерировать сигнал отображения 3D, причем сигнал отображения 3D содержит кадры, составляющие данные 3D изображения согласно формату передачи 3D видео, в упомянутом формате кадры содержат по меньшей мере два различных типа кадра, и средство интерфейса вывода для того, чтобы выводить сигнал отображения 3D, в котором каждый кадр имеет структуру данных для того, чтобы представлять последовательность пиксельных данных цифрового изображения, и каждый тип кадра представляет частичную структуру данных 3D, и устройство содержит средство синхронизации передачи для включения по меньшей мере одного индикатора синхронизации типа кадра в сигнал отображения 3D для, в устройстве отображения, генерирования управляющих сигналов отображения, основанных на синхронизации частичных структур данных 3D в зависимости от индикатора синхронизации типа кадра, при этом индикатор синхронизации типа кадра содержит индикатор формата 3D видео, указывающий формат передачи 3D видео в последующей секции сигнала отображения 3D.

С этой целью согласно другому аспекту изобретения данные устройства отображения 3D, как описано во вводном параграфе, содержат дисплей 3D для отображения данных 3D изображения, средство интерфейса ввода для приема сигнала отображения 3D, причем сигнал отображения 3D содержит кадры, составляющие данные 3D изображения согласно формату передачи 3D видео, в этом формате кадры содержат по меньшей мере два различных типа кадра, и средство обнаружения для обнаружения различных типов кадра в принятом сигнале отображения 3D, и средство обработки для генерирования управляющих сигналов отображения для визуализации данных 3D изображения на дисплее 3D на основании различных типов кадра, при этом каждый кадр имеет структуру данных для представления последовательности пиксельных данных цифрового изображения, и каждый тип кадра представляет частичную структуру данных 3D, и средство обнаружения скомпоновано для извлечения индикатора синхронизации типа кадра из сигнала отображения 3D, при этом индикатор синхронизации типа кадра содержит индикатор формата 3D видео, указывающий формат передачи 3D видео в последующей секции сигнала отображения 3D, и средство обработки скомпоновано для генерирования управляющих сигналов отображения на основании синхронизации частичных структур данных 3D в зависимости от индикатора синхронизации типа кадра.

С этой целью согласно дальнейшему аспекту изобретения сигнал отображения 3D для передачи данных 3D изображения на устройство отображения 3D, как описано во вводном параграфе, содержит кадры, составляющие данные 3D изображения согласно формату передачи 3D видео, в этом формате кадры содержат по меньшей мере два различных типа кадра, где каждый кадр имеет структуру данных для представления последовательности пиксельных данных цифрового изображения, и каждый тип кадра представляет частичную структуру данных 3D, и сигнал отображения 3D содержит по меньшей мере один индикатор синхронизации типа кадра для генерирования управляющих сигналов отображения на основании синхронизации частичных структур данных 3D в зависимости от индикатора синхронизации типа кадра, при этом индикатор синхронизации типа кадра содержит индикатор формата 3D видео, указывающий формат передачи 3D видео в последующей секции сигнала отображения 3D.

Эти меры имеют тот эффект, что сигнал отображения 3D структурирован как последовательность кадров, тогда как у отдельных кадров есть различные типы, как обозначено индикатором синхронизации типа кадра. Преимущественно сигнал отображения поддерживает основную структуру сигнала отображения 2D, в то же самое время разрешая передачу диапазона различных типов кадра, причем каждый воплощает частичные структуры данных 3D, которые объединяются в принимающем устройстве отображения 3D, для генерирования управляющих сигналов отображения на основании функции кадра и тактировании, как указывается индикатором синхронизации типа кадра. Индикатор синхронизации типа кадра не выполняет относительную синхронизацию, но вместо этого достигает абсолютной синхронизации. Это препятствует тому, чтобы пользователи могли определять, обменяны ли левое и правое изображения.

Изобретение также основано на следующем заключении. Все унаследованные аналоговые и цифровые сигналы интерфейса отображения заведомо были разработаны для непосредственного генерирования управляющих сигналов отображения, таких как импульсы синхронизации горизонтальных строк и последовательности кадров, описанных выше. Следовательно, сигнал сам диктует тактирование и генерирование управляющих сигналов отображения, тогда как функция каждого последующего кадра является неявной ввиду его местоположения в сигнале. Традиционный дисплейный блок не обрабатывает данные изображения, но строго следует сигналу интерфейса отображения. Изобретатели обнаружили, что для 3D сигналов отображения существует потребность в формировании оконечных управляющих сигналов отображения 3D в самом устройстве отображения, потому что различные типы сигналов отображения и условия зрителя и параметры настройки не могут быть оптимально достигнуты, если компоненты данных 3D изображения объединены исходным устройством заранее определенным фиксированным образом в сигнале интерфейса. Следовательно, в новом сигнале отображения 3D различные компоненты передают раздельно в кадрах различных типов кадра. Впоследствии изобретатели обнаружили, что, передавая частичные структуры данных 3D посредством различных типов кадра, процесс обнаружения различных типов кадра и процесс объединения частичных структур данных, который имеет место в устройстве отображения, должны все же управляться исходным устройством передатчика. Для этого изобретатели обеспечили индикатор синхронизации типа кадра, который теперь включен в сигнал отображения 3D.

В варианте осуществления системы различные типы кадра в формате передачи 3D видео содержат по меньшей мере одно из: типа левого кадра; типа правого кадра; типа двухмерного [2D] кадра; типа кадра глубины; типа кадра прозрачности; типа кадра преграды; типа кадра комбинации, указывающей комбинацию подкадров упомянутых типов кадра; и индикатор синхронизации типа кадра содержит индикаторы типа кадра, соответствующие упомянутым типам кадра для синхронизации во времени каждой из 3D частичных структур данных из соответствующих типов кадра в формате передачи 3D видео для генерирования управляющих сигналов отображения 3D. Нужно отметить, что вышеупомянутый тип 2D кадра может быть типом кадра центра, и типы левого и правого кадра являются также типами 2D кадра, которые могут использоваться в комбинации с, например, кадром глубины или типом кадра преграды, и что много других комбинаций вышеупомянутых типов кадра могут быть эффективно задействованы, чтобы передать данные 3D изображения. Эффектом является то, что различные форматы 3D видео, которые могут изменяться от основной комбинации типов левого и правого кадра для стереоскопических изображений до сложных форматов 3D, имеющих комбинацию кадров левого, правого, глубины, заслонения и прозрачности, синхронизированы посредством соответствующих индикаторов синхронизации типа кадра.

В варианте осуществления системы формат передачи 3D видео содержит главное видео и по меньшей мере один дополнительный уровень видео, передаваемый через соответствующие типы кадра, и индикатор синхронизации типа кадра содержит по меньшей мере одно из индикатора типа главного кадра и индикатора типа кадра дополнительного уровня. Эффектом является то, что соответствующие уровни могут быть объединены любым удобным путем в устройстве отображения, в то время как объединенное изображение все еще сохраняет правильные соотношения тактирования между уровнями из-за индикатора синхронизации типа кадра. Выгодно, если дополнительный уровень может содержать субтитры или графическую информацию, такую как меню или экран дисплея (OSD), генерируемого в исходном устройстве, которые могут быть объединены с информацией главного видео согласно возможностям устройства отображения.

В варианте осуществления системы индикатор синхронизации типа кадра содержит индикатор формата 3D видео, указывающий формат передачи 3D видео в последующей секции сигнала отображения 3D. Выгодно, что такой общий индикатор формата 3D разрешает, что внезапные изменения видеопотока, подобные скачкам или изменениям режима в исходном устройстве, немедленно отслеживаются устройством отображения.

В варианте осуществления системы индикатор синхронизации типа кадра содержит индикатор последовательности кадров, указывающий частоту по меньшей мере одного типа кадра и/или порядок различных типов кадра. Эффектом является то, что различные типы кадра могут быть мультиплексированы при различных частотах кадра и/или в заранее определенном порядке, в то время как соответствующий порядок или последовательность обнаружимы в устройстве отображения. Следовательно, устройство отображения будет осведомлено о последовательности кадров, которые должны быть переданы, и может регулировать ресурсы обработки соответственно.

Другие предпочтительные варианты осуществления способа, устройства 3D и сигналов согласно изобретению даны в приложенной формуле изобретения, раскрытие которых включено здесь ссылкой.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Эти и другие аспекты изобретения должны быть очевидны и объяснены из дальнейших ссылок на варианты осуществления, описанных посредством примера в нижеследующем описании и со ссылкой на сопровождающие их чертежи, в которых

Фиг. 1 показывает систему для передачи трехмерных (3D) данных изображения,

Фиг. 2 показывает пример данных 3D изображения,

Фиг. 3 показывает комбинацию устройства воспроизведения и устройства отображения,

Фиг. 4 показывает таблицу кадра AVI-информации, расширенную индикатором синхронизации типа кадра,

Фиг. 5 показывает таблицу форматов 3D видео,

Фиг. 6 показывает сигнал синхронизации кадров, и

Фиг. 7 показывает значения для дополнительных уровней видео.

На чертежах элементы, которые соответствуют уже описанным элементам, имеют одинаковые ссылочные номера.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

Фиг. 1 показывает систему для передачи данных трехмерного (3D) изображения, такого как видео, графика или другой визуальной информации. Исходное устройство 3D 10 подключено к устройству 13 отображения 3D для передачи сигнала 56 отображения 3D. Исходное устройство 3D имеет блок 51 ввода для приема информации изображения. Например, устройство блока ввода может включать в себя блок 58 оптических дисков для извлечения различных типов информации изображения из оптического носителя 54 записи, такого как DVD или диск BluRay. Альтернативно, блок ввода может включать в себя блок 59 интерфейса сети для подключения к сети 55, например, Интернет или широковещательной сети, такое устройство обычно называют телевизионной приставкой. Данные изображения могут быть извлечены из удаленного мультимедийного сервера 57. Исходное устройство может также быть спутниковым приемником или сервером мультимедиа, непосредственно обеспечивающим сигналы отображения, то есть любым подходящим устройством, выводы сигнала отображения 3D которого могут быть непосредственно поданы к блоку отображения.

Исходное устройство 3D имеет блок 52 обработки, подключенный к блоку 51 ввода для обработки информации изображения, чтобы генерировать сигнал 56 отображения 3D, передаваемый через блок 12 интерфейса вывода в устройство отображения. Блок 52 обработки скомпонован для генерирования данных изображения, включенных в сигнал 56 отображения 3D, для отображения на устройстве 13 отображения. Исходное устройство обеспечено элементами 15 пользовательского управления, для того чтобы управлять параметрами отображения данных изображения, такими параметрами, как контраст или цвет. Элементы пользовательского управления также известны и могут включать в себя блок дистанционного управления, имеющий различные кнопки, и/или функции управления курсором, чтобы управлять различными функциями исходного устройства 3D, такими как функции воспроизведения и записи, и для установки упомянутых параметров отображения, например, через графический пользовательский интерфейс и/или меню.

Исходное устройство имеет блок 11 синхронизации передачи для обеспечения по меньшей мере одного индикатора синхронизации типа кадра в сигнале отображения 3D, этот индикатор включается в сигнал отображения 3D в блоке 12 интерфейса вывода, который далее компонуется для передачи сигнала отображения 3D с данными изображения и индикаторами синхронизации типа кадра с исходного устройства на устройство отображения, как сигнал 56 отображения 3D. Сигнал отображения 3D содержит последовательность кадров, составляющих данные 3D изображения в соответствии с форматом передачи 3D видео, в этом формате кадры содержат по меньшей мере два различных типа кадра. Каждый кадр имеет структуру данных для того, чтобы представить последовательность пиксельных данных цифрового изображения, обычно скомпонованных как последовательность горизонтальных строк количества пикселей в соответствии с заранее установленным разрешением. Каждый тип кадра представляет частичную структуру данных 3D. Например, частичные структуры данных 3D в типах кадра формата передачи 3D видео могут быть левым и правым изображениями, или 2D изображением и дополнительной глубиной, и/или дополнительными данными 3D, такими как заслонение или информация прозрачности, как описано ниже. Нужно отметить, что тип кадра может также быть типом кадра комбинации, указывающим комбинации подкадров вышеупомянутых типов кадра, например, 4 подкадра, имеющие более низкое разрешение, расположены в единственном кадре полного разрешения. Также ряд изображений с множеством видов могут быть закодированы в видеопоток кадров и должны быть отображены одновременно.

Устройство 13 отображения 3D служит для отображения данных 3D изображения. Устройство имеет блок 14 интерфейса ввода для приема сигнала 56 отображения 3D, включающего в себя данные 3D изображения в кадрах и индикаторы синхронизации типа кадра, переданные из исходного устройства 10. Каждый кадр имеет структуру данных для представления последовательности пиксельных данных цифрового изображения, и каждый тип кадра представляет частичную структуру данных 3D. Устройство отображения снабжено дополнительными элементами 16 пользовательского управления для установления параметров отображения дисплея, таких как параметры контраста, цвета или глубины. Переданные данные изображения обрабатывают в блоке 18 обработки в соответствии с командами установки от пользовательских элементов управления и генерирования управляющих сигналов отображения для визуализации данных 3D изображения на дисплее 3D на основании различных типов кадра. Устройство имеет дисплей 3D 17, принимающий управляющие сигналы отображения для отображения обработанных данных изображения, например двойной LSD. Устройство 13 отображения является стереоскопическим дисплеем, также называемым дисплеем 3D, имеющим диапазон глубины отображения, обозначенный стрелкой 44. Отображение данных 3D изображения выполняется в зависимости от различных кадров, где каждый обеспечивает соответствующую структуру данных частичного 3D изображения.

Устройство отображения также включает в себя блок 19 обнаружения, подключенный к блоку 18 обработки, для извлечения индикатора синхронизации типа кадра из сигнала отображения 3D и для обнаружения различных типов кадра в полученном сигнале отображения 3D. Блок 18 обработки скомпонован для генерирования управляющих сигналов отображения на основании различных типов данных изображения, как задано частичными структурами данных 3D соответствующего формата 3D видео, например, кадра 2D изображения и глубины. Соответствующие кадры распознаются и синхронизируются во времени, как указано соответствующими индикаторами синхронизации типа кадра.

Индикаторы синхронизации типа кадра позволяют обнаруживать, какие из кадров должны быть объединены, чтобы быть отображенным в одно и то же время, а также указать тип кадра так, чтобы соответствующие частичные данные 3D могли быть извлечены и обработаны. Сигнал отображения 3D может быть передан через подходящий высокоскоростной цифровой интерфейс видео, такой как известный интерфейс HDMI (например, см. "High Definition Multimedia Interface Specification Version 1.3a 10 November 2006).

Фиг. 1 также показывает носитель записи 54 как носитель данных 3D изображения. Носитель записи имеет форму диска и имеет дорожку и центральное отверстие. Дорожка, составленная рядом физически обнаружимых меток, скомпонована в соответствии со спиральным или концентрическим шаблоном оборотов, составляющих по существу параллельные дорожки на информационном слое. Носитель записи может быть оптически считываемым, называемым оптическим диском, например компакт-диском, DVD или BD (диском Blue-ray). Информация представлена на информационном слое оптически обнаружимыми метками вдоль дорожки, например ямками и плоскими участками. Структура дорожки также содержит позиции информации, например, заголовки и адреса, для индикации местоположения блоков информации, обычно называемых информационными блоками. Носитель 54 записи несет информацию, представляющую собой в цифровой форме закодированные данные изображения, такие как видео, например, закодированное в соответствии с системой кодирования MPEG2 или MPEG4, в заранее заданном формате записи, таком как BD или DVD.

Следует отметить, что проигрыватель может поддерживать различные форматы проигрывания, но не в состоянии перекодировать видеоформаты, и устройство отображения может быть способно к проигрыванию ограниченного множества видеоформатов. Это означает, что есть общий блок разделения того, что может быть проиграно. Следует отметить, что в зависимости от диска или контента формат может изменяться во время воспроизведения/функционирования системы. Синхронизация в реальном времени формата должна иметь место, и обеспечивается переключение в реальном времени форматов посредством индикатора синхронизации типа кадра.

Следующий раздел обеспечивает краткий обзор трехмерных дисплеев и восприятия глубины людьми. Дисплеи 3D отличаются от 2D дисплеев по ощущению, они могут обеспечить более яркое восприятие глубины. Это достигнуто тем, что они обеспечивают больше информации (оттенков) глубины, чем 2D дисплеи, которые могут только показать монокулярную информацию глубины и информацию, основанную на движении.

Монокулярная (или статическая) информация глубины может быть получена из статического изображения, используя один глаз. Живописцы часто используют монокулярную информацию, чтобы создать ощущение глубины в своих картинах. Эта информация включает в себя относительный размер, высоту относительно горизонта, преграды, перспективы, градиенты структуры и освещение/тени. Окуломоторной информацией является информация глубины, полученная из напряжения в мускулах глаз зрителей. Глаза имеют мускулы для вращения глаз, а также для растягивания хрусталиков глаза. Растяжение и расслабление хрусталиков глаза называют аккомодацией, и оно выполняется при фокусировании на изображении. Степень растяжения или расслабления мускулов хрусталика обеспечивает информацию для того, как далеко или близко находится объект. Вращение глаз выполняется так, что оба глаза фокусируются на одном и том же объекте, что называют схождением. Наконец, параллакс движения - это эффект, когда кажется, что объекты, более близкие к зрителю, перемещаются быстрее, чем объекты более далекие.

Бинокулярное несоответствие - информация глубины, которая получается из факта, что оба наших глаза видят немного различное изображение. Монокулярная информация глубины может быть и используется в любом 2D визуальном типе отображения. Чтобы воссоздать бинокулярное несоответствие на дисплее, требуется, чтобы дисплей мог сегментировать вид для левого и правого глаза таким образом, чтобы каждый видел немного отличающееся изображение на дисплее. Дисплеи, которые могут воссоздать бинокулярное несоответствие, являются специальными дисплеями, которые именуются здесь как 3D или стереоскопические дисплеи. Дисплеи 3D в состоянии отобразить изображения вдоль направления глубины, фактически воспринятой человеческими глазами, называемые в этом документе дисплеями 3D, имеющими диапазон глубины отображения. Следовательно, дисплеи 3D обеспечивают различный вид для левого и правого глаза.

Дисплеи 3D, которые могут обеспечить два различных вида, были известны в течение долгого времени. Большинство из них были основаны на использовании очков, чтобы отделить вид для левого и правого глаза. Теперь с развитием технологии отображения новые дисплеи вышли на рынок, которые могут обеспечить стерео вид, не используя очки. Эти отображения называют автостереоскопическими отображениями.

Первый подход основан на дисплеях LSD, которые позволяют пользователю видеть стерео видео без очков. Они основаны на любом из двух методов - двояковыпуклого экрана и отображений с барьером. При двояковыпуклом отображении LSD покрыт листом двояковыпуклых линз. Эти линзы выполняют дифракцию света от дисплея таким образом, что левый и правый глаз принимают свет от различных пикселей. Это позволяет два различных изображения отображать для просмотра одного для левого и одного для правого глаза.

Альтернатива двояковыпуклому экрану - дисплей с барьером, который использует параллаксный барьер позади LSD и перед лампой подсветки, чтобы отделить свет от пикселей в LSD. Барьер таков, что из установленного положения перед экраном левый глаз видит отличные пиксели от тех, что видит правый глаз. Барьер может также быть между LSD и человеком-зрителем так, чтобы пиксели в строке дисплея были поочередно видимы левым и правым глазом. Проблема с дисплеем с барьером - потеря в яркости и разрешении, но также и очень узкий угол наблюдения. Это делает его менее привлекательным в качестве телевизора гостиной комнаты по сравнению с двояковыпуклым экраном, у которого, например, есть 9 видов и множественные зоны наблюдения.

Другой подход также основан на использовании очков с активным затвором в комбинации с видеопроектором с высокой разрешающей способностью, который может отображать виды с высокой частотой обновления (например, 120 Гц). Высокая частота обновления требуется, так как в способе очков с активным затвором вид для левого и правого глаза отображается поочередно. Для зрителя, носящего очки, видео стерео воспринимается на 60 Гц. Способ использования очков с активным затвором обеспечивает высококачественное видео и большой уровень глубины.

Автостереоскопические дисплеи и способ использования очков с активным затвором действительно страдают от несоответствия схождения-аккомодации. Это действительно ограничивает степень глубины и время, когда можно комфортно осуществлять просмотр при использовании этих устройств. Есть другие технологии отображения, такие как голографические и объемные отображения, которые не страдают от этой проблемы. Следует отметить, что данное изобретение может использоваться для любого типа дисплея 3D, у которого есть диапазон глубины.

Данные изображения для дисплея 3D, как предполагается, доступны в качестве электронных, обычно цифровых, данных. Настоящее изобретение относится к таким данным изображения и манипулирует данными изображения в цифровой области. Данные изображения, когда передаются из источника, могут уже содержать информацию 3D, например, посредством использования двойных камер, или специализированная система предварительной обработки может быть вовлечена для (воссоздания) создания информации 3D из 2D изображений. Данные изображения могут быть статическими подобными слайдами или могут включать в себя движущееся видео, такое как кинофильмы. Другие данные изображения, обычно называемые графическими данными, могут быть доступными как хранящиеся объекты или генерируемые «на лету», как требуется приложением. Например, такая пользовательская информация управления, как меню, элементы навигации или текст и аннотации помощи могут быть добавлены к другим данным изображения.

Существует много различных путей, которыми изображения стерео могут быть отформатированы и названы форматом 3D изображения. Некоторые форматы основаны на использовании 2D канала, чтобы также нести информацию стерео. Например, левый и правый вид могут быть перемеженными или могут быть размещены рядом и выше и ниже. Эти способы жертвуют разрешением, чтобы нести информацию стерео. Другая опция состоит в том, чтобы пожертвовать цветом, этот подход называют анаглифическим стерео. Анаглифическое стерео использует спектральное мультиплексирование, которое основано на отображении двух раздельных наложенных изображений в дополнительных цветах. При использовании очков с цветными фильтрами каждый глаз видит только изображение того же самого цвета, что и фильтр перед этим глазом. Так, например, правый глаз видит только красное изображение и левый глаз - только зеленое изображение.

Другой формат 3D основан на двух видах, используя 2D изображение и дополнительное изображение глубины, так называемую карту глубины, которая несет информацию о глубине объектов в 2D изображении. Формат, названный «изображение + глубина», отличен в том, что он является комбинацией 2D изображения с так называемой "глубиной" или картой различий. Она является изображением по шкале уровней серого, посредством чего значение шкалы уровней серого для пикселя указывает степень различия (или глубины в случае карты глубины) для соответствующего пикселя в ассоциированном 2D изображении. Устройство отображения использует это различие, глубину или карту параллакса, чтобы вычислить дополнительные кадры, беря 2D изображение в качестве входного. Это может быть сделано множеством путей, в самой простой форме - это есть перемещающиеся пиксели налево или направо, в зависимости от значения различия, связанного с этими пикселями. Статья, названная "Depth image based rendering, compression and transmission for a new approach on 3D TV" Christoph Fen, дает превосходный краткий обзор этой технологии (см. http://iphome.hhi. de/fehn/Publications/fehn_EI2004.pdf).

Фиг. 2 показывает пример данных 3D изображения. Левая часть данных изображения - это 2D изображение 21, обычно в цвете, и правая часть данных изображения - это карта глубины 22. 2D информация изображения может быть представлена в любом подходящем формате изображения. Информация карты глубины может быть дополнительным потоком данных, имеющим значение глубины для каждого пикселя, возможно в уменьшенном разрешении по сравнению с 2D изображением. В значениях шкалы уровней серого карты глубины указывается глубина ассоциированного пикселя в 2D изображении. Белый указывает близость к зрителю, и черный указывает большую глубину, далекую от зрителя. Дисплей 3D может вычислить дополнительный вид, требуемый для стерео, с использованием значения глубины из карты глубины и вычисляя требуемые преобразования пикселей. Заслонение может быть разрешено с использованием оценки или методами заполнения пустот. Дополнительные кадры могут быть включены в поток данных, например, дополнительно добавленными к изображению и формату карты глубины, такие как карта заслонения, карта параллакса и/или карта прозрачности для прозрачных объектов, перемещающихся перед фоном.

Добавление стерео к видео также воздействует на формат видео, когда его посылают от проигрывающего устройства, такого как проигрыватель диска Blu-ray, к стереодисплею. В 2D случае посылается только 2D видеопоток (декодированные данные картинки). Для стерео видео он увеличивается, так как теперь второй поток должен быть послан, содержащий второй вид (для стерео) или карту глубины. Это может удвоить необходимую скорость передачи данных в битах на электрическом интерфейсе. Другой подход - это пожертвовать разрешением и форматировать поток так, что второй вид или карта глубины были бы перемеженными или размещенными «бок о бок» с 2D видео.

Фиг. 2 показывает пример 2D данных и карты глубины. Глубина отображает параметры, которые посылают на дисплей, чтобы позволить дисплею правильно интерпретировать информацию глубины. Примеры включения дополнительной информации в видео описаны в стандарте Международной Организации по Стандартизации 23002-3 "Представление вспомогательного видео и дополнительной информации" (например, см. ISO/IEC JTC1/SC29/WG11 N8259 от июля 2007). В зависимости от типа вспомогательного потока дополнительные данные изображения состоят или из 4 или из 2 параметров. Индикатор синхронизации типа кадра может содержать индикатор формата 3D видео, указывающий соответствующий формат передачи 3D видео в последующей секции сигнала отображения 3D. Это позволяет указывать или изменять формат передачи 3D видео, или переустанавливать последовательность передачи, или устанавливать или переустанавливать дополнительные параметры синхронизации.

В варианте осуществления индикатор синхронизации типа кадра включ