Объединение данных 3d изображения и графических данных

Объединение данных 3d изображения и графических данных

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Изобретение относится к способу объединения данных трехмерного [3D] изображения и вспомогательных графических данных, при этом способ содержит выявление значений глубины, возникающих в данных 3D изображения, и адаптивную установку вспомогательных значений глубины для вспомогательных графических данных, в зависимости от выявленных значений глубины, для формирования сигнала 3D отображения для визуализации контента изображения в зоне отображения посредством объединения данных 3D изображения и вспомогательных графических данных, на основании вспомогательных значений глубины.

Изобретение дополнительно относится к устройству-источнику 3D, устройству 3D отображения и компьютерному программному продукту.

Изобретение относится к области визуализации данных 3D изображения, например 3D видео, в сочетании с вспомогательными графическими данными, например субтитрами или заставками, в устройстве 3D отображения так, чтобы данные 3D изображения не преграждали вспомогательные графические данные.

УРОВЕНЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ

Устройства для получения из источника 2D видеоданных известны, например, видеоплейеры типа DVD-плейеров или телевизионные абонентские приставки, которые обеспечивают цифровые видеосигналы. Устройство-источник должно быть подключено к устройству отображения, например телевизору или монитору. Данные изображения передаются из устройства-источника через подходящий интерфейс, предпочтительно высокоскоростной цифровой интерфейс, например, HDMI (интерфейс для мультимедиа высокой четкости). В настоящее время предлагаются усовершенствованные устройства 3D для получения из источника данных трехмерного (3D) изображения. Аналогичным образом предлагаются устройства для отображения данных 3D изображения.

В случае 3D контента, например, 3D фильмов или телевизионных вещаний, в сочетании с данными изображения могут отображаться дополнительные, вспомогательные графические данные, например субтитры, заставки, игровой счет, бегущая строка финансовых новостей или других объявлений или новостей.

В документе WO2008/115222 описана система для объединения текста с трехмерным контентом. Система вставляет текст на том же уровне, что и самое высокое значение глубины в 3D контенте. Одним из примеров 3D контента является двумерное изображение и соответствующая карта глубины. В данном случае значение глубины вставляемого текста корректируется для согласования с наибольшим значением глубины данной карты глубины. Другим примером 3D контента является множество двумерных изображений и соответствующие карты глубины. В данном случае значение глубины вставляемого текста непрерывно корректируется для согласования с наибольшим значением глубины данной карты глубины. Дополнительным примером 3D контента является стереоскопический контент, имеющий изображение для правого глаза и изображение для левого глаза. В данном случае текст в одном из изображения для левого глаза и изображения для правого глаза сдвигают для согласования с наибольшим значением глубины в стереоскопическом изображении. Еще одним примером 3D контента является стереоскопический контент, имеющий множество изображений для правого глаза и изображений для левого глаза. В данном случае текст в одном из изображений для левого глаза или изображений для правого глаза непрерывно сдвигается для согласования с наибольшим значением глубины в стереоскопических изображениях. В результате, система создает текст, объединенный с 3D контентом, в котором текст не загораживает 3D эффекты в 3D контенте и не создает зрительной усталости при просмотре зрителем.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

В документе WO2008/115222 описывается, что вспомогательные графические данные должны быть отображены перед самой близкой частью данных изображения. Проблема, которая возникает в современных системах, состоит в том, что субтитры обычно располагаются очень близко к зрителю. Авторы настоящего изобретения выяснили, что зрители на практике не оценивают близкое расположение субтитров. В некоторых современных 3D дисплеях характеристики изображения имеют тенденцию к снижению для объектов, которые находятся перед экраном и ближе к зрителю. При любом стереоскопическом отображении близкие объекты вызывают более сильное напряжение зрения.

В документе WO2008/044191 описано создание 3D графических данных в системе, которая накладывает графические данные на соответствующем видеоизображении. В данном документе внимание уделяется формированию графического объекта, например 3D субтитров. Графический объект может обрезаться и размещаться в графической плоскости, которая накладывается на соответствующее видеоизображение.

В документе WO2008/038205 описано создание отображения 3D меню в системе, которая накладывает 3D графические данные на 3D видеоизображение. 3D графические элементы, например 3D субтитры, накладываются в направлении по глубине. Графические элементы размещаются в графической плоскости или в диапазоне глубин, плоскость и диапазон которых обладает положением по глубине, отличным от положения видеоизображения.

Целью настоящего изобретения является создание системы для объединения вспомогательных графических данных и 3D контента более удобным способом на устройстве отображения.

Для этой цели, в соответствии с первым аспектом изобретения, способ объединения данных трехмерного изображения и вспомогательных графических данных содержит следующие этапы, на которых:

- получают информацию масштабирования и/или сдвига для использования с данными трехмерного изображения,

- масштабируют и/или сдвигают данные трехмерного изображения в соответствии с информацией масштабирования и/или сдвига, в указанном порядке, для создания пространственной зоны черной полосы, которая не занята масштабированными и/или сдвинутыми данными трехмерного изображения,

- объединяют масштабированные и/или сдвинутые данные трехмерного изображения и вспомогательные графические данные таким образом, чтобы вспомогательные графические данные помещались в пределах пространственной зоны черной полосы.

Устройство-источник 3D для объединения данных трехмерного изображения и вспомогательных графических данных, содержащее:

- средство для получения информации масштабирования и/или сдвига для использования с данными трехмерного изображения,

- средство для масштабирования и/или сдвига данных трехмерного изображения в соответствии с информацией масштабирования и/или сдвига, в указанном порядке, для создания пространственной зоны черной полосы, которая не занята масштабированными и/или сдвинутыми данными трехмерного изображения,

- средство для объединения масштабированных и/или сдвинутых данных трехмерного изображения и вспомогательных графических данных таким образом, чтобы вспомогательные графические данные помещались в пределах пространственной зоны черной полосы.

3D устройство отображения для объединения данных трехмерного изображения и вспомогательных графических данных, содержащее:

- средство для получения информации масштабирования и/или сдвига для использования с данными трехмерного изображения,

- средство для масштабирования и/или сдвига данных трехмерного изображения в соответствии с информацией масштабирования и/или сдвига, в указанном порядке, для создания пространственной зоны черной полосы, которая не занята масштабированными и/или сдвинутыми данными трехмерного изображения,

- средство для объединения масштабированных и/или сдвинутых данных трехмерного изображения и вспомогательных графических данных таким образом, чтобы вспомогательные графические данные помещались в пределах пространственной зоны черной полосы.

Информационный носитель содержит данные трехмерного изображения и вспомогательные графические данные, при этом информационный носитель, дополнительно содержащий:

- информацию масштабирования и/или сдвига для использования с данными трехмерного изображения, чтобы предоставлять возможность масштабирования и/или сдвига данных трехмерного изображения в соответствии с информацией масштабирования и/или сдвига, в указанном порядке, для создания пространственной зоны черной полосы, которая не занята масштабированными и/или сдвинутыми данными трехмерного изображения, и последующего объединения масштабированных и/или сдвинутых данных трехмерного изображения и вспомогательных графических данных таким образом, чтобы вспомогательные графические данные помещались в пределах пространственной зоны черной полосы.

Следует отметить, что пространственная зона черной полосы является зоной в плоскости отображения, которая не занята никакими данными трехмерного изображения. Поэтому упомянутая информация масштабирования и/или сдвига относится к масштабированию и/или сдвигу в пределах направления плоскости отображения. Следовательно, упомянутая информация масштабирования и/или сдвига не относится к масштабированию и/или сдвигу в пределах направления глубины, перпендикулярного плоскости отображения.

В соответствии с дополнительным аспектом изобретения, в способе, описанном во вступительном параграфе, выявление значений глубины содержит выявление зоны внимания в данных 3D изображения и определение схемы глубины для зоны внимания, и установка вспомогательных значений глубины содержит установку вспомогательных значений глубины в зависимости от схемы глубины.

В соответствии с дополнительным аспектом изобретения, устройство-источник 3D для объединения данных трехмерного изображения и вспомогательных графических данных, описанное во вступительном параграфе, содержит средство обработки 3D изображения для выявления значений глубины, возникающих в данных 3D изображения, и адаптивной установки вспомогательных значений глубины для вспомогательных графических данных, в зависимости от выявленных значений глубины, для формирования сигнала 3D отображения для визуализации контента изображения в зоне отображения посредством объединения данных 3D изображения и вспомогательных графических данных, на основании вспомогательных значений глубины, при этом средство обработки 3D изображения скомпоновано так, что выявление значений глубины содержит выявление зоны внимания в данных 3D изображения и определение схемы глубины для зоны внимания, и установка вспомогательных значений глубины содержит установку вспомогательных значений глубины в зависимости от схемы глубины.

В соответствии с дополнительным аспектом изобретения, устройство 3D отображения для объединения данных трехмерного изображения и вспомогательных графических данных, описанное во вступительном параграфе, содержит 3D дисплей для отображения данных 3D изображения и средство обработки 3D изображения для выявления значений глубины, возникающих в данных 3D изображения, и адаптивной установки вспомогательных значений глубины для вспомогательных графических данных, в зависимости от выявленных значений глубины, для формирования сигнала 3D отображения для визуализации контента изображения в зоне отображения посредством объединения данных 3D изображения и вспомогательных графических данных, на основании вспомогательных значений глубины, при этом средство обработки 3D изображения скомпоновано так, что выявление значений глубины содержит выявление зоны внимания в данных 3D изображения и определение схемы глубин для зоны внимания, и установка вспомогательных значений глубины содержит установку вспомогательных значений глубины в зависимости от схемы глубины.

Упомянутые меры ведут к тому, что выявление зоны внимания дает возможность системе установить, на какие элементы будет направлено внимание зрителей, когда предполагается, что зритель наблюдает вспомогательные данные. Выявление значений глубины, возникающих в данных 3D изображения, означает вычисление упомянутых значений из левого и правого изображений в левом/правом 3D формате или использование данных глубины из потока 2D + глубина, или вывод упомянутых значений глубины из любого другого формата 3D изображения, например, потока левый + правый + глубина. Схема глубины определяется для выявленной зоны внимания. Система, в частности, устанавливает вспомогательные значения глубины в зависимости от схемы глубины, например, по существу, на такой же глубине, как зона внимания, или перед зоной внимания, где никакие другие объекты не расположены близко к пользователю. В зоне отображения вспомогательных графических данных, в которой данные 3D изображения не преграждают вспомогательных графических данных, т.е. не содержится никаких данных изображения в положении, выдвинутом дальше вперед. Следует отметить, что в других зонах контента 3D изображения дополнительные объекты могут занимать положение, выдвинутое дальше вперед, т.е. находиться ближе к пользователю. Предпочтительно, зритель не должен будет сталкиваться с возмущающими действиями при глубинном восприятии элементов, которые он наблюдает, и не должен существенно регулировать глубину фокусировки, когда он переключается между наблюдением вспомогательных графических данных и зоной внимания.

Изобретение основано также на следующем принятом признании. В документальной ссылке на известный уровень техники описано размещение текста на глубине перед ближайшим элементом в изображении. Авторы настоящего изобретения обнаружили, что такое размещение выдвигает текст вперед, посредством любого элемента, отображаемого близко к пользователю. Выдвинутое положение текста вызывает усталость и воспринимается как неприятное. Настоящая система обеспечивает более отодвинутое назад положение вспомогательных графических данных, которое сложнее создать, но которое ценят зрители. Обычно вспомогательную графическую информацию размещают немного впереди самого ближнего объекта, но также на или перед поверхностью экрана. В общем, качество и четкость изображения оптимальны на поверхности экрана, но могут зависеть от типа дисплея и предмета и размера вспомогательных графических данных.

В варианте осуществления системы выявление зоны внимания содержит выявление объекта внимания в данных 3D изображения, и схема глубины основана на значениях глубины объекта. Объект внимания является объектом, на котором должно фокусироваться внимание зрителя, например, говорящий участник ток-шоу или главное действующее лицо в сцене. Результат заключается в том, что расположение по глубине объекта внимания определяет расположение по глубине вспомогательных графических данных. Предпочтительно, зритель не должен изменять фокусировку своих глаз при переходе к чтению вспомогательных графических данных. По желанию, упомянутое выявление объекта внимания в данных 3D изображения основано на, по меньшей мере, одном из следующего:

- выявление элементов изображения, которые находятся в фокусе, относительно других элементов изображения, которые вне фокуса;

- выявление, для элементов изображения, количества дополнительных 3D данных для визуализации элемента изображения относительно фона, например, данных о преграждении или данных прозрачности;

- выявление, для элементов изображения, ключей глубины, содержащих, по меньшей мере, одно из отличий по перемещению, глубине, яркости и цвету относительно фона;

- выявление предварительно определенных элементов изображения, например, лиц людей;

- выявление, для элементов изображения, ключей положения, содержащих, по меньшей мере, одно из расположения вблизи центра зоны отображения, и обладающего, по меньшей мере, предварительно определенным размером относительно зоны отображения.

В варианте осуществления системы выявление зоны внимания содержит выбор целевой области для расположения вспомогательных графических данных, и схема глубины основана на значениях глубины целевой области. В результате, вспомогательные данные, при расположении в целевой области, расположены на глубине, которая является пропорциональной схеме глубины окружающей целевой области. Следует отметить, что в других областях зоны отображения объекты могут находиться в положении, более выдвинутом вперед, чем вспомогательные графические данные. Предпочтительно, зона целевой области выбирается таким образом, чтобы в местоположении вспомогательных графических данных никакие объекты не находились дальше впереди, притом что объекты в зоне отображения, находящейся вдали от упомянутого местоположения, находятся дальше впереди.

В частности, в дополнительном варианте осуществления системы выбор целевой области содержит подразделение зоны отображения на несколько областей, и выявление схемы глубины основано на пространственной фильтрации значений глубины нескольких областей в соответствии с функцией пространственной фильтрации, в зависимости от целевой области. В результате, пространственная фильтрация применяет относительный вес к различным передним объектам, в зависимости от их расстояния до целевой зоны.

В частности, в дополнительном варианте осуществления системы выбор целевой области содержит, по меньшей мере, одно из выбора, в качестве целевой области, области данных изображения, в которой не возникает никаких значений глубины, больших чем вспомогательные значения глубины; выбора периода времени для отображения вспомогательных данных таким образом, чтобы в целевой области не возникало никаких значений глубины, больших чем вспомогательные значения глубины; выбора, в качестве целевой области, зоны отображения, в которой не отображается никаких данных изображения, и соответственного уменьшения размера данных изображения для подгонки к оставшейся зоне отображения. В результате, местоположение и/или появление вспомогательных графических данных корректируется в соответствии с фактическими данными 3D изображения, т.е. то, где и когда отображаются вспомогательные графические данные, зависит от отображаемого контента.

В варианте осуществления системы определение схемы глубины содержит выявление значений глубины в нескольких кадрах видеоконтента и временную фильтрацию значений глубины в соответствии с функцией временной фильтрации. В результате, временная фильтрация сглаживает разности глубины элементов, перемещающихся или (пропадающих) появляющихся в данных 3D изображения. Предпочтительно, вспомогательное значение глубины корректируется во времени контролируемым образом. По желанию, упомянутое определение схемы глубины содержит установку временного окна в качестве функции временного фильтра, на основании выявления границ снимка в нескольких кадрах видеоконтента.

Дополнительные предпочтительные варианты осуществления способа, устройств 3D и сигнала в соответствии с изобретением приведены в прилагаемой формуле изобретения, раскрытие которой включено в настоящую заявку.

Дополнительной целью настоящего изобретения является обеспечение способа объединения данных трехмерного [3D] изображения и вспомогательных графических данных, при этом способ содержит получение информации масштабирования и/или сдвига для использования с данными трехмерного [3D] изображения, масштабирование и/или сдвиг данных трехмерного [3D] изображения в соответствии с информацией масштабирования и/или сдвига, соответственное объединение масштабированных и/или сдвинутых данных трехмерного [3D] изображения и вспомогательных графических данных таким образом, чтобы, по меньшей мере, часть вспомогательных графических данных располагалась в пределах пространственной зоны, определяемой данными трехмерного [3D] изображения, которая не занята масштабированными и/или сдвинутыми данными трехмерного [3D] изображения. Кроме того, настоящее изобретение обеспечивает устройство-источник 3D по п.10, устройство отображения 3D по п.11 и носитель цифровой информации по п.12.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Приведенные и другие аспекты изобретения станут более понятными и будут дополнительно разъяснены со ссылкой на варианты осуществления описанные посредством примера в нижеследующем описании и со ссылкой на прилагаемые чертежи, на которых:

фиг.1 показывает систему для отображения данных трехмерного (3D) изображения,

фиг.2 - показывает пример данных 3D изображения,

фиг.3 - показывает вспомогательные графические данные, расположенные на вспомогательной глубине,

фиг.4 - показывает вспомогательные графические данные, расположенные на вспомогательной глубине в целевой области,

фиг.5 - показывает подразделение зоны отображения,

фиг.6 - показывает пример данных изображения уменьшенного масштаба,

фиг.7 - показывает пример данных изображения уменьшенного масштаба в черных границах,

фиг.8 - показывает наложение субтитров и графики на видео,

фиг.9 - показывает масштабирование видео для создания места для субтитров и плавающих окон, и

фиг.10 - показывает комбинированное масштабирование и сдвиг видео для вмещения субтитров.

На фигурах элементы, которые соответствуют уже описанным элементам, снабжены одинаковыми позициями.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

На фиг.1 показана система для отображения данных трехмерного (3D) изображения, например, видео, графики или другой визуальной информации. Устройство-источник 10 3D соединено с устройством 13 отображения для передачи сигнала 56 3D отображения. Устройство-источник 3D содержит входной блок 51 для приема информации изображения. Например, устройство входного блока может включать в себя блок 58 считывания оптического диска для извлечения информации изображения различных типов с носителя 54 оптической записи, например, диска DVD (цифрового видеодиска) или диска BluRay. Альтернативно, входной блок может включать в себя блок 59 сетевого интерфейса для подключения к сети 55, например, сети интернет или вещательной сети, такое устройство обычно называют телевизионной абонентской приставкой. Данные изображения могут извлекаться с удаленного медиасервера 57. Устройство-источник может быть также спутниковым приемником или медиасервером, непосредственно обеспечивающим сигналы отображения, т.е. любым подходящим устройством, которое выдает сигнал 3D отображения, который должен быть непосредственно связан с блоком отображения.

Устройство-источник 3D имеет блок 52 обработки изображений, соединенный с входным блоком 51, для обработки информации изображения с целью формирования сигнала 56 3D отображения, который должен быть передан через блок 12 выходного интерфейса в устройство отображения. Блок 52 обработки скомпонован для формирования данных изображения, включенных в сигнал 56 3D отображения для отображения на устройстве 13 отображения. Устройство-источник снабжено элементами 15 пользовательского управления для управления параметрами отображения данных изображения, например, параметром контраста или цветности. Элементы пользовательского управления, как таковые, общеизвестны и могут включать в себя блок дистанционного управления, имеющий различные кнопки и/или функции управления курсором для управления различными функциями устройства-источника 3D, например, функциями воспроизведения и записи, и для установки упомянутых параметров отображения, например, через графический пользовательский интерфейс и/или меню.

Устройство-источник имеет блок 11 обработки вспомогательного изображения для обработки вспомогательных графических данных, которые должны быть объединены с данными 3D изображения на дисплее 3D. Вспомогательные графические данные могут быть любыми дополнительными данными изображения, которые подлежат объединению с контентом 3D изображения, например, субтитрами, заставкой транслятора, сообщением меню или системы, кодами ошибок, экстренными новостными сообщениями, бегущей строкой и т.п. В тексте внизу обычно будут использоваться субтитры в качестве указания на каждый тип вспомогательных графических данных. Средство 11, 52 обработки 3D изображений скомпоновано для следующих функций. Сначала выявляются значения глубины, возникающие в данных 3D изображения. На основании упомянутых значений адаптивно устанавливаются вспомогательные значения глубины для вспомогательных графических данных, в зависимости от выявленных значений глубины. Затем формируется сигнал 56 3D отображения для визуализации контента изображения в зоне отображения на дисплее 3D. Для этой цели данные 3D изображения и вспомогательные графические данные объединяются на основании вспомогательных значений глубины. Средство обработки 3D изображений скомпоновано для выявления значений глубины следующим образом. Выявляется зона внимания в данных 3D изображения, на которую ожидается, что зритель сфокусирует его/ее внимание в то время, когда должны отображаться вспомогательные графические данные. Зона внимания может быть зоной, в которой должна отображаться вспомогательная информация, или зоной вблизи зоны отображения вспомогательных данных, или любым объектом или элементом в каком-нибудь другом месте в изображении, который определяется как элемент, на котором должны фокусироваться глаза зрителя.

В дальнейшем определяется схема глубины для зоны внимания, т.е. набор значений глубины для зоны внимания. Например, могут определяться максимальные и минимальные значения, возникающие в упомянутой зоне, и схема глубины может быть средним значением. Кроме того, может быть определена схема глубины, возникающая во времени. Дополнительные подробности поясняются ниже. На основании схемы глубины зоны внимания устанавливаются вспомогательные значения глубины, например, в такое же значение, как вышеупомянутое среднее значение глубины схемы глубины, или перед любыми элементами данных 3D изображения, локально возникающих во вспомогательной зоне отображения. Дополнительные примеры пространственной или временной фильтрации данных изображения приведены ниже.

Устройство 13 отображения 3D предназначено для отображения данных 3D изображения. Устройство имеет блок 14 входного интерфейса для приема сигнала 56 3D отображения, включающего в себя данные 3D изображения и вспомогательные графические данные, переданные из устройства-источника 10. Устройство отображения снабжено дополнительными элементами 16 пользовательского управления для установки параметров отображения дисплея, например параметров контраста, цветности или глубины. Передаваемые данные изображения обрабатываются в блоке 18 обработки изображений в соответствии с командами установки из элементов пользовательского управления и формирующимися сигналами управления отображением для визуализации данных 3D изображения на 3D дисплее, на основании данных 3D изображения. Устройство имеет 3D дисплей 17, например, двойной или линзорастровый жидкокристаллический (ЖК) дисплей, принимающий сигналы управления отображением для отображения обработанных данных изображения. Устройство 13 отображения может быть стереоскопическим дисплеем любого типа, называемым также дисплеем 3D, и имеет диапазон отображаемой глубины, обозначенный стрелкой 44. Вспомогательные графические данные с вспомогательными значениями глубины и при необходимости дополнительные данные отображения, например, координаты x, y, извлекаются из сигнала отображения и объединяются с данными 3D изображения на дисплее 17.

Альтернативно, обработка для расположения вспомогательных графических данных выполняется в устройстве отображения. Данные 3D изображения и вспомогательные графические данные передаются сигналом 56 отображения, и устройство отображения имеет вспомогательный блок 19 обработки. Вспомогательный блок 19 обработки обрабатывает вспомогательные графические данные, которые должны быть объединены с данными 3D изображения на дисплее 3D. Средство 19, 18 обработки 3D изображений скомпоновано для соответствующих функций, описанных выше, для средства 11, 52 обработки 3D изображений в устройстве-источнике. В дополнительном варианте осуществления устройство-источник и устройство отображения объединены в одно устройство, при этом один набор средств обработки 3D изображений выполняет упомянутые функции.

На фиг.1 дополнительно показан носитель 54 записи, в качестве носителя данных 3D изображения. Носитель записи имеет форму диска и имеет дорожку и центральное отверстие. Дорожка, образованная последовательностью физически определимых маркеров, размещена в соответствии со схемой спиральных или концентрических витков, составляющих, по существу, параллельные дорожки на информационном слое. Носитель записи может быть оптически считываемым и называться оптическим диском, например, CD (компакт-диском), DVD (цифровым видеодиском) или BD (диском Blue-ray). Информация представлена на информационном слое оптически определимыми маркерами вдоль дорожки, например, впадинами и площадками. Структура дорожки содержит также позиционную информацию, например, заголовки и адреса, для указания местоположения части информации, обычно называемых информационными блоками. Носитель 54 записи несет информацию, представляющую цифровые кодированные данные изображения типа видео, например, кодированного в соответствии с системой кодирования MPEG2 или MPEG4, в предварительно заданном формате записи, например, формате DVD или BD.

В последующем разделе представлен общий обзор трехмерных дисплеев и восприятия глубины людьми. 3D дисплеи отличаются от 2D дисплеев по ощущениям тем, что 3D дисплеи могут обеспечивать более жизненное восприятие глубины. Это достигается тем, что они обеспечивают больше признаков глубины, чем 2-мерные дисплеи, которые могут представлять только монокулярные признаки глубины и признаки на основе движения.

Монокулярные (или статические) признаки глубины можно получать из статического изображения, с использованием одного глаза. Художники часто используют монокулярные признаки для создания ощущения глубины на картинах. Упомянутые признаки содержат относительные размеры, высоту относительно горизонта, преграждение, перспективу, изменение текстуры и освещение/тени. Глазодвигательные признаки являются признаками глубины, полученными из напряжения мышц глаз зрителя. Глаза снабжены мышцами для поворота глаз, а также для растяжения хрусталика глаза. Растяжение и расслабление хрусталика глаза называется аккомодацией и выполняется при фокусировке на изображении. Степень растяжения и расслабления мышц хрусталика обеспечивает признак о том, насколько далеко или близко находится объект. Поворот глаз совершается так, что оба глаза фокусируются на одном и том же объекте, что называется конвергенцией. И, наконец, существует параллакс движения, проявляющийся в том, что объекты, находящиеся ближе к зрителю, представляются двигающимися быстрее, чем объекты, находящиеся дальше.

Бинокулярная диспарантность является признаком глубины, который выводится из того, что оба наших глаза видят немного разное изображение. Монокулярные признаки глубины можно использовать и используются в 2D дисплее любого типа. Для воссоздания бинокулярной диспарантности в дисплее требуется, чтобы дисплей мог сегментировать вид для левого и правого глаза таким образом, чтобы каждый глаз видел немного отличающееся изображение на дисплее. Дисплеи, которые могут воссоздавать бинокулярную диспарантность, являются специальными дисплеями, которые в дальнейшем называются 3D или стереоскопическими дисплеями. 3D дисплеи способны отображать изображения с размерностью глубины, фактически воспринимаемой глазами человека, и в настоящем документе называются 3D дисплеем, обладающим диапазоном отображаемой глубины. Следовательно, 3D дисплеи обеспечивают разные виды для левого и правого глаза.

3D дисплеи, которые могут обеспечивать два разных вида, широко применяются уже давно. Большинство из них были основаны на использовании очков для разделения левого и правого видов. В настоящее время с развитием технологии отображения на рынке появились новые дисплеи, которые обеспечивают стереовидение, без использования очков. Эти дисплеи называются автостереоскопическими дисплеями.

Первый подход основан на ЖК-дисплеях, которые позволяют пользователю смотреть стереовидео без очков. Они основаны на любом из двух методов, дисплеях с линзорастровым экраном и барьерного типа. В случае линзорастрового дисплея ЖК-дисплей покрыт листом с линзами Френеля. Упомянутые линзы преломляют свет от дисплея таким образом, что левый и правый глаза принимают свет от разных пикселей. Это позволяет отображать два разных изображения, одно для левого и одно для правого взгляда.

Альтернативой линзорастровому экрану является дисплей барьерного типа, который использует параллаксный барьер за ЖК-дисплеем и перед подсветкой, чтобы отделить свет от пикселей в ЖК-дисплее. Барьер выполнен так, чтобы из установленного положения перед экраном левый глаз и правый глаз видели разные пиксели. Барьер может также находиться между ЖК-дисплеем и зрителем в таком положении, чтобы пиксели в строке дисплея были попеременно видимыми для левого и правого глаза. Проблемой дисплея барьерного типа является снижение яркости и разрешения, а также очень узкий угол обзора. Это делает упомянутый дисплей менее пригодным в качестве телевизора для жилого помещения по сравнению с линзорастровым экраном, который, например, обладает 9 видами и несколькими зонами наблюдения.

Дополнительный подход, по-прежнему, основан на использовании очков с активным затвором, в сочетании с высокоразрешающими компьютерными видеопроекторами, которые могут отображать кадры с высокой частотой обновления (например, 120 Гц). Высокая частота обновления требуется потому, что в способе с очками с активным затвором виды для левого и правого глаза отображаются попеременно. Зритель, пользующийся очками, воспринимает стереовидео с частотой 60 Гц. Способ с очками с активным затвором обеспечивает высокое качество видео и большой уровень глубины.

Как автостереоскопические дисплеи, так и способ очков с активным затвором, оба страдают от рассогласования между аккомодацией и конвергенцией. Это ограничивает значение глубины и время, в течение которого возможен комфортный просмотр, при использовании упомянутых устройств. Существуют дисплеи, созданные по другим технологиям, например, голографические и объемные дисплеи, которые не страдают от вышеупомянутой проблемы. Следует отметить, что настоящее изобретение можно применить для 3D дисплея любого типа, который обладает диапазоном глубины.

Предполагается, что данные изображения для 3D дисплеев доступны в виде электронных, обычно цифровых данных. Настоящее изобретение относится к упомянутым данным изображения и манипуляции данными изображения в цифровой области. Данные изображения, при передаче из источника, уже могут содержать 3D информацию, например, при использовании сдвоенных камер, или можно применить специализированную систему предварительной обработки для (вос)создания 3D информации из 2D изображений. Данные изображения могут быть статическими подобно слайдам или могут включать в себя видеодвижения, подобно кино. Другие данные изображения, обычно называемые графическими данными, могут быть доступны в виде сохраненных объектов или формируемых на лету, в зависимости от требований применения. Например, в другие данные изображения может быть добавлена информация пользовательского управления типа меню, элементов навигации или текста и комментариев для подсказки.

Существует много разных способов, которыми можно форматировать стереоизображения, называемых 3D форматом изображения. Некоторые форматы основаны на использовании 2D канала, чтобы нести также стереоинформацию. Например, левый и правый виды можно перемежать или можно располагать бок о бок и сверху и под. Упомянутые способы жертвуют разрешением для переноса стереоинформации. Альтернативный вариант жертвует цветом, данный подход называется анаглифическое стерео. Анаглифическое стерео использует спектральное мультиплексирование, которое основано на отображении двух раздельных налагающихся изображений в дополнительных цветах. При использовании очков с цветными фильтрами каждый глаз видит изображение только в цвете фильтра перед данным