Способ и система для кодирования сигнала трехмерного видео, кодер для кодирования сигнала трехмерного видео, кодированный сигнал трехмерного видео, способ и система для декодирования сигнала трехмерного видео, декодер для декодирования сигнала трехмерного видео

Способ и система для кодирования сигнала трехмерного видео, кодер для кодирования сигнала трехмерного видео, кодированный сигнал трехмерного видео, способ и система для декодирования сигнала трехмерного видео, декодер для декодирования сигнала трехмерного видео

Иллюстрации

Показать все

Реферат

Область техники

Изобретение относится к области кодирования и декодирования видео. Согласно настоящему изобретению представлены способ, система и кодер для кодирования сигнала трехмерного видео. Настоящее изобретение также относится к способу, системе и декодеру для декодирования сигнала трехмерного видео. Кроме того, настоящее изобретение относится к кодированному сигналу трехмерного видео.

Уровень техники

В последнее время растет интерес к области предоставления трехмерных изображений на трехмерных дисплеях. Предполагается, что технология формирования трехмерных изображений будет следующей по значимости инновацией в области формирования изображений после изобретения способа формирования цветных изображений. В ближайшее время ожидается вывод трехмерных дисплеев на рынок потребительских товаров.

Устройство трехмерного отображения, как правило, представляет собой экран, на котором отображаются изображения.

По существу, ощущение трехмерности может быть создано путем использования стереопар, то есть двух слегка отличающихся друг от друга изображений, направленных на два глаза наблюдателя.

Существует ряд способов произведения стереоизображений. Изображения могут быть мультиплексированы по времени на двумерном дисплее, но для этого требуется, чтобы наблюдатели носили очки с, например, LCD-затворами. Когда стереоизображения отображаются одновременно, изображения могут быть направлены на соответствующий глаз посредством головного дисплея, посредством поляризованных очков (в последнем случае изображения генерируются посредством ортогонально поляризованного света) путем использования очков с затворами. Очки наблюдающего эффективно направляют соответствующие правый и левый виды на соответствующие глаза. Затворы или поляризаторы в очках синхронизируются с частотой смены кадров, чтобы управлять трассировкой. Для предотвращения мерцания частота смены кадров должна быть вдвое больше либо разрешение должно быть вдвое меньше относительно двумерного эквивалентного изображения. Недостатком подобной системы является необходимость применения очков для создания стереоэффекта. Это вызывает неудобства для наблюдателей, которые не носят очки в повседневной жизни, и может вызвать потенциальную проблему для тех наблюдателей, которые уже носят очки, поскольку может быть невозможным одновременное применение двух пар очков.

Вместо разделения изображения вблизи глаз наблюдателя изображения также могут быть разделены на дисплее посредством разделительного экрана, такого как линзово-растровый экран, например, раскрытый в документе US 6118584, или параллактический барьер, например, раскрытый в документе US 5969850. Подобные устройства называются автостереоскопическими дисплеями, поскольку они обеспечивают (авто)стереоскопический эффект без применения очков. Известно несколько разных типов автостереоскопических устройств.

Независимо от типа используемого дисплея в устройство отображения должна быть введена информация трехмерного изображения. Обычно это выполняется в форме видеосигнала, содержащего цифровые данные.

Из-за огромных объемов данных, свойственных цифровым изображениям, обработка и/или передача сигналов цифрового изображения представляет существенные проблемы. Во многих случаях доступной вычислительной мощности и/или пропускной способности бывает недостаточно для обработки и/или передачи сигналов высококачественного видео. Более конкретно, каждый кадр цифрового изображения являет собой неподвижное изображение, формируемое из матрицы пикселей.

Исходные (необработанные) цифровые данные обычно имеют огромные объемы, что требует большой вычислительной мощности и/или высоких скоростей передачи, которые не всегда доступны. Для уменьшения объема передаваемых данных были предложены различные способы сжатия, такие как, например, MPEG-2, MPEG-4 и H.264.

Эти способы сжатия изначально были определены для стандартного двумерного видео/последовательностей изображений.

Когда содержимое отображается на автостереоскопическом трехмерном дисплее, должны быть сформированы множество видов, которые должны быть переданы в разных направлениях. Наблюдатель получает разные изображения на разных глазах, и эти изображения формируются так, что наблюдатель ощущает глубину. Разные виды представляют разные углы наблюдения. Тем не менее, на входных данных обычно виден только один угол наблюдения. Следовательно, в формируемых видах будет недоставать информации в областях позади, например, объектов переднего плана или информации о стороне объектов. Существуют различные способы для решения этой проблемы. Один из способов заключается в добавлении дополнительных точек наблюдения с разных углов (включая соответствующую информацию глубины), с которых могут быть сформированы промежуточные виды. Тем не менее, это существенно увеличивает объем данных. Кроме того, в сложных картинах требуется более чем один дополнительный угол наблюдения, что также увеличивает объем данных. Еще одно решение заключается в добавлении в изображение данных в форме данных загораживания, представляющих часть трехмерного изображения, которая скрыта за объектами переднего плана. Эта информация заднего плана сохраняется либо с того же угла наблюдения, либо также с бокового угла наблюдения. Все эти способы требуют дополнительной информации, причем слоистая структура для этой информации является наиболее эффективной.

Может существовать множество разных дополнительных слоев дополнительной информации, если в трехмерном изображении множество объектов расположены друг за другом. Количество дополнительных слоев может существенно увеличиться, в результате чего объем генерируемых данных достигает громадных размеров. Дополнительные слои данных могут быть разных типов, причем все эти типы входят в объем настоящего изобретения и обозначаются как дополнительные слои. В простой компоновке все объекты являются непрозрачными. Объекты заднего плана могут быть скрыты за объектами переднего плана, и для реконструкции трехмерного изображения могут потребоваться различные слои данных заднего плана. Для предоставления всей информации должны быть известны различные слои, из которых формируется трехмерное изображение. Предпочтительно, с каждым слоем заднего плана также ассоциирован слой глубины. В результате создается еще один тип дополнительных слоев данных. Еще сложнее ситуация, где один или более из объектов являются прозрачными. Для реконструкции трехмерного изображения требуются данные цвета, данные глубины, а также данные прозрачности для различных слоев, из которых формируется трехмерное изображение. Это обеспечивает возможность реконструкции трехмерных изображений, в которых некоторые или все объекты являются прозрачными. Задача еще более усложняется, когда различным объектам назначаются данные прозрачности, которые, опционально, также зависят от угла. Для некоторых объектов прозрачность зависит от угла, под которым наблюдатель смотрит через объект, поскольку под прямым углом прозрачность объекта обычно больше, чем под косым углом. Один из способов предоставления таких дополнительных данных заключается в предоставлении данных толщины. В результате добавляются дополнительные слои дополнительных данных. В очень сложном варианте осуществления прозрачные объекты могут иметь эффект фокусировки и каждому объекту также присваиваются данные эффекта фокусировки. Эффект отражения, например эффект зеркального отражения, формирует еще один набор данных.

Другие дополнительные слои данных могут представлять собой данные с боковых видов.

Если кто-то стоит перед объектом, таким как шкаф, боковая стенка этого объекта будет невидима. Даже если добавить данные объектов, расположенных позади шкафа, в различных слоях, эти слои данных все равно не обеспечат возможность реконструкции изображения на боковой стенке. Путем добавления данных бокового вида, предпочтительно с разных точек бокового наблюдения (слева и справа относительно главного вида), может быть реализована возможность реконструкции также и изображений боковой стенки. Информация бокового вида сама по себе может содержать несколько слоев информации с такими данными, как цвет, глубина, прозрачность, толщина относительно прозрачности и т.п. В результате добавляются дополнительные слои данных. В представлении с множеством видов количество слоев может возрасти очень быстро.

При добавлении новых эффектов или видов для предоставления более реалистического трехмерного вида требуются дополнительные слои данных как с позиции количества слоев объектов, так и с позиции разных типов данных, которые назначаются каждому слою объектов.

Как упомянуто выше, разные типы данных могут быть упорядочены по слоям, где относительно простые данные, такие как данные цвета и данные глубины, формируются в одном слое, а более сложные типы, такие как данные прозрачности, толщины, (зеркального) отражения, формируются в другом слое.

Таким образом, целью настоящего изобретения является предоставление способа кодирования данных трехмерного изображения, в котором объем генерируемых данных сокращается без или только с небольшой потерей данных. Предпочтительно эффективность кодирования имеет высокое значение. Кроме того, предпочтительно упомянутый способ совместим с существующими стандартами кодирования.

Еще одной целью настоящего изобретения является предоставление усовершенствованного кодера для кодирования сигнала трехмерного видео, декодера для декодирования сигнала трехмерного видео, а также предоставление сигнала трехмерного видео.

Раскрытие изобретения

Для этой цели способ кодирования согласно настоящему изобретению отличается тем, что он содержит этапы, на которых кодируют входной сигнал трехмерного видео, причем входной сигнал трехмерного видео содержит главный слой данных видео, карту глубины для главного слоя данных видео и дополнительные слои данных для главного слоя данных видео, причем сегменты данных, входящие в разные слои данных из числа главного слоя данных видео, карты глубины для главного слоя видео и дополнительных слоев данных, перемещаются в один или более общих слоев данных, при этом генерируется дополнительный поток данных, содержащий дополнительные данные, задающие исходную позицию и/или исходный дополнительный слой для каждого перемещенного сегмента данных.

Главный слой данных видео представляет собой слой данных, который принимается в качестве базового. Часто этот слой представляет собой вид, который отображался бы на двумерном дисплее. Часто этот вид представляет собой центральный вид, содержащий объекты центрального вида. Тем не менее, в рамках настоящего изобретения выбор кадра главного вида не ограничивается этим. Например, в некоторых вариантах осуществления центральный вид может состоять из нескольких слоев объектов, причем наиболее релевантная информация переносится не слоем, содержащим те объекты, большинство из которых располагаются на переднем плане, а следующим слоем объектов, например слоем объектов, которые находятся в фокусе, когда некоторые объекты переднего плана не в фокусе. Например, это может иметь место в случае, если маленький объект переднего плана перемещается между точкой наблюдения и наиболее интересными объектами.

В рамках настоящего изобретения дополнительные слои для главного слоя данных видео представляют собой слои, которые используются в сочетании с главным слоем данных видео при реконструкции трехмерного видео. Эти слои могут представлять собой слои заднего плана, если главный слой данных видео отображает объекты переднего плана, или они могут представлять собой слои переднего плана, если главный слой данных видео отображает объекты заднего плана, или как слои переднего плана, так и слои заднего плана, если главный слой данных видео содержит данные об объектах между объектами переднего плана и объектами заднего плана.

Эти дополнительные слои могут содержать слои заднего плана/переднего плана для главного слоя данных видео, для одной и той же точки наблюдения или содержать слои данных для боковых видов, которые должны использоваться в сочетании с главным слоем данных видео.

Различные данные, которые могут быть предоставлены в дополнительных слоях, включают в себя:

- данные цвета,

- данные глубины,

- данные прозрачности,

- данные отражающей способности,

- данные масштаба.

В предпочтительных вариантах осуществления настоящего изобретения дополнительные слои содержат данные изображения и/или глубины и/или дополнительные данные с той же точки наблюдения, что и вид для главного слоя данных видео.

Варианты осуществления в рамках настоящего изобретения также содержат данные видео с других точек наблюдения, такие как содержимое видео с множеством видов. В последнем случае слои/виды могут комбинироваться, поскольку большие части боковых видов могут быть реконструированы из центрального изображения и глубины, так что такие части боковых видов могут быть использованы для сохранения другой информации, такой как части из дополнительных слоев.

Дополнительный поток данных генерируется для сегментов, перемещаемых из дополнительного слоя в главный слой. Дополнительные данные в упомянутом дополнительном потоке данных задают исходную позицию и/или исходный дополнительный слой для сегмента. Этот дополнительный поток обеспечивает возможность реконструкции исходных слоев на стороне декодера.

В некоторых случаях перемещаемые сегменты сохранят свою позицию x-y и будут перемещены только в направлении общего слоя. В этих обстоятельствах будет достаточно, если дополнительный поток данных будет содержать данные для сегмента, задающие дополнительный слой источника.

В рамках настоящего изобретения общий слой может иметь сегменты главного слоя данных и сегменты дополнительных слоев данных. Примером является ситуация, где главный слой данных содержит большие куски неба. Такие части слоя часто могут быть представлены посредством параметров, описывающих размеры синей части и цвет (и, например, изменение цвета). Это создаст пространство на главном слое, в которое могут быть перемещены данные из дополнительных слоев. Это может дать возможность сокращения количества общих слоев.

С точки зрения обратной совместимости предпочтительными являются те варианты осуществления, в которых общие слои содержат только сегменты дополнительных слоев.

Отсутствие изменений главного слоя и, предпочтительно, отсутствие изменений карты глубины для главного слоя обеспечивают возможность простой реализации способа на существующих устройствах.

В рамках настоящего изобретения сегменты могут принять любую форму, но в предпочтительных вариантах осуществления данные обрабатываются на уровне гранулярности, соответствующем уровню гранулярности схемы кодирования видео, таком как, например, уровень макроблока.

Сегменты или блоки из разных дополнительных слоев могут иметь идентичные позиции x-y в исходных дополнительных слоях, например в разных слоях загораживания. В таких вариантах осуществления позиция x-y, по меньшей мере, некоторых сегментов в общем слое переупорядочивается и, по меньшей мере, некоторые блоки передислоцируются, то есть их позиция x-y смещается на еще пустую часть общего слоя данных. В таких вариантах осуществления дополнительный поток данных предоставляет для сегмента не только данные, указывающие исходный слой, то также данные, указывающие передислокацию. Данные передислокации могут быть представлены, например, в форме задания исходной позиции в исходном слое или в форме смещения относительно текущей позиции. В некоторых вариантах осуществления это смещение может быть одинаковым для всех элементов дополнительного слоя.

Перемещение в общий слой, включая возможную передислокацию, предпочтительно выполняется в той же позиции во времени, в которой выполняется передислокация в плоскости x-y. Тем не менее, в вариантах осуществления перемещение или передислокация также может выполняться вдоль временной оси. Если в сцене некоторое количество деревьев располагаются на одной линии и камера формирует панорамный кадр, так что в один момент эти деревья располагаются на одной линии, то возникает короткий интервал с большим объемом данных загораживания (по меньшей мере, несколькими слоями). В вариантах осуществления некоторые из этих макроблоков могут быть перемещены в общие слои предыдущего/следующего кадров. В таких вариантах осуществления дополнительный поток данных, связанный с перемещаемым сегментом, задает исходный дополнительный слой данных и включает в себя индикацию времени.

Перемещенные сегменты могут представлять собой обширные области, однако передислокация, предпочтительно, применяется к одному или более макроблокам. Предпочтительно будет закодирован дополнительный поток данных, содержащий информацию для каждого блока из общего слоя, включая их позицию в исходном дополнительном слое. Дополнительный поток также может содержать дополнительную информацию, которая, сверх того, задает экстра информацию относительно блоков или относительно слоя, в который входят эти блоки. В вариантах осуществления настоящего изобретения информация об исходном слое может быть явной, например, она может задавать сам слой. Тем не менее, в некоторых вариантах осуществления эта информация также может быть неявной.

Во всех случаях дополнительные потоки будут относительно небольшими из-за того, что один элемент данных описывает все 16×16 пикселей в макроблоке или даже больше пикселей в сегменте, причем это реализуется эксклюзивно и одновременно. Сумма эффективных данных увеличилась немного, однако количество дополнительных слоев существенно сократилось, что сокращает общий объем данных.

Общие слои, а также дополнительный поток или дополнительные потоки могут быть переданы, например, через ограниченный по полосе пропускания интерфейс монитора и переупорядочены обратно в исходную многослойную форму в самом мониторе (то есть, посредством внутреннего программного обеспечения монитора), после чего эти слои могут быть использованы для формирования трехмерного изображения. Настоящее изобретение позволяет передавать через интерфейс большее количество слоев при меньшей полосе пропускания. То есть сейчас ограничение ставится на объем данных дополнительного слоя, а не на количество слоев. Кроме того, этот поток данных может быть эффективно размещен в фиксированной форме данных типа изображения, так что обеспечивается совместимость с существующими интерфейсами дисплея.

В предпочтительных вариантах осуществления общие слои содержат сегмент данных одного и того же типа.

Как описано выше, дополнительные слои могут содержать данные разных типов, такие как цвет, глубина, прозрачность и т.п.

В рамках настоящего изобретения в некоторых вариантах осуществления данные разных типов комбинируются в общий слой. Так, общие слои могут содержать сегменты, содержащие, например, данные цвета, и/или сегменты, содержащие данные глубины и/или данные прозрачности. Дополнительный поток данных обеспечит возможность освобождения сегментов и реконструкции разных дополнительных слоев. Такие варианты осуществления предпочтительны в ситуациях, где количество слоев должно быть сокращено как можно больше.

В предпочтительных вариантах осуществления общие слои содержат сегмент данных одного и того же типа. Хотя это увеличит количество общих слоев, которые должны быть переданы, эти варианты осуществления обеспечивают возможность реализации менее сложного анализа на стороне реконструкции, поскольку каждый общий слой содержит данные только одного типа. В других вариантах осуществления общие слои содержат сегменты с данными ограниченного количества типов. Наиболее предпочтительной комбинацией является комбинация данных цвета и данных глубины, где другие типы данных размещаются в отдельных общих слоях.

В различных вариантах осуществления настоящего изобретения перемещение сегмента из дополнительного слоя данных в общий слой данных может быть выполнено на разных фазах либо в течение создания содержимого, где эти данные переупорядочиваются на уровне макроблока (макроблоки особо оптимальны для кодеров двухмерного видео), далее кодируются до кодера видео, или на стороне плеера, где множество слоев декодируются, и далее в реальном масштабе времени переупорядочиваются на уровне макроблока или более крупного сегмента. В первом случае сгенерированные координаты переупорядочивания также должны быть кодированы в поток видео. Недостатком может быть то, что это переупорядочивание может оказать отрицательное воздействие на эффективность кодирования видео. Во втором случае недостаток заключается в том, что отсутствует полное управление процессом переупорядочивания. Это особо выражается, когда присутствует слишком много макроблоков для объема возможных общих слоев на выходе, и макроблоки могут быть отброшены. Создатель содержимого, наверняка, пожелает управлять тем, что будет отброшено, а что нет. Также возможна комбинация этих двух вариантов. Например, кодирование всех слоев в исходном виде и дополнительное сохранение координат смещения, которые впоследствии могут быть использованы плеером для фактического смещения макроблоков в течение воспроизведения. Последняя опция позволит управлять тем, что может быть отображено, и также обеспечивает возможность обычного кодирования.

В дополнительных вариантах осуществления объем данных для стандартного изображения RGB+D, дополнительно, сокращается путем использования сокращенных цветовых пространств, в результате чего обеспечивается большая полоса пропускания, так что в страницах изображения может быть сохранено еще большее количество макроблоков. Например, это может быть реализовано путем кодирования RGBD-пространства в YUVD-пространство, где U и V подвергаются субдискретизации, что обычно для случая кодирования видео. Применение этого подхода на интерфейсе дисплея может создать больше места для информации. Также может быть отброшена обратная совместимость, так что канал глубины второго слоя может использоваться для настоящего изобретения. Еще один способ для создания больше пустого пространства заключается в использовании карты глубины с меньшим разрешением, так чтобы было место вне дополнительной информации глубины для хранения, например, изображения и блоков глубины с 3-го слоя. Во всех перечисленных случаях дополнительная информация на уровне макроблока или уровне сегмента может быть использована для кодирования масштаба сегментов или макроблоков.

Настоящее изобретение также реализовано в системе, содержащей кодер, и в кодере для кодирования сигнала трехмерного видео, причем кодированный сигнал трехмерного видео содержит главный слой данных видео, карту глубины для главного слоя данных видео и дополнительные слои данных для главного слоя данных видео, причем кодер содержит входы для дополнительных слоев, кодер содержит формирователь, который комбинирует сегменты данных из более чем одного дополнительного слоя в один или более общих слоев данных путем перемещения сегментов данных разных дополнительных слоев данных в общий слой данных и путем генерации дополнительного потока данных, который содержит идентификацию источника перемещаемых сегментов данных.

В предпочтительном варианте осуществления блоки передислоцируются только горизонтально, так что вместо полноразмерного и быстрого буфера кадров в декодере требуется только небольшая память размером приблизительно 16 строк. Если требуемый объем памяти небольшой, то может использоваться встроенная память. Эта память обычно является гораздо более быстродействующей, но в меньшей степени, чем отдельные чипы памяти. Предпочтительно также генерируются данные, задающие исходный слой загораживания. Тем не менее, эти данные также могут быть выведены из других данных, таких как данные глубины.

Было выявлено, что дополнительное уменьшение количества битов может быть достигнуто путем уменьшения объема дополнительных данных по способу, который отличается от способа уменьшения объема данных для главного слоя. Уменьшение объема данных в данных загораживания и, в особенности, для более глубоких слоев имеет только ограниченный эффект на качество, между тем сокращается количество битов в кодированном сигнале трехмерного видео.

Настоящее изобретение реализовано в способе для кодирования, но оно в равной степени реализовано в соответствующем кодере, имеющем средство для выполнения различных этапов упомянутого способа. Такое средство может быть предоставлено в аппаратном обеспечении, или программном обеспечении, или комбинации аппаратного обеспечения и программного обеспечения или условно-бесплатном программном обеспечении.

Настоящее изобретение также реализовано в сигнале, произведенном посредством данного способа кодирования, и в любом способе декодирования и декодере, используемых для декодирования подобных сигналов.

В частности, настоящее изобретения также реализовано в способе для декодирования кодированного сигнала видео, в котором декодируют сигнал трехмерного видео, который содержит кодированный главный слой данных видео, карту глубины для главного слоя данных видео и один или более общих слоев данных, содержащих сегменты из разных исходных дополнительных слоев данных, и дополнительный поток данных, содержащий дополнительные данные, задающие источник сегментов в общих слоях данных, причем эти исходные дополнительные слои реконструируются на основе общего слоя данных и дополнительного потока данных и генерируют трехмерное изображение.

Настоящее изобретение также реализовано в системе, содержащей декодер для декодирования кодированного сигнала видео, в котором сигнал трехмерного видео декодируется, причем этот сигнал трехмерного видео содержит кодированный главный слой данных видео, карту глубины для главного слоя данных видео и один или более общих слоев данных, содержащих сегменты из разных исходных дополнительных слоев данных, и дополнительный поток данных, содержащий дополнительные данные, задающие источник сегментов в общих слоях данных, причем декодер содержит считыватель для считывания главного слоя данных видео, одного или более слоев данных и дополнительного потока данных, и блок реконструкции для реконструкции исходных дополнительных слоев на основе общего слоя данных и дополнительного потока данных.

Настоящее изобретение также реализовано в декодере для такой системы.

В рамках настоящего изобретения источником сегментов данных является слой данных, из которого исходят эти сегменты данных, и позиция в этом слое данных. Источник также может указывать тип слоя данных, а также временной слот, в случае если сегменты данных перемещаются в общие слои в другом временном слоте.

Эти и другие аспекты настоящего изобретения более подробно описаны ниже со ссылкой на сопутствующие чертежи.

Краткое описание чертежей

Фиг.1 - иллюстрация примера устройства автостереоскопического отображения;

Фиг.2 и 3 - иллюстрации проблемы загораживания;

Фиг.4 - левый и правый виды сцены, сгенерированной компьютером;

Фиг.5 - иллюстрация представления с Фиг.4 в четырех картах данных: главный вид, карта глубины для главного вида и двух дополнительных слоев, данные загораживания и данные глубины для данных загораживания;

Фиг.6-9 - иллюстрации основного принципа настоящего изобретения;

Фиг.10 - иллюстрация еще одного варианта осуществления настоящего изобретения;

Фиг.11 - иллюстрация еще одного варианта осуществления настоящего изобретения;

Фиг.12 - схема последовательности операций для одного варианта осуществления настоящего изобретения;

Фиг.13 и 14 - иллюстрация кодера и декодера согласно настоящему изобретению;

Фиг.15 - иллюстрация одного аспекта настоящего изобретения;

Фиг.16 - иллюстрация одного варианта осуществления настоящего изобретения, в котором сегменты данных главного слоя перемещаются в общий слой.

Перечисленные чертежи представлены не в масштабе. Как правило, на чертежах идентичные компоненты обозначены одинаковыми ссылочными позициями.

Осуществление изобретения

Фиг.1 представляет собой иллюстрацию примера автостереоскопического устройства отображения. Данное устройство отображения содержит линзово-растровый экран 3 для формирования двух стереоизображений 5 и 6. Вертикальные линии двух стереоизображений поочередно (пространственно) отображаются на, например, пространственном модуляторе 2 света (например, ЖК-экране) с тыловой подсветкой 1. В сочетании тыловая подсветка и пространственный модулятор света формируют матрицу пикселей. Структура линз линзово-растрового экрана 3 направляет стереоизображение на соответствующий глаз наблюдателя. В данном примере показаны два изображения. Настоящее изобретение не ограничивается структурой с двумя видами. По существу, чем больше видов должно быть сформировано, тем больше информации должно быть кодировано, и тем более эффективно настоящее изобретение. Тем не менее, для простоты описания на Фиг.1 проиллюстрирована ситуация с двумя видами. Следует отметить, что важным преимуществом настоящего изобретения является то, что множество (типов) слоев обеспечивают возможность более широкого бокового обзора и/или реализации дисплеев с большим диапазоном глубины, поскольку обеспечивается более эффективное декодирование и сохранение широких конусов наблюдения.

На Фиг.2 и 3 проиллюстрирована проблема загораживания. Линия, обозначенная термином "задний план", является задним планом, а линия, обозначенная термином "передний план", представляет объект, который расположен перед задним планом. Обозначения "левый" и "правый" представляют два вида этой сцены. Эти два вида могут представлять собой, например, левый и правый вид для стереоизображения либо крайние два вида в случае использования n-мерного дисплея. Линии, обозначенные как L+R, могут быть видны с обоих видов, тогда как часть L может быть видна только с левого вида, а часть R может быть видна только с правого вида. Следовательно, часть R не может быть видна с левого вида, а часть L не может быть видна с правого вида. На Фиг.3 центр обозначает главный вид. Как показано на этой фигуре, доля (L1 и, соответственно, R1) части L и R заднего плана, показанного на Фиг.3, может быть видна с главного вида. Тем не менее, некоторая доля части L и R невидима с главного вида, поскольку она скрыта за объектом переднего плана. Эти области, обозначенные как Oc, скрыты для главной точки наблюдения, но видны с левой и правой точек наблюдения. Как показано, области загораживания, как правило, образуются по краям объектов переднего плана. При использовании сочетания двухмерного изображения и глубины определенные части трехмерного изображения не могут быть реконструированы. Генерация трехмерных данных только из главного вида и карты глубины создает проблемы для загороженных областей. Данные частей изображения, которые скрыты за объектами переднего плана, неизвестны. Более подходящее формирование трехмерного изображения может быть получено путем добавления информации объектов, загороженных позади других объектов в главном виде. Может быть множество объектов, скрытых друг за другом, так что эта информация наилучшим образом разделяется по слоям. В лучшем случае для каждого слоя предоставляются не только данные изображения, но также данные глубины. В случае, когда объекты являются прозрачными и/или присутствуют данные отражения, эти оптические величины также должны быть разделены по слоям. По существу, для большей реалистичности можно дополнительно предоставить информацию о разных слоях объектов также и для боковых видов. Более того, в случае, если количество видов и точность трехмерного формирования изображения должна быть улучшена, также можно кодировать не только центральный вид, но и левый и правый виды, или даже большее количество видов.

Более подходящие карты глубины обеспечат возможность отображения на трехмерных дисплеях с большой глубиной и большим углом обзора. Увеличение в воспроизведении глубины приведет к видимым дефектам вокруг разрывов глубины по причине недостатка данных загораживания. Следовательно, настоящие изобретатели осознали необходимость точных и дополнительных данных для высококачественных карт глубины и дисплеев с большой глубиной. Следует отметить, что "карта глубины" должна быть интерпретирована в рамках настоящего изобретения в широком смысле, как состоящая из данных, которые предоставляют информацию о глубине. Это может быть реализовано в форме информации глубины (z-величине) или информации расхождения, которая схожа с глубиной. Глубина и расхождение могут быть легко преобразованы друг в друга. В настоящем изобретении вся такая информация обозначается как "карта глубины", независимо от представленной формы.

Фиг.4 представляет собой иллюстрацию левого и правого видов сцены, сгенерированной компьютером. На данной иллюстрации мобильный телефон парит в виртуальной комнате с желтым мозаичным полом и двумя стенами. В левом виде ясно видна женщина, тогда как на правом виде она не видна. С другой стороны, на правом виде видна коричневая корова, которая не видна на левом виде.

На Фиг.5 показана та же сцена, что и описанная выше со ссылкой на Фиг.4. В данном случае эта сцена согласно настоящему изобретению представлена посредством четырех карт данных:

- карта с данными изображения для главного вида (5a),

- карта глубины для главного вида (5b),

- данные изображения для карты загораживания для главного вида (5c), то есть части изображения, скрытой позади объекта переднего плана, и

- карта глубины для данных загораживания (5d).

Зона охвата функциональных данных загораживания определяется картой глубины главного вида и диапазоном глубины/трехмерным конусом предполагаемых трехмерных дисплеев. По существу, она соответствует линиям шагов в глубине главного вида. Области, содержащиеся в данных загораживания, цвета (5a) и глубины (5d), формируются в этом примере посредством полос, следующих по контуру мобильного телефона. Эти полосы (которые, таким образом, определяют размер данных загораживания) могут быть определены различными способами:

- как ширина, соответствующая максимальному диапазону видов и шагу глубины;

- как стандартная ширина;

- как ширина, которая должна быть установлена;

- как область, смежная с контуром мобильного телефона (с наружной и/или с внутренней стороны). В рамках настоящего изобретения в этом примере присутствует два дополнительных слоя - слой, представленный посредством номера 5c, то есть данные изображения, и слой, представленный посредством 5d, то есть карта глубины.

Фиг.5a представляет собой иллюстрацию данных изображения для главного вида, а Фиг.5b представляет собой иллюстрацию данных глубины для главного вида.

Карта 5b глубины являет собой плотную карту. В этой карте глубины светлые части представляют объекты, которые расположены близко к наблюдателю, а темные части представляют объекты, которые расположены дальше от наблюдателя.

Согласно примеру настоящего изобретения, проиллюстрированному на Фиг.5, функциональные дополнительные данные ограничиваются полосой с шириной, которая соответствует данным той области, которая будет видна при заданной карте глубины и максимальном сдвиге влево и вправо. Остальная часть данных в слоях 5c и 5d, то есть пустая область вне упомянутых полос, является нефункциональной.

Большинство стандартов кодирования цифрового видео поддерживают дополнительные каналы данных, которые могут быть либо на уровне видео, либо на уровне системы. При доступности этих каналов передача дополнительных данных может быть реализована напрямую.

Фиг.5e представляет собой иллюстрацию еще одного простого варианта осуществления настоящего изобретения: слои 5c и 5d комбинируются