Способ и система для кодирования сигнала трехмерного видео, инкапсулированный сигнал трехмерного видео, способ и система для декодера сигнала трехмерного видео

Способ и система для кодирования сигнала трехмерного видео, инкапсулированный сигнал трехмерного видео, способ и система для декодера сигнала трехмерного видео

Иллюстрации

Показать все

Реферат

Область техники

Настоящее изобретение относится к области кодирования и декодирования видео. Согласно настоящему изобретению представлены способ и система для кодирования сигнала трехмерного видео. Настоящее изобретение также относится к способу и системе для декодирования сигнала трехмерного видео. Кроме того, настоящее изобретение относится к кодированному сигналу трехмерного видео.

Уровень техники

В последнее время растет интерес к области предоставления трехмерных изображений на трехмерных дисплеях. Предполагается, что технология формирования трехмерных изображений будет следующей по значимости инновацией в области формирования изображений после изобретения способа формирования цветных изображений. В ближайшее время ожидается вывод автостереоскопических дисплеев на рынок потребительских товаров.

Устройство трехмерного отображения, как правило, представляет собой экран, на котором отображаются изображения.

По существу, ощущение трехмерности может быть создано путем использования стереопар, то есть, двух слегка отличающихся друг от друга изображений, направленных на два глаза наблюдателя.

Существует ряд способов произведения стереоизображений. Изображения могут быть мультиплексированы по времени на двумерном дисплее, но для этого требуется, чтобы наблюдатели носили очки с, например, LCD-затворами. Когда стереоизображения отображаются одновременно, то изображения могут быть направлены на соответствующий глаз посредством головного дисплея или посредством поляризованных очков (в последнем случае изображения генерируются посредством ортогонально поляризованного света). Используемые наблюдателем очки эффективно направляют соответствующие виды на каждый глаз. Затворы или поляризаторы в очках синхронизируются с частотой смены кадров, чтобы управлять трассировкой. Для предотвращения мерцания частота смены кадров должна быть вдвое больше, либо разрешение должно быть вдвое меньше относительно двумерного эквивалентного изображения. Недостатком подобной системы является необходимость применения очков для создания стереоэффекта. Это вызывает неудобства для наблюдателей, которые не носят очки в повседневной жизни, и может вызвать потенциальную проблему для тех наблюдателей, которые уже носят очки, поскольку может быть невозможным одновременное применение двух пар очков.

Вместо разделения изображения вблизи глаз наблюдателя, два стереоизображения могут быть разделены на дисплее посредством разделительного экрана, такого как параллактический барьер, например, раскрытый в патенте США № 5969850. Подобное устройство называют автостереоскопическим дисплеем, поскольку оно само обеспечивает стереоскопический эффект без применения очков. Известно несколько разных типов автостереоскопических устройств.

Независимо от типа используемого дисплея, в устройство отображения должна быть введена информация трехмерного изображения. Обычно это выполняется в форме видеосигнала, содержащего цифровые данные.

Из-за огромных объемов данных, свойственных цифровым изображениям, обработка и/или передача сигналов цифрового изображения представляет существенные проблемы. Во многих случаях доступной вычислительной мощности и/или пропускной способности бывает недостаточно для обработки и/или передачи сигналов высококачественного видео. Более конкретно, каждый кадр цифрового изображения являет собой неподвижное изображение, формируемое из матрицы пикселей.

Сырые цифровые данные обычно имеют огромные объемы, что требует большой вычислительной мощности и/или высоких скоростей передачи, которые не всегда доступны. Для уменьшения объема передаваемых данных были предложены различные способы сжатия, такие как, например, MPEG-2, MPEG-4 и H.263.

Эти способы сжатия изначально были определены для стандартных двумерных изображений.

Генерация трехмерных изображений обычно выполняется путем преобразования входного кодированного сигнала двумерного видео в сигнал трехмерного видео на стороне дисплея. Входные последовательности двумерных данных преобразуются в последовательности трехмерных данных непосредственно до отображения видеопоследовательности. Часто на стороне дисплея, к пикселям двумерного изображения добавляется карта глубины, которая предоставляет информацию о глубине заданного пикселя в изображении и, соответственно, предоставляет информацию трехмерного изображения. Используя карту глубины для изображения можно построить левое и правое изображения, которые предоставляют трехмерное изображение. Относительная глубина объектов в двумерном изображении может быть выведена, например, исходя из фокуса (сфокусированное изображение, несфокусированное изображение) или того, как объекты загораживают друг друга.

Поскольку трехмерная информация, генерируемая на стороне дисплея, будет иметь дефекты, существует необходимость в генерации улучшенной трехмерной информации. Трехмерная информация, которая генерируется на стороне получения, может обеспечить более высокое качество трехмерного изображения благодаря:

- возможности большей вычислительной мощности на стороне получения,

- возможности оффлайновой обработки,

- возможности ручного вмешательства.

Если трехмерная информация генерируется на стороне получения, то требуется выполнить передачу этой информации, и для сокращения дополнительной служебной информации в терминах битовой скорости требуется сжатие трехмерной информации. Предпочтительно, сжатие (или кодирование) трехмерной информации выполняется посредством существующих стандартов сжатия с относительно небольшими изменениями.

Часто трехмерная информация задается в форме изображения с картой глубины (z-картой).

Карты глубины с более высоким качеством обеспечивают возможность трехмерным дисплеям производить большую глубину. Тем не менее, увеличение в воспроизведении глубины приводят к видимым дефектам вокруг разрывов глубины. Эти видимые дефекты существенно ухудшают положительный эффект улучшенных карт глубины. Сверх того, пропускная способность ограничена, и эффективность кодирования имеет очень большое значение.

Соответственно, задачей настоящего изобретения является предоставление способа кодирования данных трехмерного изображения на стороне передачи, причем видимые дефекты вокруг разрывов глубины для отображаемого изображения сокращаются, тогда как объем данных удерживается в допустимых пределах. Предпочтительно, эффективность кодирования имеет высокое значение. Кроме того, предпочтительно, упомянутый способ совместим с существующими стандартами кодирования.

Еще одной задачей настоящего изобретения является предоставление усовершенствованного кодера для кодирования сигнала трехмерного видео, декодера для декодирования сигнала трехмерного видео, а также предоставление сигнала трехмерного видео.

Сущность изобретения

Для решения этой задачи упомянутый способ кодирования согласно настоящему изобретению отличается тем, что он содержит этап, на котором кодируют сигнал трехмерного видео, причем упомянутый кодированный сигнал трехмерного видео содержит видеокадр центрального вида, карту глубины для видеокадра центрального вида и кадр данных загораживания для видеокадра центрального вида, причем под управлением данных в карте глубины для центрального вида, для кадра данных загораживания генерируется средство индикации для различения функциональных данных в кадре данных загораживания от нефункциональных данных, причем впоследствии кадр данных загораживания кодируют.

На практике это означает, что в кадре данных загораживания существуют области, для которых не генерируются какие-либо релевантные данные загораживания (то есть, нефункциональные данные). Способ содержит "функцию переключения", причем переключение имеет, по меньшей мере, две установки, в одной из которых данные распознаются как нефункциональные, то есть, независящие от фактического содержимого видео и/или нерелевантные, а в другой установке данные распознаются как функциональные, то есть, зависящие от содержимого видео и релевантные. Способность различения нефункциональных данных от функциональных позволяет увеличить эффективность кодирования и/или сократить количество передаваемых битов.

В предпочтительных вариантах осуществления кадр данных загораживания кодируется после кодирования карты глубины. В принципе, может использоваться исходная карта глубины. Тем не менее, на стороне декодера будет использован обратный процесс, причем на стороне декодера будет доступна только кодированная версия и "исходник" будет недоступен. Использование исходника на стороне кодера вместо кодированной/декодированной версии приводит к неопределенности, поскольку процесс на стороне декодера не будет идентичен.

В одном варианте осуществления, под управлением данных в карте глубины в кадре данных загораживания генерируется фиксированная величина или величина в фиксированном диапазоне, которая используется в качестве средства индикации для различения нефункциональных данных.

Подобная фиксированная величина (например, чистый черный или чистый белый) далее интерпретируется декодером и определяется, что хотя пиксель кадра данных загораживания может иметь некоторое значение, а именно фиксированную величину или величину в фиксированном диапазоне, он не должен обрабатываться как действительные данные загораживания, то есть, он не содержит релевантной информации видео. Это позволяет существенно сократить количество битов и повысить эффективность кодирования. Дополнительное преимущество может быть достигнуто, если фиксированный диапазон выбирается в качестве величины (например, чистый черный), которая, как правило, генерируется в случае наличия ошибки в изображении. Предпочтительно, любые функциональные данные фиксированной величины или в фиксированном диапазоне заменяются на величину, которая отличается от упомянутой фиксированной величины или лежит вне упомянутого фиксированного диапазона величин, чтобы исключить эту фиксированную величину или диапазон величин для функциональных данных. Это может быть с легкостью реализовано, например, путем отсечения данных загораживания. Отсечение предоставит "свободный диапазон" (то есть, отсеченные величины) величин, одна или все из которых могут быть использованы в качестве средства индикации для нефункциональных данных.

В подобных вариантах осуществления индикация в явном виде включается в данные в кадре данных загораживания, то есть, определенные величины соответствуют нефункциональным данным.

Предпочтительно фиксированная величина или фиксированный диапазон внедряется в видеосигнал в виде метаданных.

Средство индикации также может иметь форму вставляемого в поток данных параметра, который позволяет декодеру различать нефункциональные данные от функциональных данных внутри кадра данных загораживания.

Настоящее изобретение основано на следующих принципах:

Карта глубины генерируется на стороне получения изображения, что обеспечивает возможность получения лучших карт глубины, поскольку на стороне получения доступно больше информации с большей степенью детализации.

Предоставление кадра данных загораживания для кадра центрального вида обеспечивает возможность существенного улучшения качества трехмерного изображения по сравнению со случаем генерации данных загораживания на принимающей стороне.

Способность различения функциональных данных от нефункциональных данных, например, посредством использования фиксированных величин в кадре данных загораживания, значительно уменьшает объем передаваемых данных и увеличивает эффективность кодирования.

Данные карты глубины могут предоставлять очень хорошую базу для различения функциональных данных от нефункциональных данных.

Настоящее изобретение также реализовано в кодере для кодирования сигнала трехмерного видео, причем кодированный сигнал трехмерного видео содержит видеокадр центрального вида, карту глубины для видеокадра центрального вида и кадр данных загораживания для видеокадра центрального вида, причем кодер содержит входы для кадров данных центрального вида, карт глубины для кадра данных центрального вида и кадров данных загораживания, которые требуется кодировать, причем кодер содержит контроллер, который на основании данных для карты глубины управляет переключателем, который для упомянутого кадра данных загораживания генерирует либо нефункциональные данные, либо функциональные данные.

Предпочтительно, в управлении применяется пороговая величина разрыва глубины, причем разрыв глубины в карте глубины, который меньше упомянутой пороговой величины, является определяющим фактором. Предпочтительно данные загораживания генерируются после кодирования карты глубины. Это обусловлено тем, что данные загораживания генерируются, если разрыв глубины достаточно большой (выше определенной пороговой величины) и разрывы глубины варьируют между исходной и кодированной картой глубины из-за сжатия. Так, если данные загораживания не определены на декодированной карте глубины, использованная пороговая величина может быть ниже действительно заданной пороговой величины. Это может привести к большему объему данных загораживания, чем строго необходимо, что в свою очередь приводит к более высокой битовой скорости.

Разрывы глубины возникают, когда разница между величинами глубины соседних пикселей имеет большое значение. Факт, что один объект может быть скрыт за другим, может быть выведен из скачкообразных изменений величины глубины. Внезапное изменение является индикацией изменения в изображении с объектов переднего плана на объекты заднего плана или (более обобщенно) с одного объекта на другой. Плавные изменения величин указывают на изменения внутри объекта. Данные загораживания генерируются только тогда, когда разрывы глубины (то есть, изменение величины глубины между смежными пикселями) больше пороговой величины, то есть, когда они имеют достаточно высокое значение.

Данные загораживания генерируются для областей "расположенных за объектом переднего плана", то есть, для областей, расположенных рядом с линиями или точками, где изменение величины глубины больше пороговой величины. Подобные области можно с легкостью различить по разрывам глубины в изображении, которые выше пороговой величины. Предпочтительно, пороговая величина вычисляется из данных в карте глубины. Это реализуется в контроллере. Альтернативно, пороговая величина может быть установлена равной фиксированной величине, но, предпочтительно, она вычисляется динамически, поскольку различные изображения могут иметь разное содержимое, причем упомянутое содержимое влияет на оптимальную пороговую величину. Контроллер, предпочтительно, имеет вывод для вставки пороговой величины, используемой в кодированных данных трехмерного изображения. Эта пороговая величина может быть использована в декодере, благодаря чему исключается необходимость в декодере для установки используемой пороговой величины.

Было выявлено, что дополнительное уменьшение количества битов может быть достигнуто путем уменьшения объема данных в кадре данных загораживания.

Данные загораживания заполняют края вокруг объектов переднего плана. Уменьшение объема данных в кадре данных загораживания имеет только ограниченный эффект на качество, между тем сокращается количество битов в кодированном сигнале трехмерного видео.

В предпочтительном варианте осуществления контроллер имеет вход для битовой скорости кодированного кадра данных загораживания.

Таким образом, контроллер может регулировать параметры, посредством которых выполняется различение между "функциональными" и "нефункциональными" данными, и, соответственно, контроллер может регулировать объем функциональных данных относительно объема нефункциональных данных в кадрах данных загораживания. Это обеспечивает возможность ручного вмешательства. На практике, это может, например, означать, что пороговая величина регулируется в зависимости от битовой скорости таким образом, что если возникает опасность превышения назначенной битовой скорости для кадра данных загораживания, то пороговая величина увеличивается, так что области кадра с функциональными данными сокращаются.

В еще одном варианте осуществления кадра глубины видео и кадр данных загораживания кодируются, причем кадр данных загораживания кодируется с использованием одного или более кадров центрального вида в качестве опорного кадра.

Согласно наблюдениям, для предпочтительных вариантов осуществления эффективность кодирования кадра данных загораживания существенно повысилась, когда для кадров данных загораживания использовались опорные кадры с центрального вида. Сначала это может показаться неожиданным, поскольку данные загораживания содержат данные, которые невидимы в центральном виде и, соответственно, недоступны в кадре центрального вида. Тем не менее, корреляция данных загораживания с данными центрального вида вблизи объекта переднего плана в центральном виде может быть высокой из-за движения объекта переднего плана. Было выявлено, что использование опорного кадра (кадров) из центрального вида для кодирования кадра данных загораживания значительно повышает эффективность кодирования данных загораживания.

Объем данных загораживания ограничивается картой глубины видео. В рамках настоящего изобретения генерация кадра данных загораживания, предпочтительно, также ограничивается максимальным диапазоном углов наблюдения. Объем данных загораживания, таким образом, ограничивается картой глубины видео и (в предпочтительном варианте осуществления) максимальным диапазоном видов или максимальным углом наблюдения. В подобных вариантах осуществления данные загораживания ограничиваются данными, которые можно видеть при заданной карте глубины и максимальном сдвиге (то есть, угле наблюдения) влево и вправо. Таким образом, объем дополнительных данных, сверх объема, необходимого для данных центрального вида и карты глубины для данных центрального вида, ограничен и требуется только ограниченное количество дополнительных битов. Контроллер в декодере, предпочтительно, имеет вход для максимального диапазона углов наблюдения.

В настоящем изобретении данные загораживания генерируются на стороне сбора видеоданных.

Как упоминалось выше, известно, что на конце приемника генерируют некоторый тип данных загораживания. Тем не менее, когда это реализуется на конце приемника на основании центрального вида и карты глубины для центрального вида, то невозможно в точности реконструировать данные загораживания, то есть, конструировать то, что находится за объектами переднего плана, поскольку фундаментально неизвестно, что находится за объектом переднего плана в центральном виде. Данные загораживания обычно генерируются из центрального вида посредством алгоритма типа "обоснованного предположения". Отсутствующие части заполняются по предположению.

Сверх того, полноценные трехмерные способы полностью не совместимы с настоящими методами кодирования, либо эта совместимость связана со сложностями. В настоящем изобретении все кодированные данные относятся только к одной точке наблюдения и одной координатной системе, что облегчает обеспечение совместимости с существующими способами.

В обработке видеосигнала, сигнал содержит кадры, кодированные по схеме внутрикадрового кодирования и межкадрового кодирования, например, I-кадры, P-кадры и B-кадры. I-кадры кодируются внутри кадра. P-кадры и B-кадры называют кадрами, кодированными по схеме межкадрового кодирования. При внутрикадровом кодировании кадры могут быть реконструированы без ссылки на другие кадры, тогда как при межкадровом кодировании кадры реконструируются с помощью данных других кадров (предсказание вперед или назад).

Настоящее изобретение реализовано в способе кодирования, но оно в равной степени реализовано в соответствующем кодере, имеющем средство для выполнения различных этапов упомянутого способа. Подобное средство может быть предоставлено аппаратным или программным образом, либо как сочетание аппаратного или программного обеспечения.

Настоящее изобретение также реализовано в сигнале, произведенном посредством способа кодирования, и в любом способе декодирования и декодере, используемых для декодирования подобных сигналов.

В частности, настоящее изобретение также реализовано в способе для декодирования кодированного видеосигнала, где декодируют сигнал трехмерного видео, причем упомянутый сигнал трехмерного видео содержит кодированный видеокадр центрального вида, карту глубины для видеокадра центрального вида и кадр данных загораживания для видеокадра центрального вида, причем кодированный видеосигнал содержит индикации для различения нефункциональных данных загораживания от функциональных данных загораживания, причем при декодировании производится комбинированный поток данных, содержащий функциональные данные загораживания и данные центрального вида.

Настоящее изобретение также реализовано в декодере для декодирования кодированного видеосигнала, где декодируют сигнал трехмерного видео, причем упомянутый сигнал трехмерного видео содержит кодированный видеокадр центрального вида, карту глубины для видеокадра центрального вида и кадр данных загораживания для видеокадра центрального вида, причем кодированный видеосигнал содержит индикации для различения нефункциональных данных загораживания от функциональных данных загораживания, причем декодер содержит объединитель для произведения комбинированного потока данных, причем упомянутый комбинированный сигнал содержит функциональные данные загораживания и данные центрального вида.

Краткое описание чертежей

Эти и другие аспекты настоящего изобретения более подробно описаны ниже, со ссылкой на сопутствующие чертежи, на которых:

Фиг.1 - иллюстрация примера автостереоскопического устройства отображения;

Фиг.2 и 3- иллюстрации проблемы загораживания;

Фиг.4 - левый и правый виды сцены, сгенерированной компьютером;

Фиг.5 - иллюстрация представления с Фиг.4 в трех картах данных - центральный вид, карта глубины для центрального вида и данные загораживания для центрального вида;

Фиг.6 - иллюстрация схемы кодирования и кодера согласно настоящему изобретению;

Фиг.7 - иллюстрация одного варианта осуществления схемы декодирования и декодера согласно настоящему изобретению;

Фиг.8 - иллюстрация еще одного варианта осуществления схемы декодирования и декодера согласно настоящему изобретению;

Фиг.9 - иллюстрация данных центрального вида и данных загораживания в большом масштабе, где видно выравнивание данных загораживания по блочной сетке;

Фиг.10 - иллюстрация схем кодирования/декодирования;

Фиг.11 и 12 - иллюстрация дополнительных схем кодирования/декодирования;

Фиг.13 - иллюстрация способа кодирования с использованием кадров центрального вида в качестве опорных кадров при кодировании кадров загораживания;

Фиг.14 - иллюстрация способа кодирования с использованием карт глубины для кадров центрального вида в качестве опорных кадров при кодировании карт глубины для кадров загораживания;

Фиг.15 - иллюстрация этапа декодирования, на котором опорный кадр центрального вида используется при декодировании кадров загораживания;

Фиг.16 - иллюстрация еще одного варианта осуществления настоящего изобретения.

Перечисленные фигуры вычерчены не в масштабе. Как правило, на фигурах идентичные компоненты обозначены одинаковыми ссылочными номерами.

Подробное описание предпочтительных вариантов осуществления

Фиг.1 представляет собой иллюстрацию примера автостереоскопического устройства отображения. Данное устройство отображения содержит двояковыпуклый экран 3 для формирования двух стереоизображений 5 и 6. Вертикальные линии двух стереоизображений поочередно (пространственно) отображаются на, например, пространственном модуляторе 2 света (например, ЖК-экране) с тыловой подсветкой 1. В сочетании тыловая подсветка и пространственный модулятор света формируют матрицу пикселей. Структура линз двояковыпуклого экрана 3 направляет стереоизображение на соответствующий глаз наблюдателя.

На Фиг.2 и 3 проиллюстрирована проблема загораживания. Линия, обозначенная термином "Задний план", является задним планом, а линия, обозначенная термином "Передний план", представляет объект, который расположен перед задним планом. Обозначения "Левый" и "Правый" представляют два вида этой сцены. Эти два вида могут представлять собой, например, левый и правый вид для стереоизображения, либо крайние два вида в случае использования n-мерного дисплея. Остающиеся n-2 вида, необходимые для n-мерного дисплея, должны генерироваться на стороне дисплея. Линии, обозначенные как L+R, могут быть видны с обоих видов, тогда как часть L может быть видна только с Левого вида, а часть R может быть видна только с Правого вида. Следовательно, часть R не может быть видна с Левого вида, а часть L не может быть видна с Правого вида. На Фиг.3 центр обозначает центральный вид. Как показано на этой фигуре, доля (L1 и, соответственно, R1) части L и R заднего плана, показанного на Фиг.3, может быть видна с центрального вида. Тем не менее, некоторая доля части L и R невидима с центрального вида, поскольку она скрыта за объектом переднего плана. Эти области, обозначенные как Oc, скрыты для центральной точки наблюдения, но видимы с других точек наблюдения. Как показано, области загораживания, как правило, образуются по краям объектов переднего плана. Генерация трехмерных данных только на основании центрального вида и карты глубины создает проблемы для загороженных областей. Данные частей изображения, которые скрыты за объектами переднего плана, неизвестны.

Лучшие карты глубины обеспечивают возможность трехмерным дисплеям производить большую глубину. Увеличение в воспроизведении глубины приведет к видимым дефектам вокруг разрывов глубины по причине недостатка данных загораживания. Следовательно, настоящие изобретатели осознали необходимость данных загораживания для высококачественных карт глубины.

Фиг.4 представляет собой иллюстрацию левого и правого видов сцены, сгенерированной компьютером. На данной иллюстрации мобильный телефон парит в виртуальной комнате с желтым мозаичным полом и двумя стенами. В левом виде ясно видна фермерша, тогда как на правом виде она не видна. С другой стороны, на правом виде видна коричневая корова, которая не видна на левом виде.

На Фиг.5 показана сцена, описанная выше. В данном случае, согласно настоящему изобретению упомянутая сцена представлена в трех картах данных - карте с данными изображения для центрального вида, карте глубины для центрального вида и карте загораживания для центрального вида, причем данные загораживания определяются посредством карты глубины видео. Размеры функциональных данных загораживания определяются посредством карты глубины. По существу, это соответствует линиям шагов в глубине центрального вида. Области, содержащиеся в данных загораживания, формируются в этом примере посредством полосы, соответствующей контуру мобильного телефона. Эта полоса (которая, таким образом, определяет размер данных загораживания) может быть определена различными способами:

- как ширина, соответствующая максимальному диапазону видов и шагу глубины;

- как стандартная глубина;

- как ширина, которая должна быть установлена;

- как область, смежная с контуром мобильного телефона (с наружной и/или с внутренней стороны).

Карта глубины являет собой плотную карту. В карте глубины светлые части представляют объекты, которые расположены близко, и чем темнее карта глубины, тем дальше находится объект от наблюдателя.

Согласно примеру настоящего изобретения, проиллюстрированному на Фиг.5, функциональные данные загораживания определяются полосой с шириной, которая соответствует ограничению данных тем объемом, который будет виден при заданной карте глубины и максимальном сдвиге влево и вправо. Остальная часть данных загораживания является нефункциональной.

Большинство стандартов кодирования цифрового видео поддерживают дополнительные каналы данных, которые могут быть либо на уровне видео, либо на уровне системы. При доступности этих каналов, передача данных загораживания может быть реализована напрямую.

Фиг.6 представляет собой иллюстрацию одного варианта осуществления способа кодирования и кодера согласно настоящему изобретению. Кодер принимает три потока данных - данные 61, предоставляющие данные для центрального вида, данные 62, предоставляющие карты глубины для центрального вида, и данные 63, предоставляющие данные загораживания. Для каждого из этих потоков данных присутствует кодер: для данных центрального вида - Кодер ЦВ, для карты глубины данных центрального вида - Кодер ЦВ(z), для данных загораживания - Кодер ЗГРЖ, и для опциональной карты глубины для данных загораживания - Кодер ЗГРЖ(z). Кадр данных загораживания может представлять собой большой набор данных.

Эти данные также могут содержать карту глубины для данных загораживания, как схематически показано в самой нижней части Фиг.6.

Данные карты глубины центрального вида предоставляются в контроллер 65, причем контроллер 65 управляет детерминатором или переключателем 66. В зависимости от вывода контроллера 65 данные в кадре данных загораживания разделяются на функциональные данные (то есть, данные, которые должны быть обработаны как действительные данные загораживания в остальной части способа кодирования и последующем декодировании) и нефункциональные данные, то есть, данные, которые должны быть функционально игнорированы. На Фиг.5 нефункциональные области отмечены серым цветом. Нефункциональные данные схематически обозначены на Фиг.6 как ЗГРЖ="0". Самый простой и прямой способ разрешения данной проблемы заключается в назначении фиксированной величины данным для нефункциональных областей (например, чистый черный). В остальной части кодера и в декодере эти нефункциональные данные будут распознаваться как нефункциональные. Внутри контроллера, предпочтительно, устанавливается или вычисляется пороговая величина. Предпочтительно, фиксированная величина или величина из фиксированного диапазона резервируется для нефункциональных данных, и любые нефункциональные данные фиксированной величины или из фиксированного диапазона величин заменяются на величину, отличную от упомянутой зарезервированной величины, или лежат вне упомянутого зарезервированного диапазона.

Если чистый черный (Y=0) обозначает нефункциональные данные, то любые нефункциональные данные будут распознаны декодером как нефункциональные данные, но любые данные в функциональной области, которые случайно будут иметь чисто черный цвет, также будут рассматриваться как "нефункциональные" данные и, как следствие, в функциональных областях будут сформированы маленькие дыры. Путем резервирования чистого черного для нефункциональных данных, этот негативный эффект будет предотвращен. Это с легкостью может быть реализовано путем отсечения входящих данных загораживания (лежащих, например, в диапазоне яркости от 0 до 255) по величине яркости, равной 4. Все сигналы чистого черного (или любой сигнал с величиной Y, равной 0, 1, 2 или 3) во входящих данных загораживания будут преобразованы в незначительно менее черный, то есть, "чистый черный" подобного пикселя будет заменен на величину (в данном примере это выполняется посредством отсечения), которая отличается от упомянутой зарезервированной величины или лежит вне упомянутого диапазона зарезервированных величин. "Чистый черный", тогда, будет зарезервирован для нефункциональных данных. В этом примере, для нефункциональных данных также можно зарезервировать диапазон Y = 0, 1, 2 или 3. Результирующий сигнал трехмерного видео относительно легко можно распознать как сигнал, сгенерированный по способу согласно данному варианту осуществления настоящего изобретения, поскольку многие кадры данных загораживания будут иметь относительно большие области "чистого черного", тогда как остальные области будут иметь цвета разных величин, и ни один из пикселей в остальных областях не будет "чисто черным".

Путем ограничения функциональных областей загораживания на основании карты глубины видео объем дополнительных данных удерживается в рамках. Предпочтительно, сначала кодируется карта глубины и далее кодируются данные загораживания, причем данные для карты глубины используются для различения функциональных и нефункциональных данных. Разрывы глубины возникают, когда разница между величинами глубины соседних пикселей имеет большое значение. Факт, что один объект может быть скрыт за другим, может быть выведен из скачкообразных изменений величины глубины. Внезапное изменение является индикацией изменения в изображении с объекта переднего плана на объект заднего плана или (более обобщенно) с одного объекта на другой. Плавные изменения величин указывают на изменения внутри объекта. Данные загораживания генерируются только тогда, когда разрывы глубины (то есть, изменение величины глубины между смежными пикселями) больше пороговой величины, то есть, они имеют достаточно высокое значение. В одном конкретном варианте осуществления, определяется максимальная ошибка кодирования (что устанавливает нижний лимит для пороговой величины ПВ) и вычисляется пороговая величина ПВ. При управлении ПВ, пороговая величина сравнивается с разностями в глубине между пикселями, что схематически показано посредством блока 67 вычитания. В этот блок подаются данные карты глубины декодера и данные соседней карты глубины (схематически посредством сдвига τ1 на Фиг.6). Когда шаг по глубине между соседними пикселями больше, чем пороговая величина ПВ, то этот шаг указывает "действительный край" в данных. Таким образом, выполняется сравнение между измеренным шагом в глубине или разрывом глубины и вычисленной пороговой величиной ПВ, и определяется фактор управления. Из действительных краев определяется позиция объектов переднего плана и, соответственно, пределы функциональных областей данных загораживания. Контроллер 65 соответствующим образом управляет переключателем 66. Когда пиксель кадра данных загораживания входит в нефункциональную часть кадра, эти данные распознаются как нефункциональные.

Преимущество заключается в том, что функциональные данные загораживания будут сгенерированы и обработаны в кодере загораживания только для тех частей кадра данных загораживания, которые являют собой функциональные данные загораживания. Задача заполнения областей загораживания, которые обычно имеют малые размеры, для разрывов глубины ниже нижней пороговой величины может быть решена посредством других способов, например, растягивания.

Предпочтительно, области загораживания определяются на основе минимального разрыва глубины, а также максимального диапазона видов или максимального угла наблюдения, который будет сгенерирован на стороне дисплея. На Фиг.6 это обозначено линией между терминами "максимальный угол наблюдения" и блоком "управление". Последнее упомянутое ограничение определяет полосу пропускания областей загораживания в карте загораживания, то есть, насколько глубоко в задний план требуется обеспечить видимость. Кроме максимального угла наблюдения, полоса пропускания также может зависеть от величины действительной глубины, что является причиной, по которой линия проходит от декодера к блоку управления.

На Фиг.6 также проиллюстрировано, что контроллер принимает в качестве вводов кодированные/декодированные данные карты глубины. Можно использовать исходные данные, то есть, напрямую подавать исходные данные в блок управления и другие части. Тем не менее, на стороне декодера исходные данные не будут доступны, и будут до