Вспомогательные данные глубины

Вспомогательные данные глубины

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Изобретение относится к устройству-источнику 3D для предоставления трехмерного видеосигнала для передачи в устройство назначения 3D. Трехмерный видеосигнал содержит первую видеоинформацию, представляющую вид для просмотра левым глазом на трехмерном дисплее, и вторую видеоинформацию, представляющую вид для просмотра правым глазом на трехмерном дисплее. Устройство назначения 3D содержит приемное устройство для приема трехмерного видеосигнала и преобразователь стерео в глубину для формирования первой сформированной карты глубин на основе первой и второй видеоинформации. Устройство-источник 3D содержит модуль вывода для формирования трехмерного видеосигнала и для передачи трехмерного видеосигнала в устройство назначения 3D.

Изобретение дополнительно относится к способу предоставления трехмерного видеосигнала для передачи в устройство назначения 3D.

Изобретение относится к области техники формирования и передачи трехмерного видеосигнала в устройстве-источнике, например, в широковещательной компании, на сервере Интернет-веб-узла, в системе поддержки авторских разработок, изготовителя Blu-Ray-диска и т.д., к устройству назначения 3D, например, к проигрывателю Blue-Ray-дисков, трехмерному телевизору, трехмерному дисплею, мобильному вычислительному устройству и т.д., которое требует карты глубин для рендеринга нескольких видов.

Уровень техники

Документ "Working Draft on MVC extensions for inclusion of depth maps", ISO/IEC/JTC1/SC29/WG11/N12351, декабрь 2011 г., авторов Teruhiko Suzuki, Miska M. Hannuksela, Ying Chen, является проектом новых изменений в ITU-T Rec. H.264|ISO/IEC 14496-10 для добавления технологий трехмерного видео в MPEG-кодированные передаваемые видеосигналы (дополнительно называемым "проектом ISO"). Проект ISO описывает кодирование аудиовизуальных объектов в конкретных изменениях в упомянутый стандарт ISO, часть 10: Усовершенствованное кодирование видео, связанных с расширениями многовидового кодирования (MVC) для включения карт глубины в видеоформат. Согласно изменению, указываются MVC-расширения для включения карт глубины в кодирование видео, обеспечивающие возможность составления потоков битов, которые представляют несколько видов со связанными несколькими дополнительными видами, т.е. видов карт глубины. Аналогично кодированию многовидового видео, потоки битов, которые представляют несколько дополнительных видов, также могут содержать дополнительные субпотоки битов, которые соответствуют предложенной спецификации.

Согласно проекту ISO, карты глубин могут добавляться в поток трехмерных видеоданных, имеющий первую видеоинформацию, представляющую вид для просмотра левым глазом на трехмерном дисплее, и вторую видеоинформацию, представляющую вид для просмотра правым глазом на трехмерном дисплее. Карта глубины на стороне декодера предоставляет формирование дополнительных видов, дополняющих вид для просмотра левым и правым глазом, например, для автостереоскопического дисплея.

Сущность изобретения

Проект ISO требует, чтобы видеоматериал содержал карты глубин, что требует дополнительной пропускной способности для передачи данных. Кроме того, предусмотрен большой объем существующего трехмерного видеоматериала, который не имеет данных карт глубины. Для такого материала устройство назначения может иметь преобразователь стерео в глубину для формирования сформированной карты глубин на основе первой и второй видеоинформации.

Цель изобретения заключается в том, чтобы предоставлять систему для предоставления информации глубины и передачи информации глубины, которая является более гибкой для улучшения рендеринга трехмерного видео.

С этой целью, согласно первому аспекту изобретения, устройство-источник, как описано во вступительном абзаце, выполнено с возможностью предоставления карты исходной глубины, связанной с видеоинформацией, и устройство-источник 3D содержит преобразователь исходного стерео в глубину для формирования второй сформированной карты глубин на основе первой и второй видеоинформации, и процессор исходной глубины, выполненный с возможностью предоставления вспомогательных данных глубины только тогда, когда разность между картой исходной глубины и второй сформированной картой глубины превышает предварительно определенное пороговое значение, причем вспомогательные данные глубины представляют карту исходной глубины, и модуль вывода выполнен с возможностью включения вспомогательных данных глубины в трехмерный видеосигнал.

Трехмерный видеосигнал содержит вспомогательные данные глубины.

Устройство назначения 3D содержит процессор глубины для формирования целевой карты глубин на основе первой сформированной карты глубин, когда вспомогательные данные глубины недоступны в трехмерном видеосигнале, и на основе вспомогательных данных глубины, когда вспомогательные данные глубины доступны в трехмерном видеосигнале.

Эти меры имеют такое преимущество, что устройству назначения предоставляется возможность формировать целевую карту глубины на основе локально сформированной карты глубин из первой и второй видеоинформации, представляющей виды для просмотра левым и правым глазом, и при возможности применять вспомогательные данные глубины, чтобы улучшать упомянутую локально сформированную карту глубины. Преимущественно, вспомогательные данные глубины передаются только тогда, когда локально сформированная карта глубины имеет существенное отличие от карты исходной глубины. Следовательно, уменьшаются визуально раздражающие ошибки, вызываемые посредством некорректно сформированных карт глубины.

Изобретение также основано на следующем соображении. Авторы изобретения видят, что локальное формирование карт глубины обычно предоставляет очень приемлемый результат на основе вида для просмотра левым и правым глазом. Тем не менее, в некоторые моменты или в некоторых местоположениях могут возникать раздражающие ошибки. Посредством прогнозирования возникновения таких ошибок в источнике и добавления упомянутых вспомогательных данных только в течение таких моментов или периодов, ограничивается объем дополнительных данных глубины, которые должны передаваться. Кроме того, посредством передачи вспомогательных данных на основе карты исходной глубины и выбора этих вспомогательных данных на стороне назначения вместо использования ошибочных локально сформированных данных глубины, достигается значительное улучшение глубины на основе рендеринга нескольких видов.

При необходимости, в устройстве-источнике 3D модуль вывода выполнен с возможностью включения вспомогательных данных глубины в трехмерный видеосигнал только в течение периода коррекции времени, когда в пределах периода коррекции упомянутая разность превышает упомянутое пороговое значение. Преимущество заключается в том, что вспомогательные данные передаются только в течение периодов, в которых возникают существенные ошибки глубины, что на практике составляет менее 10% времени. Преимущественно, уменьшается объем данных, которые должны передаваться.

При необходимости, в устройстве-источнике 3D модуль вывода выполнен с возможностью включения вспомогательных данных глубины в трехмерный видеосигнал только для области коррекции, меньшей трехмерного дисплея, когда в области коррекции упомянутая разность превышает упомянутое пороговое значение. Преимущество заключается в том, что вспомогательные данные передаются только для местоположений, в которых возникают существенные ошибки глубины, что на практике составляет менее 50% кадров, в которых возникают такие ошибки. Преимущественно, уменьшается объем данных, которые должны передаваться.

При необходимости, в устройстве-источнике 3D процессор глубины выполнен с возможностью формирования вспомогательных данных глубины для области коррекции, так что упомянутая область коррекции совмещается, по меньшей мере, с одним макроблоком в трехмерном видеосигнале, причем макроблок представляет предварительно определенный блок сжатых видеоданных, при этом совмещенная с макроблоком область коррекции содержит дополнительные данные глубины для местоположений, когда разность между картой исходной глубины и второй сформированной картой глубины не превышает предварительно определенное пороговое значение. Преимущество заключается в том, что область коррекции должна эффективно кодироваться посредством обычных процессоров кодирования, поскольку кодирование организуется в макроблоках. Напротив, кодирование произвольной формы, содержащее только коррекции для ошибочных значений глубины, требует значительных усилий по кодированию и приводит к низкому коэффициенту сжатия. Такая область коррекции также содержит пикселы, для которых значения глубины второй сформированной карты глубин и карты исходной глубины являются небольшими и ниже порогового значения. Дополнительные данные глубины могут быть основаны на второй сформированной карте глубины для недопущения переходов глубины на внешней границе совмещенной с макроблоком области коррекции. Преимущественно, задание дополнительных значений коррекции глубины равными сформированным значениям, на стороне декодера, не допускает, чтобы разности глубины через макроблоки стали видимыми.

При необходимости, в устройстве-источнике 3D модуль вывода выполнен с возможностью включения служебных вспомогательных данных в трехмерный видеосигнал, причем служебные вспомогательные данные указывают доступность вспомогательных данных глубины. Преимущественно, декодер обеспечивает возможность легко обнаруживать наличие или отсутствие вспомогательных данных глубины на основе служебных вспомогательных данных. Служебные вспомогательные данные, например, могут содержать, по меньшей мере, одно из следующего:

- сигнал флага, указывающий наличие вспомогательных данных глубины;

- предварительно заданное значение без глубины на карте глубины, указывающее отсутствие вспомогательных данных глубины для соответствующего местоположения;

- вспомогательные данные длины, указывающие объем вспомогательных данных глубины в структуре данных;

- данные индикаторов видов, указывающие число и/или тип видов, для которых доступны вспомогательные данные глубины;

- вспомогательные данные типа, указывающие структуру данных, используемую для вспомогательных данных глубины;

- вспомогательные данные разрешения, указывающие разрешение вспомогательных данных глубины;

- вспомогательные данные местоположения, указывающие местоположение вспомогательных данных глубины.

Преимущественно, такие служебные вспомогательные данные указывают наличие и/или объем вспомогательных данных глубины.

При необходимости, в устройстве-источнике 3D модуль вывода выполнен с возможностью включения, в трехмерный видеосигнал, карты глубин, соответствующей области отображения на трехмерном дисплее, причем карта глубины содержит вспомогательные данные глубины для области коррекции и/или периода коррекции и, в качестве служебных вспомогательных данных, предварительно заданное значение без глубины, указывающее отсутствие вспомогательных данных глубины для соответствующего местоположения для других областей и/или периодов. Карта глубины может быть включена в сигнал для кадров, которые имеют какие-либо вспомогательные данные глубины, т.е. неявно наличие карты глубин указывает то, что вспомогательные данные глубины присутствуют. Альтернативно, карта глубины может быть включена для всех кадров. Авторы изобретения отмечают, что текущая схема сжатия очень эффективно сжимает карты глубин, которые имеют одно значение на большей части или даже на всей поверхности отображения, в частности, когда значение без глубины, указывающее локальное отсутствие вспомогательных данных, выбирается равным 0 или 255. Преимущественно, на стороне декодера, карта глубины обрабатывается автоматически, только с использованием любых значений коррекции, когда значения глубины отклоняются от упомянутого значения без глубины.

При необходимости, карта глубины содержит, по меньшей мере, одно из следующего: данные глубины, соответствующие виду для просмотра левым глазом; данные глубины, соответствующие виду для просмотра правым глазом; данные глубины, соответствующие центральному виду; данные глубины, имеющие разрешение ниже первой видеоинформации или второй видеоинформации. Преимущественно, посредством предоставления одной или более карт глубины согласно упомянутым критериям, декодер может использовать надлежащую карту глубины по мере необходимости.

Дополнительные предпочтительные варианты осуществления устройства и способа согласно изобретению приводятся в прилагаемой формуле изобретения, раскрытие сущности которой содержится в данном документе посредством ссылки.

Краткое описание чертежей

Эти и другие аспекты изобретения должны стать очевидными и дополнительно истолкованными со ссылкой на варианты осуществления, описанные в качестве примера в нижеприведенном описании, и со ссылкой на прилагаемые чертежи, на которых:

Фиг. 1 показывает систему для обработки трехмерных видеоданных и отображения трехмерных видеоданных,

Фиг. 2 показывает трехмерный декодер с использованием вспомогательных данных глубины,

Фиг. 3 показывает трехмерный кодер, предоставляющий вспомогательные данные глубины,

Фиг. 4 показывает устройство автостереоскопического отображения и формирование нескольких видов,

Фиг. 5 показывает двухвидовое устройство стереоскопического отображения и формирование улучшенных видов, и

Фиг. 6 показывает наличие вспомогательных данных глубины в трехмерном видеосигнале.

Чертежи являются просто схематичными и не нарисованы в масштабе. На чертежах элементы, которые соответствуют уже описанным элементам, могут иметь идентичные номера ссылок.

Подробное описание вариантов осуществления

Следует отметить, что настоящее изобретение может быть использовано для любого типа данных трехмерных изображений, будь то неподвижное изображение или движущееся видео. Предполагается, что данные трехмерных изображений должны быть доступными в качестве электронных кодированных в цифровой форме данных. Настоящее изобретение относится к таким данным изображений и обрабатывает данные изображений в цифровой области.

Предусмотрено множество различных способов, которыми может форматироваться и передаваться трехмерный видеосигнал, согласно так называемому трехмерному видеоформату. Некоторые форматы основаны на использовании двумерного канала для того, чтобы также переносить стереоинформацию. В трехмерном видеосигнале изображение представляется посредством значений изображения в двумерной матрице пикселов. Например, вид для просмотра левым и правым глазом может чередоваться или может размещаться рядом и выше и ниже. Также может передаваться карта глубины и, возможно, дополнительные трехмерные данные, такие как данные затемнения или прозрачности. Карта диспаратности в этом тексте также рассматривается в качестве типа карты глубин. Карта глубины имеет значения глубины также в двумерной матрице, соответствующей изображению, хотя карта глубины может иметь другое разрешение. Трехмерные видеоданные могут сжиматься согласно известным способам сжатия, таким как, например, MPEG. Любая трехмерная видеосистема, к примеру, Интернет или Blu-Ray-диск (BD), может извлекать выгоду из предложенных улучшений.

Трехмерный дисплей может представлять собой относительно небольшой модуль (например, мобильный телефон), крупный стереодисплей (STD), требующий очков с затвором, любой стереоскопический дисплей (STD), усовершенствованный STD, учитывающий переменный базис, активный STD, который нацеливает L- и R-виды в глаза зрителей на основе слежения за положением головы пользователя, или автостереоскопический многовидовой дисплей (ASD) и т.д.

Традиционно, все компоненты, необходимые для возбуждения различных типов трехмерных дисплеев, передаются, что типично влечет за собой сжатие и передачу нескольких видов (сигналов камеры) и их соответствующих глубин, например, как пояснено в "Call for Proposals on 3D Video Coding Technology", MPEG-документ N12036, март 2011 г., Женева, Швейцария. Проблемами в такой системе являются доступность сигналов глубины (затруднительно и затратно создавать), ограниченная начальная доступность контента для возбуждения ASD и усовершенствованных STD для переменного базиса и дополнительная скорость передачи битов, требуемая для передачи сигналов глубины. Автопреобразование в декодере (глубина автоматически извлекается из стерео) отдельно известно, например, из "Description of 3D Video Coding Technology Proposal by Disney Research Zurich and Fraunhofer HHI", MPEG-документ M22668, ноябрь 2011 г., Женева, Швейцария. Тем не менее, общее качество не может быть гарантировано, и качество ограничивается в определенных "сложных" сценах (например, 5% сцен). В качестве альтернативы автопреобразованию, используемому после стереовидеодекодера, преобразователь стерео в глубину также может быть размещен на стороне кодера, на которой может применяться большая вычислительная мощность. Тем не менее, это не уменьшает объем данных, которые должны передаваться, и при этом имеет недостаток в виде некоторых сложных сцен, в которых синтезируемые карты глубин не являются надежными.

Фиг. 1 показывает систему для обработки трехмерных видеоданных и отображения трехмерных видеоданных. Первое трехмерное видеоустройство, называемое устройством-источником 40 3D, предоставляет и передает трехмерный видеосигнал 41 в дополнительное устройство обработки трехмерных изображений, называемое устройством 50 назначения 3D, которое соединяется с устройством 60 трехмерного отображения для передачи сигнала 56 для трехмерного отображения. Видеосигнал, например, может представлять собой трехмерный телевизионный широковещательный сигнал, такой как стандартная стереопередача с использованием совместимого с 1/2 HD-кадра полного разрешения, полного разрешения после многовидового кодирования (MVC) или совместимого с кадром полного разрешения (например, FCFR как предложено компанией Dolby). С учетом совместимого с кадром базового слоя, компания Dolby разработала улучшающий слой для того, чтобы воссоздавать трехмерные изображения полного разрешения. Эта технология предложена для MPEG для стандартизации и требует увеличения скорости передачи битов только на ~10%. Традиционный трехмерный видеосигнал улучшается посредством вспомогательных данных глубины, как пояснено ниже.

Фиг. 1 дополнительно показывает носитель 54 записи в качестве носителя трехмерного видеосигнала. Носитель записи является дискообразным и имеет дорожку и центральное отверстие. Дорожка, состоящая из шаблона физически обнаруживаемых меток, размещается в соответствии со спиральным или концентрическим шаблоном витков, образующих практически параллельные дорожки на одном или более информационных слоев. Носитель записи может быть оптическичитаемым, называемым "оптическим диском", например, DVD или BD (Blu-Ray-диском). Информация осуществляется на информационном слое посредством оптически обнаруживаемых меток вдоль дорожки, например, углублений и плоских участков. Структура дорожки также содержит информацию позиции, к примеру, заголовки и адреса, для указания местоположения единиц информации, обычно называемых "информационными блоками". Носитель 54 записи переносит информацию, представляющую кодированные в цифровой форме данные трехмерных изображений, такие как видео, например, кодированное согласно MPEG2- или MPEG4-системе кодирования, в предварительно заданном формате записи, таком как DVD- или BD-формат.

Устройство-источник 3D имеет процессор 42 исходной глубины для обработки трехмерных видеоданных, принимаемых через модуль 47 ввода. Входные трехмерные видеоданные 43 могут быть доступными из системы хранения данных, студии звукозаписи, из трехмерной камеры и т.д. Исходная система обрабатывает карту глубины, предоставленную для данных трехмерных изображений, причем эта карта глубины либо может первоначально присутствовать на входе системы, либо может автоматически формироваться посредством высококачественной системы обработки, как описано ниже, например, из левых/правых кадров в стерео-(L+R) видеосигнале или из двумерного видео, и возможно дополнительно обрабатываться или корректироваться, чтобы предоставлять карту исходной глубины, которая точно представляет значения глубины, соответствующие прилагаемым данным двумерных изображений или левым/правым кадрам.

Процессор 42 исходной глубины формирует трехмерный видеосигнал 41, содержащий трехмерные видеоданные. Трехмерный видеосигнал имеет первую видеоинформацию, представляющую вид для просмотра левым глазом на трехмерном дисплее, и вторую видеоинформацию, представляющую вид для просмотра правым глазом на трехмерном дисплее. Устройство-источник может быть выполнено с возможностью передачи трехмерного видеосигнала из видеопроцессора через модуль 46 вывода и в дополнительное трехмерное видеоустройство или для предоставления трехмерного видеосигнала для распространения, например, через носитель записи. Трехмерный видеосигнал основан на обработке входных трехмерных видеоданных 43, например, посредством кодирования и форматирования трехмерных видеоданных согласно предварительно заданному формату.

Устройство-источник 3D имеет преобразователь 48 исходного стерео в глубину для формирования исходной сформированной карты глубин на основе первой и второй видеоинформации и процессор 42 исходной глубины для предоставления вспомогательных данных глубины.

Преобразователь стерео в глубину для формирования карты глубин, при работе, принимает трехмерный стереосигнал, также называемый "левым-правым видеосигналом", имеющим временную последовательность из левых кадров L и правых кадров R, представляющих вид для просмотра левым глазом и вид для просмотра правым глазом, которые должны отображаться для соответствующих глаз зрителя для формирования трехмерного эффекта. Модуль формирует сформированную карту глубины посредством оценки диспаратности вида для просмотра левым глазом и вида для просмотра правым глазом и дополнительно может предоставлять двумерное изображение на основе вида для просмотра левым глазом и/или вида для просмотра правым глазом. Оценка диспаратности может быть основана на алгоритмах оценки движения, используемых для того, чтобы сравнивать L- и R-кадры. Значительные различия между L- и R-видом объекта преобразуются в значения глубины перед или позади экрана отображения в зависимости от направления разности. Вывод модуля формирования является сформированной картой глубины. Затем, формируются вспомогательные данные глубины, в которых обнаруживаются ошибки глубины, т.е. только тогда, когда разность между картой исходной глубины и сформированной картой глубины превышает предварительно определенное пороговое значение. Например, предварительно определенная разность глубины может составлять упомянутое пороговое значение. Пороговое значение также может задаваться в зависимости от дополнительных свойств изображения, которые влияют на видимость ошибок глубины, например, локальной интенсивности или контрастности, или текстуры изображения. Пороговое значение также может быть определено посредством обнаружения уровня качества сформированной карты глубин следующим образом. Сформированная карта глубины используется для того, чтобы искривлять вид, имеющий ориентацию, соответствующую данному другому виду. Например, R'-изображение основано на исходных данных L-изображений и сформированной карте глубины. Затем разность вычисляется между R'-изображением и исходным R-видом, например, посредством известной PSNR-функции (пикового отношения "сигнал-шум"). PSNR представляет собой отношение между максимальной возможной мощностью сигнала и мощностью искажающего шума, которое влияет на точность воспроизведения его представления. Поскольку множество сигналов имеют очень широкий динамический диапазон, PSNR обычно выражается с точки зрения логарифмической шкалы в децибелах. PSNR может быть использовано теперь в качестве показателя качества сформированной карты глубин. Сигнал в этом случае представляет собой исходные данные R, и шум представляет собой ошибку, введенную посредством искривления R' на основе сформированной карты глубин. Кроме того, пороговое значение также может быть определено на основе дополнительных критериев видимости либо посредством авторской разработки или анализа результатов редактором на основе сформированной карты глубин и управления тем, какие секции и/или периоды трехмерного видео должны дополняться посредством вспомогательных данных глубины.

Вспомогательные данные глубины представляют карту исходной глубины, например, значения глубины из карты исходной глубины в местоположениях упомянутых ошибок глубины. Альтернативно, разность глубины или поправочный коэффициент глубины может быть включен во вспомогательные данные глубины, чтобы указывать устройству назначения, как добиваться значений глубины из карты исходной глубины. Модуль 46 вывода выполнен с возможностью включения вспомогательных данных глубины в трехмерный видеосигнал. Процессор, имеющий функции процессора глубины 42, преобразователя 48 стерео в глубину и модуля 46 вывода, может называться "трехмерным кодером".

Трехмерный источник может представлять собой сервер, широковещательную компанию, устройство записи или систему авторской разработки и/или создания контента для изготовления оптических носителей записи, таких как Blu-Ray-диск. Blu-Ray-диск предоставляет интерактивную платформу для распространения видео для создателей контента. Информация относительно формата Blu-ray-дисков доступна из веб-узла Ассоциации по разработке стандартов для Blu-ray-дисков в документах по формату аудиовизуальных приложений, например:

-http://www.blu-raydisc.com/Assets/Downloadablefile/2b_bdrom_ audiovisualapplication_0305-12955-15269.pdf. Процесс формирования оптического носителя записи дополнительно содержит этапы предоставления физического шаблона меток в дорожках, причем этот шаблон осуществляет трехмерный видеосигнал, который включает в себя вспомогательные данные глубины, и последующего формирования материала носителя записи согласно шаблону, чтобы предоставлять дорожки меток, по меньшей мере, на одном слое хранения.

Устройство назначения 3D 50 имеет модуль 51 ввода для приема трехмерного видеосигнала 41. Например, устройство может включать в себя модуль 58 обработки оптических дисков, соединенный с модулем ввода для извлечения трехмерной видеоинформации из оптического носителя 54 записи, такого как DVD или Blu-Ray-диск. Альтернативно (или дополнительно), устройство может включать в себя сетевой интерфейсный модуль 59 для подключения к сети 45, например, к Интернету или широковещательной сети, причем такое устройство представляет собой абонентскую приставку или мобильное вычислительное устройство, к примеру, мобильный телефон или планшетный компьютер. Трехмерный видеосигнал может быть извлечен из удаленного веб-узла или мультимедийного сервера, например, устройства-источника 3D 40. Устройство обработки трехмерных изображений может представлять собой преобразователь, который преобразует входной сигнал изображения в выходной сигнал изображения, имеющий требуемую информацию глубины. Такой преобразователь может быть использован для того, чтобы преобразовывать различные входные трехмерные видеосигналы для конкретного типа трехмерного дисплея, например, стандартный трехмерный контент в видеосигнал, подходящий для автостереоскопических дисплеев конкретного типа или производителя. На практике, устройство может представлять собой проигрыватель трехмерных оптических дисков или спутниковое приемное устройство, или абонентскую приставку, или любой тип мультимедийного проигрывателя.

Устройство назначения 3D имеет процессор 52 глубины, соединенный с модулем 51 ввода для обработки трехмерной информации для формирования сигнала 56 для трехмерного отображения, который должен передаваться через выходной интерфейсный модуль 55 на устройство отображения, например, сигнала для отображения согласно HDMI-стандарту, см. "High Definition Multimedia Interface; Specification Version 1.4a" 4 марта 2010 года, трехмерная часть которого доступна по адресу http://hdmi.org/manufacturer/specification.aspx для общедоступной загрузки.

Устройство назначения 3D имеет преобразователь 53 стерео в глубину для формирования целевой сформированной карты глубин на основе первой и второй видеоинформации. Работа преобразователя стерео в глубину является эквивалентной преобразователю стерео в глубину в исходном устройстве, описанному выше. Когда оба преобразователя являются одинаковыми, возникают идентичные ошибки глубины, причем эти ошибки могут корректироваться через вспомогательные данные глубины. Если преобразователь целевого стерео в глубину дополнительно улучшается, т.е. работает, по меньшей мере, не хуже преобразователя исходного стерео в глубину, конечная целевая карта глубины представляет выгоду, если недоступны вспомогательные данные. Модуль, имеющий функции процессора 52 целевой глубины, преобразователя 53 стерео в глубину и модуля 55 вывода, может называться "трехмерным декодером".

Процессор 52 целевой глубины выполнен с возможностью формирования данных изображений, включенных в сигнал 56 для трехмерного отображения для отображения на устройстве 60 отображения. Процессор глубины выполнен с возможностью формирования целевой карты глубин на основе целевой сформированной карты глубин, когда вспомогательные данные глубины недоступны в трехмерном видеосигнале, и на основе вспомогательных данных глубины, когда вспомогательные данные глубины доступны в трехмерном видеосигнале. Например, переключатель глубины при наличии может заменять значения глубины целевой сформированной карты глубин посредством значений глубины, предоставленных посредством вспомогательных данных глубины. Ниже дополнительно поясняется обработка вспомогательных данных глубины.

Устройство 60 трехмерного отображения служит для отображения данных трехмерных изображений. Устройство имеет входной интерфейсный модуль 61 для приема сигнала 56 для трехмерного отображения, включающего в себя трехмерные видеоданные и целевую карту глубины, передаваемого из трехмерного целевого устройства 50. Устройство имеет процессор 62 видов для формирования нескольких видов трехмерных видеоданных на основе первой и второй видеоинформации в зависимости от целевой карты глубин и трехмерный дисплей 63 для отображения нескольких видов трехмерных видеоданных. Передаваемые трехмерные видеоданные обрабатываются в процессоре 62 для отображения на трехмерном дисплее 63, например, на многовидовом ЖК-дисплее. Устройство 60 отображения может представлять собой любой тип стереоскопического дисплея, также называемого "трехмерным дисплеем".

Видеопроцессор 62 в устройстве 60 трехмерного отображения выполнен с возможностью обработки трехмерных видеоданных для формирования сигналов управления отображением для рендеринга нескольких видов. Виды формируются из данных трехмерных изображений с использованием целевой карты глубин. Альтернативно, видеопроцессор 52 в устройстве трехмерного проигрывателя может быть выполнен с возможностью осуществлять упомянутую обработку карты глубин. Несколько видов, сформированных для указанного трехмерного дисплея, могут быть переданы с сигналом трехмерного изображения на упомянутый трехмерный дисплей.

В дополнительном варианте осуществления, устройство назначения и устройство отображения комбинируются в одно устройство. Функции процессора 52 глубины и процессора 62 и оставшиеся функции модуля 55 вывода и модуля 61 ввода могут выполняться посредством одного модуля видеопроцессора.

Фиг. 2 показывает трехмерный декодер с использованием вспомогательных данных глубины. Трехмерный декодер 20 схематично показывается со входом для трехмерного видеосигнала, помеченным BS3 (трехмерный базовый сигнал). Входной демультиплексор 21 (DEMUX) извлекает потоки битов из вида для просмотра левым и правым глазом (LR-bitstr) и вспомогательные данные глубины (DH-bitstr). Первый декодер 22 (DEC) декодирует вид для просмотра левым и правым глазом в выходы L и R, которые также соединяются с бытовым преобразователем стерео в глубину (CE-S2D), который формирует левую карту LD1 глубины и правую карту RD1 глубины, называемую "целевой сформированной картой глубины". Второй декодер 23 декодирует DH-bitstr и предоставляет левую вспомогательную карту LD2 глубины и правую вспомогательную карту RD2 глубины, в которой доступны вспомогательные данные глубины. Переключатель DEPTH-SW 25 глубины выбирает либо целевую сформированную карту (LD1/RD1) глубины, либо левую вспомогательную карту LD2 глубины и правую вспомогательную карту RD2 глубины, например, на основе флага, указывающего наличие вспомогательных данных глубины.

Трехмерный декодер может быть частью абонентской приставки (STB) на стороне потребителя, которая принимает поток битов согласно системе (BS3) передачи и обработки вспомогательных данных глубины, который демультиплексируется в 2 потока: один видеопоток, имеющий L- и R-виды, и один поток глубины, имеющий вспомогательные данные глубины (DH), которые затем отправляются в соответствующие декодеры (например, MVC/H264). Локальный флаг извлекается и используется для того, чтобы переключаться между декодированными DH-глубинами (LD2/RD2) и локальными сформированными (посредством CE-S2D) значениями (LD1/RD1) глубины. Окончательные результаты трехмерного декодера (LD3/RD3) затем передаются в блок искривления видов, как пояснено с помощью фиг. 4 или 5, в зависимости от типа дисплея.

Фиг. 3 показывает трехмерный кодер, предоставляющий вспомогательные данные глубины. Трехмерный кодер 30 схематично показывается со входом (L, R) для приема трехмерного видеосигнала. Преобразователь стерео в глубину (например, высококачественный профессиональный HQ-S2D) формирует левую карту LD4 глубины и правую карту RD4 глубины, называемые "исходной сформированной картой глубины". Дополнительный вход принимает карту исходной глубины (помеченную LD-man, RD-man), которая может предоставляться оффлайн (например, вручную редактироваться или улучшаться) либо может быть доступной вместе с входным трехмерным видеосигналом. Модуль 32 переключения глубины принимает и исходную сформированную карту LD4, RD4 глубины и карту LD-man и RD-man исходной глубины и определяет то, превышает или нет разность между картой исходной глубины и сформированной картой глубины предварительно определенное пороговое значение. Если да, переключатель глубины формирует вспомогательные данные LD5, RD5 глубины. Переключатель глубины может выбирать одну из карт глубины. Выбор также может быть основан на внешнем сигнале (помеченном флаге), который указывает такую разность, причем этот сигнал может быть включен в выходной сигнал в качестве вспомогательных служебных данных посредством выходного мультиплексора 35 (MUX). Мультиплексор также принимает кодированные видеоданные (BS1) из первого кодера 33 и кодированные вспомогательные данные (BS2) глубины из второго кодера 34 и формирует трехмерный видеосигнал, помеченный BS3.

В трехмерном кодере, модуль вывода может быть выполнен с возможностью включения вспомогательных данных глубины в трехмерный видеосигнал только в течение периода коррекции времени, когда в пределах периода коррекции упомянутая разность превышает упомянутое пороговое значение. Кроме того, модуль вывода может быть выполнен с возможностью включения вспомогательных данных глубины в трехмерный видеосигнал только для области коррекции, меньшей трехмерного дисплея, когда в области коррекции упомянутая разность превышает упомянутое пороговое значение. Например, карта глубины, предоставляющая вспомогательные данные глубины, является (i) полнокадровой, (ii) частично присутствует или (iii) не присутствует. Также карта глубины может присутствовать в только определенных кадрах или GOP. Кроме того, полнокадровая карта глубины может быть включена, но иметь назначенное конкретное значение яркости (например, 0×00 или 0×FF), что означает "отсутствие вспомогательной информации глубины". Такая карта