Основанное на значимости отображение диспаратности

Основанное на значимости отображение диспаратности

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Изобретение относится к способу обработки сигнала трехмерного [3D] изображения для рендеринга данных 3D-изображения на 3D-дисплее, основываясь на многих видах дисплея.

Изобретение дополнительно относится к устройству 3D-видео, сигналу 3D-изображения и к компьютерной программе.

Изобретение относится к области обработки данных 3D-изображения для улучшения рендеринга на устройстве 3D-дисплея. В частности, карта глубины, или доступная или генерируемая, обрабатывается для улучшения 3D-восприятия на конкретном 3D-дисплее. Данные изображения в данном случае включают в себя видеоданные и обычно обрабатываются в двух пространственных измерениях, тогда как время в видеоданных может использоваться в качестве третьего измерения.

Уровень техники

Международная заявка на патент WO 2005/060271 A1 описывает способ и устройство для генерирования стереоскопического изображения, включающего определение двух или более областей в сцене, представляющих область интереса, ближнюю область и/или дальнюю область, причем идеальная или наилучшим образом воспринимаемая глубина обеспечивается для области интереса и приемлемые или более сжатые воспринимаемые глубины - в другой области. Пары изображений затем отображаются вместе и образуют пару изображений дисплея для просмотра на устройстве дисплея.

Документ «Nonlinear disparity mapping for stereoscopic 3D, by Manuel Lang, et al. published in ACM Transactions on graphics, vol. 29, no. 4, July 26, 2010» описывает нелинейное отображение диспаратности для стереоскопического 3D, причем информация о значимости, основанная на текстуре изображения и глубине изображения, используется для вычисления значений важности, представляющих собой уровень визуальной важности каждого пикселя в изображении, которое используется для генерирования отображения диспаратности, отображающее входной диапазон диспаратности на выходной диапазон диспаратности, оказывающее предпочтение глубине областей, имеющих более высокие значения важности.

Документ «Adaptive 3D Rendering based on Region-on-Interest, by Christel Chamaret, Sylvain Godeffroy, Patrick Lopez, Olivier Le Meur, at Thomson Corporate Research, 1 Avenue de Belle-Fontaine 35576 Cesson-Sevigne France» описывает методы обработки 3D-видео, в частности управление высокой диспаратностью. Высокая диспаратность в настоящее время имеет большое влияние на просмотр 3D-сцен на стереоскопических экранах. Значимые области сцен обычно называются областями интереса в области обработки изображений. 3D-восприятие исправляется посредством применения некоторых эффектов, относящихся к интересующей области. В частности, сдвиг между двумя видами адаптивно регулируется, чтобы иметь нулевую диспаратность в зоне интересующей области в сцене.

Сущность изобретения

Вышеупомянутый документ описывает модифицирование диспаратностей в данных изображения посредством применения сдвига диспаратности между левым и правым видом, так что главная область интереса имеет нулевую диспаратность. Вследствие упомянутого сдвига другие зоны в данных изображения получают более высокую диспаратность, чем исходные данные. Такие диспаратности могут быть за пределами диапазона диспаратности, который зрительная система человека может комфортно обрабатывать в 3D-восприятии и может приводить к визуальному дискомфорту, усталости или диплопии (двоению в глазах). Документ предлагает применять размывание, например селективное размывание фоновой части изображения, чтобы спрятать такие причиняющие неудобство зоны. Также из-за сдвига области интереса с высокой диспаратностью в нулевую диспаратность необходимо применять относительно большой сдвиг. Следовательно, проблема известного способа заключается в том, что уменьшается 3D-восприятие изображения.

Задачей изобретения является обеспечение обработки данных 3D-изображения для улучшения рендеринга данных 3D-изображения, имеющих высокие диспаратности, в то же время исключая снижение качества изображения.

С этой целью, согласно первому аспекту изобретения способ, описанный в начальном абзаце, содержит извлечение из сигнала 3D-изображения первой карты глубины, содержащей первые значения глубины, извлечение из сигнала 3D-изображения данных значимости, представляющих собой значимость в величине данных 3D-изображения, причем значимость указывают значимые элементы, имеющие значимый диапазон значений глубины, определение поддиапазона глубины дисплея, причем поддиапазон глубины дисплея представляет собой поддиапазон используемого диапазона глубины 3D-дисплея и обеспечивает более высокое качество 3D-изображения для зрителя, чем качество 3D-изображения по используемому диапазону глубины, определение функции отображения глубины для величины данных 3D-изображения в зависимости от данных значимости, так что первые значения глубины в значимом диапазоне значений глубины отображаются на поддиапазон глубины дисплея, и в котором определение функции отображения глубины содержит составление объединенной гистограммы для значимых значений глубины и незначимых значений глубины, в котором значимые значения глубины взвешиваются с использованием первого весового коэффициента входного преобразования перед добавлением в гистограмму и незначимые значения глубины взвешиваются с использованием второго весового коэффициента входного преобразования перед добавлением в гистограмму, первый весовой коэффициент входного преобразования и второй весовой коэффициент входного преобразования в зависимости от поддиапазона глубины дисплея и используемого диапазона 3D-дисплея, определение диапазона глубины объединенной гистограммы и отображение диапазона глубины объединенной гистограммы внутрь используемого диапазона глубины 3D-дисплея, причем первый весовой коэффициент входного преобразования и второй весовой коэффициент входного преобразования являются разными и выбираются так, что первые значения глубины в значимом диапазоне значений глубины деформируются на поддиапазон глубины дисплея, и преобразование первой карты глубины во вторую карту глубины посредством функции отображения глубины и генерирование видов дисплея в зависимости от второй карты глубины.

С данной целью, согласно другому аспекту изобретения устройство 3D-видео для обработки сигнала 3D-изображения для рендеринга данных 3D-изображения на 3D-дисплее, основываясь на многих видах дисплея, содержит средство ввода для извлечения из сигнала 3D-изображения первой карты глубины, содержащей первые значения глубины, и для извлечения из сигнала 3D-изображения данных значимости, представляющих собой значимость в величине данных 3D-изображения, причем значимость указывает значимые элементы, имеющие значимый диапазон значений глубины, и видеопроцессор, выполненный с возможностью определения поддиапазона глубины дисплея, причем поддиапазон глубины дисплея представляет собой диапазон используемого диапазона глубины 3D-дисплея и обеспечивает более высокое качество 3D-изображения для зрителя, чем качество 3D-изображения по используемому диапазону глубины, определение функции отображения глубины для величины данных 3D-изображения в зависимости от данных значимости, так что первые значения глубины в значимом диапазоне значений глубины отображаются на поддиапазон глубины дисплея, и в котором определение функции отображения глубины содержит:

составление объединенной гистограммы для значимых значений глубины и незначимых значений глубины, при этом значимые значения глубины взвешиваются с использованием первого весового коэффициента входного преобразования перед добавлением в гистограмму и незначимые значения глубины взвешиваются с использованием второго весового коэффициента входного преобразования перед добавлением в гистограмму, причем первый весовой коэффициент входного преобразования и второй весовой коэффициент входного преобразования в зависимости от поддиапазона глубины дисплея и используемого диапазона 3D-дисплея, определение диапазона глубины объединенной гистограммы и отображение диапазона глубины объединенной гистограммы внутрь используемого диапазона глубины 3D-дисплея, причем первый весовой коэффициент входного преобразования и второй весовой коэффициент входного преобразования являются разными и выбираются так, что первые значения глубины в значимом диапазоне значений глубины деформируются на поддиапазон глубины дисплея, преобразование первой карты глубины во вторую карту глубины посредством функции отображения глубины для генерирования видов дисплея в зависимости от второй карты глубины.

Предпочтительно, что сигнал 3D-изображения для рендеринга данных 3D-изображения на 3D-дисплее, основываясь на многих видах дисплея, содержит метаданные, включающие в себя данные значимости, представляющие собой значимость в величине данных 3D-изображения, причем значимость указывает значимые элементы, имеющие значимый диапазон значений глубины, чтобы иметь возможность в устройстве 3D-видео выполнять извлечение из сигнала 3D-изображения первой карты глубины, содержащей первые значения глубины, определение поддиапазона глубины дисплея, причем поддиапазон глубины дисплея представляет собой поддиапазон используемого диапазона глубины 3D-дисплея и обеспечивает более высокое качество 3D-изображения для зрителя, чем качество 3D-изображения по используемому диапазону глубины, определение функции отображения глубины для величины данных 3D-изображения в зависимости от данных значимости, так что первые значения глубины в значимом диапазоне отображаются на поддиапазон глубины дисплея, и преобразование первой карты глубины во вторую карту глубины посредством функции отображения глубины для генерирования видов дисплея в зависимости от второй карты глубины.

Меры имеют эффект модифицирования диспаратностей, так что диспаратности между видами, визуализируемыми на конкретном дисплее, находятся в пределах используемого диапазона диспаратностей. Используемый диапазон также может называться стереоскопической комфортной зоной, т.е. диапазоном значений диспаратности при стереоскопическом рендеринге, который может комфортно обрабатываться зрительной системой человека в 3D-восприятие. Кроме того, данные значимости в данных 3D-изображения используются для определения значимого диапазона элементов, представляющих интерес, в изображении, и такие элементы отображаются на поддиапазон глубины 3D-дисплея, который имеет высокое качество 3D-изображения.

Функция отображения глубины содержит составление объединенной гистограммы для значимых пикселей и незначимых пикселей, причем значимые пиксели имеют первое входное преобразование и незначимые пиксели имеют второе входное преобразование, причем первое входное преобразование имеет функцию коррекции в зависимости от поддиапазона в отношении используемого диапазона; и отображение диапазона глубины объединенной гистограммы внутрь используемого диапазона глубины дисплея, причем функция коррекции является такой, что первые значения глубины в значимом диапазоне деформируются на поддиапазон глубины дисплея. Как значимые, так и незначимые значения вводятся в объединенную гистограмму, хотя применяя разное входное преобразование. Например, незначимые пиксели только вводятся в гистограмму, т.е. применяется единичное входное преобразование. Когда, например, поддиапазон равен 0,25 × используемый диапазон (т.е. 25% используемого диапазона), первое входное преобразование может иметь линейную функцию коррекции 4. Затем отображение основывается на том, что глубины объединенной гистограммы находятся внутри используемого диапазона, Полезно, что посредством, фактически, умножения значимых глубин на упомянутую функцию коррекции значимые глубины, по существу, попадают в поддиапазон.

Способ предназначен для обработки сигнала 3D-изображения для рендеринга данных 3D-изображения на 3D-дисплее, основываясь на многих видах дисплея. Такой дисплей, например, может представлять собой автостереоскопический дисплей, который генерирует многие виды в луче просмотра, имеющие такие размеры, чтобы обеспечивать пару видов для левого и правого глаза зрителя. Первая карта глубины извлекается из сигнала 3D-изображения. Также, данные значимости, представляющие собой значимость в величине данных 3D-изображения, извлекаются из сигнала изображения. Величиной может быть единственное изображение или видеокадр, или последовательность видеополей или кадров, таких как, например, кадры, соответствующие заданному периоду времени, снимку, единице кодирования, такой как группа видеокадров (GOP в кодировании MPEG (Экспертная группа по вопросам движущегося изображения)) и т.д. Используя несколько последовательных кадров или несколько непоследовательных кадров, представляющих снимок, таких как начальный кадр или начальный и конечный кадр, можно получить лучшую аппроксимацию значимых и незначимых данных.

Данные значимости могут быть включены в сигнал в виде метаданных или могут извлекаться посредством локальной обработки величины данных 3D-изображения. Значимость указывает значимые элементы, т.е. части изображения, которые привлекают внимание человека-зрителя. Значимые части изображения имеют значимый диапазон значений глубины, т.е. диапазон значений глубины тех частей изображения, которые имеют высокую вероятность привлечения внимания и сосредоточения зрителя. Значимость, например, может основываться на яркости, контрастности и/или цветовых различиях и, частично, может основываться на различиях глубины, например выступании. Также, тип предмета, например лицо человека, может обнаруживаться и использоваться для значимости. По существу, различные способы для определения значимых элементов в данных изображения известны для специалиста в данной области техники.

Изобретение также основывается на следующем распознавании. Изобретатели обнаружили, что для конкретного дисплея существует поддиапазон глубины дисплея используемого диапазона глубины соответствующего 3D-дисплея, который имеет более высокое качество 3D-изображения для зрителя, чем качество 3D-изображения по всему используемому диапазону глубины. Поддиапазон может быть связан с типом дисплея или может регулироваться для конкретного зрителя, например ребенка, или может представлять собой набор предпочтений зрителя. Также, поддиапазон может выбираться так, чтобы он имел низкий уровень перекрестных помех между видами, тогда как перекрестные помехи по используемому диапазону могут быть больше.

Определяется функция отображения глубины для отображения упомянутой величины данных 3D-изображения в зависимости от данных значимости. Функция отображения глубины имеет такие размеры, чтобы отображать дополнительные значения глубины, т.е. незначимые значения для незначимых частей изображения, чтобы, по существу, оставаться в используемом диапазоне дисплея. Функция отображения глубины применяется к исходным первым значениям глубины и генерирует адаптированные значения глубины, так что первые значения глубины в значимом диапазоне изменяются к значениям глубины в поддиапазоне глубины дисплея. В практических случаях, в зависимости от фактического содержимого изображения, по существу, все значения глубины могут отображаться в выбранный поддиапазон, или по меньшей мере сдвиг к поддиапазону выполняется для по меньшей мере части значимых значений глубины. Посредством отображения значимые элементы перемещаются в направлении глубины к диапазону высокого качества соответствующего дисплея, тогда как другие части изображения, по существу, сохраняют значения глубины в используемом диапазоне дисплея. Наконец, функция отображения глубины применяется к величине данных 3D-изображения для преобразования первой карты глубины во вторую, окончательную карту глубины, и виды дисплея генерируются в зависимости от второй карты глубины. Полезно, что исключается перемещение главного значимого объекта в нулевую диспаратность, так как значения глубины такого объекта будут перемещаться только к упомянутому поддиапазону и, поэтому, не будет форсироваться весь путь до нулевой диспаратности.

Отмечается, что в данном документе значения глубины и карты глубины также включают в себя значения диспаратности и карты диспаратности. Фактическим представлением глубины может быть значение в диапазоне значений глубины или диапазоне значений диспаратности, используемом конкретной системой, например, 0-255, где большие значения близки к зрителю и нулем является бесконечность. Альтернативно, может использоваться диапазон значений диспаратности вокруг нуля, например от -512 до +511, где отрицательные цифровые значения могут представлять диспаратности перед экраном дисплея и ноль находится в плоскости экрана. Альтернативно, положительная диспаратность d может представлять объект очень далеко, используя зависимость: xR=xL-dL. Значение диспаратности может соответствовать фактическим сдвигам в пикселях или может иметь другой масштаб или разрешение. Следовательно, где упоминаются основанные на глубине значения и/или обработка, такие термины также должны рассматриваться для охвата основанного на диспаратности представления. Обычно, диспаратность типично основывается на 1/Z, причем Z представляет собой глубину. Подробно, зависимость с Z хорошо известна, но является сложной (например, основывается на эпиполярной геометрии с параллельными камерами). Для типовых (малых) диапазонов входной диспаратности типового содержимого зависимость между глубиной и диспаратностью близка к линейной. Например, этапы преобразования первой карты глубины во вторую карту глубины посредством функции отображения глубины и генерирование видов дисплея в зависимости от второй карты глубины могут объединяться непосредственным генерированием видов, имеющих модифицированные, отображенные диспаратности.

Опционально, данные значимости представляют собой карту значимости, указывающую степень значимости для пикселей изображения. Степень значимости может быть по двоичной шкале, например 0 или 1, или могут использоваться промежуточные значения. Диапазон значений глубины может определяться для соответствующих значимых пикселей. Опционально, данными значимости является диапазон глубины значимости. Диапазон может определяться отдельно, например во время производства или предобработки данных 3D-изображения или 3D-видео.

Опционально, извлечение данных значимости содержит извлечение метаданных из сигнала 3D-изображения, причем метаданные представляют данные значимости данных 3D-изображения. Полезно, что источник данных 3D-изображения, например киностудия, может определять значимость и может включать метаданные, касающиеся значимости в сигнале 3D-видео.

Опционально, величина данных 3D-изображения представляет собой период сигнала 3D-видео, и функция отображения глубины зависит от данных значимости во времени. Функция отображения глубины определяется для упомянутого периода или максимально изменяется медленно в течение упомянутого периода. Полезно, что для зрительной системы человека не являются помехой частые изменения в перспективе глубины. В частности, функция отображения глубины может содержать определение снимка в качестве периода сигнала 3D-видео и установление функции отображения для снимка, или использование движущегося окна, имеющего предварительный просмотр, и установление функции отображения для окна.

Опционально, видеопроцессор выполнен с возможностью генерирования видов дисплея в зависимости от второй карты глубины. Опционально, устройство содержит 3D-дисплей для воспроизведения видов дисплея для соответствующих левых и правых глаз зрителя. Опционально, видеопроцессор выполнен с возможностью определения поддиапазона глубины дисплея посредством получения информации о возможностях дисплея от устройства 3D-дисплея, подсоединенного к устройству 3D-видео.

Опционально, извлечение данных значимости содержит извлечение метаданных из сигнала 3D-изображения, причем метаданные представляют данные значимости данных 3D-изображения.

Дополнительные предпочтительные варианты осуществления способа и 3D-устройств согласно изобретению приведены в прилагаемой формуле изобретения, описание которой включено в данный документ по ссылке.

Краткое описание чертежей

Эти и другие аспекты изобретения очевидны и поясняются дополнительно со ссылкой на варианты осуществления, описанные в качестве примера в нижеследующем описании и со ссылкой на прилагаемые чертежи, на которых

фиг. 1 изображает устройство для обработки данных 3D-изображения в системе для воспроизведения данных 3D-изображения,

фиг. 2 изображает общий вид системы отображения диспаратности,

фиг. 3 схематически изображает отображение диспаратности известного уровня техники,

фиг. 4 схематически изображает улучшенное отображение диспаратности,

фиг. 5 изображает нелинейное отображение диспаратности,

фиг. 6 изображает ограничение максимального коэффициента усиления,

фиг. 7 изображает улучшенное нелинейное отображение диспаратности.

На фигурах элементы, которые соответствуют уже описанным элементам, могут иметь одинаковые ссылочные позиции.

Подробное описание вариантов осуществления

Настоящее изобретение может использоваться для любого типа данных 3D-изображения или неподвижного изображения, или движущегося видео. Система обрабатывает карту глубины, обеспечиваемую в данных 3D-изображения. Карта глубины может или предоставляться первоначально при вводе системы, или может генерироваться так, как описано ниже, например из левого/правого кадров в стерео (L+R) видеосигнале или из 2D-видео. Предполагается, что данные 3D-изображения доступны в виде электронных, кодированных в цифровом виде данных. Настоящее изобретение относится к таким данным изображения и манипулирует данными изображения в цифровой области.

Существует много разных способов, которыми данные 3D-видео могут форматироваться и переноситься, называемых форматом 3D-видео. Некоторые форматы основываются на использовании 2D-канала также для передачи стереоинформации. Например, левый и правый вид могут чередоваться или могут располагаться рядом и выше и ниже. Альтернативно, 2D-изображение и карта глубины могут переноситься и, возможно, дополнительные 3D-данные, подобно данным перекрытия изображения или данным прозрачности. Любой способ обеспечения или пересылки данных 3D-изображения, такой как Интернет или синелучевой диск (BD), может обеспечивать данные 3D-видео.

Фиг. 1 изображает устройство для обработки данных 3D-изображения в системе для воспроизведения данных 3D-изображения. Первое устройство 40 3D-видео, названное 3D-источник, обеспечивает и пересылает сигнал 41 3D-видео на дополнительное устройство 50 обработки 3D-изображения, которое подсоединено к устройству 60 3D-дисплея для пересылки сигнала 56 3D-дисплея.

Фиг. 1 дополнительно изображает носитель 54 записи в виде носителя сигнала 3D-видео. Носитель записи имеет дискообразную форму и имеет дорожку и центральное отверстие. Дорожка, составленная посредством схемы расположения физически обнаруживаемых меток, располагается в соответствии со спиральной или концентрической схемой расположения витков, составляющих, по существу, параллельные дорожки на одном или нескольких информационных слоях. Носитель записи может быть оптически считываемым, называемым оптическим диском, например, компакт-диск (CD), цифровой многофункциональный диск (DVD) или синелучевой диск (BD) (Blu-ray Disc). Информация формируется на информационном слое посредством оптически обнаруживаемых меток вдоль дорожки, например микроуглублений и микровыступов. Структура дорожек также содержит информацию о положении, например заголовки и адреса, для указания расположения единиц информации, обычно называемых информационными блоками. Носитель 54 записи переносит информацию, представляющую кодированные цифровым образом данные 3D-изображения, такие как видео, например кодированные в соответствии с системой кодирования MPEG2 или MPEG4 в заданном формате записи, таком как формат DVD или BD.

3D-источник имеет узел 42 обработки для обработки данных 3D-видео, принимаемых посредством узла 47 ввода. Входные данные 43 3D-видео могут быть доступны от системы хранения, студии видеозвукозаписи, с 3D-камеры и т.д. Видеопроцессор 42 генерирует сигнал 41 3D-видео, содержащий данные 3D-видео. Источник может быть выполнен с возможностью пересылки сигнала 3D-видео от видеопроцессора через узел 46 вывода и на дополнительное устройство 3D-видео, или для предоставления сигнала 3D-видео для распределения, например, посредством носителя записи. Сигнал 3D-видео основывается на обработке входных данных 43 3D-видео, например, посредством кодирования и форматирования данных 3D-видео в соответствии с заданным форматом при помощи кодера 48.

3D-источником может быть сервер, вещательная компания, устройство записи или авторская и/или производственная система для производства оптических носителей записи, подобных Blu-ray Disc, обеспечивает интерактивную платформу для распределения видео для создателей контента. Информация о формате Blu-ray Disc доступна с веб-сайта ассоциации Blu-ray Disc в статьях о формате аудиовизуальных приложений, например http://www.blu-raydisc.com/Assets/Downloadablefile/2b_bdrom_audiovisualapplication_0305-12955-15269.pdf. Процесс производства оптического носителя записи дополнительно содержит этапы обеспечения физической схемы расположения меток в дорожках, причем эта схема расположения формирует сигнал 3D-изображения, который может включать в себя метаданные 3D-значимости, и затем формирования материала носителя записи в соответствии со схемой расположения для обеспечения дорожек меток на по меньшей мере одном слое хранения.

Устройство 50 обработки 3D-изображения имеет узел 51 ввода для приема сигнала 41 3D-видео. Например, устройство может включать в себя узел 58 оптического диска, соединенный с узлом ввода для извлечения информации о 3D-видео с оптического носителя 54 записи, такого как DVD или Blu-ray Disc. Альтернативно (или дополнительно), устройство может включать в себя узел 59 сетевого интерфейса для подсоединения к сети 45, например Интернету или широковещательной сети, причем такое устройство обычно называется телевизионной приставкой. Сигнал 3D-видео может извлекаться с удаленного веб-сайта или медиасервера, как указано 3D-источником 40. Устройство обработки 3D-изображения может представлять собой преобразователь, который преобразует входной сигнал изображения в выходной сигнал изображения, имеющий требуемую диспаратность. Такой преобразователь может использоваться для преобразования разных входных сигналов 3D-видео для конкретного типа 3D-дисплея, например стандартный 3D-контент в видеосигнал, пригодный для автостереоскопических дисплеев конкретного типа или производителя. На практике устройством может быть оптический дисковый 3D-проигрыватель или спутниковый приемник, или телевизионная приставка, или любой тип медиаплеера.

Устройство 3D-обработки имеет узел 52 обработки, соединенный с узлом 51 ввода, для обработки 3D-информации для генерирования сигнала 56 3D-дисплея, подлежащего переносу посредством узла 55 выходного интерфейса, на устройство дисплея, например сигнал дисплея в соответствии со стандартом мультимедийного интерфейса высокого разрешения (HDMI), см. «High Definition Multimedia Interface; Specification Version 1.4a of March 4, 2010», 3D-часть которого доступна по адресу: http://hdmi.org/manufacturer/specification.aspx для общедоступной загрузки. Узел 52 обработки выполнен с возможностью генерирования данных изображения, включенных в сигнал 56 3D-дисплея для воспроизведения на устройстве 60 дисплея.

Устройство 60 3D-дисплея предназначено для воспроизведения данных 3D-изображения. Устройство имеет узел 61 входного интерфейса для приема сигнала 56 3D-дисплея, включающего в себя данные 3D-видео, переносимые с 3D-плеера 50. Перенесенные данные 3D-видео обрабатываются в узле 62 обработки для воспроизведения на 3D-дисплее 63, например двойном жидкокристаллическом дисплее (LCD) или дисплее с многими видами. Устройство 60 дисплея может быть любого типа из стереоскопического дисплея, также называемого 3D-дисплеем.

Видеопроцессор в устройстве 3D-видео, т.е. процессорные узлы 52 в устройстве 50 3D-видео, выполнен с возможностью исполнения следующих функций для обработки сигнала 3D-видео. Сигнал 3D-видео принимается средством 51, 58, 59 ввода, которое обеспечивает данные 3D-изображения, содержащие по меньшей мере первую карту глубины и данные изображения. Снова отмечается, что карта диспаратности в данном тексте, как считается, также является типом карты глубины. Например, первая карта глубины может генерироваться из стерео (L+R) входного сигнала посредством оценки диспаратности. Первая карта глубины имеет первые значения глубины и изображение, содержащее значения изображения в двумерном массиве пикселей. Отмечается, что карта глубины также имеет двумерный массив пикселей и соответствует изображению, хотя карта глубины может иметь другое разрешение.

Видеопроцессор 62 в устройстве 60 3D-дисплея выполнен с возможностью обработки данных 3D-видео для генерирования сигналов управления дисплеем для рендеринга многих видов. Виды могут генерироваться из данных 3D-изображения, используя карту глубины.

В первом варианте осуществления системы видеопроцессор 62 выполнен с возможностью обработки сигнала 3D-изображения для рендеринга данных 3D-изображения на 3D-дисплее, основываясь на многих видах дисплея. Обработка ввода включает в себя извлечение из сигнала 3D-изображения первой карты глубины, содержащей первые значения глубины, и извлечение из сигнала 3D-изображения данных значимости, представляющих значимость в величине данных 3D-изображения. Значимость указывает значимые элементы, имеющие значимый диапазон значений глубины. Карта глубины и/или данные значимости могут генерироваться на источнике данных 3D-изображения, таком как киностудия, и затем передаваться с сигналом 3D-изображения, или могут генерироваться в устройстве 3D-плеера или в устройстве 3D-дисплея.

Значимость указывает значимые элементы, т.е. части изображения, которые привлекают внимание человека-зрителя. Значимые части изображения имеют значимый диапазон значений глубины, т.е. диапазон значений глубины этих частей изображения, которые имеют высокую вероятность привлечения внимания и сосредоточенности зрителя. Значимость, например, может основываться на яркости, контрастности и/или цветовых различиях и/или разностях глубины, например выступании. Также, тип предмета, например лицо человека, может обнаруживаться и использоваться для значимости. По существу, известны различные способы для определения значимых элементов в данных изображения.

Например, чтобы обнаружить лица, изобретатели могут применять известный обнаружитель лиц, см., например, «P. Viola and M. Jones, Robust Real-time Object Detection, Second International Workshop On Statistical And Computational Theories Of Vision - Modeling, Learning, Computing, and Sampling; Vancouver, Canada, July 13, 2001». Изобретатели могут обнаруживать, в частности, большие лица, так как они являются наиболее значимыми; меньшие лица могут игнорироваться. Для лиц в анфас такое обнаружение обычно является довольно устойчивым к ошибкам, означая, что такое лицо в анфас будет обнаруживаться в большинстве кадров.

Также могут быть включены другие меры значимости, кроме обнаружителя лица. Это может быть обнаружители конкретного объекта, но также может быть «стандартная» мера значимости, указывающая части изображения, к которым привлекается внимание зрителя. Выходной результат многочисленных обнаружителей может объединяться, если они ассоциируются с одним и тем же значимым диапазоном глубины ( d m i n S , d m a x S ), или обрабатываться отдельно, если они не ассоциируются. В оставшемся описании изобретатели предполагают единственный значимый диапазон глубины, но все описание в равной степени применимо для общего случая.

Для включения метаданных значимости в данные 3D-изображения соответствующий 3D-формат может быть улучшен посредством определения дополнительной структуры данных или подлежащего пересылке сообщения, в пределах ограничений 3D-формата, такого как формат видео BD или формат интерфейса HDMI, упомянутые выше. Например, метаданные значимости могут включать в себя значимый диапазон глубины или значений диспаратности, или указание одной или нескольких значимых областей в данных изображения, например карты значимости. Опционально, метаданные значимости могут включать в себя конкретную функцию отображения или конкретные параметры, подлежащие использованию для улучшенного отображения диспаратности, как описано ниже. Например, конкретная зависимость, один из многих поддиапазонов или значения смещения могут обеспечиваться для использования во время отображения. Метаданные значимости также могут задаваться для конкретного периода данных 3D-изображения, например для ряда кадров, кодированной группы видеокадров (GOP в кодировании MPEG), сцены или снимка сигнала 3D-видео и т.д., и могут включать в себя данные о временных границах или переходных моментах, где может регулироваться отображение диспаратности, или периоды, когда отображение должно оставаться фиксированным, или отображение может совсем не применяться. Метаданные смещения могут быть включены для нескольких разных целевых систем 3D-дисплея, например первый набор значимых данных для автостереоскопического дисплея с относительно малым поддиапазоном и второй набор для стереоскопического дисплея, имеющего больший поддиапазон.

Кроме того, обработка включает в себя определение поддиапазона глубины дисплея. Поддиапазон глубины дисплея представляет собой поддиапазон используемого диапазона глубины 3D-дисплея и обеспечивает более высокое качество 3D-изображения для зрителя, чем качество 3D-изображения по используемому диапазону глубины. Поддиапазоном может быть заданный диапазон, который определяется для соответствующего типа дисплея и может извлекаться посредством цифрового интерфейса для дисплея или посредством таблицы поиска. Например, поддиапазон может пересылаться как часть данных расширенных данных идентификации дисплея (EDID). Следовательно, поддиапазон глубины дисплея может определяться посредством получения информации о возможностях дисплея от устройства 60 3D-дисплея, подсоединенного к устройству обработки, например для приема исправленной карты глубины или многих видов.

Опционально, поддиапазон может устанавливаться или регулироваться для конкретного зрителя, например ребенка, или может представлять собой предпочтения пользователя, введенные зрителем. Например, поддиапазон представляет собой диапазон, где объекты имеют высокую резкость, тогда как объекты вне поддиапазона имеют меньшую резкость или могут расплываться. Автостереоскопический дисплей обычно имеет такой поддиапазон. Также, поддиапазон может выбираться, чтобы он имел низкий уровень переходных помех между видами, тогда как переходные помехи по используемому диапазону могут быть больше. Стереоскопические дисплеи, например, использующие затворные очки, могут быть склонны к таким переходным помехам.

Обработка дополнительно включает в себя определение функции отображения глубины для величины данных 3D-изображения в зависимости от данных значимости, так что первые значения глубины в значимом диапазоне отображаются на поддиапазон глубины дисплея. Наконец, первая карта глубины преобразуется во вторую карту глубины посредством функции отображения глубины, и виды дисплея генерируются в зависимости от второй карты глубины.

Альтернативно, видеопроцессор 52 в устройстве 50 3D-плеера или узел 42 обработки в устройстве 3D-источника могут быть выполнены с возможностью выполнения упомянутой обработки карты глубины. Данные значимости и/или вторая карта глубины, и/или многие виды, сгенерированные для заданного 3D-дисплея, могут переноситься с сигналом 3D-изображения на упомянутый 3D-дисплей.

Обработка сигнала 3D-изображения может дополнительно включать в себя генерирование первой карты глубины из сигнала 2D-видео для преобразования 2D-видео в 3D-виде