Устройство и способ передачи данных стереоизображения, устройство и способ приема данных стереоизображения, устройство передачи данных изображения и устройство приема данных изображения

Устройство и способ передачи данных стереоизображения, устройство и способ приема данных стереоизображения, устройство передачи данных изображения и устройство приема данных изображения

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Данное изобретение относится к устройству передачи данных стереоизображения, способу передачи данных стереоизображения, устройству приема данных стереоизображения, способу приема данных стереоизображения, устройству передачи данных изображения и устройству приема данных изображения, в частности к способу передачи данных стереоизображения или тому подобному, выполненному с возможностью отображения предпочтительным образом информации наложения, такой как графическая информация и текстовая информация.

Уровень техники

Например, в PTL 1 предложен режим передачи для стереоскопических данных изображения, используя радиоволны широковещательной передачи. В этом случае передают данные стереоизображения, включающие в себя данные изображения левого глаза и данные изображения правого глаза, и отображение стереоизображения, используя бинокулярное несоответствие/параллакс, выполняют в телевизионном приемнике.

На фиг.42 показана взаимосвязь между положениями отображения левого и правого изображений объекта на экране и реконструированными положениями получаемых в результате стереоскопических изображений в дисплее стереоизображения, используя бинокулярное несоответствие. Например, что касается объекта А, левое изображение La, и правое изображение Ra отображаются со смещением в правую сторону и в левую сторону, соответственно, на экране, как показано на фигуре, при этом левая и правая линии обзора пересекаются перед плоскостью экрана, и таким образом, полученное стереоизображение реконструируют в положении перед плоскостью экрана.

Кроме того, например, что касается объекта В, левое изображение Lb и правое изображение Rb которого отображаются в одном и том же положении на экране, как показано на фигуре, левая и правая линии обзора пересекаются на поверхности экрана, и таким образом полученное стереоизображение реконструируют в определенном положении на плоскости экрана. Кроме того, например, что касается объекта С, левое изображение Lc и правое изображение Re которого отображаются со смещением в левую сторону и в правую сторону, соответственно, на экране, как показано на фигуре, левая и правая линии обзора пересекаются позади поверхности экрана, и таким образом, полученное стереоизображение реконструируют в положении позади плоскости экрана.

Список литературы

Патентная Литература

PTL 1: Публикация No. 2005-6114 находящейся на экспертизе заявки на японский патент

Сущность изобретения

Техническая задача

Как описано выше, на дисплее, отображающем стереоизображение, зритель обычно распознает перспективу стереоизображения, используя бинокулярное несоответствие. Что касается информации наложения, которая должна быть наложена на изображение, например информации графического изображения и текстовой информации, ожидается, что информация наложения будет представлена вместе с отображением стереоизображения не только в форме двумерного пространства, но также и в трехмерной иллюзии глубины.

Например, в случае выполнения отображения с наложением субтитров в качестве информации графики на изображении, пока субтитры не будут отображаться перед объектом в изображении, самым близким в том, что касается перспективы, зритель иногда может ощущать несоответствие перспективы. Кроме того, также в случае выполнения отображения с наложением на изображение другой информации графического изображения или текстовой информации, ожидается, что регулирование несоответствия должно быть выполнено в соответствии с перспективой каждого объекта в изображении, чтобы таким образом поддерживать согласованность перспективы.

Цель настоящего изобретения состоит в том, чтобы поддерживать согласованность перспективы с каждым объектом в изображении при отображении информации наложения, такой как информация графического изображения и текстовая информация.

Решение задачи

Концепция данного изобретения относится к устройству передачи данных стереоизображения, включающему в себя:

модуль вывода данных стереоизображения, который выводит данные стереоизображения, включающие в себя данные изображения левого глаза и данные изображения правого глаза;

модуль вывода информации несоответствия, который выводит информацию несоответствия для придания несоответствия путем смещения информации наложения, которая должна быть наложена на изображения, на основе данных изображения левого глаза и данных изображения правого глаза; и

модуль передачи данных, который передает информацию несоответствия, выводимую из модуля вывода информации несоответствия, вместе с данными стереоизображения, выводимыми из модуля вывода данных стереоизображения.

Кроме того, другая концепция настоящего изобретения относится к способу передачи данных стереоизображения, включающему в себя:

получают информацию несоответствия для придания несоответствия путем смещения информации наложения, которая должна быть наложена на изображения, на основе данных изображения левого глаза и данных изображения правого глаза; и

передают полученную информацию несоответствия вместе с данными стереоизображения, включающими в себя данные изображения левого глаза и данные изображения правого глаза.

Кроме того, другая концепция настоящего изобретения относится к способу передачи данных стереоизображения, включающему в себя:

получают, на основе данных изображения левого глаза и данных изображения правого глаза для отображения стереоизображения, информацию несоответствия для одного из изображения левого глаза и изображения правого глаза относительно друг друга, в заданном положении в пределах изображения; и

передают полученную информацию несоответствия вместе с данными стереоизображения, включающими в себя данные изображения левого глаза и данные изображения правого глаза.

В данном изобретении данные стереоизображения, включающие в себя данные изображения левого глаза и данные изображения правого глаза, выводят с помощью модуля вывода данных стереоизображения. Кроме того, информацию несоответствия, для придания несоответствия путем смещения информации наложения, которая должны быть наложена на изображения, на основе данных изображения левого глаза и данных изображения правого глаза, выводят с помощью модуля вывода информации несоответствия. Например, информация несоответствия представляет собой информацию несоответствия одного из изображения левого глаза и изображения правого глаза относительно друг друга, и ее рассчитывают на основе данных изображения левого глаза и данных изображения правого глаза для отображения стереоизображения. В этом случае в заданном положении в пределах изображения рассчитывают вектор обзора, как информацию несоответствия, используя, например, способ сопоставления блоков. Затем информацию несоответствия передают с помощью модуля передачи данных, вместе с данными стереоизображения, включающими в себя данные изображения левого глаза и данные изображения правого глаза.

Например, информацию несоответствия передают как цифровую информацию. В этом случае на стороне приема, на основе этой цифровой информации, задают несоответствие для одной и той же информации наложения, которая должна быть наложена на данные изображения левого глаза и данные изображения правого глаза. Здесь информация наложения означает информацию, которая должна быть отображена с наложением на изображении, такую, как графическая информация, предназначенная для отображения субтитров, или текстовая информация для отображения электронной программы передач (EPG) или информация телетекста. Кроме того, информацию несоответствия передают, включая ее в данные информации наложения, которые должны быть наложены на изображения, на основе данных изображения левого глаза и данных изображения правого глаза. В этом случае, на стороне приема такую информацию наложения используют в том виде, как она есть.

Таким образом, информацию несоответствия, полученную в заданном положении в пределах изображения, передают вместе с данными стереоизображения, включающими в себя данные изображения левого глаза и данные изображения правого глаза. Таким образом, на стороне приема, в качестве той же информации наложения, которая должна быть наложена на изображение левого глаза и изображение правого глаза, можно использовать информацию наложения, для которой была применена регулировка несоответствия, в соответствии с перспективой каждого объекта в пределах изображения, делая, таким образом, возможным поддержание соответствия перспективы при отображении информации наложения.

Кроме того, концепция настоящего изобретения относится в устройству приема данных стереоизображения, включающему в себя:

модуль приема данных изображения, который принимает данные стереоизображения, включающие в себя данные изображения левого глаза и данные изображения правого глаза; и

модуль обработки данных изображения, который придает несоответствие для одной и той же информации наложения, коротая должна быть наложена на изображение левого глаза и изображение правого глаза, на основе информации несоответствия одного из изображения левого глаза и изображения правого глаза относительно друг друга, и получает данные изображения левого глаза, на которое была наложена информация наложения, и данные изображения правого глаза, на которое была наложена информация наложения, причем информацию несоответствия получают в результате обработки данных изображения левого глаза и данных изображения правого глаза, включенных в данные стереоизображения, принятые модулем приема данных изображения.

В данном изобретении данные стереоизображения, включающие в себя данные изображения левого глаза и данные изображения правого глаза, принимают с помощью модуля приема данных изображения. Кроме того, на основе информации несоответствия одного из изображения левого глаза и изображения правого глаза относительно друг друга задают несоответствие для одной и той же информации наложения, которая должны быть наложена на изображение левого глаза и изображение правого глаза с помощью модуля обработки данных изображения. Такую информацию несоответствия получают путем обработки данных изображения левого глаза и данных изображения правого глаза, включенных в данные стереоизображения, принятые модулем приема данных изображения.

Например, информацию несоответствия принимают с помощью модуля приема информации несоответствия в синхронизации с данными стереоизображения, принимаемыми модулем приема данных изображения. В этом случае нет необходимости получать информацию несоответствия на основе данных изображения левого глаза и данных изображения правого глаза, включенных в данные стереоизображения, принимаемые модулем приема данных изображения, и, таким образом, упрощается обработка на стороне приема. Кроме того, например, информацию несоответствия получают с помощью модуля получения информации несоответствия. В этом модуле получения информации несоответствия, на основе данных изображения левого глаза и данных изображения правого глаза, включенных в данные стереоизображения, принятые модулем приема данных изображения, информацию несоответствия одного из изображения левого глаза и изображения правого глазного относительно друг друга получают в заданном положении в пределах изображения. В этом случае становится возможной обработка с использованием информации несоответствия, даже если информация несоответствия не будет передана.

Кроме того, данные изображения левого глаза, на которые была наложена информация наложения, и данные изображения правого глаза, на которые была наложена информация наложения, получают с помощью модуля обработки данных изображения. (Например, данные стереоизображения, включающие в себя данные изображения левого глаза и данные изображения правого глаза, полученные модулем обработки данных изображения, передают во внешнее устройство с помощью модуля передачи данных изображения. Кроме того, например, с помощью модуля дисплея изображения отображают изображения для отображения стереоизображения на основе данных изображения левого глаза и данных изображения правого глаза, полученных с помощью модуля обработки данных изображения.

Таким образом, на основе информации несоответствия одного из изображения левого глаза и изображения правого глаза относительно друг друга, задают несоответствие одной и той же информации наложения, которая должна быть наложена на изображение левого глаза и изображение правого глаза. Поэтому, в качестве той же информации наложения, которая должна быть наложена на изображение левого глаза и изображение правого глаза, информацию наложения, в которой применили регулировку несоответствия, в соответствии с перспективой каждого объекта в пределах изображения, можно использовать, делая, таким образом, возможным поддержание соответствия перспективы при отображении информации наложения.

Следует отметить, что в данном изобретении, например, модуль обработки данных изображения может задавать несоответствие для одной и той же информации наложения, которая должна быть наложена на изображение левого глаза и изображение правого глаза, в соответствии с положением наложения этой информации наложения. В этом случае, поскольку несоответствие в соответствии с положением наложения задают для каждой информации наложения, например, становится возможным придать информации наложения перспективу, эквивалентную перспективе объекта, присутствующего в положении наложения.

Кроме того, в данном изобретении, например, может быть дополнительно предусмотрен многоканальный громкоговоритель и модуль управления, который управляет выходом многоканального громкоговорителя на основе информации несоответствия одного из данных изображения левого глаза и данных изображения правого глаза относительно друг друга. В этом случае стереоэффект может быть сделан еще более выраженным.

Предпочтительные эффекты изобретения

В соответствии с данным изобретением, на стороне приема данных стереоизображения, в качестве одной и той же информации наложения, которая должна быть наложена на изображение левого глаза и изображение правого глаза, можно использовать информацию наложения, для которой применяли регулировку несоответствия в соответствии с перспективой каждого объекта в пределах изображения, таким образом делая возможным поддержание соответствия перспективы при отображении информации наложения.

Краткое описание чертежей

На фиг.1 показана блок-схема, иллюстрирующая пример конфигурации системы отображения стереоизображения в соответствии с вариантом осуществления настоящего изобретения.

На фиг.2 показана блок-схема, иллюстрирующая пример Конфигурации модуля генерирования данных передачи в станции широковещательной передачи.

На фиг.3 показана схема, иллюстрирующая данные изображения в формате 1920 на 1080 пикселей.

На фиг.4 показана схема для пояснения режима "сверху и снизу", режим "рядом друг с другом" и режим "последовательных кадров", которые представляют собой режимы передачи для данных стереоизображения (данных 3D изображения).

На фиг.5 показана схема для пояснения примера детектирования вектора обзора изображения правого глаза относительно изображения левого глаза.

На фиг.6 показана схема для пояснения того, что вектор обзора рассчитывают в режиме сопоставления блоков.

На фиг.7 показана схема, иллюстрирующая пример вектора W обзора в заданном положении в пределах изображения, которое детектируют с помощью модуля детектирования вектора обзора.

На фиг.8 показана схема, иллюстрирующая информацию передачи о векторе обзора.

На фиг.9 показана схема, иллюстрирующая пример блоков детектирования несоответствия и передачи информации о векторе обзора в этом случае.

На фиг.10 показана схема для пояснения примера моментов времени детектирования и передачи вектора обзора.

На фиг.11 показана схема для пояснения примера моментов времени детектирования и передачи вектора обзора.

На фиг.12 показана схема, иллюстрирующая пример потоков данных, мультиплексированных в модуле генерирования данных передачи.

На фиг.13 показана блок-схема, иллюстрирующая другой пример конфигурации модуля генерирования данных передачи в станции широковещательной передачи.

На фиг.14 показана схема, предназначенная для пояснения положений наложения графической информации левого глаза и графической информации правого глаза, и тому подобное, в случае, когда режим передачи представляет собой первый режим передачи (режим "сверху и снизу").

На фиг.15 показана схема для пояснения способа генерирования графической информации левого глаза и графической информации правого глаза в случае, в котором режим передачи представляет собой первый режим передачи (режим " сверху и снизу").

На фиг.16 показана схема для пояснения способа генерирования графической информации левого глаза и графической информации правого глаза в случае, когда режим передачи представляет собой второй режим передачи (режим "рядом друг с другом").

На фиг.17 показана схема для пояснения способа генерирования графической информации левого глаза и графической информации правого глаза в случае, когда режим передачи представляет собой второй режим передачи (режим "рядом друг другом").

На фиг.18 показана блок-схема, иллюстрирующая другой пример конфигурации модуля генерирования данных передачи в станции широковещательной передачи.

На фиг.19 показана схема, иллюстрирующая положения наложения графической информации левого глаза и графической информации правого глаза в случае, когда режим передачи представляет собой второй режим передачи (режим "рядом друг с другом").

На фиг.20 показана схема, иллюстрирующая состояние, в котором графическое изображение на основе графических данных, выделенных из данных потока битов и передаваемых с помощью способа в соответствии с предшествующим уровнем техники, накладывают на каждое из изображения левого глаза и изображение правого глаза в том виде, как есть.

На фиг.21 показана схема, иллюстрирующая векторы обзора в трех положениях объекта в моменты времени Т0, T1, T2 и Т3.

На фиг.22 показана схема, иллюстрирующая пример отображения субтитров (графической информации) для изображения, и вид в перспективе фонового изображения, объекта переднего плана и субтитров.

На фиг.23 показана схема, иллюстрирующая пример отображения субтитров (графической информации) на изображении и графической информации LGI левого глаза и графической информации RGI правого глаза, для отображения субтитров.

На фиг.24 показана схема для пояснения, что, в качестве вектора обзора, среди векторов обзора, детектируемых во множестве положений в пределах изображения, используется вектор, соответствующий положению наложения.

На фиг.25 показана схема, иллюстрирующая, что объекты А, В и С существуют в пределах изображения, и текстовая информация, обозначающая аннотацию на каждый объект, наложена в положении рядом с каждым из этих объектов.

На фиг.26 показана блок-схема, иллюстрирующая пример конфигурации телевизионной приставки.

На фиг.27 показана блок-схема, иллюстрирующая пример конфигурации модуля обработки потоков битов, который составляет телевизионную приставку.

На фиг.28 показан пример управления выходом громкоговорителя в случае, когда вектор W1 обзора больше для видеообъектов с левой стороны, если рассматривать их, будучи обращенным к телевизионному дисплею.

На фиг.29 показана блок-схема, иллюстрирующая другой пример конфигурации модуля обработки потока битов, который составляет телевизионную приставку.

На фиг.30 показана блок-схема, иллюстрирующая другой пример конфигурации модуля обработки потока битов, который составляет телевизионную приставку.

На фиг.31 показана схема, иллюстрирующая пример конфигурации телевизионного приемника.

На фиг.32 показана блок-схема, иллюстрирующая пример конфигурации модуля передачи HDMI (источника HDMI) и модуля приема HDMI (потребителя HDMI).

На фиг.33 показана блок-схема, иллюстрирующая пример конфигурации передатчика HDMI, который составляет модуль передачи HDMI, и приемника HDMI, который составляет модуль приема HDMI.

На фиг.34 показана схема, иллюстрирующая пример структуры данных передачи TMDS (в случае, когда передают данные изображения, размер которых по горизонтали х на вертикаль составляет 1920 пикселей ×1080 строк).

На фиг.35 показана схема, иллюстрирующая компоновку вывода (Типа-А) разъемов HDMI устройства источника и устройства потребителя, к которым подключен кабель HDMI.

На фиг.36 показана схема, иллюстрирующая пример данных передачи TMDS в первом режиме передачи (режим "сверху и снизу").

На фиг.37 показана схема, иллюстрирующая пример данных передачи TMDS во втором режиме передачи (режим "рядом друг с другом").

На фиг.38 показана схема, иллюстрирующая пример данных передачи TMDS в третьем режиме передачи данных (режим "последовательных кадров").

На фиг.39 показан схема для пояснения режима "последовательных кадров" в HDMI 1.4 (новый HDMI), и режима "последовательных кадров" в HDMI 1.3 (существующий HDMI).

На фиг.40 показана блок-схема, иллюстрирующая другой пример конфигурации модуля обработки потока битов, который составляет телевизионную приставку

На фиг.41 показана схема, иллюстрирующая другой пример конфигурации системы отображения стереоизображения.

На фиг.42 показана схема, иллюстрирующая взаимосвязь между положениями отображения левого и правого изображений объектов на экране и реконструированными положениями получаемых в результате стереоскопических изображений на дисплее стереоизображения с использованием бинокулярного несоответствия.

Подробное описание изобретения

Ниже будет описан режим для выполнения изобретения (ниже называется "вариантом осуществления"). Следует отметить, что описание будет приведено в следующем порядке.

1. Первый вариант осуществления

2. Модификации

<1. Первый вариант осуществления>

[Пример конфигурации системы передачи/приема стереоизображения]

На фиг.1 представлен пример конфигурации системы 10 передачи/приема стереоизображения, в качестве варианта осуществления. Система 10 передачи/приема стереоизображения имеет станцию 100 широковещательной передачи, телевизионную приставку (STB) 200 и телевизионный приемник 300.

Телевизионная приставка 200 и телевизионный приемник 300 подключены друг к другу через кабель 400 HDMI (мультимедийный интерфейс высокой четкости). В телевизионной приставке 200 предусмотрен разъем 202 HDMI. В телевизионном приемнике 300 предусмотрен разъем 302 HDMI. Один конец кабеля 400 HDMI соединен с разъемом 202 HDMI телевизионной приставки 200, и другой конец кабеля 400 HDMI соединен с разъемом 302 HDMI телевизионного приемника 300.

[Описание станции широковещательной передачи]

Станция 100 широковещательной передачи передает данные потока битов по радиоволнам широковещательной передачи. Такие данные потока битов включают в себя данные стереоизображения, включающие в себя данные изображения левого глаза и данные изображения правого глаза, аудиоданные, графические данные, текстовые данные и, кроме того, векторы обзора/векторы несоответствия, в качестве информации несоответствия/параллакса.

На фиг.2 иллюстрируется пример конфигурации модуля 110 генерирования данных передачи, который генерирует описанные выше данные потока битов в станции 100 широковещательной передачи. Этот пример конфигурации представляет собой пример, в котором вектор обзора передают как цифровые данные. Модуль 110 генерирования данных передачи имеет камеры 111L и 111R, модуль 112 формирования видеокадра, кодер 113 видеоданных, кодер 113 видеоданных, модуль 114 детектирования вектора обзора и кодер 115 вектора обзора. Кроме того, модуль 110 генерирования данных передачи имеет микрофон 116, аудиокодер 117, модуль 118 генерирования графических изображений, кодер 119 графических изображений, модуль 120 генерирования текста, кодер 121 текста и мультиплексор 122.

Камера 111L снимает изображение левого глаза для получения данных изображения левого глаза для отображения стереоизображения. Камера 111R снимает изображения правого глаза для получения данных изображения правого глаза для отображения стереоизображения. Модуль 112 формирования видеокадра манипулирует и обрабатывает данные изображения левого глаза, полученные камерой 111L, и данные изображения правого глаза, полученные камерой 111R в состоянии в соответствии с режимом передачи.

[Пример режима передачи для данных стереоизображения]

Здесь, в то время как приведены примеры с первого по третий режимы, в качестве режимов передачи для данных стереоизображения (данных 3D изображения) также можно использовать другие режимы передачи, кроме этих. Здесь, как показано на фиг.3, описание направлено на случай, в котором каждые данные изображения левого глаза (L) и правого глаза (R) представляют данные изображения с заданным разрешением, например, в формате 1920 на 1080р пикселей.

Первый режим передачи представляет собой режим "сверху и снизу", в котором, как показано на фиг.4 (а), данные каждой строки данных изображения левого глаза передают в первой половине в вертикальном направлении, и данные в каждой строке данных изображения левого глаза передают во второй половине в вертикальном направлении. В этом случае строки данных изображения левого глаза и данных изображения правого глаза прорежены до 1/2 так, что вертикальное разрешение составляет половину относительно исходного сигнала.

Второй режим передачи представляет собой режим "рядом друг с другом", в котором, как показано на фиг.4 (b), данные пикселя данных изображения левого глаза передают из первой половины горизонтального направления, и данные пикселя данных изображения правого глаза передают во второй половине горизонтального направления. В этом случае данные пикселя в горизонтальном направлении прореживают до 1/2 в каждых из данных изображения левого глаза и данных изображения правого глаза. Разрешение по горизонтали составляет половину от текущего сигнала.

Третий режим передачи представляет собой режим "последовательных кадров", в котором, как показано на фиг.4 (с), данные изображения левого глаза и данные изображения правого глаза передают с их последовательным переключением поле за полем.

Возвращаясь к фиг.2, кодер 113 видеоданных применяет кодирование со сжатием, такое как MPEG4-AVC или MPEG2 к данным стереоизображения, которыми манипулируют и обрабатывают в модуле 112 формирования видеокадра, и генерирует элементарный поток видеоданных. Кроме того, кодер 113 видеоданных разделяет этот элементарный поток видеоданных для генерирования пакетов PES (пакетизированного элементарного потока) видеоданных и, в конечном итоге, генерирует пакеты TS (транспортный поток) видеоданных. В качестве альтернативы, элементарный поток генерируют так, чтобы он был мультиплексирован в файловом контейнере, таком как МР4, или передан в пакетах в режиме реального времени, в качестве контейнеров.

Модуль 114 детектирования вектора обзора детектирует, на основе данных изображения левого глаза и данных изображения правого глаза, вектор обзора, как информацию несоответствия одного из изображения левого глаза и изображения правого глаза относительно друг друга, в заданном положении в пределах изображения. Здесь заданное положение в пределах изображения представляет собой положение каждого пикселя, представительное положение в каждой из областей, составленных из множества пикселей, представительное положения в области, где должно быть произведено наложение графической информация или текстовой информации, или тому подобное.

[Детектирование вектора обзора]

Пример детектирования вектора обзора будет описан ниже. Здесь будет приведено описание примера, в котором детектируют вектор обзора изображения правого глаза относительно изображения левого глаза. Как представлено на фиг.5, изображение левого глаза принимается как изображение детектирования, и изображение правого глаза принимается как опорное изображение. В этом примере детектируют вектор обзора в каждом из положений (x_i, y_i) и (x_j, y_j).

Случай детектирования вектора обзора в положении (x_i, y_i) будет описан, как пример. В этом случае в изображении левого глаза установлен, например, блок b_i из 8×8 или 16×16 пикселей (блок детектирования несоответствия/параллакса) с пикселем в положении (x_i, y_i) в его верхнем левом углу. Затем, в изображении правого глаза, выполняют поиск блока пикселей, который соответствует блоку b_i пикселей.

В этом случае в изображении правого глаза устанавливают диапазон поиска, с центром вокруг положения (x_i, y_i). В каждом из пикселей в пределах диапазона поиска, последовательно выбираемых, как целевой пиксель, например, последовательно устанавливают блок сравнения размером 8×8 или 16×16, который представляет собой то же, что и блок b_i пикселей, описанный выше.

Сумму абсолютных разностей рассчитывают для каждого соответствующего пикселя между блоком b_i пикселя и блоком сравнения, который был последовательно установлен. Здесь, как показано на фиг.6, в результате задания значения пикселя в блоке b_i пикселя равным L (х, у), и задания значения пикселя в блоке сравнения равным R (х, у), сумма абсолютных разностей между блоком b_i пикселя и данным блоком сравнения представляется как Σ|L(x,y)-R(x,y)|.

Когда n пикселей включены в диапазон поиска, который установлен в изображении правого глаза, n сумм S1-Sn, рассчитывают в конечном итоге, среди которых выбирают наименьшую сумму S_min. Затем положение левого верхнего пикселя, представляющее собой (x_i', y_i'), получают из блока сравнения, для которого получают эту минимальную сумму S_min. Таким образом, вектор обзора в положении (x_i, y_i) детектируют как (x_i'-x_i), (y_i'-y_i). Хотя это не описано подробно, для вектора обзора в положении (x_j, y_j) также, в изображении левого глаза, например, устанавливают блок B_j размером 8×8 или 16×16 пикселей с пикселем в положении (x_j, y_j) в его верхнем левом углу, и вектор обзора детектируют, используя тот же процесс.

На фиг.7 (а) иллюстрируется пример вектора W обзора в заданном положении в пределах изображения, которое детектируют с помощью модуля 114 детектирования вектора обзора. Это означает, что, в данном случае, как показано на фиг.7 (b), в заданном положении в пределах изображения, на изображение левого глаза (изображение детектирования) накладывают изображение правого глаза (опорное изображение), со смещением на величину вектора W обзора.

Возвращаясь к фиг.2, кодер 115 вектора обзора генерирует элементарный поток вектора обзора, включающий в себя вектор обзора или тому подобное, детектируемый модулем 114 детектирования вектора обзора. Элементарный поток вектора обзора составляет пакет TS, вместе с элементарным потоком видеоизображения или тому подобное.

Здесь элементарный поток вектора обзора содержит следующую информацию. Таким образом, ID блока детектирования несоответствия (ID_Block), информация вертикального положения блока детектирования несоответствия (Vertical_Position), информация горизонтального положения блока детектирования несоответствия (Horizontal_Position) и вектор обзора (View_Vector) составляют один набор. Затем этот набор повторяют для количества N блоков детектирования несоответствия.

Следует отметить, что вертикальное и горизонтальное положения блока детектирования несоответствия представляют собой смещенные значения в вертикальном направлении и горизонтальном направлении от исходной точки в верхнем левом углу изображения до верхнего левого пикселя в блоке. Причина, по которой ID блока детектирования несоответствия назначают для каждой передачи вектора обзора, состоит в том, чтобы обеспечить связь со структурой информации наложения, такой как графическая информация и информация текста, которая должна отображаться с наложением на изображения.

Например, как показано на фиг.9 (а), когда существуют от А до F блоков детектирования несоответствия, информация передачи включает в себя, как показано на фиг.9 (b), ID, информацию вертикального и горизонтального положения и векторы обзора блоков A-F детектирования несоответствия. Например, на фиг.9 (b), в том, что касается блока А детектирования несоответствия, ID2 обозначает ID блока А детектирования несоответствия, (На, Va) обозначают информацию вертикального и горизонтального положения блока А детектирования несоответствия и вектор обзора обозначает вектор обзора блока А детектирования несоответствия.

Моменты времени детектирования и передачи вектора обзора будут описаны ниже.

Что касается моментов времени, например, можно рассмотреть следующие с первого по четвертый примеры.

В первом примере, как показано на фиг.10 (а), момент времени синхронизован с кодированием изображений. В этом случае вектор обзора передают в модулях изображения. Модули изображения представляют собой наименьшие модули, в которых передают вектор обзора. Во втором примере, как представлено на фиг.10 (b), момент времени синхронизирован со сценами видеоизображения. В этом случае вектор обзора передают в модулях сцены.

В третьем примере, как показано на фиг.10 (с), моменты времени синхронизируют с I-изображениями (внутрикадровыми изображениями) кодированных видеоданных. В четвертом примере, как показано на фиг.11, моменты времени синхронизируют с моментами времени начала отображения графической информации, текстовой информации и т.п., которая должна отображаться с наложением на изображение.

Возвращаясь к фиг.2, микрофон 116 получает аудиоданные путем детектирования звука, соответствующего изображениям, снятым с помощью камера 111L и 111R. Аудиокодер 117 применяет кодирование со сжатием, такое как MPEG-2 Аудио ААС к аудиоданным, полученным с помощью микрофона 116, и генерирует элементарный поток аудиоданных. Кроме того, аудиокодер 117 разделяет этот элементарный поток аудиоданных для генерирования пакетов PES аудиоданных, и, в конечном итоге, генерирует пакеты TS.

Модуль 118 генерирования графических изображений генерирует данные графической информации (графические данные), которые должны быть наложены на изображение. Графическая информация представляет собой, например, субтитры. Такие графические данные представляют собой данные растрового изображения. Информацию смещения в состоянии покоя, обозначающую положение наложения на изображение, прикрепляют к этим графическим данным. Такая информация смещения в состояния покоя обозначает, например, значения смещения в вертикальном направлении и горизонтальном направлении от исходной точки в верхнем левом углу изображения до пикселя в верхнем левом углу в положении наложения графической информации. Следует отметить, что стандарт для передачи данных субтитров в виде растровых данных был принят и воплощен, как DVB_Subtitling в DVB, который представляет собой стандарт цифровой широковещательной передачи в Европе.

Кодер 119 графических изображений генерирует элементарный поток графических данных, генерируемых модулем 118 генерирования графики. Затем кодер 119 графических изображений, в конечном итоге, генерирует описанные выше пакеты TS.

Модуль 120 генерирования текста генерирует данные текстовой информации (текстовые данные), которые должны быть наложены на изображение. Текстовая информация представляет собой, например, электронную программу передач или информацию телетекста. Аналогично графическим данным, описанным выше, информация смещения в состоянии покоя, обозначающая положение наложения на изображение, прикреплена к этим текстовым данным. Такая информация смещения в состоянии покоя обозначает, например, значения смещения в вертикальном направлении и в горизонтальном направлении от исходной точки в верхнем левом углу изображения до исходного левого верхнего пикселя в положении наложения текстовой информации. Следует отметить, что в качестве примеров передачи текстовых данн