Вспомогательные данные в трансляции 3d изображения

Вспомогательные данные в трансляции 3d изображения

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ

Изобретение относится к способу обработки трехмерной [3D] видеоинформации для генерирования транспортного потока данных для передачи 3D видеоинформации согласно 2D формату передачи, при этом 3D видеоинформация содержит 3D видеоданные и вспомогательные данные,

3D видеоданные содержат по меньшей мере левое изображение и правое изображение, которые должны быть отображены для соответственных глаз зрителя для создания 3D эффекта, вспомогательные данные размещены для отображения в области наложения на 3D видеоданные, при этом способ состоит в том, что

- размещают 3D видеоданные левого изображения и правого изображения в 2D кадре для основных видеоданных согласно 2D формату передачи в основном размещении,

- обеспечивают управляющие данные, содержащие параметры для приемника для того, чтобы позволить приемнику воспроизвести основные видеоданные и наложить вспомогательные данные,

- компонуют транспортный поток данных, включающий в себя 3D видеоданные в основном размещении, вспомогательные данные и управляющие данные.

Изобретение дополнительно относится к устройству для обработки 3D видеоинформации, сигналу для передачи 3D видеоинформации и приемнику для обработки трехмерной [3D] видеоинформации.

Изобретение относится к области техники трансляции (вещания) 3D видео. Все больший объем продукции индустрии развлечений нацелен на 3D кинотеатры. Эта продукция использует формат с двумя изображениями (левое изображение и правое изображение, которые должны быть отображены для соответственных глаз зрителя для создания 3D эффекта), предпочтительно предназначенный для просмотра с помощью специальных очков. Существует интерес со стороны индустрии перенести эту 3D продукцию в дом. Также вещательные компании начали экспериментальную передачу 3D контента, особенно прямых трансляций спортивных событий. В настоящий момент стандарт для цифрового видеовещания (DVB) адаптируется для передачи стереоскопического контента. Формат, который будет использоваться, разумеется, на ранней стадии, будет широко используемым стереоформатом, содержащим по меньшей мере левое изображение и правое изображение, которые должны быть отображены для соответственных глаз зрителя для создания 3D эффекта, при этом данные обоих изображений отформатированы в 2D видеокадре, например в размещении бок о бок (SBS) или сверху вниз (TB).

Системы и устройства для генерирования 2D видеоданных известны, например, видеосерверы, вещательные студии или авторские устройства. В настоящее время требуются подобные 3D видеоустройства для обеспечения 3D видеоданных, и предлагаются дополнительные 3D видеоустройства для визуализации 3D видеоданных, такие как телевизионные приставки, которые обрабатывают принятые 3D видеосигналы. 3D видеоустройство может быть соединено с устройством отображения, таким как телевизор или монитор, для передачи 3D видеоданных через подходящий интерфейс, предпочтительно высокоскоростной цифровой интерфейс, такой как HDMI. 3D дисплей может также быть интегрирован с 3D видеоустройством, например, телевизор (TV), имеющий приемную секцию и 3D дисплей.

УРОВЕНЬ ТЕХНИКИ, К КОТОРОМУ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Международный общественный стандарт ISO/IEC 14496-10 “Information technology - Coding of audio-visual objects - Part 10: Advanced Video Coding” ("Информационная технология - Кодирование аудиовизуальных объектов - Часть 10: Усовершенствованное кодирование видео"), пятое издание 15.05.2009 г. описывает цифровое кодирование видеоинформации, например для цифрового видеовещания (DVB). Видеоданные определяют содержание основного видео, которое должно быть показано. Вспомогательные данные определяют любые другие данные, которые могут быть отображены в комбинации с основными видеоданными, такие как графические данные или субтитры. Стандарт и дополнительные связанные документы также определяют управляющие данные для указания параметров приемнику, чтобы позволить приемнику воспроизвести основные видеоданные и наложить вспомогательные данные, и компоновку транспортного потока данных, включающего в себя видеоданные, вспомогательные данные и управляющие данные для передачи. Стандарт AVC является примером; например, может использоваться MPEG-2 видео, также для высокого разрешения, как описано в ISO/IEC 13818-2 Generic coding of moving pictures and associated audio information: Video (Универсальное кодирование движущихся изображений и связанной аудиоинформации: Видео).

Для обеспечения возможности кодирования и передачи 3D видеоданных вышеупомянутые стандарты адаптируются. В частности, было предложено определить систему для указания, что 3D видеоинформация передается через 2D видеоканалы, отформатированная в 2D видеокадре, например, в упомянутом размещении бок о бок (SBS) или сверху вниз (TB). Следовательно, 3D видеоданные имеют по меньшей мере левое изображение и правое изображение, которые должны быть отображены для соответственных глаз зрителя для создания 3D эффекта, и вспомогательные данные размещены для отображения в области наложения на 3D видеоданные. 3D видеоданные левого изображения и правого изображения отформатированы в 2D кадре для основных видеоданных согласно 2D формату передачи в основном размещении. Например, в поправке к вышеупомянутому стандарту ISO было предложено расширить сообщения управляющих данных, называемые сообщениями дополнительной расширенной информации (SEI), путем определения нового сообщения SEI, показывающего пространственное перемежение левого и правого изображений видеоданных в 2D видеокадре для использования в качестве доставки стереоскопического видео. Пространственное перемежение может, например, быть упомянутым размещением бок о бок (SBS) или сверху вниз (TB) или перемежением в шахматном порядке.

WO 2009/078678 описывает формат стереоскопических данных, основанный на MPEG4. Формат определяет видеоданные и текстовые данные, которые должны быть наложены. В первом варианте осуществления текстовый узел включен в Дескриптор Сцены. Первый вариант осуществления определяет левое строковое поле и правое строковое поле, содержащие два текста, соответствующие левой и правой точке наблюдения.

Кроме того, во втором варианте осуществления другой текстовый узел включен в Дескриптор Сцены. Второй вариант осуществления определяет одно стереоскопическое строковое поле и данные диспаратности, имеющие один текст, идентично используемый как для левой, так и для правой точек наблюдения.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Предложенная передача 3D видеоинформации через 2D видеоканал дает возможность передачи основных видеоданных в 3D. Однако любые вспомогательные данные, такие как субтитры, также должны быть переданы, например, с использованием стандарта DVB для ведения Субтитров: ETSI EN 300 743 - Digital Video Broadcasting (DVB); Subtitling systems (Цифровое Видеовещание (DVB); Системы ведения Субтитров). Следует отметить, что такие вспомогательные данные передаются отдельно, например, в потоке вспомогательных данных в транспортном потоке. Пример такого транспортного потока, на который ссылается DVB, определен в стандарте: ISO/IEC 13818-1 Generic coding of moving pictures and associated audio information: Systems (Универсальное кодирование движущихся изображений и связанной аудиоинформации: Системы). Наложение вспомогательных данных, обычно основанное на настройке, выбранной пользователем, размещено на приемном конце. Может быть рассмотрено форматирование вспомогательных данных во вспомогательном размещении, подобно основному видео, например, также в SBS. Однако такой формат может привести к трудностям или дополнительным расходам на приемник.

Цель настоящего изобретения заключается в том, чтобы предоставить систему для передачи 3D видеоинформации, включающей в себя вспомогательные данные, которая избегает трудностей и дополнительных затрат на приемник.

Для этой цели согласно первому аспекту изобретения способ, как описано в первом абзаце, дополнительно содержит

- обеспечение вспомогательного левого изображения и вспомогательного правого изображения вспомогательных данных, которые должны быть наложены на левое изображение и правое изображение 3D видеоданных, и 2D версии вспомогательных данных и вспомогательных данных диспаратности, указывающих диспаратность, которая должна быть применена к 2D версии вспомогательных данных при наложении на левое изображение и правое изображение,

- размещение вспомогательных данных вспомогательного левого изображения и вспомогательного правого изображения в потоке вспомогательных данных согласно 2D формату передачи во вспомогательном размещении, которое соответствует основному размещению,

- размещение вспомогательных данных 2D версии в дополнительном потоке вспомогательных данных,

- включение в транспортный поток дополнительного потока вспомогательных данных, вспомогательных данных диспаратности и индикатора формата диспаратности, указывающего дополнительный поток вспомогательных данных.

Для этой цели согласно дополнительным аспектам изобретения обеспечено устройство, содержащее видеопроцессор для:

- размещения 3D видеоданных левого изображения и правого изображения в 2D кадре для основных видеоданных согласно 2D формату передачи в основном размещении,

- обеспечения управляющих данных, содержащих параметры для приемника для того, чтобы позволить приемнику воспроизвести основные видеоданные и наложить вспомогательные данные,

- компоновки транспортного потока данных, включающего в себя 3D видеоданные в основном размещении, вспомогательные данные и управляющие данные,

видеопроцессор дополнительно выполнен с возможностью:

- обеспечения вспомогательного левого изображения и вспомогательного правого изображения вспомогательных данных, которые должны быть наложены на левое изображение и правое изображение 3D видеоданных, и 2D версии вспомогательных данных и вспомогательных данных диспаратности, указывающих диспаратность, которая должна быть применена к 2D версии вспомогательных данных при наложении на левое изображение и правое изображение,

- размещения вспомогательных данных вспомогательного левого изображения и вспомогательного правого изображения в потоке вспомогательных данных согласно 2D формату передачи во вспомогательном размещении, которое соответствует основному размещению,

- размещения вспомогательных данных 2D версии в дополнительном потоке вспомогательных данных,

- включения в транспортный поток дополнительного потока вспомогательных данных, вспомогательных данных диспаратности и индикатора формата диспаратности, указывающего дополнительный поток вспомогательных данных.

Также сигнал содержит 3D видеоданные левого изображения и правого изображения в 2D кадре для основных видеоданных согласно 2D формату передачи в основном размещении, управляющие данные, содержащие параметры для приемника, чтобы дать возможность приемнику воспроизвести основные видеоданные и наложить вспомогательные данные, и транспортный поток данных, включающий в себя 3D видеоданные в основном размещении, вспомогательные данные и управляющие данные для передачи, при этом сигнал дополнительно содержит:

- вспомогательное левое изображение и вспомогательное правое изображение вспомогательных данных, которые должны быть наложены на левое изображение и правое изображение 3D видеоданных, и 2D версию вспомогательных данных и вспомогательные данные диспаратности, указывающие диспаратность, которая должна быть применена к 2D версии вспомогательных данных при наложении на левое изображение и правое изображение,

- вспомогательные данные вспомогательного левого изображения и вспомогательного правого изображения в потоке вспомогательных данных согласно 2D формату передачи во вспомогательном размещении, которое соответствует основному размещению,

- вспомогательные данные 2D версии в дополнительном потоке вспомогательных данных,

- и в транспортном потоке дополнительный поток вспомогательных данных, вспомогательные данные диспаратности и индикатор формата диспаратности, указывающий дополнительный поток вспомогательных данных.

Также приемник содержит входной блок для приема сигнала и видеопроцессор для извлечения вспомогательных данных из дополнительного потока вспомогательных данных при прекращении использования вспомогательных данных во вспомогательном размещении, обеспеченных в потоке вспомогательных данных, и генерирования данных наложения для отображения в области наложения на 3D видеоданные на основе 2D версии вспомогательных данных и вспомогательных данных диспаратности.

Также компьютерный программный продукт для обработки 3D видеоинформации, выполненный с возможностью работы, чтобы заставить процессор осуществить способ, как определено выше.

Управляющие данные могут содержать как управляющие данные, которые указывают видеоформатирование (SBS. TB и т.д.), так и управляющие данные, которые содержат диспаратность для вспомогательных данных. Меры имеют эффект, заключающийся в том, что вспомогательные данные передаются во вспомогательном размещении, соответствующем размещению основного видео. В дополнение к этому, вспомогательные данные передаются одновременно также в 2D версии в комбинации со вспомогательными данными диспаратности, указывающими диспаратность, которая должна быть применена к 2D версии вспомогательных данных при наложении на левое изображение и правое изображение. Упомянутая двойная передача вспомогательных данных дает возможность любому приемнику извлекать набор вспомогательных данных, которые способствуют легкой 3D визуализации комбинации основного видео и вспомогательных данных. Предпочтительно, как устаревшие 2D приемные устройства, так и новые 3D приемные устройства имеют возможность эффективно работать на основе двойной передачи вспомогательных данных. Более того, в то время как количество вспомогательных изображений, упакованных во вспомогательном размещении, может быть ограничено вследствие уменьшенного разрешения упомянутой упаковки, высокое качество для визуализации вспомогательной информации доступно вследствие присутствия вспомогательных данных диспаратности и 2D версии, которая имеет полное разрешение.

Изобретение также основано на следующем признании. При расширении существующей 2D системы передачи для 3D посредством упаковки основных видеокадров левого и правого изображений в один 2D кадр может показаться, что есть подобное решение для вспомогательных данных, т.е. посредством использования вспомогательного размещения, подобного основным видеоданным, например, бок о бок. Изобретатели увидели, что это размещение может быть обработано с помощью обычных обрабатывающих видеоархитектур, которые обрабатывают входящее основное видео, сначала декодируя основное видео и вспомогательные данные, а затем осуществляя наложение. Сигнал рассматривается как 2D сигнал до этого момента, и затем масштабируется до требуемого разрешения экрана для отображения. В случае, если 3D изображения размещены в 2D кадре, этап масштабирования изменяется. Предполагается, что последовательное отображение левого и правого кадра будет просматриваться через стереоскопические очки с активным затвором для соответственного глаза. Сначала берется часть левого изображения, например, левая половина кадра в SBS, масштабированная до разрешения экрана, и отображается. Затем берется часть правого изображения, например, правая половина кадра в SBS, масштабированная до разрешения экрана, и отображается. На практике архитектура может присутствовать при использовании устаревших 2D телевизионных приставок (STB) и 3D телевизора. Телевизионная приставка сначала генерирует отображаемые данные для отображения, например, для передачи через цифровой интерфейс, подобный HDMI. 3D телевизор принимает отображаемые данные, которые все еще в формате SBS. STB осуществит наложение вспомогательных данных SBS на основное видео SBS; 3D телевизор разделит левое изображение и правое изображение, каждое из которых имеет соответствующие наложенные вспомогательные данные.

Однако изобретатели увидели, что в других 3D приемниках может быть представлена другая архитектура. Основные видеоданные сначала анализируются и, когда левое и правое изображения размещены в формат 2D кадра, такие видеоданные сначала извлекаются из 2D кадра и разделяются, а затем (пере-)масштабируются для регенерации полного левого и правого изображений. Выбранный поток вспомогательных данных может затем быть наложен на левое и правое изображения. Использование вспомогательных данных во вспомогательном размещении сейчас требует дополнительных шагов, подобных выбору соответствующей части и масштабирования вспомогательных данных. Однако 2D версия вспомогательных данных, которые имеют полное разрешение, непосредственно накладывается без какого-либо дополнительного масштабирования. Те же самые вспомогательные данные накладываются как на левое, так и на правое изображения, отличаясь только в горизонтальном положении на предопределенную величину, называемую диспаратностью. Диспаратность приводит к соответствующему положению глубины вспомогательных данных. Величина диспаратности, которая будет применена при наложении 2D версии вспомогательных данных, непосредственно доступна через вспомогательные данные диспаратности, которые также включены в транспортный поток. Предпочтительно, применяемая диспаратность может быть дополнительно отрегулирована на основе размера экрана, расстояния просмотра или дополнительных параметров, или предпочтений просмотра. Подробное объяснение проблем различных сред обработки в визуализации 3D видеоданных и вспомогательных данных предоставлено ниже со ссылкой на Фигуры 2-4.

Анализируя различные архитектуры видеообработки, изобретатели увидели, что, по всей видимости, есть проблемы в обработке 2D формата и формата диспаратности в архитектурах, которые сначала накладывают вспомогательные данные, а затем применяют извлечение изображений из 2D кадра и масштабирование. Дополнительный этап наложения должен быть добавлен в таких архитектурах, которые требуют значительного дополнительного обрабатывающего аппаратного и/или программного обеспечения. Кроме того, вспомогательное размещение приводит к более низкому разрешению для вспомогательных данных. Изобретатели исследовали результаты такого уменьшенного разрешения, которые оказались более заметными для вспомогательных данных, таких как графические объекты или субтитры, в то время как уменьшенное разрешение в меньшей степени мешало основному видео в 3D. Предложенное решение, т.е. изменение системы передачи посредством включения вспомогательных данных как во вспомогательное размещение, так и в 2D версию со вспомогательными данными диспаратности в транспортный поток, легко устраняет различные проблемы и недостатки в используемых на практике архитектурах видеообработки, при этом допуская во многих случаях модернизацию 2D обрабатывающих устройств путем обновления программного обеспечения.

Наконец, может быть отмечено, что увеличение объема данных, который должен передаваться через транспортный поток путем добавления второй версии тех же самых вспомогательных данных, может рассматриваться как противоречие здравому смыслу, но, тем не менее, допустимо, принимая во внимание относительно небольшой объем дополнительных данных и существенные преимущества в приспособлении различных архитектур приемника к эффективному наложению вспомогательных данных на 3D видео.

В варианте осуществления системы для передачи 3D видеоинформации управляющие данные включают в себя индикатор 3D формата согласно 3D расширению 2D формата передачи, указывающий упомянутое размещение 3D видеоданных левого изображения и правого изображения в 2D кадре. Это имеет преимущество, заключающееся в том, что приемник непосредственно осведомлен о присутствии и формате 3D видеоданных в 2D кадре.

В варианте осуществления системы вспомогательное размещение указывается только индикатором 3D формата, указывающим основное размещение. Должно быть отмечено, что поток вспомогательных данных фактически отформатирован отлично от обычного, 2D, потока вспомогательных данных, несмотря на то, что нет дополнительной или измененной сигнализации, указывающей различия. Это является преимуществом, поскольку любой устаревший 2D компонент в канале видеопередачи не будет осведомлен о различии, и будет обычным образом передавать или обрабатывать вспомогательные данные. Кроме того, новые приемники, согласно настоящему изобретению, могут обслужить 3D вспомогательные данные на основе обнаружения размещения основных видеоданных и применить соответствующее размещение к вспомогательным данным.

В варианте осуществления системы вспомогательные данные диспаратности содержат данные зоны диспаратности для по меньшей мере одной зоны в области наложения, указывающие диспаратность вспомогательных данных в соответственной зоне при наложении на левое изображение и правое изображение. Это имеет преимущество, заключающееся в том, что данные диспаратности для зоны эффективно передаются.

В варианте осуществления системы поток вспомогательных данных содержит объекты, которые определяют пиксельные данные графических объектов, которые должны быть наложены, а поток вспомогательных данных и дополнительный поток вспомогательных данных содержат ссылки на те же самые объекты для совместного использования соответственных тех же самых объектов между вспомогательным левым изображением, вспомогательным правым изображением и/или 2D версией вспомогательных данных. Объекты определяют фактические пиксельные данные, т.е. низкоуровневое представление графических данных, которые должны быть наложены. Актуальные пиксельные данные требуют относительно большой части общих вспомогательных данных. Изобретатели увидели, что хотя левое и правое изображения субтитров должны быть объединены во вспомогательном размещении, те же самые объекты могут использоваться в обоих изображениях при поддержании ограничений стандарта DVB. В дополнительных расширениях стандартных или других систем объекты также могут использоваться для 2D версии, потому что содержание 2D версии эквивалентно размещенному набору левого и правого вспомогательных изображений. В этом случае объекты могут быть масштабированы, чтобы соответствовать как 2D версии, так и вспомогательным левым и правым изображениям. Предпочтительно, общая требуемая дополнительная пропускная способность данных для дополнительного потока вспомогательных данных относительно мала, потому что объекты используются совместно и должны быть переданы только раз для соответствующего графического наложения.

Кроме того, предпочтительные варианты осуществления устройства и способ согласно изобретению даны в прилагаемой формуле изобретения, раскрытие которой приведено здесь по ссылке. Отличительные признаки, определенные в зависимой формуле изобретения для конкретного способа или устройства, соответственно применяются к другим устройствам или способам.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Эти и другие аспекты изобретения станут очевидными и будут дополнительно разъяснены со ссылкой на варианты осуществления, описанные в качестве примера в последующем описании, и со ссылкой на прилагаемые чертежи, на которых:

Фигура 1A показывает систему для передачи трехмерной (3D) видеоинформации,

Фигура 1B показывает 3D видеоданные и вспомогательные данные,

Фигура 2 показывает систему обработки видео в приемном устройстве,

Фигура 3 показывает размещения 3D видео и вспомогательных данных,

Фигура 4 показывает обработку вспомогательного размещения,

Фигура 5 показывает структуру компоновки страницы,

Фигура 6 показывает (часть) дескриптора компонента,

Фигура 7 показывает структуру определения отображения,

Фигура 8 показывает структуру компоновки зоны,

Фигура 9 показывает тип сегмента для дескриптора стереоскопической диспаратности,

Фигура 10 показывает пакет данных пакетизированного элементарного потока (PES), который определяет диспаратность, и

Фигура 11 показывает значения идентификатора данных для пакетов PES.

Фигуры являются исключительно схематическими и не изображены в масштабе. На Фигурах элементы, которые соответствуют уже описанным элементам, имеют те же самые номера ссылочных позиций.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

Фигура 1A показывает систему для передачи трехмерной (3D) видеоинформации. Система имеет передатчик 100, который предоставляет сигнал 104, который будет передан через широковещательную сеть 130. Приемник 110 принимает сигнал из широковещательной сети на входе 111 входного блока 112. Приемник предоставляет данные 114 отображения 3D устройству 120 отображения, например 3D телевизору или 3D проекционной системе. Приемник может быть отдельным устройством, таким как телевизионная приставка (STB) или спутниковый приемник. Альтернативно приемник 110 и 3D устройство 120 отображения объединены в единое устройство, подобно цифровому 3D телевизору, имеющему цифровой тюнер и встроенный 3D процессор.

Система обеспечивает возможность передачи 3D видеоинформации 105, которая включает в себя 3D видеоданные и вспомогательные данные. 3D видеоданные, например, обеспеченные на основном входе 101 приемника 100, содержат по меньшей мере левое изображение и правое изображение, которые должны быть отображены для соответственных глаз зрителя для создания 3D эффекта. Вспомогательные данные, например, обеспеченные на вспомогательном входе 102 приемника 100, размещены для отображения в области наложения на 3D видеоданных, например, субтитры. Отмечено, что может быть включено несколько потоков вспомогательных данных.

Система на стороне передатчика включает в себя следующие функции. Функции могут быть реализованы в видеопроцессоре 103 в передатчике, но могут также быть реализованы в авторских системах, основанных на специальных компьютерных программах.

Основное видео обрабатывается путем размещения 3D видеоданных левого изображения и правого изображения в 2D кадре для основных видеоданных согласно 2D формату передачи в основном размещении. Такая упаковка 3D видео в 2D кадр обычно называется упаковкой кадров. Согласно применимому стандарту передачи, система предоставляет управляющие данные для указания параметров приемнику для того, чтобы позволить приемнику воспроизвести основные видеоданные и наложить вспомогательные данные. Наконец, транспортный поток данных в сигнале 104 компонуется, включая в себя 3D видеоданные в основном размещении, вспомогательные данные и управляющие данные для передачи через широковещательную сеть 130.

Система дополнительно включает в себя обеспечение вспомогательного левого изображения и вспомогательного правого изображения вспомогательных данных, которые должны быть наложены на левое изображение и правое изображение 3D видеоданных, и размещение вспомогательных данных вспомогательного левого изображения и вспомогательного правого изображения в потоке вспомогательных данных согласно 2D формату передачи во вспомогательном размещении, которое соответствует основному размещению. Поток вспомогательных данных включен в транспортный поток, как указано выше.

В варианте осуществления вспомогательное размещение, например, субтитры во вспомогательном левом изображении и вспомогательном правом изображении бок о бок размещаются в пространстве данных, доступном для субтитров. В DVB посредством сегмента определения отображения может быть установлена конфигурация отображения. Существует 3 опции для использования субтитров DVB в услуге полного HD:

a) Графическое разрешение составляет 720×576 и повышается до разрешения полного HD услуги.

b) Графическое разрешение составляет 720×576 и расположено в центре видео полного HD.

с) Графическое разрешение составляет 1980×1080, такое же, что и разрешение услуги HD.

В a) одно изображение имеет только 360 пикселей для субтитра, потому что экран должен быть разделен на две половины. 360 пикселей распределены по ширине экрана путем масштабирования, следовательно, разрешение достаточно низкое. Для DVB опция b приводит к тому, что субтитры находятся только на малой секции левого и правого изображений (меньше, чем половина). Опция с) хороша сама по себе. Однако перечислены дополнительные ограничения, такие как используемая зона для фактического отображения максимум из 720 пикселей, и только одна область, разрешенная на горизонтальной линии (без областей друг рядом с другом). Однако по меньшей мере одно или оба ограничения могут быть сняты для размещения субтитров SbS, которые должны быть наложены на основное видео SbS, при улучшенном уровне качества после модернизации прошивки, если необходимо.

Кроме того, 2D версия вспомогательных данных и вспомогательные данные диспаратности, указывающие диспаратность, которая должна быть применена к 2D версии вспомогательных данных при наложении на левое изображение и правое изображение, также включены в транспортный поток. Следовательно, включена вторая версия тех же самых вспомогательных данных, например, размещена в отдельном дополнительном потоке вспомогательных данных. Отмечено, что предпочтительно дополнительный поток вспомогательных данных может соответствовать 2D формату передачи, для того, чтобы не мешать использованию 2D приемников прежних версий, также принимающих сигнал. Однако вспомогательные данные диспаратности могут храниться в различных местах в структурах данных, доступных в транспортном потоке, как объяснено ниже. Наконец, дополнительный поток вспомогательных данных, вспомогательные данные диспаратности и индикатор формата диспаратности включены в транспортный поток. Индикатор формата диспаратности указывает дополнительный поток вспомогательных данных, например, указывая на присутствие и особый формат вспомогательных данных в дополнительном потоке вспомогательных данных.

Сигнал 104 для передачи 3D видеоинформации 105, как описано выше, передается через широковещательную сеть 130, например, общественную сеть ТВ вещания, спутниковую сеть, интернет и т.д. В сигнале транспортный поток представляет 3D видеоинформацию 105. 3D видеоданные левого изображения и правого изображения в 2D кадре для основных видеоданных размещены согласно 2D формату передачи, такому как DVB, в основном размещении. В дополнение 2D формат передачи может быть расширен посредством добавления определения структуры данных, используемой для 3D видеоинформации и соответствующих управляющих данных для указания параметров приемнику для того, чтобы позволить приемнику воспроизвести основные видеоданные и осуществить наложение вспомогательных данных. Транспортный поток данных включает в себя 3D видеоданные в основном размещении, вспомогательные данные и управляющие данные для передачи. Сигнал дополнительно содержит вспомогательное левое и правое изображения и 2D версию вспомогательных данных и вспомогательные данные диспаратности, как описано выше. Вспомогательные данные вспомогательного левого изображения и вспомогательного правого изображения упакованы в поток вспомогательных данных согласно 2D формату передачи во вспомогательном размещении, которое соответствует основному размещению, и вспомогательные данные 2D версии упакованы в дополнительный поток вспомогательных данных. Транспортный поток содержит дополнительный поток вспомогательных данных, вспомогательные данные диспаратности и индикатор формата диспаратности, указывающий дополнительный поток вспомогательных данных.

Приемник 110 имеет входной блок 112 для приема сигнала из широковещательной сети, как описано выше. Транспортный поток извлекается и соединяется с видеопроцессором 113 для извлечения вспомогательных данных из дополнительного потока вспомогательных данных при прекращении использования вспомогательных данных во вспомогательном размещении, обеспеченных в потоке вспомогательных данных. Видеопроцессор дополнительно генерирует данные наложения для отображения в области наложения на 3D видеоданные на основе 2D версии вспомогательных данных и вспомогательных данных диспаратности, как подробно объяснено ниже.

Фигура 1B показывает 3D видеоданные и вспомогательные данные. Видеоданные имеют левое изображение 150 и правое изображение 151. Оба изображения отображены с наложением дополнительной информации. Левое изображение имеет вспомогательные данные 160, субтитр, говорящий красный и зеленый, показанный в горизонтальном начальном положении X, и правое изображение имеет вспомогательные данные 161, т.е. тот же субтитр, показанный в горизонтальном начальном положении X-n. Значение n представляет диспаратность между левой и правой версией субтитра. Фигура показывает стереоскопическое изображение как представление стереокадра в фильме с 2D субтитром, наложенным поверх видео, при этом применено горизонтальное смещение n для установки глубины субтитра.

Одной из основных платформ доставки контента для стереоскопического видеовещания являются общественные цифровые телевизионные каналы, называемые далее в этом документе Цифровым Видеовещанием (DVB). DVB применяет различные стандарты для наземной, кабельной, спутниковой и мобильной передачи и связанной сигнализации аудио/видео, графики (субтитров и т.д.) и интерактивных приложений (Java приложений HTML/XML). Текущие достижения в технологии экранов делают возможным представить 3D видео аудитории массового рынка. Следовательно, чтобы дать возможность широкому распространению 3D контента, стандарты DVB должны быть расширены, чтобы позволить вещание 3D контента.

3D контент требует значительно большей памяти, полосы пропускания и обработки по сравнению с 2D контентом. Из-за этого исследуются решения, которые предоставляют 3D ощущение с минимумом дополнительных затрат и которые совместимы с текущей базой установленного оборудования телевизионных приставок (STB). Одним из исследуемых решений является расширение существующих усовершенствованных телевизионных приставок, чтобы позволить им воспроизводить 3D посредством упаковки кадров левого и правого изображений стереоскопической картинки в 2D кадр.

Стереоскопическое видео также требует стереоскопических вспомогательных данных, таких как субтитры. В этом документе субтитры будут использоваться как пример вспомогательных данных. Вспомогательные данные могут дополнительно быть любым типом дополнительных графических данных, которые должны быть наложены на основное видео. Наложение субтитров на стереовидео требует повышенного внимания при решении, где расположить субтитры в горизонтальном, вертикальном и глубинном направлении поверх видео. Если это не будет сделано должным образом, наложение может вступить в конфликт с фоновым видео, приводя к визуальным артефактам и создавая противоречивые признаки глубины у границ субтитров. Это может произойти, когда глубина субтитров меньше, чем глубина видео в местоположении субтитров. Субтитры закрывают часть видео, поэтому мозг ожидает, что субтитры находятся перед видео. Кроме того, из-за того, что субтитры копируются поверх видео, кажется, будто субтитры прокалывают видео, создавая артефакты по краям субтитров.

Правильное расположение субтитров может быть сделано путем изменения диспаратности левого и правого изображений стереоскопического субтитра и убедившись, что эта диспаратность или "глубина" ближе к зрителю, чем глубина видео. Недостатком настройки диспаратности субтитров таким способом является то, что она требует обработки изображений во время создания и что она требует использования стереоскопических субтитров - это удваивает полосу пропускания и обработку в устройстве воспроизведения.

Альтернативный подход заключается в использовании 2D субтитров и в копировании субтитров поверх как левого, так и правого изображений стереоскопического видео. Это работает посредством копирования субтитра поверх левой части изображения стереоскопического видео и перемещения его в горизонтальном направлении перед копированием его на правую часть изображения стереоскопического видео. Величина горизонтального смещения объектов меж