Носитель записи, на который записано трехмерное видео, носитель записи для записи трехмерного видео и устройство воспроизведения и способ воспроизведения трехмерного видео

Носитель записи, на который записано трехмерное видео, носитель записи для записи трехмерного видео и устройство воспроизведения и способ воспроизведения трехмерного видео

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее изобретение относится к формату применения, когда трехмерная графика записывается на носитель записи.

Уровень техники

В последние годы, разработаны стандарты DVD следующего поколения, называемые дисками Blu-Ray и HD DVD, и как следствие, оптические диски с высокой четкостью и высококачественным звуком распространились среди пользователей.

В отношении качества движущихся изображений, которые могут записываться на такие оптические диски, в то время как традиционные DVD имеют SD (стандартную четкость), диски Blu-Ray имеют HD (высокую четкость) с разрешением вплоть до 1920×1080 и поэтому могут сохранять изображения, имеющие более высокое качество изображения.

В последние годы, число посетителей кинотеатров уменьшается с распространением коробочных носителей, таких как DVD. Следовательно, в США и в Японии, стимулируется создание кинотеатров, в которых посетители могут наслаждаться трехмерными фильмами (3D-фильмами), чтобы увеличивать число посетителей кинотеатров. Одним из факторов, который способствует этим изменениям в кинотеатрах, является то, что разработано окружение, в котором трехмерная графика может быть сформирована сравнительно легко, поскольку многочисленные новые фильмы создаются с использованием CG (компьютерной графики).

В свете таких предпосылок, трехмерное содержимое, записанное на вышеупомянутых DVD следующего поколения, таких как диски Blu-Ray и DVD HD, требуется многим пользователям.

Патентный документ 1. Международная публикация международной заявки номер 2005-119675

Сущность изобретения

Проблемы, разрешаемые изобретением

Хотя возможности простого воспроизведения трехмерного содержимого с начала до конца достаточно в кинотеатрах, такого воспроизведения недостаточно для того, чтобы представлять трехмерную технологию в домах в форме оптического диска. Таким образом, необходимо обеспечивать, чтобы мог выполняться как и раньше произвольный доступ и т.п. с точки зрения удобства и простоты использования для пользователей при представлении трехмерной технологии в домах. В качестве способа реализации трехмерного просмотра для дома может рассматриваться способ использования параллактического видео (состоящего из двух видеопотоков, которые основаны на бинокулярном параллаксе). В этом случае, проблематичным является то, как синхронизировать эти два видеопотока во время произвольного доступа, чтобы обеспечивать возможность выполнения произвольного доступа. Если эти два видеопотока не могут быть синхронизированы, может возникать период времени, в котором один видеопоток может быть надлежащим образом декодирован, тогда как другой видеопоток не может быть декодирован, когда пользователь воспроизводит с произвольного момента времени, к которому может быть выполнен произвольный доступ. Это обусловлено тем, что данные, необходимые для воспроизведения, не предоставляются в декодер. Как результат, стереоскопический просмотр с использованием параллактического видео не может быть выполнен в этот период времени.

Настоящее изобретение имеет цель предоставлять носитель записи, с помощью которого произвольный доступ может быть надежно выполнен при воспроизведении трехмерной графики.

Средство для решения проблем

Чтобы достигать вышеописанной цели, один аспект настоящего изобретения - это носитель записи, содержащий: зону цифрового потока, в которую записывается цифровой поток, причем цифровой поток включает в себя множество размещенных во времени пар GOP (группа изображений); и зону информационной карты, в которую записывается информационная карта, причем информационная карта указывает адреса входа в соответствии "один-к-одному" с временами входа на временной оси цифрового потока, при этом каждый из адресов входа показывает начало соответствующей одной из областей пар GOP в зоне цифрового потока, при этом каждая из пар GOP состоит из GOP первого типа и GOP второго типа, каждая GOP первого типа - это данные, указывающие набор изображений для плоского представления, которые должны быть воспроизведены от соответствующего одного из времен входа, а каждая GOP второго типа - это данные, которые должны быть воспроизведены вместе с соответствующей одной из GOP первого типа, чтобы предоставлять пользователю стереоскопический просмотр цифрового потока, при этом данные указывают различие между набором стереоскопических изображений и набором изображений для плоского представления.

Преимущество изобретения

При вышеуказанной структуре, поскольку пары GOP первого типа и GOP второго типа существуют в областях пар GOP, указанных посредством адресов входа в зоне записи цифрового потока, которые соответствуют временам входа, можно надежно давать возможность пользователю выполнять стереоскопический просмотр движущихся изображений, даже когда воспроизведение начинается в произвольном времени входа на временной оси цифрового потока. Следовательно, пользователь может легко наслаждаться просмотром трехмерной графики дома.

Каждая из GOP первого типа и каждая из GOP второго типа могут быть разделены на набор пакетов первого типа и набор пакетов второго типа, соответственно, наборы пакетов первого типа и наборы пакетов второго типа могут быть мультиплексированы вместе, при этом всем пакетам назначаются последовательные номера пакетов согласно порядку мультиплексирования, пакет заголовка из числа каждого из наборов пакетов первого типа может предшествовать, в цифровом потоке, пакету заголовка из числа соответствующего одного из наборов пакетов второго типа, и каждый из адресов входа в информационную карту может быть представлен как один из номеров пакетов, назначенных пакету заголовка из числа соответствующего одного из наборов пакетов первого типа.

Адреса входа, каждый из которых показывает пакет заголовка соответствующей GOP первого типа, находятся в соответствии "один-к-одному" с временами входа. Следовательно, посредством считывания пакетов с носителя записи в соответствии с адресами входа можно надежно отправлять GOP первого типа в видеодекодер без отправки ненужных данных. Следовательно, можно сразу предоставлять стереоскопическое представление начиная с точки входа, требуемой пользователем, когда произвольный доступ выполняется в видеопотоке.

Каждый из наборов пакетов второго типа, разделенных из соответствующей одной из GOP второго типа, может находиться перед следующим одним из адресов входа, который расположен непосредственно следом за одним из адресов входа, который связан с соответствующей одной из GOP первого типа.

Это гарантирует то, что готовая пара GOP первого типа и GOP второго типа может отправляться в видеодекодер посредством считывания пакетов от пакета (m), указанного посредством адреса входа (i), до пакета (n-1), непосредственно предшествующего пакету (n), указанному посредством адреса входа (i +1). Поскольку в случае выполнения произвольного доступа в отношении информационную карту, предоставляется то, что готовая пара GOP первого типа и GOP второго типа, которая может предоставлять стереоскопическое представление, отправляется в видеодекодер, декодер может реализовывать работу с большой скоростью, которая быстро реагирует на операцию пропуска пользователем.

Краткое описание чертежей

Фиг.1A, 1B и 1C показывают принципы стереоскопического представления с использованием параллактического видео;

Фиг.2 показывает структуру BD-ROM;

Фиг.3 показывает пример структуры AV-клипа, сохраненного в файле (XXX.M2TS);

Фиг.4 показывает взаимосвязь между AV-клипом и PL;

Фиг.5 показывает пример управляющей информации AV-клипа, сохраненного в файле информации о клипах;

Фиг.6 показывает взаимосвязь между PTS, выделяемыми множеству изображений, составляющих видеопоток для левого глаза (видеопоток для левого глаза), и PTS, выделяемые множеству изображений, составляющих видеопоток для правого глаза (видеопоток для правого глаза);

Фиг.7 показывает опорную взаимосвязь между изображениями;

Фиг.8 схематично показывает пример мультиплексирования видеопотока для левого глаза и видеопотока для правого глаза;

Фиг.9 схематично показывает другой пример мультиплексирования видеопотока для левого глаза и видеопотока для правого глаза;

Фиг.10 схематично показывает то, как каждый из видеопотоков мультиплексируется в AV-клипе;

Фиг.11 является блок-схемой, показывающей структуру устройства 2000 воспроизведения;

Фиг.12 является блок-схемой последовательности операций способа, показывающей обработку декодирования видео посредством видеодекодера 2302;

Фиг.13 показывает структуру системы домашнего кинотеатра;

Фиг.14 является блок-схемой, показывающей внутреннюю структуру носителя 40 записи;

Фиг.15A, 15B и 15C показывают то, как эффективно формировать элементарный поток трехмерного видео;

Фиг.16 показывает структуру индексной таблицы, включающей в себя 3D-флаги;

Фиг.17 показывает пример структуры AV-клипа, сохраненного в каталоге потоков;

Фиг.18 показывает структуру списка воспроизведения, когда видеопоток для левого глаза и видеопоток для правого глаза записываются как отдельные цифровые потоки;

Фиг.19A и 19B показывают различие между фокусной точкой глаз, когда пользователь фактически смотрит на объект, и фокусной точкой глаз, когда пользователь выполняет стереоскопический просмотр;

Фиг.20 показывает информацию списка воспроизведения, когда существует множество подпутей;

Фиг.21 показывает то, как пользователь просматривает объект, отображаемый на дисплее во время воспроизведения двумерной графики;

Фиг.22 показывает то, как объект кажется выходящим за пределы отображения в направлении пользователя во время воспроизведения трехмерной графики;

Фиг.23 показывает таблицу, в которой каждый субклип находится в соответствии с фрагментом аудиоданных, субтитром и меню; и

Фиг.24 показывает блок-схему последовательности операций способа, показывающую обработку запросов, которая выполняет запрос к дисплею относительно того, может ли быть отображена трехмерная графика.

Описание номеров ссылок

1000 - BD-ROM

2000 - устройство воспроизведения

2100 - привод BD-ROM

2200 - буфер дорожек

2300 - декодер системных целевых объектов

2301 - демультиплексор

2302 - видеодекодер

2303 - видеоплоскость для левого глаза

2304 - видеоплоскость для правого глаза

2305 - декодер субвидео

2306 - плоскость субвидео

2307 - PG-декодер

2308 - PG-плоскость

2309 - IG-декодер

2310 - IG-плоскость

2311 - процессор изображений

2312 - плоскость изображений

2313 - аудиодекодер

2400 - сумматор плоскости

2500 - запоминающее устройство программ

2600 - запоминающее устройство управляющей информации

2700 - модуль выполнения программ

2800 - модуль управления воспроизведением

2900 - процессор пользовательских событий

3000 - дисплей

4000 - стереоскопические очки

5000 - пульт дистанционного управления

40 - записывающее устройство

41 - видеокодер

42 - модуль формирования материала

43 - модуль формирования сценариев

44 - модуль формирования программ BD

45 - процессор мультиплексирования

46 - процессор форматов

Оптимальный режим осуществления изобретения

Далее описываются варианты осуществления настоящего изобретения со ссылкой на чертежи.

(Первый вариант осуществления)

1. Принципы стереоскопического представления

Во-первых, далее описываются принципы предоставления стереоскопического представления с использованием дисплея для бытового применения. Предусмотрено два главных способа реализации стереоскопического представления: способ с использованием голографической технологии и способ с использованием параллактического видео (состоящего из двух видеопотоков, которые основаны на бинокулярном параллаксе).

Способ с использованием голографической технологии может давать возможность просматривать объект в изображении стереоскопически точно таким же способом, как мы обычно распознаем физический объект. Тем не менее, хотя создана техническая теория, очень трудно, в случае движущихся изображений, реализовывать с помощью современной технологии стереоскопического представления с использованием голографической технологии, поскольку требуются следующий компьютер и дисплейное устройство: компьютер, допускающий выполнение огромных объемов вычислений, чтобы формировать движущиеся изображения для голографии в режиме реального времени, и дисплейное устройство, имеющее разрешение, достаточно большое для того, чтобы рисовать тысячи линий в пространстве, составляющем примерно 1 мм. Следовательно, в действительности голографическая технология редко реализуется в коммерческих целях.

В способе с использованием параллактического видео, с другой стороны, стереоскопическое представление может быть реализовано посредством подготовки изображений для правого глаза (изображений для правого глаза) и изображений для левого глаза (изображений для левого глаза) и обеспечения видимости изображений для правого глаза только посредством правого глаза и видимости изображений для левого глаза только посредством левого глаза. Фиг.1A, 1B и 1C показывают принципы стереоскопического представления с использованием параллактического видео.

Фиг.1A является видом сверху, показывающим то, как пользователь смотрит на сравнительно небольшой куб перед собой, фиг.1B показывает то, как выглядит куб, когда пользователь смотрит на куб левым глазом, а фиг.1C показывает то, как выглядит куб, когда пользователь смотрит на куб правым глазом. Как показано на фиг.1B и 1C, углы, с которых захватывается изображение, отличаются между левым и правым глазом. Стереоскопическое представление реализуется посредством комбинирования, в мозге, таких изображений, захваченных левым и правым глазом с различных углов.

Этот способ имеет преимущество в том, что стереоскопическое представление может быть реализовано посредством подготовки только двух изображений (одного для правого глаза и другого для левого глаза), просматриваемый с различных точек наблюдения. Некоторые технологии, использующие этот способ, введены в практическое использование посредством технологии, ориентированной на то, как предоставлять возможность просмотра изображений, каждое из которых соответствует правому глазу и левому глазу, только соответствующими глазами.

Одна из технологий называется способом последовательного разделения. В таком способе, изображения для левого глаза и изображения для правого глаза отображаются поочередно на дисплее. Когда пользователь наблюдает отображаемые изображения через стереоочки последовательного типа (с жидкокристаллическими затворами), левые и правые сцены накладываются друг на друга вследствие спектральной реакции глаз. Таким образом, пользователь распознает изображения как стереоскопические изображения. Более конкретно, в момент, когда изображение для левого глаза отображается на дисплее, стереоочки последовательного типа переводят жидкокристаллический затвор для левого глаза в состояние пропускания света, а жидкокристаллический затвор для правого глаза - в состояние блокирования света. В момент, когда изображение для правого глаза отображается на дисплее, с другой стороны, стереоочки последовательного типа приводят жидкокристаллический затвор для правого глаза в состояние пропускания света, а жидкокристаллический затвор для левого глаза - в состояние блокирования света. При таком способе, изображения для левого глаза и для правого глаза могут быть видны соответствующим глазом.

Таким образом, чтобы поочередно отображать изображения для левого глаза и изображения для правого глаза в направлении временной оси, например, необходимо отображать 48 изображений (сумма правых и левых изображений) в секунду в способе последовательного разделения, тогда как в стандартном двумерном фильме отображается только 24 изображения в секунду. Соответственно, такой способ является подходящим для использования на дисплее, допускающем выполнение перезаписи экрана сравнительно быстро.

Другая технология использует ступенчатую линзу. Изображения для левого глаза и изображения для правого глаза поочередно отображаются в направлении временной оси в вышеупомянутом способе последовательного разделения. Тем не менее, в технологии с использованием ступенчатой линзы, изображения для левого глаза и изображения для правого глаза размещаются поочередно в продольном направлении на экране одновременно, а к поверхности дисплея прикрепляется ступенчатая линза. Когда пользователь просматривает изображения, отображаемые на дисплее, через ступенчатую линзу, пикселы, составляющие изображения для левого глаза, видны только левым глазом, а пикселы, составляющие изображения для правого глаза, видны только правым глазом. Поскольку можно давать возможность правому глазу и левому глазу просматривать изображения, имеющие параллакс, пользователь может распознавать изображения, отображаемые на дисплее, как стереоскопические изображения. Отметим, что пример не ограничен ступенчатой линзой, и может использоваться устройство, имеющее такую же функцию (к примеру, жидкокристаллический элемент). Дополнительной альтернативой является способ, при котором для пикселов для левого глаза предоставляются вертикальные поляризованные фильтры, и для пикселов для правого глаза предоставляются горизонтальные поляризованные фильтры, и пользователь использует поляризованные очки, в которых (i) вертикальный поляризованный фильтр предоставлен на линзе для левого глаза, и (ii) горизонтальный фильтр предоставлен на линзе для правого глаза. Это дает возможность пользователю распознавать отображаемые изображения стереоскопически.

Вышеупомянутый способ предоставления стереоскопического представления использованием параллактического видео обычно использовался в оборудовании в парках с аттракционами, и технически хорошо проработан. Следовательно, такой способ лучше всего подошел для реализации для бытового применения. Помимо этого способа, предложены различные технологии, такие как способ отделения двух цветов и т.п., в качестве способа для предоставления стереоскопического представления с использованием параллактического видео.

Хотя описание приводится с рассмотрением способа последовательного разделения и способа поляризованных очков в качестве примеров, способы для предоставления стереоскопического представления с использованием параллактического видео не ограничены ими и могут быть любыми способами, которые используют параллактическое видео.

2. Структура данных для сохранения параллактического видео (в дальнейшем также упоминаемого как "трехмерные изображения") для предоставления возможности пользователю выполнять стереоскопический просмотр.

Далее описывается структура данных для сохранения трехмерных изображений в BD-ROM, который является носителем записи, относящимся к настоящей заявке.

Фиг.2 показывает структуру BD-ROM. BD-ROM показан на четвертом уровне сверху на настоящем чертеже, и дорожка на BD-ROM показана на третьем уровне. Хотя дорожка обычно формируется спиральным способом от внутренней окружности к внешней окружности, дорожка нарисована расширяющимся в сторону способом на настоящем чертеже. Эта дорожка состоит из зоны ввода, зоны тома и зоны вывода. Зона тома на настоящем чертеже имеет уровневую модель, имеющую физический уровень, уровень файловой системы и прикладной уровень. Верхний уровень на фиг.2 показывает формат прикладного уровня (формат приложения) BD-ROM, выраженный с помощью структуры каталогов. Как показано на настоящем чертеже, в BD-ROM, каталог BDMV находится непосредственно в каталоге ROOT; и индексный файл (index.bdmv), каталог PLAYLIST, каталог CLIPINFO, каталог STREAM и каталог PROGRAM находятся в каталоге BDMV.

Индексная таблица, показывающая структуру тайтлов, сохраняется в индексном файле (index.bdmv). Тайтлы - это единицы воспроизведения. Например, основной фильм записан в первом тайтле, режиссерский монтаж записан во втором тайтле, а бонусное содержимое записано в третьем тайтле. Пользователь может указывать тайтл для того, чтобы воспроизводить (к примеру, задав "воспроизводить N-ный тайтл"), с помощью пульта дистанционного управления и т.п., который идет в комплекте с устройством воспроизведения.

В каталоге STREAM хранится файл (XXX.M2TS), включающий в себя AV-клип, в котором мультиплексируется AV-содержимое, такое как видео и аудио. Фиг.3 показывает пример структуры AV-клипа, сохраненного в файле (XXX.M2TS). Как показано на фиг.3, в файле (XXX.M2TS) сохраняется цифровой поток в форме транспортного потока MPEG-2. В этом цифровом потоке, видеопоток для левого глаза (видеопоток для левого глаза), видеопоток для правого глаза (видеопоток для правого глаза) и т.п. мультиплексируются. Здесь, видеопоток для левого глаза воспроизводится как двумерное видео, а также воспроизводится как видео для левого глаза в случае предоставления возможности пользователю выполнять стереоскопический просмотр движущихся изображений (в случае воспроизведения цифрового потока как трехмерного видео). Видеопоток для правого глаза воспроизводится вместе с видеопотоком для левого глаза в случае предоставления возможности пользователю выполнять стереоскопический просмотр движущихся изображений. Кроме того, как показано на фиг.3, 0x1011 выделяется видеопотоку для левого глаза в качестве PID, и 0x1012, который отличается от PID видеопотока для левого глаза, выделяется видеопотоку для правого глаза. Это дает возможность различать видеопотоки друг от друга. Каждый из видеопотоков записывается после сжатия и кодирования согласно способу MPEG-2, способу MPEG-4 AVC, способу SMPTE VC-1 и т.п.Аудиопоток записывается после сжатия и кодирования согласно способу Dolby AC-3, способу Dolby Digital Plus, способу MLP, способу DTS, способу DTS-HD, способу линейного PCM и т.п.

В каталоге PLAYLIST хранится файл списка воспроизведения (YYY.MPLS), включающий в себя информацию списка воспроизведения, в которой задается логический путь воспроизведения (PL) в AV-клипе. Фиг.4 показывает взаимосвязь между AV-клипом и PL. Как показано на фиг.4, информация списка воспроизведения состоит из одного или более фрагментов информации элемента воспроизведения (PI). Каждый из фрагментов информации элемента воспроизведения представляет секцию воспроизведения в AV-клипе. Каждый из фрагментов информации элемента воспроизведения идентифицируется посредством идентификатора элемента воспроизведения и записывается в порядке воспроизведения в списке воспроизведения.

Кроме того, фрагменты информации списка воспроизведения включают в себя метки входа, каждая из которых показывает точку начала воспроизведения. Метки входа могут быть предоставлены в секциях воспроизведения, заданных во фрагментах информации элемента воспроизведения. Кроме того, как показано на фиг.4, каждая из меток входа находится в такой позиции, чтобы быть точкой начала воспроизведения в информации элемента воспроизведения, и используется для воспроизведения по монтажным меткам. Например, воспроизведение главы может быть выполнено посредством предоставления метки входа в такой позиции так, чтобы быть началом каждой главы в тайтле фильма. Отметим, что путь воспроизведения набора фрагментов информации элемента воспроизведения задается как основной путь.

В каталоге CLIPINFO сохраняется файл информации о клипах (XXX.CLPI), включающий в себя управляющую информацию об AV-клипе. Фиг.5 показывает пример управляющей информации об AV-клипе, сохраненной в файле информации о клипах. Как показано на фиг.5, управляющая информация об AV-клипе находится в соответствии "один-к-одному" с AV-клипом и состоит из информации о клипах, информации атрибутов потока и карт вхождений.

В каждую из карт вхождений записывается информация заголовка карты вхождений, информация в табличной форме и другая информация в табличной форме, касающаяся видеопотока (субвидео). Здесь, информация в табличной форме показывает пары, каждая из которых состоит из (i) PTS (временная метка представления), показывающей время отображения заголовка каждой из GOP, которые составляют видеопоток для левого глаза, и (ii) SPN (номер исходного пакета), показывающего начальную позицию каждой из GOP в AV-клипе. Здесь, информация о каждой из пар PTS и SPN, показанная в одной строке, называется точкой входа. Кроме того, значения, начинающиеся с 0, каждое из которых увеличивается на единицу по порядку, называются идентификатором точки входа (в дальнейшем также упоминаемом как "EP_ID").

Кроме того, в информации заголовка карты вхождений сохраняется информация по PID видеопотока для левого глаза, числу точек входа и т.п.

Посредством обращения к этим картам вхождений устройство воспроизведения, когда точка начала воспроизведения указывается временем, может преобразовывать информацию времени в информацию адреса и указывать точку пакета в AV-клипе. Точка пакета соответствует произвольной точке на временной оси видеопотока.

В каталоге PROGRAM сохраняется файл программы BD (AAA.PROG), включающий в себя программу для определения динамического сценария.

В BD-ROM, хотя используется собственная программа типа интерпретатора, называемая "навигацией по командам", языковая система не является сущностью настоящего изобретения. Следовательно, программа, написанная в соответствии с универсальным языком программирования, такая как сценарий Java или Java, также возможна. Список воспроизведения, который должен быть воспроизведен, указывается посредством такой программы.

3. PTS видеопотока для левого глаза и видеопотока для правого глаза

Далее описывается PTS видеопотока для левого глаза и видеопотока для правого глаза для предоставления возможности пользователю выполнять стереоскопический просмотр движущихся изображений.

Фиг.6 показывает взаимосвязь между временем отображения (PTS), выделяемым каждому из множества изображений, которые составляют видеопоток для левого глаза, и временем отображения (PTS), выделяемым каждому из множества изображений, которые составляют видеопоток для правого глаза. Изображения, составляющие видеопоток для левого глаза (изображения для левого глаза), находятся в соответствии "один-к-одному" с изображениями, составляющими видеопоток для правого глаза (изображения для правого глаза) (к примеру, изображение L1 и изображение R1, как показано на фиг.6, соответствуют друг другу). PTS задаются так, что изображения для левого глаза, которые находятся в соответствии изображениям для правого глаза, отображаются перед соответствующими изображениями для правого глаза. Кроме того, PTS для изображений для левого глаза и PTS для изображений для правого глаза задаются таким образом, чтобы чередовать друг друга на временной оси. Это может быть реализовано посредством задания PTS так, что изображения для левого глаза и изображения для правого глаза, которые находятся в опорной взаимосвязи кодирования с прогнозированием внутри изображения, отображаются поочередно.

Далее описываются изображения для левого глаза и изображения для правого глаза, которые находятся в опорной взаимосвязи кодирования с прогнозированием внутри изображения. Изображения для правого глаза сжимаются посредством кодирования с прогнозированием внутри изображения, которое основано на избыточности между представлениями, в дополнение к кодированию с прогнозированием внутри изображения, которое основано на избыточности в направлении временной оси. Таким образом, видеоизображения для правого глаза сжимаются со ссылкой на соответствующие изображения для левого глаза. Далее описываются причины этого. Изображения для левого глаза и изображения для правого глаза строго коррелируют друг с другом, поскольку объекты изображений для левого глаза и изображений для правого глаза являются одинаковыми, хотя их представления являются различными. Следовательно, объем данных видеопотока для правого глаза может быть значительно уменьшен по сравнению с объемом данных видеопотока для левого глаза посредством выполнения кодирования с прогнозированием внутри изображения между представлениями.

Фиг.7 показывает опорную взаимосвязь между изображениями. Как показано на фиг.7, изображение P₀ видеопотока для правого глаза ссылается на изображение I₀ видеопотока для левого глаза. Изображение B₁ видеопотока для правого глаза ссылается на изображение Br₁ видеопотока для левого глаза. Изображение B₂ видеопотока для правого глаза ссылается на изображение Br₂ видеопотока для левого глаза. Изображение P₃ видеопотока для правого глаза ссылается на изображение P₃ видеопотока для левого глаза.

Поскольку видеопоток для левого глаза не ссылается на видеопоток для правого глаза, видеопоток для левого глаза может быть воспроизведен отдельно (т.е. видеопоток для левого глаза может быть воспроизведен как двумерное видео). Тем не менее, видеопоток для правого глаза не может быть воспроизведен отдельно, поскольку видеопоток для правого глаза ссылается на видеопоток для левого глаза.

Далее описывается интервал времени между PTS изображений для левого глаза и PTS соответствующих изображений для правого глаза с использованием фиг.6. Когда трехмерная графика воспроизводится с использованием способа последовательного разделения, каждая PTS для изображения для правого глаза должна быть задана с интервалом, который удовлетворяет следующему уравнению относительно изображения для левого глаза, показанного посредством определенного времени (PTS):

PTS (для правого глаза)=PTS (для левого глаза)+1/(число кадров в секунду×2).

Когда частота кадров составляет 24p, например, указывается, что отображается 24 изображения в секунду. Следовательно, интервал (задержка отображения) между изображениями для левого глаза и соответствующими изображениями для правого глаза составляет 1/48 секунды.

Таким образом, изображения для правого глаза должны быть синхронизированными с соответствующими изображениями для левого глаза с помощью задержки отображения (1/48 секунды).

Следовательно, в случае мультиплексирования видеопотока для левого глаза и видеопотока для правого глаза в транспортный поток, мультиплексирование может быть выполнено так, что изображения для левого глаза размещаются рядом с соответствующими изображениями для правого глаза, на основе PTS и DTS. Здесь, PTS показывают времена отображения изображений в каждой GOP каждого из видеопотоков, а DTS показывают времена декодирования изображений в каждой GOP каждого из видеопотоков.

Когда потоки мультиплексируются таким способом, требуемые DTS показывают времена декодирования изображений в каждой GOP каждого из видеопотоков. Изображения для левого глаза для правого глаза могут быть получены в нужное время, если транспортный поток считывается по порядку из заголовка.

Тем не менее, в некоторых случаях, воспроизведение выполняется с момента времени, отличного от момента времени заголовка потока, вследствие операции пропуска или операции перехода к указанному времени. В таких случаях, поскольку точки входа записаны в каждой из карт вхождений в единицах GOP, границы GOP между изображениями для левого глаза и изображениями для правого глаза должны учитываться при выполнении мультиплексирования.

4. Мультиплексирование видеопотока для левого глаза и видеопотока для правого глаза

Далее описывается то, как выполнять мультиплексирование видеопотока для левого глаза и видеопотока для правого глаза с произвольным доступом к рассматриваемому AV-клипу.

Во-первых, настройки должны быть выполнены так, чтобы GOP видеопотока для левого глаза и GOP видеопотока для правого глаза имели одинаковый временной интервал. Кроме того, GOP видеопотока для левого глаза должны быть в соответствии "один-к-одному" с GOP видеопотока для правого глаза. Таким образом, видеопоток для левого глаза может быть синхронизирован с видеопотоком для правого глаза в единицах GOP.

Кроме того, поскольку карта вхождений (PID=0x1011) задана для видеопотока для левого глаза, как показано на фиг.5, каждый фрагмент информации времени (PTS) в карте вхождений показывает время начала воспроизведения заголовка каждой из GOP видеопотока для левого глаза, и каждый фрагмент информации адреса (SPN) показывает адрес заголовка списка пакетов каждой из GOP видеопотока для левого глаза в AV-клипе. Поскольку устройство воспроизведения считывает данные с позиции, показанной посредством такого адреса в AV-клипе, должна быть выполнена такая компоновка, что каждая из GOP видеопотока для правого глаза следует за заголовком пакетов, которые составляют каждую из соответствующих GOP видеопотока для левого глаза.

Фиг.8 схематично показывает пример мультиплексирования видеопотока для левого глаза и видеопотока для правого глаза. Как показано на фиг.8, видеопоток для левого глаза и видеопоток для правого глаза мультиплексируются в единицах GOP в такой форме, что GOP видеопотока для левого глаза предшествуют GOP соответствующего видеопотока для правого глаза.

Таким образом, когда воспроизведение начинается, например, с LGOP2 видеопотока для левого глаза на фиг.8, RGOP2 поток для правого глаза, соответствующий LGOP2 видеопотока для левого глаза, может быть считан без проблем, если воспроизведение начинается с заголовка списка пакетов, которые составляют LGOP2. Следовательно, видеопоток для левого глаза и видеопоток для правого глаза могут быть воспроизведены как трехмерная графика в это время начала воспроизведения.

Как показано выше, посредством добавления, когда мультиплексирование выполняется, таких ограничений, что (i) GOP видеопотока для левого глаза и GOP видеопотока для правого глаза имеют одинаковый временной интервал и (ii) заголовок каждой GOP видеопотока для левого глаза всегда предшествует заголовку каждой соответствующей GOP видеопотока для правого глаза, гарантируется, что видеопоток для левого глаза и видеопоток для правого глаза могут быть воспроизведены как трехмерная графика независимо от того, с какого момента времени, показанного посредством карты вхождений, начинается воспроизведение.

Далее описывается другой пример мультиплексирования видеопотока для левого глаза и видеопотока для правого глаза. Фиг.9 схематично показывает другой пример мультиплексирования видеопотока для левого глаза и видеопотока для правого глаза. Фиг.8 и фиг.9 являются общими в том, что заголовок каждой GOP видеопотока для левого глаза всегда предшествует заголовку каждой соответствующей GOP видеопотока для правого глаза, когда мультиплексирование выполняется. Тем не менее, хотя нет ограничения на размещение конечной позиции каждой GOP для левого глаза (GOP для левого глаза) и размещение конечной позиции каждой соответствующей GOP для правого глаза (GOP для правого глаза) на фиг.8, фиг.9 отличается от фиг.8 в том, что GOP для правого глаза находится между пакетом заголовка и конечным пакетом соответствующей GOP для левого глаза, следующим после на фиг.9. Таким образом, даже когда AV-клип обрезается согласно границам GOP видеопотока для левого глаза, AV-клип может быть обрезан без обрезания GOP видеопотока для правого глаза.

Фиг.10 схематично показывает то, как каждый видеопоток мультиплексируется в AV-клипе, когда GOP для правого глаза находится между пакетом заголовка и конечным пакетом соответствующей GOP для левого глаза.

Во-первых, видеопоток для левого глаза, состоящий из множества видеокадров, преобразуется в последовательность PES-пакетов, и последовательность PES-пакетов преобразуется в последовательность TS-пакетов. Аналогично, видеопоток для правого глаза, состоящий из множества видеокадров, преобразуется в последовательность PES-пакетов, и последовательность PES-пакетов преобразуется в последовательность TS-пакетов.

Как показано на фиг.10, пакет заголовка (L11) GOP (LGOP1) видеопотока для левого глаза размещается первым, когда видеопоток для левого глаза и видеопоток для правого глаза мультиплексируются. Пакеты (R11, R12 и R13) GOP (RGOP1) видеопотока для правого глаза, соответствующего LGOP1, следуют после позиции размещения пакета (L11) LGOP1 и предшествуют позиции размещения конечного пакета (L16) LGOP1. Пакет заголовка (L21) следующей GOP (LGOP2) видеопотока для левого глаза следует после конечн