Информационный запоминающий носитель, содержащий записанные на нем данные текстовых субтитров, синхронизированные с аудиовизуальными данными, и способ и устройство для его воспроизведения

Информационный запоминающий носитель, содержащий записанные на нем данные текстовых субтитров, синхронизированные с аудиовизуальными данными, и способ и устройство для его воспроизведения

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к субтитрам, а более точно к информационному запоминающему носителю для записи/воспроизведения носителя, включающего в себя данные текстовых субтитров, которые формируются так, чтобы выводиться синхронно с аудио/видео (AV) данными. Настоящее изобретение также относится к способу воспроизведения и устройству, которое должно использоваться со способом воспроизведения.

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

Для того, чтобы отображать субтитры во время воспроизведения аудио/видео (AV) данных, поток демонстрационной графики, содержащий данные субтитров, переводится в данные растрового формата, а затем мультиплексируется вместе с видеопотоком и аудиопотоком, с тем чтобы образовать AV-данные. Так как такие данные субтитров растрового формата мультиплексируются вместе с видеопотоком и аудиопотоком, данные субтитров растрового формата могут равномерно воспроизводиться синхронно с видеопотоком. Однако проблемы, связанные с этими технологиями, состоят в том, что размер данных субтитров растрового формата велик, и в том, что существует ограничение на количество субтитров, которые могут быть мультиплексированы в пределах максимальной битовой скорости. Максимальная битовая скорость определена согласно варианту применения конкретного запоминающего носителя.

В дополнение к данным субтитров растрового формата также есть данные текстовых субтитров. Данные текстовых субтитров предназначены для устранения затруднений в создании и редактировании данных субтитров растрового формата. Однако данные текстовых субтитров существуют отдельно, не являясь мультиплексированными вместе с видеопотоком. Как результат, в отличие от потока демонстрационной графики, содержащего в себе традиционные данные субтитров растрового формата, синхронизация данных текстовых субтитров с видеопотоком с использованием только временной метки представления (PTS), определенной в заголовке пакета пакетированного элементарного потока (PES), является затруднительной. Более того, когда производится резкий переход на произвольную позицию и воспроизводятся данные в этой произвольной позиции, повторная синхронизация данных с видеопотоком также затруднительна.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

ТЕХНИЧЕСКОЕ РЕШЕНИЕ

Настоящее изобретение предоставляет информационный запоминающий носитель устройства записи/воспроизведения, содержащий записанные на нем данные текстовых субтитров, в которых заданы время начала вывода и время окончания вывода каждого элемента субтитров, а также способ и устройство для воспроизведения данных текстовых субтитров синхронно с видеопотоком во время нормального или специализированного проигрывания видеопотока.

ПОЛЕЗНЫЕ РЕЗУЛЬТАТЫ

Согласно аспекту настоящего изобретения воспроизведение данных текстовых субтитров синхронно с AV-потоком возможно во время не только нормального режима проигрывания, но также и специализированного режима проигрывания (такого как резкие переходы на другие позиции AV-потока, стоп-кадр, замедление, быстрое проигрывание).

ПЕРЕЧЕНЬ ФИГУР ЧЕРТЕЖЕЙ

Фиг.1А-1Е - иллюстрация процесса мультиплексирования видеопотока, аудиопотока и других потоков в исходный пакет для построения AV-потока и сохранения AV-потока на информационном запоминающем носителе согласно аспекту изобретения;

фиг.2 - принципиальная структурная схема устройства для воспроизведения AV-потока согласно аспекту изобретения;

фиг.3А-3В - иллюстрация ввода исходных пакетов, составляющих AV-поток, сохраненный на информационном запоминающем носителе, в устройство для воспроизведения AV-потока согласно аспекту изобретения;

фиг.4А-4С - иллюстрации, показывающие изменения в системном таймере (STC) устройства для воспроизведения AV-потока, когда исходные пакеты, содержащие одну последовательность таймера поступления (ATC), вводятся в устройство для воспроизведения AV-потока согласно аспекту изобретения;

фиг.5 - иллюстрация взаимосвязи между информацией навигации для задания очередности воспроизведения и позиции воспроизведения AV-потока, сохраненной на информационном запоминающем носителе, и AV-потоком согласно аспекту изобретения.

фиг.6А и 6В - иллюстрации для разъяснения проблемы данных текстовых субтитров согласно аспекту настоящего изобретения;

фиг.7А и 7В - иллюстрация добавления информации опорного элемента воспроизведения, в котором должны отображаться субтитры, в качестве способа воспроизведения субтитров согласно аспекту изобретения;

фиг.8А и 8В - иллюстрация записи текстовых субтитров посредством задания временной метки представления (PTS) на основании глобального времени, в качестве второго способа воспроизведения субтитров согласно аспекту изобретения;

фиг.9 - иллюстрация взаимосвязи между временной информацией, указываемой каждым элементом воспроизведения, и глобальным временем списка воспроизведения согласно аспекту изобретения; и

фиг.10 - принципиальная структурная схема устройства для воспроизведения данных текстовых субтитров и AV-данных согласно аспекту изобретения.

НАИЛУЧШИЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ

Согласно одному из аспектов настоящего изобретения информационный запоминающий носитель устройства записи/воспроизведения содержит данные субтитров, которые выводятся синхронно с аудио/видео (AV) данными, и информацию времени вывода, указывающую время начала вывода и/или время окончания вывода данных субтитров.

Согласно аспекту изобретения информационный запоминающий носитель дополнительно может содержать информацию элемента воспроизведения, указывающую AV-данные, с которыми должен быть синхронизирован вывод субтитров.

Согласно еще одному аспекту изобретения информация времени вывода может быть сформирована посредством ссылки на системный таймер (STC) информации элемента воспроизведения.

Согласно еще одному аспекту изобретения информация времени вывода может быть сформирована посредством ссылки на информацию глобального времени, включенную в список воспроизведения, указывающий AV-данные, с которыми должен быть синхронизирован вывод данных субтитров.

Согласно еще одному аспекту настоящего изобретения способ воспроизведения данных текстовых субтитров и AV-данных включает в себя считывание информации времени вывода, указывающей время начала вывода и/или время окончания вывода данных субтитров, которые выводятся синхронно с AV-данными, и вывод данных субтитров согласно информации времени вывода. При выводе данных субтитров дополнительно может считываться информация, указывающая AV-данные, с которыми должен быть синхронизирован вывод данных субтитров.

Согласно еще одному другому аспекту настоящего изобретения устройство для воспроизведения AV-потока и данных текстовых субтитров содержит узел обработки AV-данных, узел извлечения информации времени вывода и узел вывода субтитров. Узел обработки AV-данных отображает AV-данные. Узел извлечения информации времени вывода считывает информацию времени вывода, указывающую время начала вывода и/или время окончания вывода данных субтитров, которые выводятся синхронно с AV-данными. Узел вывода субтитров считывает данные субтитров согласно информации времени вывода и выводит считанные данные субтитров синхронно с AV-данными.

Согласно аспекту изобретения узел извлечения информации времени вывода дополнительно может включать в себя информацию, указывающую AV-данные, с которыми должны быть синхронизированы данные субтитров.

ВАРИАНТ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

Далее будет сделана отсылка на подробности вариантов осуществления настоящего изобретения, примеры которых проиллюстрированы на прилагаемых чертежах, на всем протяжении которых одинаковые ссылочные номера указывают ссылкой на идентичные элементы. Варианты осуществления описаны ниже для того, чтобы разъяснить настоящее изобретение посредством ссылки на фигуры.

Фиг.1А-1Е показывают последовательность операций мультиплексирования видеопотока, аудиопотока и других потоков в исходный пакет для построения аудио/визуального (AV) потока и сохранения AV-потока на информационном запоминающем носителе согласно аспекту изобретения. Согласно фиг.1А AV-поток включает в себя по меньшей мере видеопоток, аудиопоток, поток демонстрационной графики, содержащий данные субтитров растрового формата. AV-поток также может включать в себя другие потоки данных, созданные производителем для специального использования. Каждый поток данных, такой как видеопоток, аудиопоток или другой поток данных, упоминается как элементарный поток. Такой элементарный поток пакетируется в пакетированный элементарный поток (PES), показанный на фиг.1В.

Каждый PES содержит заголовок PES и данные пакета PES. В заголовке PES записана информация идентификатора потока (stream_ID), с тем чтобы идентифицировать тип данных пакета PES среди видеоданных, аудиоданных и других данных, временная информация, такая как временная метка декодирования (DTS) и временная метка представления (PTS) пакета PES, и другая информация.

Такие видео-PES, аудио-PES и PES других данных мультиплексируются для построения пакета транспортного потока (TS) стандарта MPEG-2 (Экспертной группы по вопросам движущегося изображения) из 188 байтов, показанного на фиг.1С. Пакет TS MPEG-2 из 188 байтов содержит заголовок TS MPEG-2, в котором записана информация о данных полезной нагрузки. Заголовок TS MPEG-2 включает в себя информацию идентификатора (ID) пакета, указывающую тип данных полезной нагрузки, поле адаптации, которое включает в себя опорное время программы (PCR) для установки системного таймера (STC) устройства для воспроизведения AV-потока, и другую информацию. STC является опорной точкой отсчета времени для DTS и PTS, используемых для декодирования и вывода пакета PES.

Заголовок из 4 байтов добавлен к пакету TS MPEG-2 из 188 байт для построения исходного пакета, как показано на фиг.1D, а группа таких исходных пакетов составляет AV-поток. Заголовок исходного пакета включает в себя информацию разрешения копирования, содержащую информацию защиты контента для предотвращения незаконного копирования исходного пакета и временную метку поступления (ATS), указывающую момент времени, в который исходный пакет поступает в устройство для воспроизведения AV-потока. Построенный AV-поток записан на информационном запоминающем носителе, показанном на фиг.1Е. Понятно, что информационный запоминающий носитель может быть оптическим (таким как CD (компакт-диск), DVD (универсальный цифровой диск), диск Blu-ray), магнитным (таким как DVR (цифровая видеозапись), флэш-память, жесткий диск), магнитооптическим или другим носителем.

фиг.2 - принципиальная структурная схема устройства для воспроизведения AV-потока согласно аспекту изобретения. Как показано на фиг.2, узел 210 считывания считывает AV-поток, построенный, как описано выше со ссылкой на фиг.1, с информационного запоминающего носителя, на котором записан AV-поток. К тому же узел 210 считывания передает исходный пакет в узел 20 демультиплексирования согласно ATS, записанному в заголовке исходного пакета. Узел 220 демультиплексирования удаляет заголовок из принятого исходного пакета, чтобы восстановить пакет TS MPEG-2. В случае, когда пакет TS MPEG-2 включает в себя информацию PCR в своем заголовке, узел 220 демультиплексирования устанавливает счетчик 250 STC устройства для воспроизведения AV-потока на основании информации PCR и классифицирует пакет TS MPEG-2 на таковой для видеопотока и аудиопотока или другого потока данных на основании информации ID пакета, с тем чтобы восстановить пакет PES соответствующего потока данных. Счетчик 250 STC постоянно увеличивается, отсчитывая системное время, а затем иногда сбрасывается в значение, которое не увеличивается постепенно согласно PCR, а скорее, указывается посредством PCR. Понятно, что устройство, кроме того, может записывать данные, и что узел считывания не обязан быть включенным во все аспекты, покуда транспортный поток принимается устройством.

Пакет PES, восстановленный таким путем, передается в видеодекодер 230 и аудиодекодер 240, когда идентичны DTS, включенная в заголовок пакета PES, и счетчик 250 STC устройства для воспроизведения AV-потока. Декодированные видеоданные или декодированные аудиоданные выводятся, когда идентичны PTS и значение счетчика 250 STC. В это время, блок видеопотока, выводимый в конкретный момент времени, представляет собой блок видеопредставления (VPU), а блок аудиопотока, выводимый в конкретный момент времени, представляет собой блок аудиопредставления (APU). К тому же, блок видеопотока, содержащий данные, которые должны декодироваться видеодекодером 230 для создания VPU, представляет собой блок видеодоступа (VAU), а блок аудиопотока, содержащий данные, которые должны декодироваться аудиодекодером 240 для создания APU, представляет собой блок аудиодоступа (AAU).

Другими словами, исходный пакет, записанный на информационном запоминающем носителе, демультиплексируется в VAU и AAU, каждый из которых должен декодироваться в определенный момент времени. VAU и AAU, затем, передаются в видеодекодер 230 и аудиодекодер 240, когда DTS, записанная в соответствующем блоке доступа, и значение счетчика 250 STC, по существу, идентичны. Таким образом, создаются VPU и APU. Созданные VPU и APU выводятся, когда идентичны PTS соответствующего блока представления и значение счетчика 250 STC. PTS аудиопотока может обозначать момент времени, когда AAU вводится в или выводится из аудиодекодера 240. Несмотря на то, что не требуется во всех аспектах, VAU и/или AAU могут быть буферизированы, с тем чтобы синхронизировать VAU и AAU со счетчиком STC.

Подобно видеопотоку или аудиопотоку поток презентационной графики для данных субтитров растрового формата также переводится в блок доступа и блок представления, а DTS и PTS каждого блока функционируют синхронно со счетчиком 250 STC. Синхронная работа DTS и PTS со счетчиком STC достигает синхронизации воспроизведения между потоком демонстрационной графики и данных субтитров растрового формата.

Фиг.3А-3В показывают ввод исходных пакетов, составляющих AV-поток, сохраненный на информационном запоминающем носителе, в устройство для воспроизведения AV-потока. Согласно фиг.3А AV-поток скомпонован из исходных пакетов. Информация ATS, которая является временной информацией о моменте времени, когда каждый исходный пакет вводится в устройство для воспроизведения AV-потока, включена в заголовок каждого исходного пакета. К тому же, счетчик таймера поступления (ATC) устройства для воспроизведения AV-потока устанавливается в ATS исходного пакета, который первым вводится в устройство для воспроизведения AV-потока, как показано на фиг.3В. ATS, включенный в заголовок исходного пакета, который вводится после первого введенного исходного пакета, сравнивается со значением счета счетчика ATC, и исходный пакет вводится в устройство для воспроизведения AV-потока в момент времени, когда ATS исходного пакета и значение счета счетчика ATC идентичны. В это время, если метки ATS исходных пакетов связаны без разрыва непрерывности, эти исходные пакеты имеют одну и ту же ATC-последовательность. Вообще, один AV-поток является состоящим из одной ATC-последовательности, но возможны многочисленные ATS-последовательности.

Фиг.4А-4С показывают изменения в STC устройства для воспроизведения AV-потока, когда исходные пакеты, содержащие одну ATC-последовательность, вводятся в устройство для воспроизведения AV-потока. Согласно фиг.4А исходные пакеты, включенные в одну ATC-последовательность, вводятся последовательно в устройство для воспроизведения AV-потока согласно своим ATS, а затем перестраиваются в пакеты TS MPEG-2. В это время, если информация PCR включена в заголовок пакета TS MPEG-2, устройство для воспроизведения AV-потока переустанавливает его STC с использованием информации PCR, как показано на фиг.4В и 4С. STC-последовательность указывает последовательность пакетов TS MPEG-2, управляемых STC, который непрерывно увеличивается согласно информации PCR, включенной в заголовок пакета TS MPEG-2.

По меньшей мере одна STC-последовательность включена в одну ATC-последовательность. В этом случае информация PCR для переустановки STC должна записываться, когда STC-последовательность меняется на другую, то есть, когда имеет место разрыв STC в первом пакете TS MPEG-2 новой STC-последовательности.

Согласно фиг.4А-4С, когда воспроизводится AV-поток, содержащий одну ATC-последовательность, глобальное время, использующее 0 в качестве начального момента воспроизведения AV-потока, постепенно увеличивается, тогда как STC-последовательности #0, #1 и #2 имеют разные значения STC.

В случае видеопотока, аудиопотока и потока демонстрационной графики, даже если имеет место разрывность в STC-последовательности и STC переустанавливается, поскольку они мультиплексированы в один AV-поток, DTS и PTS каждого потока данных могут обрабатываться посредством STC в STC-последовательности, который отслеживает соответствующую временную информацию. Однако данные текстовых субтитров не включены в отдельную STC-последовательность, так как данные текстовых субтитров существуют отдельно от AV-потока или так как множество ATC-последовательностей может существовать вследствие того факта, что данные текстовых субтитров могут быть сохранены по множеству AV-потоков. Как результат, данные текстовых субтитров не могут иметь времени начала вывода и времени окончания вывода, используя PTS на основе STC.

Фиг.5 показывает взаимосвязь между информацией навигации для назначения очередности воспроизведения и позиции воспроизведения AV-потока, сохраненного на информационном запоминающем носителе, и AV-потоком. Согласно фиг.5 AV-поток, информация клипа, в том числе, информация атрибутов об AV-потоке, информация навигации, указывающая очередность воспроизведения AV-потока, включены в информационный запоминающий носитель. Информация навигации включает в себя информацию тайтла (наибольшего элемента компоновки данных на носителе) по меньшей мере об одном тайтле, включенном в информационный запоминающий носитель, и по меньшей мере один список воспроизведения, включающий в себя очередность воспроизведения AV-потоков, которые воспроизводятся согласно каждому тайтлу.

Согласно фиг.5 список воспроизведения включает в себя по меньшей мере один элемент воспроизведения, включающий в себя информацию, указывающую AV-поток, который должен воспроизводиться. Элемент воспроизведения включает в себя clip_info_file (файл информации клипа), указывающий информацию клипа, включающую в себя информацию об AV-потоке, который должен быть воспроизведен, ref_to_STC_id (ссылку на идентификатор STC), указывающую номер STC-последовательности, включающей в себя STC AV-потока, указанного элементом воспроизведения в AV-потоке, и информацию IN_time (времени ввода) и OUT_time (времени вывода), указывающую начало и конец элемента воспроизведения в STC-последовательности, указанной этим элементом воспроизведения.

В дальнейшем будет сделано описание касательно процесса воспроизведения AV-потока с информационного запоминающего носителя, обладающего структурой данных, как описанная выше. Выбирается список воспроизведения, указанный тайтлом, который должен воспроизводится, и элементы воспроизведения подвергаются нормальному проигрыванию, если они включены в выбранный список воспроизведения. Элементы воспроизведения последовательно выбираются с верху. Если, с другой стороны, элементы воспроизведения, включенные в выбранный список воспроизведения, подвергаются произвольному доступу, они последовательно выбираются от обозначенного элемента воспроизведения.

Если выбран элемент #0 воспроизведения, информация #1 выбирается на основании информации Clip_info_file=1, включенной в элемент воспроизведения #0. STC-последовательность #0 выбирается в ATC-последовательности AV-потока, указанного информацией #1 клипа, на основании информации ref_to_STC_id=0, включенной в элемент #0 воспроизведения. AV-поток воспроизводится с позиции in1 до позиции out1, которые указаны посредством STC, соответствующего STC-последовательности #0, на основании информации IN_time=in1 и OUT_time=out1, включенной в элемент воспроизведения.

Затем, если выбран элемент #1 воспроизведения, информация #2 клипа выбирается на основании информации Clip_info_file=2, включенной в элемент воспроизведения #1. STC-последовательность #0 выбирается в ATC-последовательности AV-потока, указанного информацией #2 клипа, на основании информации ref_to_STC_id=0, включенной в элемент #1 воспроизведения. AV-поток воспроизводится с позиции in2 до позиции out2, которые указаны посредством STC, соответствующего STC-последовательности #0, на основании информации IN_time=in2 и OUT_time=out2, включенной в элемент #1 воспроизведения. Следовательно, понятно, что любые следующие элементы воспроизведения, такие как элемент #3 воспроизведения, должны воспроизводиться таким же путем.

Другими словами, выбирается список воспроизведения, а элемент воспроизведения выбирается из выбранного списка воспроизведения для отыскивания позиции AV-потока, который должен проигрываться. После того, как AV-поток из найденной позиции передан в устройство для воспроизведения AV-потока согласно ATS, STC устройства для воспроизведения AV-потока переустанавливается с использованием пакета TS MPEG-2, включающего в себя информацию PCR среди переданных данных. VAU и AAU начинают декодироваться в момент времени, когда идентичны PTS, включенная в каждый блок доступа, и STC. Декодирование VAU и AAU в этот момент времени создает VPU и APU. Созданные VPU и APU выводятся, когда PTS каждого блока представления и STC идентичны.

К тому же, для того чтобы устройству для воспроизведения AV-потока отображать субтитры, соответствующие видеоданным, данные текстовых субтитров определяют время начала вывода и время окончания вывода (начало, конец) для вывода каждого элемента субтитров, определенного в данных текстовых субтитров. В это время, когда PTS, основывающаяся на STC в видеопотоке и аудиопотоке в AV-потоке, используется в качестве информации атрибутов времени начала вывода и времени окончания вывода (начала, конца) каждого элемента субтитров, которые определены в данных текстовых субтитров, время начала вывода и время окончания вывода (начало, конец) в элементе субтитра, которые определены последовательно, не возрастают постоянно, и отдельные временные диапазоны перекрываются. Здесь должно быть понятно, что последовательное определение времени начала вывода и времени окончания вывода находится в соответствии с порядком воспроизведения в одном текстовом субтитре. Как результат, отношение упорядочения между элементами субтитров не может быть идентифицировано.

К тому же, одни и те же время начала вывода и время окончания вывода (начало и конец) могут использоваться между разными элементами субтитров. Таким образом, когда список воспроизведения выбирается и воспроизводится, если делается резкий переход на произвольную позицию и воспроизводятся данные из этой произвольной позиции, взамен нормального последовательного воспроизведения, точное отыскивание элемента субтитра, размещенного в такой же позиции, как видеопоток, по существу, невозможно.

В дальнейшем будет описан способ для решения вышеописанных проблем данных текстовых субтитров. Данные текстовых субтитров, созданные в форме языка разметки, взяты в качестве примера для структуризации данных текстовых субтитров в аспекте настоящего изобретения, но данные текстовых субтитров могут иметь структуру в двоичной форме согласно другим аспектам изобретения. Структура двоичной формы получается посредством придания смысла каждому отдельному байту последовательности двоичных данных, с тем чтобы структурировать данные текстовых субтитров. Другими словами, данные текстовых субтитров структурируются из условия, чтобы первые несколько байт указывали информацию об элементе 1 субтитра, а следующие несколько байт указывали информацию об элементе 2 субтитра. Однако понятно, что данные текстовых субтитров могли бы быть структурированы дополнительными альтернативными способами.

Фиг.6А и 6В - иллюстрации для разъяснения проблемы данных текстовых субтитров. Согласно фиг.6А и 6В элементы субтитра 610 соответствуют STC-последовательности #0, в которой (началом, концом) субтитра «Текст 1» является (10, 12), а (началом, концом) субтитра «Текст 2» является (20, 22). Элементы субтитра у субтитра 620 соответствуют STC-последовательности #1, в которой (началом, концом) субтитра «Текст 3» является (17, 19), (началом, концом) субтитра «Текст 4» является (25, 27), а (началом, концом) субтитра «Текст 5» является (30, 33). Элементы субтитра субтитра 630 соответствуют STC-последовательности #2, в которой (началом, концом) субтитра «Текст 6» является (5, 8), а (началом, концом) субтитра «Текст 7» является (25, 27).

В случае нормального проигрывания очередностью вывода каждого субтитра является 610, 620, затем 630, но (начало, конец) каждого элемента субтитра не поддерживается в качестве константы. Как результат, отношение упорядочения между субтитрами не может быть идентифицировано только с использованием информации (начала, конца). К тому же, субтитр «Текст 4» и субтитр «Текст 7» имеют одни и те же (начало, конец). Данные текстовых субтитров, построенные таким образом, должны выводиться синхронно с видеоданными. Если выполняется не нормальное проигрывание с первого элемента воспроизведения, а делается резкий переход на позицию, соответствующую моменту времени «25» STC-последовательности #2 во время воспроизведения видеопотока и выполняется воспроизведение, декодер, который обрабатывает данные текстовых субтитров не может определить, какой именно из субтитров «Текст 4» и «Текст 7» является элементом субтитров, соответствующим позиции текущих видео-данных.

Таким образом, чтобы выводить каждый элемент субтитра, определенный в данных текстовых субтитров, синхронно с видеопотоком, используются следующие два способа.

(1) Каждый элемент субтитра дополнительно включает в себя информацию опорного элемента воспроизведения, вместе с которым отображается соответствующий элемент субтитра, а PTS, созданная на основании STC, назначается в качестве (начала, конца).

(2) PTS, созданная на основании глобального времени списка воспроизведения, включающего в себя по меньшей мере один AV-поток, с которым должно синхронизироваться воспроизведение соответствующих данных субтитра, назначается на время начала вывода и время окончания вывода (начала, конца) каждого элемента субтитра.

В обоих способах, одна из информации времени начала вывода (начала) и информации времени окончания вывода (конца) может включаться в состав вместо включения обеих из них в качестве временной информации.

Фиг.7А и 7В показывают добавление информации опорного элемента воспроизведения, в котором должны отображаться субтитры, в качестве способа воспроизведения субтитров согласно аспекту изобретения. Согласно фиг.7А и 7В элементы субтитра субтитра 710 включены в STC-последовательность #0, а STC-последовательность #0 указана элементом #0 воспроизведения. Элементы субтитра субтитра 720 включены в STC-последовательность #1, а STC-последовательность #1 указана элементом #1 воспроизведения. К тому же, элементы субтитра субтитра 730 включены в STC-последовательность #2, а STC-последовательность #2 указана элементом #2 воспроизведения. PTS, созданная на основании STC, используется в качестве (начала, конца) каждого элемента субтитра.

В этом случае элементы субтитра субтитра 710 обозначают номер элемента воспроизведения, в котором элементы субтитра субтитра 710 используются с использованием дополнительной информации <Playitem_number=0>(<Номер_элемента_воспроизведения=0>). Таким образом, PTS, используемые в качестве (начала, конца) элементами субтитра субтитра 710, создаются на основании STC, согласно STC-последовательности #0, указанной элементом #0 воспроизведения, и должны управляться согласно STC.

Подобным образом, элементы субтитра субтитра 720 и элементы субтитра субтитра 730 обозначают номера элементов воспроизведения, в которых элементы субтитра субтитров 720 и 730 используются, с использованием дополнительной информации <PlayItem_number=1> и <Playltem_number=2>, тем самым решая проблему, описанную со ссылкой на фиг.6. К тому же, информация опорного элемента воспроизведения, включенная в данные текстовых субтитров, может быть включена отдельно в каждый элемент субтитра.

Фиг.8А и 8В показывают запись текстовых субтитров посредством задания PTS на основании глобального времени, в качестве второго способа воспроизведения субтитров согласно аспекту изобретения. Согласно фиг.8А и 8В отдельное пространство памяти, в которое записывается глобальное время для хранения времени выполнения AV-потока, назначается устройству для воспроизведения AV-потока с информационного запоминающего носителя согласно настоящему изобретению. По существу, устройство для воспроизведения AV-потока содержит регистр состояния проигрывателя (PSR) в качестве пространства для хранения информации, требуемой для воспроизведения, а регистр, который хранит глобальное время, устанавливается в 0, когда выбирается список воспроизведения для воспроизведения AV-потока, и последовательно увеличивается по мере того, как продвигается воспроизведение AV-потока, указанного списком воспроизведения. Другими словами, регистр устанавливается в 0 при IN_time первого элемента воспроизведения выбранного списка воспроизведения и последовательно увеличивается до OUT_time соответствующего элемента воспроизведения. Как только выбран следующий элемент воспроизведения, глобальное время, сохраненное в регистре, последовательно увеличивается от IN_time соответствующего элемента воспроизведения.

Фиг.9 показывает взаимосвязь между временной информацией, указываемой каждым элементом воспроизведения, и глобальным временем списка воспроизведения. Согласно фиг.9, Х обозначает интервал для воспроизведения элемента воспроизведения, указанного посредством PlayItem_id=0, Y обозначает интервал для воспроизведения элемента воспроизведения, указанного посредством Playltem_id=1, а Z обозначает интервал для воспроизведения элемента воспроизведения, указанного посредством Playltem_id=2. Другими словами, временная информация на оси глобального времени, включенная в список воспроизведения, однозначно соответствует времени в конкретной STC-последовательности в конкретной ATC-последовательности, включенной в каждый элемент воспроизведения.

Таким образом, как описано со ссылкой на фиг.8А и 8В, каждый элемент данных текстовых субтитров указывает PTS с использованием временной информации на оси глобального времени в качестве времени начала вывода и времени окончания вывода соответствующего элемента субтитра, с тем чтобы равномерно воспроизводить AV-поток, посредством обращения к регистру, который хранит глобальное время текущего момента воспроизведения, во время синхронизации и повторной синхронизации с AV-потоком.

Фиг.10 - принципиальная структурная схема устройства для воспроизведения данных текстовых субтитров и AV-данных согласно настоящему изобретению. Согласно фиг.10 узел 1010 обработки AV-данных считывает AV-данные, сохраненные на информационном запоминающем носителе, и выводит считанные AV-данные. Узел 1020 извлечения информации времени вывода считывает информацию времени вывода, указывающую время начала вывода и время окончания вывода данных субтитров, которые выводятся синхронно с AV-данными. Время начала вывода и время окончания вывода выражены (началом, концом), как описано выше, каждый из которых сформирован посредством ссылки на STC элемента воспроизведения. К тому же, информация времени вывода может включать в себя одно из времени начала вывода и времени окончания вывода, либо оба из них. В этом случае информация элемента воспроизведения, указывающая AV-данные, с которыми должны быть синхронизированы данные субтитров, считывается дополнительно, чтобы определить элемент воспроизведения, имеющий STC, с которым должен быть синхронизирован вывод данных субтитров. К тому же, как описано выше, информация времени вывода формируется посредством ссылки на глобальное время списка воспроизведения, указывающего AV-данные, с которыми должен быть синхронизирован вывод данных субтитров. Узел 1030 вывода субтитров считывает данные субтитров согласно информации времени вывода и выводит считанные данные субтитров синхронно с AV-данными.

Способ воспроизведения данных текстовых субтитров и AV-данных также может быть воплощен в виде компьютерной программы. Коды и кодовые сегменты, формирующие компьютерную программу, могут быть без труда истолкованы компьютерными программистами, квалифицированными в данной области техники. К тому же, компьютерная программа хранится на машиночитаемом носителе и считывается и выполняется компьютером, тем самым, реализующим способ воспроизведения данных, основанных на тексте субтитров и AV-данных. Примеры машиночитаемого носителя включают в себя магнитные ленты, оптические устройства хранения данных и волновые сигналы несущей.

Несмотря на то, что были показаны и описаны несколько вариантов осуществления настоящего изобретения, специалистами в данной области техники должно быть принято во внимание, что в этих вариантах осуществления могут быть сделаны изменения без отступления от принципов и сущности изобретения, объем которого определен в формуле изобретения и ее эквивалентах.

1. Информационный запоминающий носитель для использования с устройством записи/воспроизведения, содержащий

данные текстовых субтитров, которые должны выводиться синхронно с аудио/видео (AV) данными;

информацию времени вывода, указывающую упомянутому устройству время начала вывода и/или время окончания вывода данных текстовых субтитров, синхронизированных с соответствующими AV-данными, и

информацию, указывающую AV-данные, с которыми должен быть синхронизирован вывод данных текстовых субтитров.

2. Информационный запоминающий носитель по п.1, в котором информация, указывающая AV-данные, содержит информацию элемента воспроизведения.

3. Информационный запоминающий носитель по п.2, в котором информация времени вывода формируется посредством ссылки на системный таймер (STC) информации элемента воспроизведения.

4. Информационный запоминающий носитель по п.1, в котором информация времени вывода ссылается на временную информацию, включенную в список воспроизведения, указывающий AV-данные, с которыми должен быть синхронизирован вывод данных текстовых субтитров.

5. Информационный запоминающий носитель по п.4, в котором временная информация, включенная в список воспроизведения, содержит глобальное время списка воспроизведения.

6. Информационный запоминающий носитель по п.1, в котором данные текстовых субтитров и информация времени вывода записаны в форме документа разметки, в двоичной форме или их сочетаниях.

7. Способ воспроизведения данных текстовых субтитров и аудио/видео (AV) данных, содержащий этапы, на которых

считывают информацию времени вывода, указывающую время начала вывода и/или время окончания вывода данных текстовых субтитров, которые должны выводиться синхронно с аудио/видео (AV) данными;

считывают информацию, указывающую AV-данные, с которыми должен быть синхронизирован вывод данных текстовых субтитров, и

выводят данные текстовых субтитров согласно информации времени вывода и информации, указывающей AV-данные, с которыми должен быть синхронизирован вывод данных текстовых субтитров, синхронно с соответствующими AV-данными.

8. Способ по п.7, в котором информация, указывающая AV-данные, содержит информацию элемента воспроизведения.

9. Способ по п.8, в котором информация времени вывода ссылается на системный таймер (STC) информации элемента воспроизведения.

10. Способ по п.7, в котором информация времени вывода ссылается на временную информацию, включенную в список воспроизведения, указывающий AV-данные, с которыми должен быть синхронизирован вывод данных текстовых субтитров.

11. Способ по п.10, в котором временной информацией, включенной в список воспроизведения, является глобальное время списка воспроизведения.

12. Устройство для воспроизведения аудио/видео (AV) данных и данных текстовых субтитров, содержащее

узел обработки AV-данных, отображающий AV-данные;

узел извлечения информации времени вывода, считывающий информацию, указывающую AV-данные, с которыми должен быть синхрони