Приемное устройство и способ управления им, устройство и способ распределения, программа и система распределения

Приемное устройство и способ управления им, устройство и способ распределения, программа и система распределения

Иллюстрации

Показать все

Реферат

Настоящая технология относится к приемному устройству и способу управления приемным устройством, устройству распределения и способу распределения, программе, и системе распределения и, в частности, к приемному устройству и способу управления приемным устройством, устройству распределения и способу распределения, программе, и системе распределения, которые позволяют отображать фрагментированную текстовую информацию, для которой следует продолжение.

Уровень техники

В результате распространения Интернет в последние годы предоставляют различные услуги, относящиеся к потоковой передаче через Интернет, такие как IPTV (телевидение через Протокол Интернет) для распределения видеосодержания, например, используя IP (Протокол Интернет). В качестве шага в направлении стандартизации в потоковой передаче через Интернет, были стандартизованы способы, применяемые для потоковой передачи VOD (видеоданные по запросу) и потоковой передачи прямых трансляций, используя HTTP (Протокол потоковой передачи гипертекста). Файл формата МР4 представляет собой чрезвычайно перспективный формат для уровней контейнера.

Когда данные субтитров сохраняют, как компонент потока, субтитры отображают на основе файла, который содержит данные субтитров (например, см. Патентную литературу 1).

Используя TTML (Язык разметки текста с ярлыками), который был стандартизирован W3C (World Wide Web Консорциум), становится стандартом для отображения субтитров. TTML W3C все чаще применяется другими организациями по стандартизации, и на него обратили внимание, как на перспективный формат на основе текста с ярлыками.

Говорят, что TTML представляет собой документ XML (Расширенный язык разметки), и, таким образом, он требует относительно длительного времени для обработки. Таким образом, когда документ XML применяют для потоковой передачи в прямом эфире разделенные на куски экземпляры документа TTML, которые непрерывно генерируют, как фрагменты, в течение короткого времени, которые должны быть обработаны в режиме реального времени, и, таким образом, должна быть воплощена идея в отношении формата или системы обработки. По этой причине, в настоящее время рассматривается, что способ сохранения TTML, для обеспечения обработки в режиме реального времени будет необходим в DASH (Динамическая адаптивная потоковая передача через HTTP), которая представляет собой соответствующий стандарт для формата адаптивной потоковой передачи и в МР4, который представляет собой основной формат файла для потоковой передачи.

Список литературы

Патентная литература

Патентная литература 1: JP 2009-301605А

Сущность изобретения

Техническая задача

Что касается структуры, TTML разделяют на следующие типы: экземпляр документа инициализации, который устанавливает атрибут компоновки или стиля, и экземпляр основного документа, который состоит из строки знаков, предназначенных для отображения. При этом описание представлено в TTML и уже определено, как Информативное Приложение.

Возможно комбинировать документы TTML, имеющие эти два типа описания в один документ для распределения. Однако анализ всех документов XML на стороне приема для каждого распределения может привести к чрезмерному увеличению объема служебных сигналов в системе обработки. При этом достаточно уведомлять сторону приема только один раз об атрибутах, относящихся к формату отображения, таких как атрибут стиля и атрибут компоновки TTML во время предоставления инициализации контекста. Приемная сторона может быть уведомлена о фактическом разбиении текста TTML (строка знаков, предназначенная для отображения), по отдельности, последовательно для описания, необходимого для установки получения контекста.

Однако отображение фрагментированной текстовой информации, переданной по отдельности, таким образом, не может быть продолжено, когда последующий фрагмент получают в то время как информация текста находится на дисплее. В частности, в случае широковещательной передачи в режиме прямого вещания, заранее неизвестна текстовая информация, по которой должен отображаться субтитр и в какое время, и, таким образом, отображение текстовой информации, находящейся в настоящее время на дисплее, не может быть продолжено.

По этой причине требуется установить технический способ, который позволил бы отображать фрагментированную текстовую информацию, требующую продолжения.

Настоящая технология была разработана с учетом такой ситуации и позволяет отображать фрагментированную текстовую информацию, для которой требуется продолжение.

Решение задачи

Первым вариантом осуществления настоящей технологии, предусмотрено приемное устройство, включающее в себя приемный модуль, выполненный с возможностью приема потока содержания, предназначенного для распространения в прямом эфире, и модуль анализа, выполненный с возможностью анализа фрагментированной текстовой информации, соответствующей данным субтитров, включенным в принимаемый поток, и модуль управления, выполненный с возможностью управления отображением первой текстовой информации, так, чтобы обеспечить возможность продолжения отображения, когда вторая текстовая информация из текстовой информации отображается на основе результата анализа, при этом отображение второй текстовой информации начинается по времени после отображения первой текстовой информации.

Текстовая информация включает в себя структурированный документ, который описывает содержание, и документ определения отображения, который определяет формат отображения, который применяют для структурированного документа. Время, обозначающее начало отображения первой текстовой информации, описано в первом структурированном документе, который описывает содержание первой текстовой информации. Время, обозначающее конец отображения первой текстовой информации, и время, обозначающее начало отображения второй текстовой информации, описано во втором структурированном документе, который описывает содержание второй текстовой информации. Модуль управления начинает отображение первой текстовой информации, временем, обозначенным началом отображения первой текстовой информации, описанным в первом структурированном документе, и затем заканчивает отображение первой текстовой информации на дисплее, временем, обозначающим конец отображения первой текстовой информации, описанной во втором структурированном документе, на основе результата анализа.

Время, обозначающее начало отображения второй текстовой информации, описанное во втором структурированном документе, по времени находиться перед временем, обозначающим конец отображения первой текстовой информации, и модуль управления начинает отображение второй текстовой информации, временем, обозначающим начало отображения второй текстовой информации, описанной во втором структурированном документе, на основе результата анализа.

Время, обозначающее конец отображения второй текстовой информации, дополнительно описано во втором структурированном документе, и модуль управления заканчивает отображение второй текстовой информации, в соответствии со временем, обозначающим конец отображения второй текстовой информации, описанной во втором структурированном документе, на основе результата анализа.

Время, обозначающее конец отображения второй текстовой информации, описанное во втором структурированном документе, по времени установлено после времени, обозначающего конец отображения первой текстовой информации.

Тот же документ определения отображения применяется для структурированного документа, до тех пор, пока содержание определения формата отображения не будет модифицировано.

Поток представляет собой данные с форматом, который соответствует формату файла МР4, и данные субтитров соответствуют стандарту языка разметки текста с ярлыками (TTML).

Способ управления и программа, первый аспект настоящей технологии, соответствуют приемному устройству, первому аспекту описанной выше настоящей технологии.

В приемном устройстве, способе управления и программе, первый аспект настоящей технологии, принимают поток содержания, предназначенный для распределения в режиме реального времени, анализируют фрагментированную текстовую информацию, соответствующую данным субтитров, включенным в принятый поток, и отображением первой текстовой информации управляют таким образом, чтобы обеспечить возможность отображения с продолжением, когда вторую текстовую информацию из текстовой информации отображают на основе результата анализа, при этом начало второй текстовой информации по времени начинается после отображения первой текстовой информации.

Вторым вариантом осуществления настоящей технологии, предусмотрено устройство распределения, включающее в себя модуль генерирования содержания, выполненный с возможностью генерирования потока содержания для распределения в режиме реального времени, модуль получения текстовой информации, выполненный с возможностью получения фрагментированной текстовой информации, для обеспечения возможности продолжения отображения первой текстовой информации, когда вторая текстовая информация отображается, как текстовая информация, соответствующая данным субтитров содержания, при этом отображение второй текстовой информации начинается по времени после отображения первой текстовой информации, и модуль распределения, выполненный с возможностью распределения потока содержания, включающего в себя данные субтитров в режиме реального времени.

Способ распределения и программа, второй аспект настоящей технологии, соответствуют устройству распределения, второму аспекту описанной выше настоящей технологии.

В устройстве распределения, способе распределения и программе, второй аспект настоящей технологии, генерируют поток содержания для распределения в режиме реального времени, фрагментированную текстовую информацию получают так, чтобы обеспечить возможность продолжения отображения первой текстовой информации, когда отображается вторая текстовая информация, как текстовая информация, соответствующая данным субтитров содержания, при этом отображение второй текстовой информации начинается по времени после отображения первой текстовой информации, и поток содержания, включающий в себя данные субтитров, распределяют в режиме реального времени.

Вторым вариантом осуществления настоящей технологии, предусмотрена система распространения, включающая в себя устройство распределения и приемное устройство. Устройство распределения включает в себя модуль генерирования содержания, выполненный с возможностью генерирования потока содержания для распределения в режиме реального времени, модуль получения текстовой информации, выполненный с возможностью получения фрагментированной текстовой информации для обеспечения возможности продолжения отображения первой текстовой информации, когда вторую текстовую информацию отображают, как текстовую информацию, соответствующую данным субтитров содержания, отображение второй текстовой информации начинается по времени после отображения первой текстовой информации, и модуль распределения, выполненный с возможностью распределения потока содержания, включающего в себя данные субтитров, в режиме реального времени. Приемное устройство включает в себя приемный модуль, выполненный с возможностью приема потока содержания, модуль анализа, выполненный с возможностью анализа фрагментированной текстовой информации, соответствующей данным субтитров, включенным в принятый поток, и модуль управления, выполненный с возможностью управления отображением первой текстовой информации, с тем, чтобы обеспечить возможность продолжения отображения, когда вторая текстовая информация из текстовой информации отображается на основе результата анализа.

Устройство распределения и приемное устройство каждое может представлять собой независимое устройство, или каждое может представлять собой блок, включенный в одно устройство.

В системе распространения, третий аспект настоящей технологии, с помощью системы распределения, генерируют поток содержания для распределения в режиме реального времени, получают информацию фрагментированного текста для обеспечения возможности продолжения отображения первой текстовой информации, когда отображается вторая текстовая информация в качестве текстовой информации, соответствующей данным субтитров содержания, при этом отображение второй текстовой информации начинается по времени после отображения первой текстовой информации, и поток содержания, включающий в себя данные субтитров, распределяют в режиме реального времени; и с помощью приемного устройства, принимают поток содержания, текстовую информацию, фрагментированную данными субтитров, включенными в принимаемый поток, анализируют, и отображением первой текстовой информации управляют для обеспечения возможности отображения с продолжением, когда вторая текстовая информация после первой текстовой информации отображается на основе результата анализа.

Предпочтительные эффекты изобретения

Первым - третьим аспектами настоящей технологии можно продолжить отображение фрагментированной текстовой информации.

Краткое описание чертежей

На фиг. 1 представлена схема, иллюстрирующая конфигурацию TTML.

На фиг. 2 представлена схема, иллюстрирующая конфигурацию блока BOX в формате файла МР4.

На фиг. 3 представлена схема, иллюстрирующая иерархическую структуру блока BOX.

На фиг. 4 представлена схема, иллюстрирующая потоковую передачу, используя формат файла МР4.

На фиг. 5 представлена схема, иллюстрирующая конфигурацию фильма Movie.

На фиг. 6 представлена схема, иллюстрирующая блочную структуру фильма Movie.

На фиг. 7 представлена схема, иллюстрирующая конфигурацию нефрагментированого фильма Movie.

На фиг. 8 представлена схема, иллюстрирующая конфигурацию фрагментированного фильма Movie.

На фиг. 9 представлена схема, иллюстрирующая пример конфигурации потоковой передачи системы распространения вариантом осуществления существующей технологии.

На фиг. 10 представлена схема, иллюстрирующая субтитры, которые накладывают и отображают на видеоизображение во временной последовательности, в клиенте IPTV.

На фиг. 11 показана фигура, поясняющая пример описания для экземпляра Документа Инициализации.

На фиг. 12 показана фигура, поясняющая пример описания для экземпляра тела документа.

На фиг. 13 показана фигура, поясняющая пример отображения субтитров.

На фиг. 14 показана фигура, поясняющая пример описания для экземпляра тела документа.

На фиг. 15 показана фигура, поясняющая пример отображения субтитров.

На фиг. 16 показана фигура, поясняющая пример отображения субтитров.

На фиг. 17 показана фигура, поясняющая пример отображения субтитров.

На фиг. 18 представлена иллюстрация блок-схемы последовательности операций обработки распределения потоковой передачи.

На фиг. 19 представлена блок-схема последовательности операций, поясняющая обработку вставки данных субтитров.

На фиг. 20 представлена блок-схема последовательности операций, поясняющая обработку воспроизведения содержания.

На фиг. 21 показана блок-схема последовательности операций, иллюстрирующая обработку ТТ декодирования.

На фиг. 22 показана блок-схема последовательности операций, поясняющая обработку для случая тела документа.

На фиг. 23 представлена схема, иллюстрирующая пример конфигурации компьютера.

Подробное описание изобретения Далее, со ссылкой на чертежи будет описан вариант осуществления настоящей технологии.

Вначале будет описан TTML. TTML представляет собой язык разметки, определенный W3C, и выполненный с возможностью установления положения отображения (компоновки) текста, временных характеристик отображения и т.п.

Например, информацию, описанную в TTML, передают из сервера и анализируют с помощью клиента, и заданная строка знаков, таким образом, может отображаться на дисплее клиента в установленное время, с установленным шрифтом и в установленной области. Используя информацию, описанную в TTML, таким образом, могут отображаться субтитры синхронно с, например, видеоданными или аудиоданными в содержании.

TTML включает в себя набор текстов, каждый из которых называется экземпляром документа. Экземпляр документа, в основном, классифицируется на два типа. Один из экземпляра документа называется экземпляром документа инициализации, который включает в себя описание, которое определяет, например, цвет, шрифт, положение отображения и т.п. знаков, которые должны отображаться, как субтитры. Другой из экземпляра документа, называемый экземпляром документа, который включает в себя описание строки знаков и т.п., фактически отображается, как субтитры.

В следующем описании, экземпляр документа инициализации может быть сокращенно обозначен, как экземпляр Init. Кроме того, экземпляр основного документа может быть сокращенно обозначен, как основной экземпляр.

Конфигурация TTML

На фиг. 1 показана схема, иллюстрирующая конфигурацию TTML.

Как представлено на фиг. 1, в экземпляре документа инициализации, установлено получение контекста, такого как цвет, шрифт и положение отображения знаков, которые должны отображаться, как субтитры, с помощью элемента, такого как элемент стилизации и элемент компоновки.

В этом примере получаемое содержание s1 определяется по описанию "<region xml:id="subtitleArea" style="s1"…>", которое представляет собой элемент компоновки. Например, множество типов получаемого содержания, таких как s1, s2… также может быть определено в одном экземпляре документа инициализации.

Элемент, такой как p-элемент, описан в экземпляре основного документа. Например, строка знаков в субтитрах и атрибутах, такая как время начала отображения и время окончания отображения, установлена по описанию "<p xml:id=…>", которое представляет собой p-элемент.

Таким образом, TTML обеспечивает описание, имеющее иерархическую структуру, включающую в себя комбинацию экземпляра описания и инициализации документа, и экземпляра основного документа. Иерархическая структура, включающая в себя эти экземпляры, представлена в нижней левой области на фиг. 1.

Например, в приемнике, который принимает и отображает поток, заданная текстовая информация (строка знаков) может отображаться в заданный интервал времени в содержании, в результате обеспечения приема приемником и анализа TTML, иллюстрируемого на фиг. 1. Таким образом, отображение субтитров меняется, соответственно, в дисплее приемника на основе строки знаков и атрибутов, обозначающих время начала отображения, время окончания отображения и т.п., которые установлены p-элементами экземпляра документа. В примере на фиг. 1 строка F1 знаков, строка F2 знаков…, установленные p-элементами экземпляра основного документа, отображаются с переключением, с течением времени.

Деталь TTML раскрыта, например, в публикации "Timed Text Markup Language (TTML) 1.0" W3C Recommendation 18, November 2010.

Подробное описание формата файла МР4

Далее будет описан формат файла МР4. Формат файла МР4 представляет собой формат файла с высокой степенью гибкости, и определен так, что файл МР4 состоит из набора данных, называемых блоком BOX с различными размерами. BOX имеет различные типы и может быть расширяться произвольно.

Конфигурация BOX формате файла МР4 иллюстрируется на фиг. 2. На фиг. 2 размер и тип (вид) BOX описаны в областях, отображаемых, как Размер BOX и Тип BOX. Например, видеоданные, аудиоданные, данные субтитров и т.п., которые были кодированы, сохраняют в области, отображенной, как данные BOX.

В формате файла МР4 описанный выше BOX определен, как имеющий иерархическую структуру. Таким образом, как показано на фиг. 3, BOX на нижнем уровне иерархии может быть сохранен в области данных BOX относительно BOX более высокой иерархии.

В формате файла МР4, единичные данные переданного содержания, например, модуль декодирования аудиоданных, или одни из данных кадра и видеоданных называются выборкой. Множество выборок затем формируют отрезок данных. Например, как представлено на фиг. 4, отрезки аудиоданных и отрезки видеоданных формируют потоковую передачу.

В формате файла МР4, например, набор отрезков в последовательности видеоданных, и набор отрезков в последовательности аудиоданных каждый называется дорожкой. Данные, которые формируют путем интеграции множества дорожек, называются кинофильмом.

На фиг. 5 показана схема, иллюстрирующая конфигурацию кинофильма. В примере на фиг. 5, кинофильм сформирован видео дорожкой и аудиодорожкой. Как описано выше, кинофильм имеет структуру BOX. На фиг. 6 показана схема, иллюстрирующая структуру BOX в кинофильме. В примере на фиг. 6, BOX метаданных кинофильма и BOX данных кинофильма сохранены в BOX кинофильма.

BOX метаданных кинофильма представляет собой BOX, в котором описана информация, относящаяся к положению сохранения каждой выборки, сохраненная в BOX данных кинофильма, и информация, относящаяся ко времени воспроизведения и временному интервалу воспроизведения,. Например, adrs=1000 и т.п. описана, как информация, относящаяся к положению сохранения каждой выборки, и Δt=10 и т.п., описана, как информация, относящаяся ко времени воспроизведения и временному интервалу воспроизведения. Параметр кодека и т.п. описан по п. необходимостью. BOX данных кинофильма представляет собой BOX, в котором сохраняется каждая выборка. Спецификацией формата файла МР4, BOX метаданных кинофильма называется moov, и BOX данных кинофильма называется mdat.

Выборка 1, Выборка 2, Выборка 3… могут быть воспроизведены во время t0, t10, t20…, путем приема и анализа кинофильма, как представлено на фиг. 6 с помощью приемника.

Кинофильм, в общем, классифицируется на два типа. Один называется нефрагментированным кинофильмом, который пригоден, например, для передачи содержания, такого как кинофильм или драма. Другой называется фрагментированным кинофильмом, который пригоден, например, для передачи содержания, такого как новости или спортивная широковещательная передача.

На фиг. 7 показана схема, иллюстрирующая конфигурацию нефрагментированного кинофильма.

Как представлено на фиг. 7, BOX, называемый типом файла (ftyp), расположен в заголовке нефрагментированного кинофильма, ftyp представляет собой BOX, в котором содержится тип файла, информацию о совместимости и т.п. Описанные выше moov и mdat расположены далее после ftyp. Как описано выше, в moov описаны параметр кодека, информация о положении сохранения, информация о времени воспроизведения и т.п. Как описано выше, в mdat, сохранены выборки, включающие в себя модуль декодирования аудиоданных и один кадр видеоданных.

В нефрагментированном кинофильме получение контекста всего кинофильма определяется по moov. Таким образом, в случае содержания, такого как кинофильм или драма, заранее известно, какие видеоданные, какие аудиоданные и какие субтитры требуется воспроизвести, и в какие моменты данные, и, таким образом, может быть определено получение контекста всего кинофильма перед приемом каждой выборки.

С другой стороны, в случае содержания, передаваемого в прямом эфире, такого как новости или спортивная широковещательная передача, заранее неизвестно, какие видеоданные, какие аудиоданные и какие субтитры должны быть воспроизведены и в какие моменты времени. По этой причине фрагментированный кинофильм принят для передачи содержания с возможностью прямой передачи.

На фиг. 8 показана схема, иллюстрирующая конфигурацию фрагментированного кинофильма.

Как представлено на фиг. 8, аналогично случаю нефрагментированного кинофильма, ftyp и moov расположены во фрагментированном кинофильме, однако, множество BOX, называемых фрагментами, расположено после ftyp и moov. Фрагмент включает в себя BOX, называемый фрагментом кинофильма (moof) и mdat. В примере на фиг. 8 каждый фрагмент включает в себя moof, который, если можно так выразиться, представляет собой информацию заголовка фрагмента. В moof описаны информация о положении сохранения, информация о времени воспроизведения и т.п. в отношении выборки в mdat, содержащемся во фрагменте. Таким образом, в отличие от случая нефрагментированного кинофильма, получение содержания для каждого фрагмента определено в каждом фрагменте во фрагментированном кинофильме.

Фрагмент случайного доступа для кинофильма (mfra), представленный на фиг. 8, представляет собой BOX, который вставляются в конце фрагментированного кинофильма и который содержит информацию для случайного доступа и т.п.

Примеры, представленные на фиг. 7 и 8, каждый иллюстрирует конфигурацию кинофильма, как формат файла МР4, и, например, когда выполняют потоковую передачу через Интернет и т.п., описанные выше данные распределяют в заданном формате передачи, как можно видеть на фиг. 7 и 8. В заданном формате передачи, например, moov, представленный на фиг. 8, вставляют между фрагментами и распределяют с повторением множество раз.

С другой стороны, как описано выше, для стандартизации потоковой передачи через Интернет, такой как IPTV, обсуждается, следует ли использовать формат файла МР4, как формат, который должен быть принят на уровнях контейнеров. Когда субтитры включены, как компонент потоковой передачи, TTML часто используют и привлекают внимание при стандартизации потоковой передачи.

Например, когда субтитры вставляют в видеоданные содержания, получаемого при прямой трансляции, такого как новости, строка знаков (текстовая информация) для субтитров не может быть определена заранее. По этой причине необходимо выполнять обработку вставки строки знаков для субтитров, необходимостью, во время потоковой передачи при широковещательной передаче. В таком случае предпочтительно, например, чтобы приемник принимал экземпляр документа инициализации TTML и анализировал получаемое содержание, с тем, чтобы затем принимать экземпляр тела документа, по п. необходимостью.

Однако фрагментированные части текстовой информации, которые передают отдельно от одного экземпляра тела документа в другой, таким образом, не зависят от одного экземпляр тела документа до другого. Поэтому, когда предпринимают попытку отображения следующей части текстовой информации в то время, как отображают определенную фрагментированную часть текстовой информации, отображение предыдущей части текстовой информации не может продолжаться. В частности, в содержании прямой передачи, такой как новости, заранее неизвестно, какие видеоданные, какие аудиоданные и какие субтитры должны быть воспроизведены, и в какое время, и не может быть установлен технический способ для продолжения отображения отображаемой в настоящее время текстовой информации.

Таким образом, в настоящей технологии, когда текстовую информацию субтитров вставляют в содержание, которое передают, как фрагментированный кинофильм, обеспечивается возможность непрерывного отображения фрагментированной текстовой информации.

Система распределения потоковой передачи

На фиг. 9 показана схема, иллюстрирующая пример конфигурации системы распределения потоковой передачи вариантом осуществления настоящей технологии. Система 10 распределения потоковой передачи, представленная на фиг. 9, включает в себя сервер 20 ТТ, сервер 30 IPTV и клиент 40 IPTV.

Сервер 30 IPTV сформирован, например, как передатчик, который выполняет широковещательную передачу содержание, используя потоковую передачу, и клиент 40 IPTV сформирован, например, как приемник, который принимает широковещательную передачу, используя потоковую передачу. Сервер 20 ТТ представляет собой устройство, которое генерирует данные, относящиеся к субтитрам, которые должны быть вставлены в содержание, для которого выполняют широковещательную передачу, через потоковую передачу.

Сервер 20 ТТ включает в себя модуль 21 генерирования фрагмента ТТ и модуль 22 вставки выборки.

Модуль 21 генерирования фрагмента ТТ генерирует данные фрагмента, в которых содержится экземпляр документа TTML, и подает эти фрагментированные данные в модуль 22 вставки выборки. Здесь, со ссылкой на фиг. 8, генерируют фрагментированные данные, в которых содержится экземпляр документа TTML, как описано выше.

Модуль 22 вставки выборки генерирует экземпляр документа TTML. Модуль 22 вставки выборки вставляет сгенерированный экземпляр документа TTML, как выборку mdat в данных фрагмента из модуля 21 генерирования фрагмента ТТ. Модуль 22 вставки выборки выводит данные фрагмента в сервер 30 IPTV, в данные фрагмента вставлен экземпляр документа TTML.

Штамп синхронизированного времени NTP, генерируемый модулем 25 генерирования штампа времени, соответствующим образом поступает в модуль 21 генерирования фрагмента ТТ и в модуль 22 вставки выборки.

Сервер 30 IPTV включает в себя модуль 31 генерирования выборки содержания, мультиплексор 32 фрагмента и модуль 33 распределения фрагмента.

Модуль 31 генерирования выборки содержания кодирует, например, данные, такие как аудиоданные или видеоданные, включенные в содержание, и генерирует аудиоданные, видеоданные и т.п. Модуль 31 генерирования выборки содержания генерирует выборку на основе таких аудиоданных, видеоданных и т.п., и подает эту выборку в мультиплексор 32 фрагмента.

Данные фрагмента из модуля 22 вставки выборки сервера 20 ТТ и данные выборки из модуля 31 генерирования выборки содержания поступают в мультиплексор 32 фрагмента. Мультиплексор 32 фрагмента генерирует фрагмент, имеющий mdat, в котором содержат данные выборки из модуля 31 генерирования выборки содержания.

Мультиплексор 32 фрагмента мультиплексирует генерируемые данные фрагмента и данные фрагмента из модуля 32 вставки выборки. Таким образом, фрагмент, в котором содержатся аудиоданные, видеоданные, и фрагмент, в котором содержится экземпляр документа TTML, мультиплексируют. Мультиплексор 32 фрагмента передает мультиплексированные данные фрагмента в модуль 33 распределения фрагмента.

Модуль 33 распределения фрагмента распределяет мультиплексированные данные фрагмента из мультиплексора 32 фрагмента через сеть и т.п. Таким образом, содержание распределяют, используя потоковую передачу.

Синхронизированный временной штамп NTP, генерируемый модулем 25 генерирования временного штампа, соответствующим образом подают в модуль 31 генерирования выборки содержания и в мультиплексор 32 фрагмента.

Клиент 40 IPTV включает в себя модуль 41 часов для времени, приемный модуль 42, демультиплексор 43 фрагмента, декодер 44 ТТ, декодер 45 содержания и модуль 46 управления дисплеем.

Модуль 41 часов для времени подает синхронизированную информацию о времени NTP в каждый модуль 40 клиента IPTV.

Приемный модуль 42 принимает фрагментированный кинофильм, переданный из сервера 30 IPTV через сеть, и подает этот фрагментированный кинофильм в демультиплексор 43 фрагмента.

Демультиплексор 43 фрагмента получает фрагментированный кинофильм из приемного модуля 42 и выделяет каждый фрагмент, включенный во фрагментированный кинофильм. Демультиплексор 43 фрагмента анализирует описание moov для определения, включает в себя или нет фрагментированный кинофильм фрагмент, в котором содержится экземпляр документа TTML.

Когда определяют, что включен фрагмент, в котором содержится экземпляр документа TTML, демультиплексор 43 фрагмента подает данные фрагмента в декодер 44 ТТ. С другой стороны, когда определяют, что фрагмент, в котором содержится экземпляр документа TTML не включен, демультиплексор 43 фрагмента подает данные фрагмента в декодер 45 содержания.

Данные фрагмента, в которых содержится экземпляр документа TTML из демультиплексора 43 фрагмента, подают в декодер 44 ТТ. Декодер 44 ТТ декодирует данные выборки, в которой содержится экземпляр документа TTML. Декодирование с использованием декодера 44 ТТ, в основном, означает синтаксический анализ экземпляра документа TTML.

Декодер 44 ТТ анализирует описание moof во фрагменте для определения типа экземпляра документа TTML, сохраненного во фрагменте. Когда определяют, что тип экземпляра документа TTML представляет собой экземпляр документа инициализации, декодер 44 ТТ 44 анализирует описание экземпляра документа инициализации, сохраненного в выборке mdat, и устанавливает контекст получения.

После того, как контекст получения будет однажды установлен, только в случае, когда определяют, что экземпляр документа инициализации был модифицирован, декодер 44 ТТ анализирует описание экземпляра документа инициализации, сохраненного в выборке mdat, и снова устанавливает контекст получения.

Когда определяют, что тип экземпляра документа TTML представляет собой экземпляр тела документа, декодер 44 ТТ анализирует экземпляр тела документа, сохраненный в выборке mdat, и генерирует данные отображения субтитров. Данные отображения субтитров, генерируемые здесь, вместе с информацией, относящейся ко времени отображения, подают в модуль 46 управления дисплеем.

Данные фрагмента, в котором не содержится экземпляр документа TTML из демультиплексора 43 фрагмента, подают в декодер 45 содержания. Декодер 45 содержания декодирует аудиоданные, видеоданные и т.п., которые сохраняются в выборке mdat, и генерирует данные отображения видеоизображения, данные аудиовыхода и т.п. Данные отображения видеоизображения, данные аудиовыхода и т.п., генерируемые здесь вместе с информацией, относящейся к времени отображения, времени вывода и т.п., поступают в модуль 46 управления дисплеем.

Информацию из декодера 44 ТТ, относящуюся к данным отображения и времени отображения субтитров, или информацию, относящуюся к данным отображения видеоизображения и времени отображения, и информацию, относящуюся к выводу данные аудиовыхода и времени вывода из декодера 45 содержания, подают в модуль 46 управления дисплеем.

Модуль 46 управления дисплеем генерирует видеосигналы для наложения и отображения субтитров на видеоданные содержания на основе информации, относящейся к времени отображения, и передает эти видеосигналы в дисплей (не показан) на последующем этапе. Кроме того, модуль 46 управления дисплеем генерирует аудиосигналы для вывода аудиоданных содержания на основе информации, относящейся к времени вывода, и подает эти аудиосигналы в громкоговоритель (не показан) на последующем этапе.

Система 10 распределения потоковой передачи сформирована, как описано выше.

Пример отображения субтитров

С помощью системы 10 распределения потоковой передачи по фиг. 9, можно управлять, например, отображением субтитров, как показано ниже. На фиг. 10 представлена схема, иллюстрирующая субтитры во временной последовательности, которые накладываются и отображаются на видеоданные содержания в клиенте 40 IPTV, который принимает содержание, распределяемое в прямом эфире, как фрагментированный кинофильм.

Например, когда экземпляр документа TTML (экземпляр Init), как показано на фиг. 11, сохраняют в фрагменте с помощью сервера 20 ТТ и распределяют из сервера 30 IPTV, данные Fragment0, распределяемые фрагментированным кинофильмом, принимают с помощью клиента 40 IPTV.

На фиг. 11 показан пример описания экземпляра документа инициализации. В примере на фиг. 11, описание записано для определения цвета, шрифта и т.п. знаков субтитров, и "subtitleArea1" и "subtitleArea2" описаны, как положение отображения субтитров.

Возвращаясь к фиг. 10, когда Fragment0, в котором содержится выборка (Sample0) в mdat0, получают с помощью клиента 40 IPTV, выборку, содержащую экземпляр документа инициализации по фиг. 11, представляющую контексты, такие как цвет, шрифт и положение отображения знаков текстовой информации, предназначенной для отображения, устанавливают в качестве субтитров.

Когда в фрагменте сохраняют экземпляр документа TTML (экземпляр 1 тела), как представлено на фиг. 12 в фрагменте с помощью сервера 20 ТТ и распределяют из сервера 30 IPTV, данные Fragment1, распределяемые, как фрагментированный кинофильм, принимают с помощью клиента 40 IPTV.

На фиг. 12 показан пример описания экземпляра тела документа. В примере на фиг. 12 строка знаков "Это выглядит парадоксально, не так ли", установлена начальной меткой и конечной меткой p-элемента строки знаков в субтитре. Кроме того, атрибут ID, атрибут начала, атрибут области установлены, как атрибуты p-элемента. Для атрибута ID устанавливают ID для идентификации субтитров. В качестве атрибута начала устанавливают время начала отображения субтитров. Для атрибута обл