Устройство передачи, способ передачи, устройство приема и способ приема
Иллюстрации
Показать всеИзобретение относится к устройству передачи, которое обеспечивает услугу распределения компоновки множества изображений. Технический результат заключается в предоставлении услуги распределения компоновки множества изображений. Предложено, что сторона передачи передает контейнер в заданном формате, упомянутый контейнер, включающий в себя кодированные данные изображения для множества изображений, относящихся к услуге распределения компоновки множества изображений, и имеющий заданное количество видеопотоков. Информацию положения, указывающую положение компоновки множества изображений, вставляют на уровне видеопотока. Сторона приема принимает и декодирует заданное количество видеопотоков, получая, таким образом, данные изображения для множества изображений. Данные изображения для множества изображений размещают на основе информации положения, таким образом, получая данные изображения для группового изображения (изображения, скомпонованного множества изображений). 4 н. и 13 з.п. ф-лы, 37 ил.
Реферат
Область техники, к которой относится изобретение
Настоящая технология относится к устройству передачи, способу передачи, устройству приема и способу приема, и, в частности, относится к устройству передачи и т.п., которое обеспечивает услугу распределения компоновки множества изображений.
Уровень техники
В настоящее время реализуется или предлагаются технологии отображения с множеством окон, в которых множество потоков, получаемых в результате широковещательной передачи или через сеть, многократно декодируют и большое количество множества декодированных изображений отображают на одном устройстве отображения.
Например, когда множество изображений отображают в, так называемом, стиле PinP (изображение в изображении), пользователь может одновременно просматривать изображение программы одного канала, отображаемого в большом основном окне, и изображение программы другого канала, отображаемого в малом подокне. Кроме того, например, когда изображения программ разных каналов отображаются в правой половине и в левой половине дисплея рядом друг с другом, пользователь может одновременно просматривать изображения программ двух каналов.
Например, в Патентном документе 1 раскрыта технология, в которой, когда вводят инструкцию на отображение с множеством окон в состоянии нормального отображения, состояние отображения соответствующим образом переключают на отображение с множеством окон.
Патентный документ 1: Выложенная заявка на японский патент, №2000-13712
Раскрытие изобретения
Задача, решаемая изобретением
Например, сторона передачи может передавать данные изображения множества изображений в компоновке множества изображений, и сторона приема может обрабатывать данные множества изображений, получать изображение в виде компоновки множества изображений и отображать изображение в виде компоновки множества изображений. В этом случае сторона приема должна размещать множество изображений соответствующим образом.
Цель настоящей технологии состоит в том, чтобы успешно предоставлять услугу распределения компоновки множества изображений.
Средство решения задачи
В соответствии с концепцией настоящей технологии обеспечивается устройство передачи, включающее в себя:
модуль передачи для передачи контейнера заданного формата, содержащего заданное количество видеопотоков, содержащих кодированные данные изображений для множества изображений услуги распределения компоновки множества изображений; и
модуль вставки информации для вставки информации о положении в уровень видеопотока, при этом информация о положении представляет положения компоновки множества изображений.
В соответствии с настоящей технологией, модуль передачи передает контейнер в заданном формате, содержащий заданное количество видеопотоков, содержащих кодированные данные изображения множества изображений в услуге распределения компоновки множества изображений. Например, контейнер может представлять собой поток транспортирования (TS MPEG 2), используемый, как стандарт цифровой широковещательной передачи. В качестве альтернативы, например, контейнер может представлять собой контейнер, имеющий другой формат, такой как ММТ или МР4, используемый для распределения через Интернет. Модуль вставки информации вставляет информацию о положении на уровне видеопотока, при этом информация о положении представляет положения компоновки множества изображений.
Как описано выше, в соответствии с настоящей технологией, информацию о положении вставляют на уровне видеопотока, информация о положении представляет положение компоновки множества изображений. Таким образом, на стороне приема можно соответствующим образом и просто размещать множество изображений.
Следует отметить, что в соответствии с настоящей технологией, например, модуль вставки информации может дополнительно вставлять информацию о смещении в уровень видеопотока, информация о смещении используется для регулировки временных характеристик отображения множества изображений. Поэтому сторона приема имеет возможность регулировать временные характеристики отображения множества изображений в изображении, скомпонованном из множества изображений, и может согласовывать моменты времени начала отображения для множества изображений.
Кроме того, в соответствии с настоящей технологией, например, модуль вставки информации может дополнительно вставлять информацию типа в уровень видеопотока, при этом информация типа представляет тип компоновки множества изображений. Поэтому сторона приема может соответствующим образом распознавать тип размещения множества изображений и соответствующим образом и просто размещать множество изображений. Кроме того, в соответствии с настоящей технологией, например, модуль вставки информации может дополнительно вставлять информацию о сроке существования на уровне видеопотока, при этом информация о сроке существования представляет, выполняется или нет управление временем разрешенного отображения множества изображений. Благодаря такой информации, например, сторона приема может автоматически управлять удалением данных изображения, сохраненных в буфере виртуального отображения.
Кроме того, в соответствии с настоящей технологией, например, модуль вставки информации может дополнительно вставлять информацию типа в уровень видеопотока, при этом информация типа представляет тип поворота множества изображений во время отображения. Поэтому возможно отображать множество изображений в состоянии поворота, которое требует обеспечить сторона услуги.
Кроме того, в соответствии с настоящей технологией, например, модуль вставки информации может дополнительно вставлять информацию идентификации на уровне контейнера, при этом информация идентификации идентифицирует услугу распределения компоновки для множества изображений. Поэтому сторона приема может просто распознавать услугу распределения компоновки множества изображений и может подготовиться к этой обработке. В этом случае, например, модуль вставки информации может дополнительно вставлять информацию идентификации на уровне контейнера, информация идентификации идентифицирует, является или нет услуга распределения компоновки множества изображений смешанной услугой движущегося/неподвижного изображения.
Кроме того, в соответствии с настоящей технологией, например, модуль вставки информации может дополнительно вставлять информацию об общем количестве видеопотоков, относящихся к услуге распределения компоновки, для множества изображений на уровне контейнера. Поэтому сторона приема может просто определить общее количество видеопотоков, предназначенных для обработки, и может соответствующим образом их обрабатывать.
Кроме того, в соответствии с настоящей технологией, например, модуль вставки информации может дополнительно вставлять информацию типа на уровне контейнера, при этом информация типа представляет, является ли каждый видеопоток потоком движущегося изображения, потоком неподвижного изображения или смешанным потоком, смешанный поток, содержащий неподвижные изображения и движущиеся изображения в смешанном виде. Поэтому сторона приема имеет возможность определять общее количество видеопотоков для простой обработки, и может соответствующим образом их обрабатывать.
Кроме того, в соответствии с концепцией настоящей технологии, обеспечивается устройство приема, включающее в себя:
модуль приема для приема заданного количество видеопотоков, содержащих кодированные данные изображения для множества изображений в услуге распределения компоновки множества изображений, при этом информацию положения вставляют в заданное количество видеопотоков, причем информация о положении представляет положение компоновки для множества изображений; модуль декодера, который декодирует заданное количество видеопотоков и получает данные изображения множества изображений; и модуль обработки, который размещает данные изображения для множества декодированных изображений на основе информация положения и получает данные изображения для изображения в виде размещенного множества изображений.
В соответствии с настоящей технологией, модуль приема принимает заданное количество видеопотоков, содержащих кодированные данные изображения множества изображений в услуге распределения компоновки множества изображений, причем информацию о положении вставляют в заданное количество видеопотоков, информация о положении, представляющая положения компоновки для множества изображений. Модуль декодера декодирует заданное количество видеопотоков и получает данные изображения для множества изображений.
Кроме того, модуль обработки размещает данные изображения из множества декодируемых изображений на основе информации положения и получает данные изображения для изображения в виде компоновки множества изображений. Например, устройство приема может дополнительно включать в себя: буфер декодера, который временно хранит данные изображения множества изображений, полученных модулем декодера; и буфер виртуального отображения, который временно хранит данные изображения компоновки множества изображений, в которой модуль обработки может последовательно считывать данные изображения множества изображений из буфера декодера, и записывать данные изображения множества изображений в областях, соответствующих положениям компоновки информации положения буфера виртуального отображения.
Как описано выше, в соответствии с настоящей технологией, данные изображения множества декодированных изображений размещают на основе информации положения и получают данные изображения в виде компоновки множества изображений. Поэтому возможно эффективно и соответствующим образом получать данные изображения для изображения, скомпонованного из множества изображений.
Следует отметить, что в соответствии с настоящей технологией, например, устройство приема может дополнительно включать в себя контроллер отображения, который считывает данные изображения, соответствующие части или всем областям отображения для изображения, скомпонованного в виде множества изображений, из виртуального буфера отображения и отображает изображения в части или во всех областях изображения. В этом случае, например, устройство приема может дополнительно включать в себя модуль операции пользователя, который информирует контроллер отображения об области отображения. Поэтому, например, возможно изменять изображения, отображаемые на устройстве отображения, и отображать большое изображение, скомпонованное из множества изображений, с возможностью прокрутки на основе операции пользователя, например, на устройстве отображения малого размера (с малым разрешением). Кроме того, в этом случае, например, устройство приема может дополнительно включать в себя модуль операции пользователя, который информирует контроллер отображения о количестве устройств отображения, изображений области отображения, отображаемых на устройствах отображения.
Кроме того, в соответствии с настоящей технологией, например, устройство приема может дополнительно включать в себя модуль передачи запроса, который передает на сторону передачи запросов на остановку и возобновление передачи заданного количества видеопотоков. Поэтому, например, пользователь может просматривать изображение, скомпонованное из множества изображений, содержащее неподвижные изображения, в произвольные моменты времени без переполнения буфера, в котором временно содержатся данные изображения.
Кроме того, в соответствии с другой концепцией настоящей технологии, обеспечивается устройство передачи, включающее в себя:
генератор метафайла для генерирования метафайла, содержащего информацию, используемую в терминале клиента для получения заданного количества видеопотоков, заданное количество видеопотоков, содержащее кодированные данные изображения из множества изображений услуги распределения компоновки множества изображений, сервер распределения, выполненный с возможностью распределения услуги распределения компоновки множества изображений через сеть; и
модуль передачи метафайла для передачи сгенерированного метафайла на терминал клиента через сеть в ответ на запрос на передачу из терминала клиента, в котором информацию о положении вставляют на уровне видеопотока, при этом информация о положении представляет положение компоновки множества изображений, и генератор метафайла генерирует метафайл, содержащий информацию, требующую постоянного считывания заданного количества видеопотоков.
В соответствии с настоящей технологией, генератор метафайла генерирует метафайл, содержащий информацию, подлежащую использованию терминалом клиента, для получения заданного количества видеопотоков. Заданное количество видеопотоков содержит кодированные данные изображения множества изображений для услуги распределения компоновки множества изображений, причем сервер распределения выполнен с возможностью распределения услуги распределения компоновки множества изображений через сеть. В этом случае информацию о положении вставляют на уровне видеопотока, при этом информация о положении представляет положение размещения множества изображений.
Модуль передачи метафайла передает метафайл в терминал клиента через сеть в ответ на запрос на передачу из терминала клиента. Генератор метафайла генерирует метафайл, содержащий информацию, представляющую требование постоянного считывания заданного количества видеопотоков.
Как описано выше, в соответствии с настоящей технологией, метафайл содержит информацию, представляющую необходимость постоянно считывать заданное количество видеопотоков. Поэтому сторона приема постоянно считывает заданное количество видеопотоков на основе информации метафайла. Таким образом, становится возможным успешно получить данные изображения для изображения, скомпонованного из множества изображений.
Следует отметить, что в соответствии с настоящей технологией, например, генератор метафайла может генерировать метафайл, дополнительно содержащий информацию идентификации, информация идентификации идентифицирует, является ли заданное количество видеопотоков потоками неподвижного изображения или потоками движущегося изображения. Поэтому терминал клиента выполнен с возможностью простого определения, является ли заданное количество видеопотоков потоками неподвижного изображения или потоками движущегося изображения.
Эффект изобретения
В соответствии с настоящей технологией можно успешно обеспечить услугу распределения компоновки множества изображений. Следует отметить, что эффекты не обязательно ограничены описанными здесь и могут представлять собой любой эффект, описанный в настоящем раскрытии.
Краткое описание чертежей
Фиг. 1 - Блок-схема, представляющая пример структуры системы распределения по варианту осуществления.
Фиг. 2 - Схема, представляющая пример горизонтальной/вертикальной двумерной компоновки множества изображений.
Фиг. 3 - Схема, представляющая пример горизонтальной одномерной компоновки множества изображений.
Фиг. 4 - Схема, представляющая пример группового изображения, содержащего неподвижные изображения.
Фиг. 5 - Схема, представляющая пример группового изображения, содержащего движущиеся изображения.
Фиг. 6 - Схема, представляющая пример группового изображения, содержащего движущиеся изображения.
Фиг. 7 - Схема, представляющая пример группового изображения из неподвижных изображений и движущихся изображений.
Фиг. 8 - Схема, представляющая пример распределения услуги неподвижных изображений (Still pictures) при использовании одного потока.
Фиг. 9 - Схема, представляющая пример распределения услуги неподвижных изображений (Still pictures) при использовании множества потоков.
Фиг. 10 - Схема, представляющая пример распределения смешанной услуги неподвижных изображений (Still pictures) и движущихся изображений (Moving pictures) при использовании одного потока.
Фиг. 11 - Блок-схема, представляющая пример структуры генератора данных передачи, который генерирует поток транспортирования.
Фиг. 12 - Схема, представляющая пример структуры потока транспортирования при распределении с использованием одного потока.
Фиг. 13 - Схема, представляющая пример структуры потока транспортирования при распределении с использованием множества потоков.
Фиг. 14 - Схема, представляющая пример структуры (Синтаксис) тэга группового изображения SEI (Group_picture_tag SEI).
Фиг. 15 - Схема, представляющая содержание (Семантика) основной информации примера структуры тэга группового изображения SEI.
Фиг. 16 - Схема, представляющая пример поворота во время отображения на основе "display_coordinate".
Фиг. 17 - Схема, представляющая пример расчета временных характеристик СТР отображения изображений в групповом изображении.
Фиг. 18 - Схема, представляющая пример перехода различных видов информации тэга группового изображения SEI во временной последовательности.
Фиг. 19 - Схема, представляющая пример структуры (Синтаксис) дескриптора услуги с множеством потоков (multi_stream_service_descriptor).
Фиг. 20 - Схема, представляющая содержание (Семантика) основной информации примера структуры дескриптора услуги с множеством потоков.
Фиг. 21 - Схема, представляющая пример структуры (Синтаксис) дескриптора смешанного потока (mixed_stream_descriptor), и содержание (Семантика) основной информации примера структуры.
Фиг. 22 - Схема, представляющая пример структуры (Синтаксис) изображения дескриптора срока существования изображения (Picture_lifetime_descriptor) и содержание (Семантика) основной информации примера структуры.
Фиг. 23 - Схема, представляющая пример соотношения между областями отображения и изображениями на виртуальном устройстве отображения.
Фиг. 24 - Схема, представляющая пример положения и размера области отображения на виртуальном устройстве отображения.
Фиг. 25 - Схема, представляющая пример соотношения между областью отображения и изображением на виртуальном устройстве отображения.
Фиг. 26 - Схема, представляющая пример положения и размер области отображения на виртуальном устройстве отображения.
Фиг. 27 - Схема, представляющая пример структуры устройства отображения для отображения панорамного изображения.
Фиг. 28 - Схемы, каждая представляющая пример определения области отображения, где групповое изображение содержит семь изображений, непрерывных в горизонтальном направлении.
Фиг. 29 - Блок-схема, представляющая пример структуры системы распределения потока на основе DASH.
Фиг. 30 - Схема, представляющая структуру уровня файла MPD.
Фиг. 31 - Схема, представляющая пример взаимосвязи структур, которые расположены на нескольких уровнях в файле MPD.
Фиг. 32 - Схема, представляющая пример потока генерирования сегмента DASH и файла DASH MPD на основе содержания.
Фиг. 33 - Схема, представляющая пример структуры клиента IPTV системы распределения потока.
Фиг. 34 - Схема, представляющая общую последовательность системы распределения потока на основе DASH.
Фиг. 35 - Схема, представляющая пример структуры фрагментированного потока МР4, содержащего поток видеоданных.
Фиг. 36 - Схема, представляющая пример описания файла MPD услуги распределения компоновки множества изображений.
Фиг. 37 - Схема, представляющая пример описания файла MPD услуги распределения компоновки множества изображений.
Осуществление изобретения
Ниже будет описан вариант осуществления изобретения (ниже называется "вариантом осуществления"). Следует отметить, что описание будет представлено в следующем порядке.
1. Вариант осуществления
2. Пример модификации
1. Вариант осуществления
Пример структуры системы распределения
На фиг. 1 показан пример структуры системы 10 распределения. В системе 10 распределения, станция 110 широковещательной передачи, сервер 120 распределения сети и сервер 130 распределения NTP (протокол времени в сети) расположены на стороне передачи, и приемник 200 размещен на стороне приема.
Станция 110 широковещательной передачи обеспечивает линейные услуги неподвижных изображений и движущихся изображений через путь передачи RF, или услуги загрузки неподвижных изображений и движущихся изображений. Станция 110 широковещательной передачи передает контейнеры MPEG2-TS (ниже просто называются "потоком транспортирования"), например, мультиплексные данные дистрибутива широковещательной передачи. В этом варианте осуществления поток транспортирования включает в себя заданное количество видеопотоков, каждый из которых включает в себя кодированные данные изображения, состоящие из множества изображений (кадров) в услуге распределения компоновки множества изображений.
Примеры компоновки множества изображений включают в себя: горизонтальную/вертикальную двумерную компоновку множества изображений, в которой множество изображений расположены двумерно в горизонтальном/вертикальном направлениях; горизонтальную одномерную компоновку множества изображений, в которой множество изображений в одномерном представлении расположены в горизонтальном направлении; вертикальной одномерной компоновки множества изображений, в которой множество изображений расположены в одномерной компоновке в вертикальном направлении; и т.п.
На уровне видеопотока, в дополнение к информации положения, представляющей положения компоновки множества изображений, вставлена информация о смещении для регулировки временных характеристик отображения множества изображений, информации о типе, представляющей тип компоновки множества изображений, информации о типе, представляющей тип поворота при отображении множества изображений, и т.п. Например, если данные изображения кодированы на основе AVC (усовершенствованное кодирование видеоданных), HEVC (высокоэффективное кодирование видеоданных), и т.п., такую информацию вставляют во вновь определенное сообщение SEI.
На фиг. 2 показан пример горизонтальной/вертикальной двумерной компоновки множества изображений. В этом примере четыре изображения размещены в горизонтальном направлении, и четыре изображения размещены в вертикальном направлении. Изображение с компоновкой из множества изображений (ниже, в случае необходимости, называется "групповым изображением") содержащей 4×4 изображения, имеет разрешение, соответствующее виртуальному устройству отображения. Например, если одно изображение имеет разрешение HD, тогда групповое изображение имеет разрешение 8 K.
Каждые из от "0000" до "1111" представляют 4-битные данные, то есть, информацию о положении каждого изображения. В данном случае, первые 2 бита представляют любое одно положение четверти виртуального устройства отображения. Кроме того, последние 2 бита представляют любое одно положение малой четверти каждой четверти. Кроме того, "тип получения изображения" представляет собой информацию типа, представляющую тип компоновки множества изображений. Тип получения изображения, равный type=011, означает горизонтальную/вертикальную двумерную компоновку множества изображений.
На фиг. 3 показан пример горизонтальной одномерной компоновки множества изображений. В этом примере пять изображений размещены в горизонтальном направлении. Групповое изображение, содержащее пять изображений, имеет разрешение, соответствующее виртуальному устройству отображения. Например, если одно изображение имеет разрешение HD, групповое изображение имеет разрешение в пять раз большее, чем разрешение HD в горизонтальном направлении.
"1110", "1111", "0000", "0001" или "0010" представляют 4 бита данных информации положения каждого изображения. Например, в случае горизонтальной одномерной компоновки множества изображений, информация о положении переднего изображения представляет собой "0000", информация о положении N-ого изображения справа от переднего составляет "0000+N", и информация о положении N-ого изображения слева от переднего представляет собой "0000-N".
Следует отметить, что описание примера вертикальной одномерной компоновки множества изображений будет исключено, поскольку оно аналогично примеру горизонтальной одномерной компоновки множества изображений.
Кроме того, на уровне потока транспортирования, вставлена информация идентификации, которая означает услугу распределения компоновки множества изображений, информация идентификации, которая идентифицирует, представляет ли собой услуга распределения услугу смешанного движущегося/неподвижного изображения или нет, общее количество видеопотоков, относящихся к услуге распределения компоновки множества изображений, и т.п. Такая информация описана во вновь определенном дескрипторе, который вставляют, например, ниже таблицы карты программы (РМТ).
Один видеопоток содержит кодированные данные изображения одного изображения или множества изображений. Кроме того, видеопоток представляет собой поток движущегося изображения, поток неподвижного изображения или смешанный поток движущегося/неподвижного изображения.
На фиг. 4 показан пример группового изображения из неподвижных изображений. В этом примере групповое изображение содержит 2×2 изображения (неподвижные изображения). Кроме того, в этом примере, один видеопоток передает кодированные данные изображения для изображений с разделением по времени. В этом случае сторона приема последовательно декодирует кодированные данные для изображений, и данные изображения каждого изображения записывают в область буфера для виртуального устройства отображения на основе его информации положения.
На фиг. 5 показан пример группового изображения для движущихся изображений. В этом примере групповое изображение содержит 2×2 изображения (движущиеся изображения). Кроме того, в этом примере, один видеопоток передает кодированные данные для изображения с разделением по времени. В этом случае, сторона приема последовательно декодирует кодированные данные изображений, и данные изображения каждого изображения записывают в области буфера виртуального устройства отображения на основе его информация о положении.
На фиг. 6 показан пример группового изображения для движущихся изображений. В этом примере групповое изображение содержит 2×2 изображения (движущиеся изображения). Кроме того, в этом примере, четыре потока видеоданных передают кодированные данные изображения для изображений. В этом случае, сторона приема декодирует кодированные данные изображений, и данные изображения каждого изображения записывают в области буфера виртуального устройства отображения на основе его информации положения.
На фиг. 7 показан пример группового изображения неподвижных изображений и движущихся изображений. В этом примере групповое изображение содержит 2×2 изображения (неподвижные изображения, движущиеся изображения). Кроме того, в этом примере один видеопоток передает кодированные данные изображения для изображений. В этом случае изображение 3 (кадр 3) содержит, как неподвижные изображения, так и движущиеся изображения. В этом случае, сторона приема декодирует кодированные данные изображений, и данные изображения каждого изображения записывают в области буфера виртуального устройстве отображения на основе его информации положения.
На фиг. 8 показан пример распределения услуги неподвижного изображения (Still picture), используя один поток. В этом примере групповое изображение содержит 2×2 изображения. На фиг. 8 прямоугольник с номером в кружке представляет модуль доступа. В этом примере представлено кодирование HEVC. Следует отметить, что каждый из номеров в кружке от "1" до "4" означает, что содержатся кодированные данные изображения каждого от изображения 1 (Picture 1) до изображения 4 (Picture 4).
Вначале кодированные данные изображения неподвижных изображений от изображения 1 (Picture 1) до изображения 4 (Picture 4) передают последовательно. Затем передают обновленные кодированные данные изображения для изображения 3 (Picture 3). Затем, дополнительно, передают обновленные кодированные данные изображения для изображения 3 (Picture 3). Затем последовательно передают обновленные кодированные данные изображения для изображений от изображения 1 (Picture 1) до изображения 4 (Picture 4).
Следует отметить, что "group_picture_start" означает начало группового изображения, которое должно обновляться и должно отображаться в определенный момент времени. В то же время, "group_picture_end" означает конец обновления группового изображения и отображение его в определенный момент времени. Такую информацию вставляют на уровень видеопотока, как описано ниже. То же относится к следующим примерам.
На фиг. 9 показан пример распределения услуги неподвижного изображения (Still picture), используя множество потоков. В этом примере групповое изображение содержит 2×2 изображения. На фиг. 8 прямоугольник с номером в кружке представляет модуль доступа. Следует отметить, что каждый из номеров в кружке от "1" до "4" означает, что содержатся кодированные данные изображения каждого от изображения 1 (Picture 1) до изображения 4 (Picture 4).
Вначале последовательно передают кодированные данные изображения от изображения 1 (Picture 1) до изображения 4 (Picture 4), используя видеопотоки 1-4, соответственно. Затем передают обновленные кодированные данные изображения для изображения 3 (Picture 3), и используя видеопоток 3. Затем дополнительно передают обновленные кодированные данные изображения для изображения 3 (Picture 3), используя видеопоток 3. Затем передают последовательно обновленные кодированные данные изображения для изображения от изображения 1 (Picture 1) до изображения 4 (Picture 4), используя видеопотоки 1-4, соответственно.
На фиг. 10 показан пример распределения смешанной услуги неподвижных изображений (Still pictures) и движущихся изображений (Moving pictures), используя один поток. В этом примере групповое изображение содержит 2×2 изображения. На фиг. 8 прямоугольник с номером в кружке представляет модуль доступа. Следует отметить, что каждый из номеров в кружке от "1" до "4" означает, что содержатся данные кодированного изображения каждого от изображения 1 (Picture 1) до изображения 4 (Picture 4).
Вначале последовательно передают кодированные данные изображения неподвижных изображений от изображения 1 (Picture 1) до изображения 4 (Picture 4). Затем передают кодированные данные изображения движущегося изображения для изображения 3 (Picture 3). Затем последовательно передают обновленные кодированные данные изображения неподвижных изображений от изображения 1 (Picture 1) до изображения 4 (Picture 4).
На фиг. 11 показан пример структуры генератора 110 данных передачи, который генерирует поток транспортирования станции 110 широковещательной передачи. Генератор 110 данных передачи включает в себя модуль вывода 112 движущегося/неподвижного изображения, видеокодер 113 и мультиплексор 114.
Модуль 112 вывода движущегося/неподвижного изображения выводит данные изображения для множества изображений в услуге распределения компоновки множества изображений. Модуль 112 вывода движущегося /неподвижного изображения включает в себя, например, камеру, которая снимает изображение объекта, и выводит данные изображения, считыватель данных изображения, который считывает данные изображения с носителя записи и выводит данные изображения, и т.п. В услуге неподвижного изображения (например, см. фиг. 4) выводят данные изображения множества неподвижных изображений. В услуге движущегося изображения (например, см. фиг. 5 и фиг. 6) выводят данные изображения множества движущихся изображений. Кроме того, в смешанной услуге движущегося/неподвижного изображения (например, см. фиг. 7), выводят данные изображения множества движущихся изображений и неподвижных изображений.
Видеокодер 113 кодирует данные изображения множества изображений, выводимых из модуля 112 вывода движущегося/неподвижного изображения на основе, например, AVC, HEVC и т.п. и получает кодированные данные изображения. Кроме того, видеокодер 113 генерирует заданное количество видеопотоков (элементарных видеопотоков), содержащих кодированные данные изображения, используя блок форматирования потока на последнем этапе. В этом случае один видеопоток содержит кодированные данные изображения для одного изображения в компоновке множества изображений, или может содержать кодированные данные изображения для множества изображений в компоновке множества изображений.
Здесь видеокодер 113 вставляет на уровне видеопотока, в дополнение к информации положения, представляющей положения компоновки множества изображений, информацию смещения для регулирования временных характеристик отображения множества изображений, информацию о типе, представляющую тип компоновки множества изображений, информацию о типе, представляющую тип поворота при отображении множества изображений, и т.п.. Если данные изображения кодированы на основе AVC (усовершенствованное видеокодирование), HEVC (высокоэффективное видеокодирование) и т.п., такую информацию вставляют во вновь определенное сообщение SEI. Такая информация будет описана подробно ниже.
Мультиплексор 114 генерирует пакеты видеопотоков, сгенерированных видеокодером 113, мультиплексирует эти пакеты и генерирует поток транспортирования. Здесь, мультиплексор 114 вставляет на уровне контейнера (уровень системы) информацию идентификации, которая обозначает услугу распределения компоновки множества изображений, информацию идентификации, которая идентифицирует, представляет ли собой услуга распределения смешанную услугу движущегося/неподвижного изображения, или нет, общее количество видеопотоков, относящихся к услуге распределения компоновки множества изображений и т.п. Такая информация описана во вновь определенном дескрипторе, который вставляют, например, ниже таблицы карты программы (РМТ). Такая информация будет описана подробно ниже.
Поведение генератора 110 данных передачи по фиг. 11 будет описано в общих чертах. Модуль 112 вывода движущегося/неподвижного изображения выводит данные изображения, состоящие из множества изображений услуги распределения компоновки множества изображений. Данные изображения подают в видеокодер 113. Видеокодер 113 кодирует данные изображения, например, на основе AVC, HEVC и т.п. и получает кодированные данные изображения. Кроме того, видеокодер 113 генерирует заданное количество видеопотоков, содержащих кодированные данные изображения.
В это время, видеокодер 113 вставляет, на уровне видеопотока, например, используя вновь определенное сообщение SEI, в дополнение к информации положения, представляющей положения компоновки множества изображений, информацию смещения для регулирования временных характеристик отображения множества изображений, Информацию типа, представляющую тип компоновки множества изображений, информацию типа, представляющую тип поворота при отображении множества изображений, и т.п..
Кроме того, заданное количество видеопотоков, которые выводят из видеокодера 113, подают в мультиплексор 114. Мультиплексор 114 генерирует пакеты видеопотоков, мультиплексирует эти пакеты и генерирует поток транспортирования. В это время мультиплексор 114 вставляет, в уровень потока транспортирования, используя вновь определенный дескриптор, информацию идентификации, которая означает услугу распределения компоновки множества изображений, информацию идентификации, которая идентифицирует, представляет ли собой услуга распределения смешанную услугу движущегося/неподвижного изображения или нет, общее количество видеопотоков, относящихся к услуге распределения компоновки множества изображений, и т.п.
Структура TS, структура сообщения SEI и структура дескриптора
На фиг. 12 показан пример структуры потока транспортирования при распределении с использованием одного потока. Поток транспортирования содержит один видеопоток. Другими словами, в соответствии со структурным примером, имеется пакет PES "видео PES1" видеопотока, содержащего кодированные данные изображения. Видеопоток содержит кодированные данные изображения множества изображений услуги распределения компоновки множества изображений.
В видеопоток вставляют сообщение тэга SEI группового изображения (Group_picture_tag SEI), для каждого моду