Устройство передачи, способ передачи и устройство приема

Иллюстрации

Показать все

Изобретение относится к устройству передачи, которое выполняет масштабируемое кодирование для данных изображения, составляющих данные движущегося изображения, и передает кодированные данные изображения. Технический результат заключается в возможности выполнения отображения движущегося изображения при динамическом изменении частоты кадров. Предложено устройство передачи, содержащее, в частности, модуль вставки информации для вставки, когда обеспечен участок переключения, в котором выполняется переключение последовательности видеопотоков, подлежащих передаче, с первой последовательности на вторую последовательность, имеющую другую частоту кадров, чем у первой последовательности, информации управления отображением по меньшей мере в кодированные данные изображения картинки, соответствующей участку переключения, или пакет, содержащий кодированные данные изображения. Сторона приема выполняет управление отображением картинок, используя информацию управления отображением, и обеспечивает отличное отображение. 5 н. и 11 з.п. ф-лы, 43 ил.

Реферат

Область техники, к которой относится изобретение

Настоящая технология относится к устройству передачи, способу передачи и устройству приема. Более конкретно, настоящая технология относится к устройству передачи, которое выполняет масштабируемое кодирование для данных изображения картинок, составляющих данные движущегося изображения, и передает кодированные данные изображения, и т.п.

Уровень техники

Когда предоставляют услуги с использованием сжатого движущегося изображения через широковещательную передачу или по сети, верхний предел воспроизводимой частоты кадров ограничен в соответствии с возможностями декодирования приемников. Таким образом, на стороне предоставления услуг необходимо ограничивать эту услугу до услуги с низкой частотой кадров или предоставлять услуги с множеством высоких и низких частот кадров одновременно, с учетом возможностей воспроизведения приемников, которые находятся в широком использовании.

Для поддержки услуг с высокой частотой кадров необходимо увеличивать стоимость приемников, и это представляет собой препятствующий фактор на ранних этапах распространении. На ранних этапах имели распространение только дешевые приемники, предназначенные для услуг с низкой частотой кадров, и если сторона предоставления услуг начнет предоставление услуг с высокой частотой кадров в будущем, будет трудно просматривать их без нового приемника, и это представляет собой сдерживающий фактор при распределении новых услуг.

Например, была предложена временная масштабируемость, выполняемая при масштабируемом кодировании данных изображения картинок, составляющих данные движущегося изображения в Н.265/Высокоэффективном кодировании видеоданных (HEVC) (см. непатентный документ 1). Сторона приема может идентифицировать слой каждого изображения на основе временного ID (temporal_id), вставленного в заголовок модуля Слоя сетевой абстракции (NAL) и выполнять избирательное декодирование вплоть до слоя, соответствующего возможностям декодирования.

Список литературы

Непатентный документ

Непатентный документ 1: Gary J. Sullivan, Jens-Rainer Ohm, Woo-Jin Han, Thomas Wiegand, "Overview of the High Efficiency Video Coding (HEVC) Standard," IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECNOROGY, VOL. 22, NO. 12, pp. 1649-1668, DECEMBER 2012

Раскрытие изобретения

Задачи, решаемые изобретением

Цель настоящей технологии состоит в том, чтобы обеспечивать на стороне приема возможность выполнения отличного отображения даже при динамическом изменении частоты кадров.

Решения задач

Концепция настоящей технологией лежит в

устройстве передачи, включающем в себя:

модуль кодирования изображения для классификации данных изображения из картинок, составляющих данные движущегося изображения, на множество слоев, кодирования данных изображения картинок каждого из классифицированных слоев, разделения множества слоев на заданное количество наборов слоев и генерирования заданного количества видеопотоков, включающих в себя кодированные данные изображения картинок разделенных наборов слоев, соответственно, при этом модуль кодирования изображения выполнен с возможностью кодирования так, что по меньшей мере интервалы декодирования кодированных данных изображения картинок набора самого нижнего слоя представляют собой заданные интервалы;

модуль передачи для передачи контейнера заданного формата, включающего в себя по меньшей мере видеопоток, имеющий кодированные данные изображения картинок набора самого нижнего слоя из заданного количества сгенерированных видеопотоков; и

модуль вставки информации для вставки, когда участок переключения, в котором последовательность видеопотоков, подлежащих передаче, переключают с первой последовательности на вторую последовательность, имеющую другую частоту кадров, отличную от первой последовательности, информации управления отображением в по меньшей мере кодированные данные изображения картинки, соответствующего части передачи пакета, содержащего кодированные данные изображения.

В настоящей технологии модуль кодирования изображения кодирует данные изображения картинок, составляющих данные движущегося изображения, и генерирует заданное количество видеопотоков. В этом случае данные изображения картинок, составляющих данные движущегося изображения, классифицируют на множество слоев и кодируют. Затем множество слоев разделяют на заданное количество наборов слоев и заданное количество видеопотоков, включающих в себя кодированные данные изображения картинок разделенных наборов слоя.

Модуль кодирования изображения выполняет кодирование так, что по меньшей мере интервалы декодирования кодированных данных изображения картинок с набором самого нижнего слоя представляют собой заданные интервалы, например, равные интервалы. В результате, например, когда сторона приема обладает возможностями декодирования, которые позволяют обрабатывать кодированные данные изображения картинок множества слоев, включенных в набор самого нижнего слоя, сторона приема может последовательно, естественным образом, выполнять обработку декодирования кодированных данных изображения для каждой картинки.

Например, модуль кодирования изображения может выполнять кодирование так, что временные характеристики декодирования кодированных данных изображения картинок набора слоя, расположенного выше, чем набор самого нижнего слоя, представляет собой промежуточные временные характеристики для временных характеристик декодирования кодированных данных изображения картинок всех наборов слоев, расположенных ниже, чем набор слоя. Промежуточные временные характеристики, упомянутые здесь, не обязательно должны представлять собой средние временные характеристики и означают временные характеристики, которые не перекрываются с временными характеристиками декодирования на более низкой стороне. В результате, например, когда сторона приема обладает возможностью декодирования кодированных данных изображения для картинки набора слоя, расположенного выше, чем набор самого нижнего слоя, а также набора слоя набора самого нижнего слоя, сторона приема может последовательно плавно выполнять обработку декодирования каждой картинки.

Модуль передачи передает контейнер заданного формата, включающий в себя, по меньшей мере, видеопоток, имеющий кодированные данные изображения для картинки набора самого нижнего слоя среди заданного количества сгенерированных видеопотоков. Например, контейнер может представлять собой транспортный поток (MPEG 2 TS), используемый в стандарте цифровой широковещательной передачи. Кроме того, например, контейнер может представлять собой контейнер, имеющий формат МР4, используемый при доставке по Интернет, или любой другой формат.

Когда предусмотрен участок переключения, на котором последовательность видеопотоков, которые предназначены для передачи, переключают с первой последовательность на вторую последовательность, имеющую другую частоту кадров, чем у первой последовательности, модуль вставки информации вставляет информацию управления отображением в по меньшей мере кодированные данные изображения картинки, соответствующего части переключения, или пакета, содержащего кодированные данные изображения. Например, информация управления дисплеем может представлять собой информацию для выполнения такого управления, что отображение последней картинки первой последовательности повторяют заданное количество раз, или для управления периодом времени отображения последней картинки первой последовательности так, что выполняют пропуск отображения картинки второй последовательности.

Кроме того, например, информация управления отображением может представлять собой информацию смещения отображения для управления временными характеристиками отображения картинок второй последовательности. В таком случае, например, контейнер может представлять собой транспортный поток, и модуль вставки информации может вставлять информацию управления отображением в поле расширения пакета PES. В результате, возможно управлять считыванием данных изображения картинок из буфера несжатых данных, например, используя информацию управления отображением.

Как описано выше, в настоящей технологии, когда предусмотрена часть переключения, в которой последовательность видеопотоков, предназначенных для передачи, переключают с первой последовательности на вторую последовательность, имеющую другую частоту кадров, чем первая последовательность, информацию управления отображением вставляют в по меньшей мере кодированные данные изображения картинки, соответствующего части переключения пакета, содержащего кодированные данные изображения, и передают. Таким образом, сторона приема может управлять считыванием данных изображения картинки из буфера несжатых данных, например, на основе информации управления отображением, и может выполнять отличное отображение, без возникновения пропуска отображения, даже когда частота кадров динамически изменяется.

В настоящей технологии, например, модуль вставки информации может дополнительно вставлять информацию идентификации, идентифицирующую последнюю картинку первой последовательности в кодированных данных изображения последней картинки первой последовательности. В результате, когда предусмотрена часть переключения, в которой последовательность видеопотоков, предназначенных для передачи, переключают с первой последовательности на вторую последовательность, имеющую другую частоту кадров, чем первая последовательность, сторона приема может легко идентифицировать последнюю картинку первой последовательности на основе информации идентификации.

Кроме того, в настоящей технологии, например, может быть предусмотрен модуль вставки информации идентификации, который вставляет информацию идентификации, идентифицирующую, была ли вставлена информация управления отображением в кодированные данные изображения, или пакет, содержащий кодированные данные изображения, в слой контейнера. Например, контейнер может представлять собой транспортный поток, а модуль вставки информации идентификации может вставлять информацию идентификации в контур элементарного видеопотока, размещенный в ассоциации с каждым из заданного количества видеопотоков, в соответствии с таблицей отображения программы, в качестве дескриптора. В этом случае, на стороне приема, возможно легко идентифицировать, была или нет вставлена информация управления отображением в кодированные данные изображения на основе информации идентификации, без выполнения обработки декодирования для кодированных данных изображения.

Кроме того, другая концепция настоящей технологии состоит в устройстве приема, включающем в себя:

модуль приема для приема по меньшей мере видеопотока, имеющего кодированные данные изображения картинки набора самого нижнего слоя среди заданного количества видеопотоков, включающих в себя кодированные данные изображения картинок наборов слоя, соответственно, заданное количество видеопотоков получают путем классификации данных изображения картинок, конфигурирующих данные движущегося изображения, на множество слоев, кодирования множества слоев и разделения множества слоев на заданное количество наборов слоев; и

модуль обработки для обработки принимаемого видеопотока, при этом

по меньшей мере видеопоток, имеющий кодированные данные изображения картинок набора самого нижнего слоя среди заданного количества видеопотоков, кодируют так, что интервалы декодирования картинок представляют собой заданные интервалы, а

когда предусмотрена часть переключения, в которой последовательность принятого видеопотока переключают с первой последовательности на вторую последовательность, имеющую другую частоту кадров, чем первая последовательность, информацию управления отображением вставляют по меньшей мере в кодированные данные изображения картинки, соответствующего части переключения, или пакет, содержащий кодированные данные изображения.

В настоящей технологии модуль приема принимает по меньшей мере видеопоток, имеющий кодированные данные изображения картинок набора самого нижнего слоя среди заданного количества видеопотоков, включающих в себя кодированные данные изображения картинок наборов слоя, соответственно, заданное количество видеопотоков получают путем классификации данных изображения картинок, составляющих данные движущегося изображения, на множество слоев, кодируют множество слоев и разделяют это множество слоев на заданное количество наборов слоев. Модуль обработки обрабатывает принимаемый видеопоток.

В этом случае по меньшей мере видеопоток, имеющий кодированные данные изображения картинок набора самого нижнего слоя из заданного количества видеопотоков, кодируют так, что интервалы декодирования картинок представляют собой заданные интервалы, например, равные интервалы. В результате, например, когда существует возможность декодирования, позволяющая обрабатывать кодированные данные изображения картинок множества слоев, включенных в набор самого нижнего слоя, возможно последовательно, естественным образом, выполнять обработку декодирования кодированных данных изображения каждой картинки.

Кроме того, в этом случае, когда предусмотрена часть переключения, в которой последовательность принимаемого видеопотока переключается с первой последовательности на вторую последовательность, имеющую другую частоту кадров, чем у первой последовательности, информацию управления отображением вставляют, по меньшей мере, в кодированные данные изображения картинки, соответствующей части переключения, или пакет, содержащий кодированные данные изображения. Таким образом, например, возможно управлять считыванием данных изображения картинок из буфера несжатых данных на основе информации управления отображением и выполнять отличное отображение без возникновения пропуска отображения, даже когда частота кадров динамически изменяется.

Например, информация управления отображением может представлять собой информацию для выполнения такого управления, что отображение последней картинки первой последовательности повторяется заданное количество раз, или для управления периодом времени отображения последней картинки первой последовательности так, что отображение картинок второй последовательности пропускают. Кроме того, например, информация управления отображением может представлять собой информацию смещения отображения, для управления временными характеристиками отображения картинок второй последовательности.

Кроме того, другая концепция настоящей технологии состоит в устройстве приема, включающем в себя:

модуль приема для приема контейнера заданного формата, включающего в себя по меньшей мере видеопоток, имеющий кодированные данные изображения картинок набора самого нижнего уровня из заданного количества видеопотоков, включающих в себя кодированные данные картинок наборов слоя, соответственно, заданное количество видеопотоков получают путем классификации данных изображения картинок, составляющих данные движущегося изображения, на множество слоев, кодируют множество слоев и разделяют множество слоев на заданное количество наборов слоя, при этом

по меньшей мере видеопоток, имеющий кодированные данные изображения картинок набора самого нижнего уровня слоя из заданного количества видеопотоков кодируют так, что интервалы декодирования картинок представляют собой заданные интервалы, и

когда предусмотрена часть переключения, в которой переключают последовательность принимаемого видеопотока с первой последовательности на вторую последовательность, имеющую другую частоту кадров, чем у первой последовательности, информацию управления отображением вставляют в по меньшей мере кодированные данные изображения картинки, соответствующей части переключения;

модуль обработки декодирования изображения для избирательного декодирования кодированных данных изображения картинки слоя, равного или ниже, чем заданный слой, в соответствии с возможностями декодирования из видеопотока, включенного в заданный контейнер, отбора данных изображения картинок, полученных в результате декодирования, в буфер, и считывания и вывода данных изображения картинок в заданные моменты времени; и

модуль управления для управления считыванием изображений картинок из буфера в модуль обработки декодирования изображения, на основе информации управления отображением.

В настоящей технологии модуль приема принимает контейнер заданного формата. Контейнер включает в себя по меньшей мере видеопоток, имеющий кодированные данные изображения, из изображений набора самого нижнего слоя среди заданного количества видеопотоков, включающих в себя данные кодированного изображения картинок наборов слоя, соответственно, заданное количество видеопотоков получают путем классификации данных изображения картинок, составляющих данные движущегося изображения, на множество слоев, кодируют множество слоев и разделяют множество слоев на заданное количество наборов слоев.

В этом случае по меньшей мере видеопоток, имеющий кодированные данные изображения картинок набора самого нижнего слоя среди заданного количества видеопотоков, кодируют так, что интервалы декодирования картинок представляют собой заданные интервалы, например, равные интервалы. В результате, например, когда существует возможность декодирования, позволяющая обрабатывать кодированные данные изображения картинок множества слоев, включенных в набор самого нижнего слоя, возможно последовательно и естественным образом выполнять обработку декодирования кодированных данных изображения каждой картинки.

Модуль обработки декодирования изображения избирательно декодирует кодированные данные изображения картинки слоя, равного или ниже, чем заданный слой, в соответствии с возможностями декодирования из видеопотока, включенного в принимаемый контейнер, отбирает данные изображения картинок, полученных в результате декодирования, в буфер и считывает и выводит данные изображения картинок в заданные моменты времени. Модуль управления управляет считыванием на основе информации управления отображением.

Например, информация управления отображением может представлять собой информацию для выполнения такого управления, что отображение последней картинки первой последовательности повторяется заданное количество раз, или для управления периодом времени отображения последней картинки первой последовательности так, что отображение картинки второй последовательности пропускается. Кроме того, например, информация управления отображением может представлять собой информацию смещения отображения для управления временными характеристиками отображения картинок второй последовательности.

Как описано выше, в настоящей технологии, когда данные изображения картинок, полученных в результате декодирования, отбирают в буфер, и данные изображения картинок считывают и выводят в заданные моменты времени, считыванием управляют на основе информации управления отображением. Таким образом, возможно выполнять отличное отображение, без возникновения перерывов при отображении, например, даже когда частота кадров динамически изменяется.

Кроме того, концепция настоящей технологии состоит в

устройстве приема, включающем в себя:

модуль приема для приема контейнера заданного формата, включающего в себя по меньшей мере видеопоток, имеющий кодированные данные изображения картинок набора самого нижнего слоя из заданного количества видеопотоков, включающих в себя данные кодированного изображения картинок наборов слоя, соответственно, заданное количество видеопотоков получают путем классификации данных изображения картинок, составляющих данные движущегося изображения на множество слоев, кодирования множества слоев и разделения множества слоев на заданное количество наборов слоев,

по меньшей мере, видеопоток, имеющий кодированные данные изображения картинок набора самого нижнего слоя среди заданного количества видеопотоков, кодируют так, что интервалы декодирования картинок представляют собой заданные интервалы;

модуль обнаружения переключения последовательности для обнаружения участка переключения, в которой последовательность видеопотока переключают с первой последовательности на вторую последовательность, имеющую другую частоту кадров, чем у первой последовательности, на основе видеопотока, включенного в заданный контейнер;

модуль обработки декодирования изображения для избирательного декодирования кодированных данных изображения картинки слоя, равного или ниже, чем заданный слой, в соответствии с возможностями декодирования, из видеопотока, включенного в принимаемый контейнер, отбора данных изображения картинок, получаемых в результате декодирования, в буфер и считывания и вывода данных изображения картинок в заданные моменты времени; и

модуль управления для управления считыванием изображений для изображений из буфера в модуле обработки декодирования изображения на основе обнаружения, выводимого модулем обнаружения переключения последовательности.

В настоящей технологии модуль приема принимает контейнер заданного формата. Контейнер включает в себя по меньшей мере видеопоток, имеющий кодированные данные изображения картинок набора самого нижнего слоя среди заданного количества видеопотоков, включающих в себя кодированные данные изображения картинок наборов слоя, соответственно, заданное количество видеопотоков получают путем классификации данных изображения картинок, составляющих данные движущегося изображения, на множество слоев, кодируют множество слоев и разделяют множество слоев на заданное количество наборов слоя.

В этом случае по меньшей мере видеопоток, имеющий кодированные данные изображения картинок набора самого нижнего слоя среди заданного количества видеопотоков, кодируют так, что интервалы декодирования изображений представляют собой заданные интервалы, например, равные интервалы. В результате, например, когда возможности декодирования позволяют обрабатывать кодированные данные изображения картинок множества слоев, включенных в набор самого нижнего слоя, возможно последовательно и естественным образом выполнять обработку декодирования кодированных данных изображения для каждой картинки.

Модуль обнаружения переключения последовательности обнаруживает часть переключения, в которой последовательность видеопотока переключают с первой последовательности на вторую последовательность, имеющую другую частоту кадров, чем у первой последовательности, на основе видеопотока, включенного в принимаемый контейнер. Модуль обработки декодирования изображения избирательно декодирует кодированные данные изображения картинки слоя, равного или ниже, чем заданный слой, в соответствии с возможностями декодирования, из заданного количества видеопотоков, включенных в принимаемый контейнер, отбирает данные изображения картинок, полученных в результате декодирования, в буфер, и считывает и выводит данные изображения картинок в заданные моменты времени. Модуль управления управляет считыванием на основе вывода обнаружения модуля обнаружения переключения последовательности.

Как описано выше, в настоящей технологии, когда данные изображения картинок, полученных в результате декодирования, отбирают в буфер, и данные изображения картинок считывают и выводят в заданные моменты времени, считыванием управляют на основе вывода обнаружения переключения последовательности. Таким образом, становится возможным выполнять отличное отображение, без возникновения перерывов при отображении, например, даже когда частота кадров динамически изменяется.

Эффекты изобретения

В соответствии с настоящей технологией, сторона приема может выполнять отличное отображение, даже когда частота кадров динамически изменяется. Эффекты, описанные здесь, не обязательно ограничены, и может быть включен любой эффект, описанный в настоящем раскрытии.

Краткое описание чертежей

На фиг. 1 показана блок-схема, поясняющая примерную конфигурацию системы приемопередатчика в соответствии с вариантом осуществления.

На фиг. 2 показана блок-схема, поясняющая примерную конфигурацию устройства передачи.

На фиг. 3 представлена схема, иллюстрирующая пример масштабируемого кодирования, выполняемого кодером.

На фиг. 4 представлена схема, иллюстрирующая другой пример масштабируемого кодирования, выполняемого кодером.

На фиг. 5(а) и 5(b) показаны схемы, поясняющие примерную структуру заголовка модуля NAL и содержание основных параметров в примерной структуре.

На фиг. 6 показана схема для описания конфигурации кодируемых данных изображения для каждого изображения HEVC.

На фиг. 7(а) и 7(b) показаны схемы для описания временных характеристик кодирования (временных характеристик декодирования) картинок с заданным количеством потоков видеоданных (2 потока).

На фиг. 8 представлена схема, иллюстрирующая пример временных характеристик кодирования (временных характеристик декодирования) каждой картинки, когда генерируют два потока видеоданных, то есть основной поток и поток расширения.

На фиг. 9(а) и 9(b) показаны схемы для описания временных характеристик кодирования (временных характеристик декодирования) картинок с заданным количеством потоков видеоданных (3 потока).

На фиг. 10 представлена схема, иллюстрирующая пример временных характеристик кодирования (временных характеристик декодирования) каждого изображения, когда генерируют три потока видеоданных, то есть основной поток и два потока расширения.

На фиг. 11 представлена схема, иллюстрирующая пример участка переключения последовательности.

На фиг. 12 представлена схема, иллюстрирующая пример управления HRD кодера в участке переключения последовательности.

На фиг. 13 представлена схема, иллюстрирующая другой пример участка переключения последовательности.

На фиг. 14 представлена схема, иллюстрирующая другой пример управления HRD кодера в участке переключения последовательности.

На фиг. 15 представлена схема, иллюстрирующая примерную структуру интерфейса для вставки информации SEI управления временными характеристиками AU.

На фиг. 16 представлена схема, иллюстрирующая примерную структуру информации SEI управления временными характеристиками AU.

На фиг. 17 представлена схема, иллюстрирующая содержание основной информации в примерной структуре информации SEI управления временными характеристиками AU.

На фиг. 18 представлена схема, иллюстрирующая пример перехода значения каждого флага информации SEI управления временными характеристиками AU при переключении последовательности (переключении со скорости 1х на скорость 2х).

На фиг. 19 представлена схема, иллюстрирующая другой пример перехода значения каждого флага информации SEI управления временными характеристиками AU при переключении последовательности (переключении со скорости 1х на скорость 2х).

На фиг. 20 представлена схема, иллюстрирующая пример перехода значения каждого флага информации SEI управления временными характеристиками AU при переключении последовательности (переключении со скорости 2х на скорость 1х).

На фиг. 21 представлена схема, иллюстрирующая другой пример перехода значения каждого флага информации SEI управления временными характеристиками AU при переключении последовательности (переключении со скорости 2х на скорость 1х).

На фиг. 22 представлена схема, иллюстрирующая пример перехода значения каждого флага информации SEI управления временными характеристиками AU при переключении последовательности (переключении со скорости 2х на скорость 4х).

На фиг. 23 представлена схема, иллюстрирующая другой пример перехода значения каждого флага информации SEI управления временными характеристиками AU при переключении последовательности (переключении со скорости 2х на скорость 4х).

На фиг. 24 представлена схема, иллюстрирующая пример перехода значения каждого флага информации SEI управления временными характеристиками AU при переключении последовательности (переключении со скорости 4х на скорость 1х).

На фиг. 25 представлена схема, иллюстрирующая другой пример перехода значения каждого флага информации SEI управления временными характеристиками AU при переключении последовательности (переключении со скорости 4х на скорость 1х).

На фиг. 26 показана блок-схема, поясняющая примерную конфигурацию кодера.

На фиг. 27 представлена схема, иллюстрирующая пример потока обработки кодера.

На фиг. 28(а) и 28(b) показаны схемы, поясняющие примерную структуру данных области расширения РЕ и содержания основной информации в ней.

На фиг. 29(а) и 29(b) показаны схемы, поясняющие примерную структуру информации о смещении временной метки и содержания основной информации в ней.

На фиг. 30 представлена схема, иллюстрирующая примерную структуру управления представлением AU.

На фиг. 31 представлена схема, иллюстрирующая содержание основной информации в примерной структуре управления представлением AU.

На фиг. 32 представлена схема, иллюстрирующая примерную структуру дескриптора временного управления.

На фиг. 33 представлена схема, иллюстрирующая примерную структуру дескриптора HEVC.

На фиг. 34 показана блок-схема, поясняющая примерную конфигурацию мультиплексора.

На фиг. 35 представлена схема, иллюстрирующая пример потока обработки мультиплексора.

На фиг. 36 представлена схема, иллюстрирующая пример конфигурации транспортного потока TS при доставке в двух потоках.

На фиг. 37 показана блок-схема, поясняющая примерную конфигурацию устройства приема.

На фиг. 38 показана блок-схема, поясняющая примерную конфигурацию демультиплексора.

На фиг. 39 представлена схема, иллюстрирующая пример комбинирования потока.

На фиг. 40 представлена схема, иллюстрирующая пример потока обработки демультиплексора.

На фиг. 41 показана блок-схема, поясняющая примерную конфигурацию декодера.

На фиг. 42 представлена схема, иллюстрирующая примерную конфигурацию модуля последующей обработки.

На фиг. 43 представлена схема, иллюстрирующая пример потока обработки декодера и модуля последующей обработки.

Осуществление изобретения

Далее будут описаны режимы (ниже называются "вариантами осуществления") выполнения изобретения. Описание будет представлено в следующем порядке.

1. Варианты осуществления

2. Модифицированные примеры

1. Варианты осуществления

Система приема и передачи

На фиг. 1 иллюстрируется примерная конфигурация системы 10 приема и передачи, в соответствии с вариантом осуществления, система 10 приема и передачи включает в себя устройство 100 передачи и устройство 200 приема.

Устройство 100 передачи передает транспортный поток TS, используемый, как контейнер, через волну широковещательной передачи. Транспортный поток TS включает в себя по меньшей мере видеопоток, имеющий кодированные данные изображения картинок набора самого нижнего слоя среди заданного количества видеопотоков, каждый из которых имеет кодированные данные изображения картинок каждого набора слоя, который получают таким образом, что данные изображения картинок, составляющих данные движущегося изображения, классифицируют на множество слоев и кодируют, и множество слоев разделяют на заданное количество наборов слоев. В этом случае, например, кодирование выполняют в соответствии с H.264/AVC, H.265/HEVC и т.п. так, что изображение ссылки принадлежит его собственному слою и/или слою ниже, чем его собственный слой.

В этом варианте осуществления, когда множество слоев разделяют на заданное количество наборов слоев, множество слоев включено в набор самого нижнего слоя, и один слой включен в набор слоя, расположенный так, чтобы он был выше, чем набор самого нижнего слоя. Благодаря такому разделению, например, когда сторона приема имеет способность декодировать, позволяющую обрабатывать кодированные данные изображения картинок множества слоев, включенных в набор самого нижнего слоя, сторона приема может выбирать только видеопоток, имеющий кодированные данные изображения картинок набора самого нижнего слоя, отбирать выбранный поток видеоданных в буфер, и выполнять обработку декодирования.

Информацию идентификации слоя, идентифицирующую ассоциированный слой, добавляют к кодированным данным изображения картинки каждого слоя, для каждой картинки. В этом варианте осуществления информация идентификации слоя ("nuh_temporal_id_plus1", обозначающая temporal_id) размещена в части заголовка модуля NAL (nal_unit) каждой картинки. Поскольку информацию идентификации слоя добавляют, как описано выше, сторона приема может идентифицировать слой каждой картинки в слое модуля NAL и может избирательно выделять кодированные данные картинки для слоя, равного или ниже, чем заданный слой, и выполнять обработку декодирования.

В этом варианте осуществления по меньшей мере видеопоток, имеющий кодированные данные изображения картинок набора самого нижнего слоя среди заданного количества видеопотоков кодируют так, что интервалы декодирования картинок представляют собой равные интервалы. В результате такого кодирования, когда сторона приема имеет способность декодирования, позволяющую обрабатывать кодированные данные изображения картинок множества слоев, включенных в набор самого нижнего слоя, сторона приема может последовательно и естественным образом выполнять обработку декодирования кодированных данных изображения каждой картинки.

В этом варианте осуществления кодирование выполняют так, что временные характеристики декодирования кодированных данных изображения картинок набора слоя, расположенного выше, чем набор самого нижнего слоя, представляют собой промежуточные временные характеристики для временных характеристик декодирования кодированных данных изображения картинок наборов всех слоев, расположенных ниже, чем указанный набор слоя. Промежуточные временные характеристики, упомянутые здесь, не обязательно должны представлять собой средние временные характеристики в отношении временных характеристик декодирования двух картинок на более низкой стороне и означают временные характеристики, которые не перекрываются с временными характеристиками декодирования на нижней стороне. Поэтому, в таком случае также включено, например, кодирование, при котором временные характеристики декодирования двух или больше картинок верхних слоев находятся между временными характеристиками декодирования двух картинок на более низкой стороне. В результате такого кодирования, когда сторона приема имеет возможность декодирования кодированных данных изображения картинок набора слоя, расположенного выше, чем набор самого нижнего слоя, так же, как и у набора самого нижнего слоя, сторона приема может последовательно и плавно выполнять обработку декодирования каждой картинки.

В этом варианте осуществления, когда предусмотрен участок переключения, в которой последовательность видеопотоков, предназначенных для передачи, переключают с первой последовательности на вторую последовательность, имеющую другую частоту кадров, чем у первой последовательности, информацию управления отображением вставляют в по меньшей мере кодированные данные изображения картинки, соответствующей участку переключения или пакету, содержащему кодированные данные изображения. Сторона приема может управлять считыванием данных изображения каждой картинки из буфера несжатых данных на основе информации управления отображением и выполнять отличное отображение, без возникновения перерыва при отображении, даже когда частота кадров динамически изменяется.

Например, информация управления отображением представляет собой информацию для выполнения такого управления, что, например, отображение последней картинки первой последовательности повторяется заданное количество раз, или для управления периодом времени отображения последней картинки первой последовательности так, что пропускают отображение кар