Транспортировка hdr метаданных

Транспортировка hdr метаданных

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Изобретение относится к устройствам, способам и конечным продуктам, таким как продукты хранения или транспортировки данных, или форматированные, кодированные сигналы, для обеспечения доставки изображений или видео с высоким динамическим диапазоном. Устройства включают в себя устройства обработки видео, которые изначально предоставляют форматированный сигнал и видеопроигрыватели, которые принимают форматированный видеосигнал. Форматированный сигнал может транслироваться, передаваться по сети или на носителе данных, таком как оптический диск или карта памяти. Видеопроигрыватели включают в себя, например, проигрыватели с оптическим диском Blu-ray, ТВ-устройства или приставки, принимающие широковещательные сигналы, компьютеры или портативные устройства, принимающие данные от сервера через сеть.

УРОВЕНЬ ТЕХНИКИ

В последнее время захват, отображение и особенно кодирование изображений были усовершенствованы от так называемого воспроизведения с узким динамическим диапазоном (LDR) воспроизведения (например, используемого для хорошо известных классических стандартизированных систем, таких как PAL или MPEG2) до так называемого воспроизведения с высоким динамическим диапазоном воспроизведения(HDR). Освещенность в природе может варьироваться от 100000 лк в солнечном свете, в более типичном офисном или комнатном освещении около 500 лк, до, например, 0,05 лк при свете четверти луны. Яркость (L) в мире варьируется от 1 млрд нт на солнечном диске до десятков тысяч нт для ламп, до нескольких (десятков) тысяч нт для объектов в солнечном свете (таких как здания, края облаков или белая бумага), до сотен или десятков нт для объектов под (сильно) затянутым облаками небом или в помещении, до 0,1 нт для белой бумаги в лунном свете и т.д. Это не обязательно означает, что эти яркости должны отображаться на дисплее одинаково, точнее сказать, изображение должно выглядеть художественно хорошо, то есть, по меньшей мере, разности яркостей различных частей объектов, при отображении на экране монитора, должны быть приблизительно одинаковыми.

Дополнительное улучшение качества изображения может быть достигнуто за счет расширения цветного пространства, в сравнении с классическим стандартизированным видео, обычно называемым LDR системами. Расширенный диапазон видео, как описано в данном документе, имеет расширенный диапазон яркости, расширенное цветовое пространство или комбинацию расширенного диапазона яркости и расширенного цветового пространства, и может называться HDR видео.

Необходимо понимать, что преобразование оттенков для воспроизведения на конкретном дисплее из-за разнообразия современных дисплеев отделено от захвата и кодирования, что приводит к трем связанным представлениям. В общем, требование HDR воспроизведении для способности воспроизводить, например, яркую белую стену отличным образом от соседней яркой лампы на дисплее, заключается в том, чтобы соответствующие пиксели должны также кодироваться различными значениями яркости (Y). Датчики или камеры становятся все более мощными в том, что они действительно могут правильно захватывать большинство из этих различных яркостей и/или цветов в мире (будь то с большими глубинами, или различно экспонированными картинками и др.) и для простоты будет рассматриваться их естественное представление цвета, являющееся линейным кодированием яркости в пределах [Lмин, Lмакс] + цветовая информация. Затем можно использовать совершенно произвольно заданное определение (конечно же в соответствии с желаемыми требованиями, такими как последующая возможность обработки закодированной информации, например, локальное осветление, или проблема сжатия данных, и др.) для передающего кодека. В заключение, эта закодированная информация (Y_C1C2 или подобная) может быть снова конвертирована различными путями для представления на стороне воспроизведении, которое можно для простоты приравнять с значениями возбуждения для, например, цветов LCD- пикселей. Новые дисплеи могут иметь более воспроизводимый динамический диапазон, поэтому они могут, во-первых, визуализировать более яркие области, и во-вторых, одновременно и последовательно отобразить более темные области. Такой расширенный диапазон позволяет разложить все эти объекты с различной яркостью по воспроизводимому диапазону в сочетании с оптимальной визуализацией цвета. Доступное цветовое пространство может быть также расширено.

Blu-ray диски и проигрыватели появились на рынке в 2006 году и с того времени были проданы миллионы проигрывателей, включая игровые приставки PlayStation 3. На Blu-ray дисках (BD) в основном записаны 2D или 3D фильмы с временем проигрывания около 2-х часов и дополнительным контентом (бонусными материалами). Видеоконтент на этих дисках имел градацию цвета для относительно низких уровней яркости и цветовой матрицы, определенной в ITU-R рекомендации BT.709 «Значения параметров для систем ТСВЧ для производства программ и международного обмена ими», доступный из http://www.itu.int/dms_pubrec/itu-r/rec/bt/R-REC-BT.709-5-200204-I!!PDF-E.pdf .

В последнее время индустрия вещания и контента проявляет большой интерес к переходу от разрешения Full HD к удвоенному вертикальному и горизонтальному разрешению (3840x2160). Это учетверенное Full HD (QFHD) разрешение иногда называют 4К. Помимо увеличения разрешения, существует потребность перехода к более высокой частоте кадров (48Гц, 60Гц), более высокой глубине в битах для кодирования цветовых компонент, более высокому динамическому диапазону и более широкому цветовому диапазону. Вместе с тем, более высокое качество видео характеристик часто называют Ultra HD. Смотри стандарт ITU-R рекомендации BT.2020, доступные из http://www.itu.int/dms_pubrec/itu-r/rec/bt/R-REC-BT.2020-0-201208-I!!PDF-E.pdf. Между тем, новый кодек был разработан совместными усилиями ITU-T and MPEG и получил название HEVC (также называемый ITU-T H.265 или MPEG-H часть 2), который обычно считают примерно вдвое эффективнее AVC.

Как было сказано выше, на рынке появляются устройства отображения с более высоким уровнем яркости и/или более широким цветовым диапазоном. Нестандартизированные уровни яркости могут лежать от, скажем, 200 нт до 1000 нт и выше. Существующий Blu-ray контент стандартизован для более низких яркостей и, чтобы использовать более высокие яркости, HDR дисплеи могут применять некоторый алгоритм расширения яркости контента. Результат может быть не идеальным с эстетической точки зрения. Один из способов учесть творческий замысел при расширении к большей яркости – это включить вместе с контентом информацию, указывающую проигрывателю (или дисплею) как выполнить это расширение. Это расширение может изменяться во время воспроизведения (например, при каждой смене сцены) или может быть даже пространственно адаптировано. Также расширение может быть различным для видео и наложенной графики (например, субтитры и меню). Примеры того, как эта информация может выглядеть, описаны в патентной заявке WO2013/046095, которая описывает систему для преобразования динамического диапазона изображения. Преобразование динамического диапазона, т.е. план обработки преобразования, описано для преобразования закодированного видео между LDR видео и HDR видео для целевого HDR дисплея. Информация о целевом дисплее может быть включена в выходной сигнал изображения. Также другой документ WO2012/147022 описывает преобразование между HDR и LDR видео, это преобразование может быть определено данными заранее определенного алгоритма преобразования. Также приводятся примеры того, как использовать эту информацию, чтобы оптимизировать обработку видео или графики, или и того и другого.

Из сказанного выше следует, что генерация HDR видео и преобразование между HDR и LDR видео в соответствии с метаданными обработки видео, представляющими собой преобразование между HDR видео и LDR видео, как таковое, известно. Однако, значительной проблемой для создателей контента является то, что многие пользователи до сих пор имеют устаревшее оборудование, которое не может поддерживать расширенную яркость и/или цветовой диапазон, предоставляемые HDR материалом.

WO2012/021705 раскрывает системы и способы доставки контента, как минимум, в двух версиях. Сигнал передачи содержит первую версию контента, разностные данные, представляющие собой разность между первой версией контента и второй версией контента, и метаданные, полученные из функций преобразования, которые соотносят первую и вторую версию с главной версией.

EP 1708485 раскрывает формат передачи для видео данных между устройством отображения (ТВ-приемник) и устройством обработки (проигрыватель оптических дисков). Устройство отображения обеспечивает спецификацию приема (EDID сигнал), которая определяет сигналы, которые могут быть отображены. Устройство обработки генерирует соответствующую версию (SD или HD) контента.

[US 2012/0314773 описывает сигнал c визуальным динамическим диапазоном (VDR) и сигнал cо стандартным динамическим диапазоном (SDR). Первый (например, MPEG-2) кодер кодирует сигнал базового уровня (BL). Второй кодер кодирует сигнал расширенного уровня (EL). EL-сигнал представляет собой информацию, с которой VDR сигнал может быть реконструирован, например, используя BL и EL сигналы. Первый кодер кодирует SDR сигнал с коэффициентами обратного дискретного косинусного преобразования (IDCT) с фиксированной точностью, которые представляют собой аппроксимацию с фиксированной точкой для коэффициентов преобразования, которые могут иметь произвольные точности. BL-сигнал кодируется в потоке, который соответствует стандарту. EL-сигнал кодируется в потоке, который соответствует дополнительному стандарту. BL и EL сигналы объединяются; например, мультиплексируются и передаются вместе. Метаданные также включены в мультиплекс и используются в приемнике устройствами деквантования и предсказания.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Задачей данного изобретения является обеспечение системы распределения видео для передачи видео на устройства, поддерживающие расширенный диапазон видео, и на стандартные видеоустройства.

Для этой цели, в соответствии с первым аспектом изобретения, обеспечивается способ для передачи форматированного видеосигнала согласно стандартизированному формату передачи, причем стандартизированный формат передачи определяет информацию потока, имеющую записи, указывающие выбираемые элементарные потоки и элементарные потоки, имеющие общую структуру в соответствии со стандартизированным форматом передачи, и представляющие собой аудиовизуальный контент, подлежащий воспроизведении в выбранной комбинации элементарных потоков, причем соответствующий элементарный поток представляет собой одно из видео, аудио или графического контентов;

форматированный видеосигнал представляет собой расширенное видео, имеющее расширенный диапазон яркости и/или цвета по отношению к стандартному видео, имеющим стандартный диапазон яркости и/или цвета, причем стандартный диапазон определен в стандартизированном формате;

причем упомянутый способ содержит этапы:

- обработку входного видео, чтобы обеспечить метаданные обработки видео, представляющие собой преобразование между стандартным видео и расширенным видео, и генерацию первичного элементарного потока видео, представляющего собой стандартное видео, или

- обработку входного видео, чтобы обеспечить метаданные обработки видеоинформации, представляющие собой преобразование между расширенным видео и стандартным видео, и генерацию первичного элементарного потока видео, представляющего собой расширенное видео;

- генерацию элементарного потока обработки видео, имеющего общую структуру, но не содержащий аудиовизуальный контент, причем упомянутый элементарный поток обработки видео содержит метаданные обработки видеоинформации для преобразования при воспроизведении выбранной комбинации,

- генерирование информации расширенного потока, включающей в себя, по меньшей мере, запись, указывающую первичный элементарный поток видео и запись, указывающую элементарный поток обработки видео, и

- генерирование форматированного видеосигнала, содержащего первичный элементарный поток видео, упомянутый элементарный поток обработки видео и информацию расширенного потока, причем метаданные обработки видео в элементарном потоке обработки видео содержат информацию расширенного диапазона, содержащую множество различных дескрипторов процесса, при этом соответствующий дескриптор процесса определяет преобразование для соответствующего типа данных, причем типы данных содержат видео, и по меньшей мере, графику или субтитры.

Согласно дополнительному аспекту изобретения обеспечивается устройство обработки видео для предоставления форматированного видеосигнала для передачи в соответствии со стандартизированным форматом передачи, причем упомянутый стандартизированный формат передачи определяет информацию потока, имеющую записи, указывающие выбираемые элементарные потоки, и элементарные потоки, имеющие общую структуру в соответствии со стандартизированным форматом передачи, и представляет собой аудиовизуальный контент, подлежащий воспроизведению посредством выбранной комбинации элементарных потоков, соответствующий элементарный поток представляет одно из видео, аудио или графического контентов;

форматированный видеосигнал представляет собой расширенное видео, имеющее расширенный диапазон яркости и/или цвета по отношению к стандартному видео контенту, имеющему стандартный диапазон, причем стандартный диапазон определен в стандартизированном формате передачи;

упомянутое устройство обработки содержит

- блок обработки для обработки входного видео, и

- блок форматирования для генерации форматированного видеосигнала;

причем упомянутый блок обработки видео и блок форматирования выполнены с возможностью

- обработки входного видео для обеспечения метаданных обработки видео, представляющих собой преобразование между стандартным видео и расширенным видео и генерирования первичного элементарного потока видео, представляющего собой стандартное видео, или

- обработки входного видео для обеспечения метаданных обработки видео, представляющих собой преобразование между расширенным видео и стандартным видео и генерирования первичного элементарного потока видео, представляющего собой расширенное видео;

и упомянутый блок форматирования дополнительно выполнен с возможностью

- генерирования элементарного потока обработки видео, имеющего общую структуру, но не содержащего аудиовизуальный контент, причем упомянутый элементарный поток обработки видео содержит метаданные обработки видео для преобразования при воспроизведении выбранной комбинации,

- генерирования информации расширенного потока, содержащей, по меньшей мере, запись, указывающую первичный элементарный поток видео и запись, указывающую элементарный поток обработки видео, и

- генерирования форматированного видеосигнала, содержащего первичный элементарный поток видео, элементарный поток обработки видео и информацию расширенного потока, причем метаданные обработки видео в элементарном потоке обработки видео содержат информацию расширенного диапазона, содержащую множество различных дескрипторов процесса, при этом соответствующий дескриптор процесса определяет преобразование для соответствующего типа данных, причем типы данных содержат видео и по меньшей мере графику или субтитры.

Согласно дополнительному аспекту изобретения проигрыватель обеспечивается для обработки форматированного видеосигнала в соответствии со стандартизированным форматом передачи, причем стандартизированный формат передачи определяет информацию потока, имеющую записи, указывающие выбираемые элементарные потоки, и элементарные потоки, имеющие общую структуру в соответствии со стандартизированным форматом передачи и представляющие собой аудиовизуальный контент, подлежащий воспроизведении в выбранной комбинации элементарных потоков, причем соответствующий элементарный поток представляет одно из видео, аудио или графического контентов;

упомянутый форматированный видеосигнал представляет собой расширенное видео, имеющие расширенный диапазон яркости и/или цвета по отношению к стандартному видеоконтенту, имеющему стандартный диапазон, упомянутый стандартный диапазон определен в стандартизированном формате передачи;

упомянутый форматированный видеосигнал содержит

- элементарный поток обработки видео, имеющий общую структуру, но не содержащий аудиовизуальный контент, упомянутый элементарный поток обработки видео содержит метаданные обработки видео для преобразования при воспроизведении выбранной комбинации,

- первичный элементарный поток видео данных, представляющий собой стандартное видео и метаданные обработки видео, представляющие собой преобразование между стандартным видео и расширенным видео, или

- первичный элементарный поток видео данных, представляющий собой расширенное видео и метаданные обработки видео, представляющие собой преобразование между стандартным видео и расширенным видео;

и упомянутый форматированный видеосигнал также дополнительно содержит

- информацию расширенного потока, содержащую, по меньшей мере, запись, указывающую первичный элементарный поток видео и запись, указывающую элементарный поток обработки видео, и причем метаданные обработки видео в элементарном потоке обработки видео содержат информацию расширенного диапазона, содержащую множество различных дескрипторов процесса, при этом соответствующий дескриптор процесса определяет преобразование для соответствующего типа данных, причем типы данных содержат видео и по меньшей мере графику или субтитры,

упомянутый проигрыватель, содержащий

- входной блок для приема форматированного видеосигнала и извлечения информации расширенного потока и метаданных обработки видео,

- блок обработки для

- обработки информации расширенного потока, и, в зависимости от информации расширенного потока, записи, указывающей элементарный поток обработки видео,

- преобразования первичного видео из первичного элементарного потока видео в целевое видео, адаптированное к возможностям воспроизведении яркости и/или цвета целевого устройства отображения с помощью обработки первичных видео в соответствии с метаданными обработки видео, в то же время используя соответствующие дескрипторы процесса для преобразования соответствующих типов данных, причем типы данных содержат видео и по меньшей мере графику или субтитры.

Согласно дополнительному аспекту изобретения обеспечивается форматированный видеосигнал для передачи в соответствии со стандартизированным форматом передачи, причем стандартизированный формат передачи определяет информацию потока, имеющую записи, указывающие выбираемые элементарные потоки, и элементарные потоки, имеющие общую структуру в соответствии со стандартизированным форматом передачи, и представляющие собой аудиовизуальный контент, подлежащий воспроизведении в выбранной комбинации элементарных потоков, причем соответствующий элементарный поток представляет одно из видео, аудио или графического контентов;

упомянутый форматированный видеосигнал представляет собой расширенное видео, имеющие расширенный диапазон для яркости и/или цвета по отношению к стандартному видеоконтенту, имеющему стандартный диапазон, упомянутый стандартный диапазон определен в стандартизированном формате передачи;

упомянутый форматированный видеосигнал содержит

- элементарный поток обработки видео, имеющий общую структуру, но не содержащий аудиовизуальный контент, упомянутый элементарный поток обработки видео содержит метаданные обработки видео для преобразования при воспроизведении выбранной комбинации,

- первичный элементарный поток видео, представляющий собой стандартные видео и метаданные обработки видео, представляющие собой преобразование между стандартным видео и расширенным видео, или

- первичный элементарный поток видео данных, представляющий собой расширенное видео и метаданные обработки видео, представляющие собой преобразование между расширенным видео и стандартным видео;

и упомянутый форматированный видеосигнал также дополнительно содержит

- информацию расширенного потока, содержащую, по меньшей мере, запись, указывающую первичный элементарный поток видео и запись, указывающую элементарный поток обработки видео, причем метаданные обработки видео в элементарном потоке обработки видео содержат информацию расширенного диапазона, содержащую множество различных дескрипторов процесса, при этом соответствующий дескриптор процесса определяет преобразование для соответствующего типа данных, причем типы данных содержат видео, и по меньшей мере, графику или субтитры.

Данные меры имеют тот эффект, что форматированный видеосигнал соответствует стандартизированному формату передачи, такому как MPEG видео, и может передаваться через существующие каналы распространения, такие как оптические диски, широковещание или/и интернет.

Стандартизированный формат передачи определяет информацию потока, которая свидетельствует о содержимом форматированного видеосигнала. Информация потока имеет записи, указывающие выбираемые элементарные потоки, например, информацию о списке воспроизведения на Blue-ray диске, или отдельный файл для загрузки, или информацию программы, включенную в мультиплексированный поток для широковещания.

Стандартизированный формат дополнительно определяет элементарные потоки, представляющие собой аудиовизуальный контент, подлежащий воспроизведении в выбранной комбинации элементарных потоков. Как таковые, элементарные потоки известны, например, из MPEG и Blu-ray дисков. Элементарный поток содержит только один тип данных, например, аудио, видео или графические данные, в то время как каждый элементарный поток имеет общую структуру в соответствии со стандартизированным форматом передачи, например, структура определяет пакет данных и заголовок, имеющий стандартизированный контент. Данные в элементарном потоке зависят от кодека и типа данных, переносимых в потоке. Элементарный поток может быть пакетированным и может включать в себя или иметь связанную с ним временную информацию, чтобы обеспечить взаимную синхронизацию множества элементарных потоков, например, данные пакетированы и заголовки пакетов содержат метки времени, связанные с началом кадра в полезных данных пакета. Элементарный поток обработки видео также имеет упомянутую общую структуру и служит для преобразования при воспроизведении выбранной комбинации, т.е. используется для определения обработки преобразования при воспроизведении с другими элементарными потоками.

Способ или устройство обработки видео, обеспечивают форматированный сигнал, упомянутый форматированный сигнал как переданный, и видеопроигрыватель, обрабатывающий форматированный сигнал для обеспечения целевого видео, вместе составляют систему распределения видео для передачи стандартного диапазона и расширенного диапазона видео. Информация расширенного потока сообщает, посредством упомянутой записи ,принимающей стороне, присутствует ли элементарный поток обработки видео. Например, запись может быть битовым флагом, указывающим упомянутое присутствие, списком потоков, содержащим идентификатор потока, который указывает элементарный поток обработки видео, форматированным полем, содержащим число доступных элементарных потоков обработки видео и прочее. Обеспечивая, в форматированном сигнале, элементарный поток обработки видео и информацию расширенного потока, видеопроигрыватель способен выборочно визуализировать стандартную версию, например LDR, или расширенную версию, например HDR, первичного видео в первичном элементарном потоке с помощью либо непосредственно первичного видео или преобразования упомянутого первичного видео с помощью метаданных обработки видео. На стороне воспроизведения, первичные видео из первичного потока видео конвертируются с помощью применения метаданных обработки видео в целевое видео, адаптированное к возможностям воспроизведения яркости и/или цвета целевого устройства отображения, которые могут быть известны, заданы или определены с помощью установления связи с дисплеем. Метаданные обработки видео в элементарном потоке обработки видео могут содержать поле информации расширенного диапазона, содержащей множество различных дескрипторов процесса, при этом соответствующий дескриптор процесса определяет преобразование для соответствующего типа данных, при этом типы данных содержат видео и по меньшей мере графику или субтитры. Предпочтительно, чтобы отдельные дескрипторы процесса предоставлялись для определения обработки соответствующих типов данных. На стороне отображения обработка может вовлекать использование соответствующих дескрипторов процесса для преобразования соответствующих типов данных, причем типы данных содержат видео и по меньшей мере графику или субтитры. Пользователю может быть разрешено установить или выбрать требуемый уровень преобразования.

Форматированный видеосигнал, представляющий собой расширенное видео, может, например, быть передан через носитель данных, например оптический диск, сигнал вещания или Интернет, на видеопроигрыватель, например, проигрыватель оптических дисков или ТВ, или телевизионную приставку. Расширенный форматированный сигнал может быть структурирован в соответствии с соответствующим известным форматом передачи таким образом, чтобы быть обратно совместимым. Кроме того, расширенный форматированный сигнал может содержать компоненты, подобные известным компонентам сигнала. Например, на оптическом диске Blu-ray обычный список воспроизведения предоставляется в файле на диске, и информация расширенного потока может быть обеспечена подобным образом. Таким образом, в этом случае информация расширенного потока содержится в файле, отдельном от транспортного потока(потоков), содержащего элементарные потоки. Однако, для широковещания существует другой тип информации потока, чтобы обозначить, какой элементарный поток содержит какую информацию. Поток информации для широковещательных форматов обычно называется программно-зависимой информацией (PSI), как дополнительно поясняется в http://en.wikipedia.org/wiki/Program-specific_information. В настоящем документе информация расширенного потока форматируется в соответствии с требованиями используемого формата передачи, как например, тип расширенного списка воспроизведения оптического диска и расширенная программно-зависимая информация. На практике, расширенная PSI включена в транспортный поток, в то время как расширенный список воспроизведения BD – это отдельный файл.

Следует отметить, что любое преобразование между первым диапазоном яркости или цвета, присутствующем в первичном видео, в любой второй диапазон яркости и цвета, который требуется для отображения, может быть выполнено на основе соответствующих метаданных обработки видео. Метаданные обработки видео могут содержать индикатор для указания типа преобразования. Например, метаданные обработки видео могут быть для преобразования первичного LDR видео в HDR видео, когда первичный поток содержит LDR видео, или для преобразования первичного HDR видео в LDR видео, когда первичный поток содержит HDR видео. Способ может содержать применение, для упомянутого преобразования, преобразования, которое является обратимым, посредством обратного отображения к видео в первичном элементарном потоке видео, и метаданные обработки видео в элементарном потоке обработки видео могут включать в себя информацию об отображении. На принимающей стороне блок обработки может быть выполнен с возможностью описанного преобразования с помощью отображения в соответствии с метаданными обработки видео. Кроме того, различные уровни преобразования могут быть внедрены в метаданные обработки видео, например, для дисплеев, имеющих средний, высокий или очень высокий уровни яркости, или для различных цветовых гамм. Следовательно, первичное видео может быть либо LDR видео, подлежащим преобразованию с повышением уровня, либо некоторым типом HDR видео, которое может быть преобразовано с понижением уровня в LDR, основываясь на метаданных обработки видео, содержащих соответствующую коррекционную схему адаптации к диапазону яркости. Первичное видео может даже содержать расширенное видео, удовлетворяющее HDR дисплеям среднего уровня, в то время как метаданные обработки видео обеспечивают инструкцию как для преобразования с понижением в LDR и, альтернативно, последующего преобразования с повышением для HDR дисплеев более высокого уровня. Наконец, следует отметить, что множество элементарных потоков может быть включено в форматированный сигнал, чтобы позволить стороне отображения выбрать подходящее преобразование первичного видео.

Данное изобретение также основано на следующем понимании. Метаданные обработки видео, предназначенные для передачи, представляют собой схему преобразования между расширенным видео и стандартным видео или наоборот, следовательно, это не аудиовизуальные данные, которые могут быть воспроизведены как таковые. Напротив, метаданные обработки видео включают в себя порядок обработки, подлежащий применению к данным видео контента, предоставляемым в другом элементарном потоке. Следует отметить, что в соответствии со стандартизированным форматом передачи, любой элементарный поток обычно переносит визуальный, аудио или графический контент, причем этот контент может быть воспроизведен в выбранной комбинации, основанной на информации потока (например, комбинации первичного видео с аудиодорожкой на другом языке или выбранным всплывающим графическим меню, основанном на списке воспроизведения BD). Авторы обнаружили, что новый тип элементарного потока может быть альтернативно использован для переноса метаданных обработки видео, поэтому элементарный поток видео не содержит аудиовизуальный контент, как традиционно определено в стандартизированном формате передачи, но, вместо этого, может содержать инструкцию по обработке.

Элементарный поток обработки видео может быть мультиплексирован с дополнительными элементарными потоками, чтобы образовать единственный универсальный сигнал для передачи на одном носителе. Благодаря сигналу, использующему дополнительный элементарный поток для передачи метаданных обработки, сигнал все еще соответствует требованиям передачи, определенным для стандартизированного формата передачи, несмотря на то, что был добавлен новый тип элементарного потока. Благодаря информации расширенного потока, например, расширенной программно-зависимой информации (PSI), новый видеопроигрыватель может выбирать элементарный поток обработки видео, чтобы получить метаданные обработки видео, в то время как в классический, устаревший проигрыватель может увидеть дополнительный элементарный поток, но не позволить выбор или воспроизведение этого потока, и, следовательно, как это предусмотрено, будет воспроизводить только первичное видео. Следует отметить, что в случаях, описанных в этом тексте, только расширенные и/или стандартные элементарные потоки видео могут быть упомянуты, но другие элементарные потоки всегда могут быть также включены в форматированный сигнал вместе с потоком обработки видео, например аудио элементарный поток, и/или текстовый или поток растровой графики.

Предпочтительно, чтобы элементарный поток обработки видео мог быть также распределен отдельно, например, через другой канал, а также с использованием стандартизированного формата передачи в этом канале. Это связано с тем, что такой формат обычно определяет автономный аудиовизуальный форматированный сигнал, основанный на, по меньшей мере, одном элементарном потоке.

Кроме того, необходимо отметить, что информация расширенного потока имеет запись, указывающую элементарный поток обработки видео. Эта запись обеспечивает указание доступности элементарного потока обработки видео, например, присутствие элементарного потока в форматированном сигнале. Например, оптический диск может быть снабжен первичным элементарным потоком видео, списком воспроизведения, содержащим информацию расширенного потока и элементарный поток обработки видео. Эта запись в этом случае указывает один доступный элементарный поток обработки видео. Альтернативно, оптический диск может содержать первичный элементарный поток видео, но не содержать элементарный поток обработки видео, упомянутая запись в информации расширенного потока в этом случае показывает, что присутствуют нуль элементарных потоков обработки видео. Впоследствии, часть форматированного сигнала может быть передана отдельно, например, с помощью загрузки с сервера, упомянутая часть содержит обновленную информацию расширенного потока и, как минимум, один элементарный поток обработки видео. В обновленной информации расширенного потока обозначается присутствие элементарного потока обработки видео. Предпочтительно обеспечивается гибкая система распределения.

В некоторых случаях, метаданные обработки видео в элементарном потоке обработки видео содержат поле, указывающее число сегментов обработки видео в элементарном потоке обработки видео. Предпочтительно, чтобы это число дополнительно определяло структуру метаданных обработки видео. Метаданные обработки видео в элементарном потоке обработки видео могут содержать сегмент обработки видео, содержащий, по меньшей мере, одно представление метки времени и дескриптор сегмента. Предпочтительно, чтобы представление метки времени обеспечивало синхронизацию метаданных обработки видео, которое дополнительно определено в дескрипторе сегмента.

В некоторых случаях, форматированный видеосигнал содержит транспортный поток, включающий в себя первичный элементарный поток видео и элементарный поток обработки видео. На носителе записи, содержащем трек из оптически считываемых меток, метки могут представлять собой информацию расширенного потока и транспортный поток, включая элементарный поток обработки видео. В видеопроигрывателе входной блок может быть выполнен с возможностью приема транспортного потока и извлечения из транспортного потока первичного элементарного потока и элементарного потока обработки видео. Это влечет то, что элементарный поток обработки видео мультиплексируется в том же транспортном потоке, что и первичный элементарный поток видео. Кроме того, в видеопроигрывателе входной блок может содержать блок оптического диска для чтения оптических носителей записей и извлечения транспортного потока. Видеопроигрыватель теперь позволяет воспроизводить, основываясь на данных элементарного потока, извлеченных из одиночного мультиплексированного транспортного потока, и стандартное видео, и расширенное видео, что соответственно необходимо для подключенного дисплея.

В некоторых случаях форматированный видеосигнал - это широковещательный сигнал, и транспортный поток содержит информацию расширенного потока в виде программно-зависимой информации. Предпочтительно, чтобы вся информация расширенного диапазона содержалась в транспортном потоке, с тем, чтобы позволить видеопроигрывателю, например, в виде ТВ-приставки или телевизора, извлекать и PSI, и элементарный поток обработки видео из одиночного транспортного потока.

В некоторых случаях, форматированный видеосигнал включает в себя первый транспортный поток, содержащий первичный элементарный поток видео, и второй транспортный поток, включающий в себя элементарный поток обработки видео. На носителе информации, содержащем трек оптически читаемых меток, метки могут представлять собой информацию расширенного потока и первый транспортный поток, содержащий первичный элементарный поток видео и второй транспортный поток, включающий в себя элементарный поток обработки видео. В видеопроигрывателе входной блок может быть скомпонован для приема первого и второго транспортного потока и извлечения, из первого транспортного потока, первичного элементарного потока видео и, из второго