Способ и система для кодирования сигнала видео данных, кодированный сигнал видео данных, способ и система для декодирования сигнала видео данных

Способ и система для кодирования сигнала видео данных, кодированный сигнал видео данных, способ и система для декодирования сигнала видео данных

Иллюстрации

Показать все

Реферат

Область техники

Изобретение относится к области видео кодирования и декодирования. Оно представляет способ и систему для кодирования сигнала видео данных. Изобретение также относится к кодированному сигналу видео данных. Изобретение также относится к способу декодирования и системе для декодирования сигнала видео данных.

Предшествующий уровень техники

В последнее время проявляется большой интерес к обеспечению расширенных видео возможностей, например 3D изображения на 3D устройствах отображения. Считается, что 3D формирование изображения будет, после цветного изображения, следующим большим новшеством в формировании изображения. В настоящее время ожидается появление авто-стереоскопических дисплеев для потребительского рынка.

В основном, трехмерное впечатление может быть создано при использовании стереопар, то есть двух немного различающихся изображений, направленных на два глаза наблюдателя.

Независимо от того, какой тип дисплея используется, 3D информация изображения должна быть предоставлена на устройство отображения. Это обычно делается в форме сигнала видео данных, включающего в себя цифровые данные, часто включающего в себя данные для левого и правого представления или для некоторого количества представлений, когда генерируется множество представлений.

Другой пример увеличенных видео возможностей обеспечивает сигнал видео данных, способный обеспечивать высокочастотное видео, например видео с удвоенной частотой отображения стандартного кадра.

Еще один пример обеспечивает сигнал видео данных повышенного разрешения.

Из-за массовых количеств данных, присущих цифровому формированию изображения, обработка и/или передача цифровых сигналов изображения создают существенные проблемы. Во многих обстоятельствах доступная производительность обработки и/или емкость передачи недостаточна, чтобы обрабатывать и/или передавать высококачественные сигналы видео данных. Более конкретно, каждый кадр цифрового изображения является неподвижным изображением, сформированным из множества пикселей. Эта проблема существует для всего видео, но увеличивается для 3D видео изображения, и то же самое увеличение проблемы происходит, когда должен генерироваться сигнал видео данных удвоенной частоты или должен генерироваться сигнал видео данных повышенного разрешения.

Количества необработанной (исходной) цифровой информации обычно огромны, требуя большой производительности обработки и/или больших скоростей передачи, которые не всегда доступны. Различные способы сжатия были предложены, чтобы уменьшить количество данных, которые должны передаваться, включая, например, MPEG-2, MPEG-4 и H.263.

Известные способы сжатия были первоначально установлены для стандартных 2D изображений.

Если, например, 3D информация генерирована на стороне получения (сбора), эта информация должна быть передана, и чтобы иметь низкие служебные издержки с точки зрения скорости передачи битов, требуется сжатие 3D информации. Предпочтительно сжатие (или кодирование) 3D информации выполняется таким образом, что сжатие 3D информации может быть осуществлено с использованием существующих стандартов сжатия с только относительно малыми настройками. Когда сигнал видео данных расширен, в том смысле, что он содержит информацию о сигнале удвоенной частоты или увеличенном разрешении, применимо то же самое.

Кроме того, улучшенный видеосигнал предпочтительно является обратно совместимым, то есть обычное стандартное видео устройство предпочтительно должно быть в состоянии отображать "хорошее" видео изображение из усовершенствованного видеосигнала. Например, 3D стерео сигнал является предпочтительно 2D обратно совместимым, то есть обычное 2D устройство предпочтительно должно быть в состоянии отобразить "хорошее" 2D изображение из 3D сигнала. Высокочастотный сигнал видео данных 100 Гц должен иметь возможность отображаться на стандартном видео устройстве на 50 Гц, даже если устройство само по себе не может отображать сигналы 100 Гц. Аналогично сигнал видео данных повышенного разрешения (HDTV, телевидение высокой четкости) должен иметь возможность отображения на стандартном телевизионном устройстве.

Просто сжатие стерео изображения как двух отдельных изображений приводит к большому увеличению скорости передачи битов. Кодирование отдельно левого (L) и правого (R) представлений стереопары практически приводит к удвоению битовой скорости по сравнению с моносистемой (одно единственное представление), если желательно гарантировать то же самое качество. Таким образом, такой способ, хотя и гарантирует, что 2D устройство может отображать изображение, требует удвоения битовой скорости.

Количество данных увеличивается еще больше, когда используется система с множеством представлений, где генерируется более чем два представления.

То же самое применимо, когда сигнал видео данных расширяется включением информации относительно сигналов видео данных повышенной частоты. Удвоение частоты будет удваивать данные. Увеличение разрешения создаст ту же самую проблему.

Лучший способ, в отношении эффективности кодирования, должен совместно сжимать два (левое и правое) стерео или больше представлений или совместно сжимать сигналы видео данных высокой частоты и низкой частоты или совместно сжимать сигналы видео данных низкого разрешения и высокого разрешения. Это решение, для левого и правого кадра, обычно приводит, когда совместно сжимаются два представления, к использованию на 50% большей ширины полосы, чем в случае одного представления (по сравнению с ~ на 100% большей шириной полосы в случае отдельного кодирования представления). Это может быть достигнуто, используя обычные 2D кодеры со сжатием, чередуя левые и правые кадры из каждого стерео представления, чтобы формировать "сфабрикованную" 2D последовательность. На стороне извлечения 2D кадры обращенно перемежаются и каждое представление извлекается и отображается. Например, 2 представления (L и R) могут перемежаться как изображения кадра перед входом в видео кодер.

Однако, хотя использование стандартных способов, например, для стерео видео, может быть более (1.5*усиление) эффективно сжато совместно, чем сжатие отдельных представлений, и получающийся битовый поток может быть отображен на подходящем 3D устройстве, изобретателями было установлено, что результатом является один единственный битовый поток, который не может быть отображен на нормальной 2D системе с хорошими результатами. Когда единственный перемеженный битовый поток поступает на обычный 2D приемник (с 2D декодером и 2D экраном), отображенная видео последовательность выглядела бы искаженной, отображая видимые недостатки, как это следует из перемежения стерео последовательности. Этот способ, таким образом, не обладает обратной совместимостью. То же самое справедливо для сигналов с множеством представлений или других улучшенных сигналов видео данных, которые совместно сжимаются.

Таким образом, целью изобретения является создание способа для кодирования расширенных данных изображения на стороне передачи, который обеспечивает обратную совместимость, при поддержании количества данных в кодированных данных в границах. Предпочтительно эффективность кодирования является высокой. Кроме того, предпочтительно, способ совместим с существующими стандартами кодирования.

Другой целью является создание улучшенного устройства кодирования для кодирования сигнала видео данных, а также сигнала видео данных.

Сущность изобретения

С этой целью способ кодирования сигнала видео данных содержит, по меньшей мере, первичный и, по меньшей мере, вторичный сигнал видео данных, причем первичный и вторичный сигнал видео данных совместно сжимаются, первичный сигнал видео данных сжимается независимым образом, а вторичный сигнал видео данных сжимается с использованием данных из первичного сигнала видео данных, совместно сжатый сигнал видео данных разделяется на два отдельных битовых потока, причем битовые потоки содержат, по меньшей мере, первичный битовый поток, содержащий данные для первичного сигнала видео данных, и, по меньшей мере, вторичный битовый поток, содержащий данные для вторичного сигнала видео данных, затем первичный и вторичный битовые потоки мультиплексируются в мультиплексированный сигнал, и первичному и вторичному битовым потокам предоставляются отдельные коды.

Способ, соответствующий изобретению, комбинирует преимущества предшествующих способов, избегая их соответствующих недостатков. Он содержит сжатие совместно двух или более сигналов видео данных, с последующим разделением одного сжатого битового потока на 2 или более (первичный и вторичный) отдельных битовых потоков: "первичный", который является независимым и обрабатываемым обычными видео декодерами, и один или более "вторичных" наборов кадров (так называемые вспомогательные потоки видео представления), которые являются зависимыми от первичного битового потока. Отдельные битовые потоки являются мультиплексированными, причем первичные и вторичные битовые потоки являются отдельными битовыми потоками, снабженными отдельными кодами и переданными. На первый взгляд, может показаться излишним и бесполезным затрачивать усилия сначала на совместное сжатие сигналов только для того, чтобы разделить их снова после сжатия, и предоставление им отдельных кодов. Во всех известных способах сжатому сигналу видео данных дается единственный код в мультиплексоре. На первый взгляд, представляется, что изобретение добавляет ненужную сложность в кодирование сигнала видео данных.

Изобретателями, однако, было найдено, что разделение и отдельная компоновка (то есть предоставление отдельных кодов первичному и вторичному битовому потоку в мультиплексоре) первичного и вторичного битового потока в мультиплексированном сигнале имеет результатом то, что, с одной стороны, стандартный демультиплексор в обычной видео системе будет распознавать первичный битовый поток по его коду и посылать его в декодер, так что стандартный видео декодер получает только первичный поток, вторичный поток не проходит демультиплексор, и стандартный видео декодер, таким образом, в состоянии правильно обработать его как стандартный сигнал видео данных, например, стандартный 2D сигнал видео данных и/или стандартный сигнал видео данных 50 Гц или сигнал базового разрешения, в то время как, с другой стороны, специализированная система, такая как 3D система или система отображения на 100 Гц или видео декодер с высокой разрешающей способностью может полностью реверсировать процесс кодирования и воссоздать исходный расширенный битовый поток, прежде чем послать его, например, в стерео декодер или декодер на 100 Гц или декодер HTV.

Многие предположительно обратно совместимые системы и способы неотъемлемо требуют, чтобы некоторая адаптация была применена к обычным видео системам для того, чтобы должным образом проанализировать поступающий битовый поток, и без такой адаптации надлежащее декодирование является затруднительным или невозможным. Изобретателями было найдено, что суть проблемы в том, что обычный декодер принимает расширенный сигнал видео данных, для которого он не предусмотрен. Даже с адаптацией к декодеру проблемы могут возникать просто из-за того, что декодер принимает расширенный сигнал (и, таким образом, больше битов, чем обычно) и может оказаться не в состоянии справиться с расширенным сигналом просто потому, что он не может осуществлять обработку с увеличенной битовой скоростью. Любая адаптация к стандартному декодеру должна была бы также быть специфической для конкретного расширения (3D, 100 Гц, высокое разрешение) сигнала видео данных, которая могла бы не действовать для других расширений и даже ухудшать работу, когда принимается нерасширенный сигнал видео данных.

В изобретении первичный и вторичный битовые потоки являются отдельными битовыми потоками, причем первичный битовый поток является независимым битовым потоком. Это позволяет предоставить первичному битовому потоку код, соответствующий стандартному сигналу видео данных, в то же время предоставляя вторичному битовому потоку или вторичным битовым потокам коды, не распознаваемые стандартными демультиплексорами как стандартный сигнал видео данных. В приемном конце стандартные устройства демультиплексирования будут распознавать первичный битовый поток как стандартный сигнал видео данных и передавать его на видео декодер. Стандартные устройства демультиплексирования будут отклонять вторичные битовые потоки, не распознавая их как стандартные сигналы видео данных. Сам видео декодер будет только принимать "стандартный сигнал видео данных". Количество битов, принимаемых самим видео декодером, таким образом, ограничено первичным двоичным потоком, который является независимым, имеет форму стандартного сигнала видео данных и может интерпретироваться стандартными видео устройствами и имеет битовую скорость, с которой могут справляться стандартные видео устройства. Видео декодер не перегружается битами, которые он может обрабатывать.

Так как первичный битовый поток является независимым, стандартный видео декодер может декодировать его в стандартный декодированный сигнал видео данных.

Изобретение может быть реализовано различными способами. В вариантах осуществления, особенно полезных для 2D-3D или для использования нормальной высокой частоты, видео кадры перемежаются в кодере, или кодеру предоставляются перемеженные сигналы.

В таких вариантах осуществления способ кодирования характеризуется тем, что сигнал видео данных кодируется, кодированный расширенный сигнал содержит первый и, по меньшей мере, второй набор кадров, причем кадры первого и второго набора перемежаются, чтобы сформировать перемеженную видео последовательность, или принимается перемеженный сигнал видео данных, содержащий первый и второй набор кадров, причем перемеженная видео последовательность сжимается в сжатый сигнал видео данных, причем кадры первого набора кодируются и сжимаются без использования кадров второго набора, а кадры второго набора кодируются и сжимаются с использованием кадров первого набора, и затем сжатый сигнал видео данных разделяется на первичный и, по меньшей мере, вторичный битовый поток, причем каждый битовый поток содержит кадры, причем первичный битовый поток содержит сжатые кадры для первого набора, и вторичный битовый поток для второго набора, первичный и вторичный битовые потоки формируют отдельные битовые потоки, затем первичный и вторичный битовые потоки мультиплексируются в мультиплексированный сигнал, причем первичному и вторичному битовому потоку предоставляются отдельные коды.

В этом варианте осуществления, как в изобретении в его самом широком смысле, единый сжатый битовый поток разделяется на 2 или более (первичный и вторичный) отдельные битовые потоки: "первичный", который полностью содержит только один из наборов кадров (и, таким образом, является независимым) и может обрабатываться обычными видео декодерами, и один или более "вторичных" наборов кадров (так называемые вспомогательные потоки видео представления), которые зависят от первичного набора кадров. Кадры перемежаются на системном уровне или предоставляются системе в перемеженном формате и мультиплексируются, причем первичные и вторичные битовые потоки являются отдельными битовыми потоками, которым предоставляются отдельные коды и которые передаются.

Важное требование состоит в том, что после перемежения, по меньшей мере, один набор, а именно, набор кадров первичного битового потока, сжимается как "независимый" сигнал. Это означает, что кадры, принадлежащие этому независимому набору кадров, не нуждаются ни в какой информации (например, через компенсацию движения или любую другую схему предсказания) из других вторичных битовых потоков.

Важный аспект также состоит в том, что первичный и вторичный битовые потоки формируют отдельные битовые потоки и мультиплексируются с отдельными кодами по причинам, объясненным выше.

В вариантах осуществления первичный битовый поток содержит данные для кадров одного из представлений 3D сигнала видео данных, вторичный битовый поток содержит данные для кадров другого представления 3D сигнала видео данных.

В вариантах осуществления первичный битовый поток содержит данные для кадров одного из трех из более представлений, и генерируется более одного вторичного битового потока, причем вторичные битовые потоки содержат данные для кадров одного из других представлений.

В вариантах осуществления первичный битовый поток содержит данные для низкочастотного набора кадров, в то время как вторичный битовый поток содержит данные для более высокочастотных кадров. В вариантах осуществления первичный битовый поток сжимается с более низким коэффициентом квантования, чем вторичные битовые потоки.

Когда первичный и вторичный битовый поток представляет два стерео представления, первичный битовый поток может представлять любое из двух представлений, левое или правое.

В вариантах осуществления назначение относительно того, которое представление является представлением, соответствующим первичному битовому потоку, может изменяться. Например, при смене сцены, первичное представление может изменяться с левого на правое или наоборот. Это может быть выгодным, особенно если первичное представление сжато с коэффициентом квантования, отличающимся от вторичного представления.

Изобретение также воплощено в системе кодирования для кодирования сигнала видео данных, содержащей генератор для генерации или приемник для приема, по меньшей мере, первичного и вторичного сигнала видео данных, блок сжатия для совместного сжатия первичного и вторичного сигнала видео данных, причем блок сжатия выполнен с возможностью сжатия первичного сигнала видео данных независимым образом и сжатия вторичного сигнала видео данных с использованием данных из первичного сигнала видео данных, разделитель для разделения совместно сжатого сигнала видео данных на отдельные битовые потоки, причем первичный битовый поток содержит данные для первичного сигнала видео данных, и вторичный битовый поток содержит данные для вторичного сигнала видео данных, и мультиплексор для мультиплексирования первичного и вторичного битовых потоков в мультиплексированный сигнал и для предоставления первичному и вторичному сигналам отдельных кодов.

Система кодирования в соответствии с вариантом осуществления изобретения содержит перемежитель (VI) для перемежения кадров из первого и второго представления, чтобы сформировать перемеженную видео последовательность, или система кодирования содержит приемник для приема перемеженной видео последовательности, содержащей первый и второй набор кадров, причем система кодирования содержит кодер для кодирования перемеженной видео последовательности, причем кодер содержит блок сжатия для сжатия кадров первого из представлений без использования кадров второго представления и для сжатия кадров второго представления с использованием кадров первого представления, и система содержит разделитель для разделения сжатого сигнала видео данных на первичный и вторичный битовый поток, причем каждый битовый поток содержит кадры, причем первичный битовый поток содержит сжатые кадры для первого набора, и вторичный битовый поток - для второго набора, первичный и вторичный битовый поток формируют отдельные битовые потоки, и система кодирования дополнительно содержит мультиплексор для мультиплексирования первичного и вторичного битовых потоков и для предоставления первичному и вторичному битовым потокам отдельных кодов.

Предпочтительно блок сжатия выполнен с возможностью сжатия кадров по иерархической схеме, причем более высокие уровни соответствуют кадрам первого из представлений, а более низкие или самый низкий уровень - кадрам второго представления.

В вариантах осуществления система кодирования выполнена с возможностью обеспечения первичного битового потока, содержащего данные для кадров одного из представлений 3D сигнала видео данных, вторичного битового потока, содержащего данные для кадров другого представления 3D сигнала видео данных. Эти и другие аспекты изобретения пояснены ниже более детально на примере и со ссылками на иллюстрирующие чертежи.

Краткое описание чертежей

Фиг.1 иллюстрирует пример способа кодирования для 3D видео согласно предшествующему уровню техники.

Фиг.2 иллюстрирует усовершенствованный способ с точки зрения эффективности кодирования.

Фиг.3A и 3B иллюстрируют способ кодирования и способ декодирования и кодер и декодер согласно изобретению.

Фиг. 4 иллюстрирует перемежение двух представлений, левого (L) и правого (R).

Фиг.5 иллюстрирует так называемую двухэлементную временную структуру, использующую иерархические кадры B.

Фиг.6 иллюстрирует диаграмму для разделителя битового потока.

Фиг.7 иллюстрирует пример единственного закодированного битового потока и его разделенную версию.

Фиг.8, 9 и 10 иллюстрируют способы предшествующего уровня техники и изобретение.

Фиг.11 иллюстрирует ситуацию, в которой имеется три перемеженных сигнала представления.

Фиг.12, 13, 14A и 14B иллюстрируют вариант осуществления изобретения для высокочастотного видео.

Фиг.15, 16A и 16B иллюстрируют вариант осуществления изобретения для видео с высокой разрешающей способностью.

Чертежи приведены не в масштабе. Вообще, идентичные компоненты обозначены на чертежах теми же самыми ссылочными позициями.

Детальное описание предпочтительных вариантов осуществления

Фиг.1 иллюстрирует сжатие видеоинформации, где оба представления отдельно обрабатываются и сжимаются. Левый (L) и правый (R) сигналы 1 и 2 видео данных обеспечивает каждый два по существу двумерных изображения 2D(L) и 2D(R). Оба этих сигнала кодируются и сжимаются в стандартных 2D видео кодерах 3 и 4. Два сигнала передаются, схематично обозначено как T на Фиг.1, и принимаются на стороне приемника. Приемник декодирует два сигнала, используя 2D видео декодеры 3'и 4', и обеспечивает два 2D сигнала 1' и 2'. Эти два сигнала затем готовы к объединению в 3D видео дисплее для обеспечения 3D изображения. Любые 2D устройства отображения видео могут просто работать с использованием либо левого, либо правого представления. Хотя эта схема работает, кодирование отдельно левого (L) и правого (R) представления стереопары фактически приводит к удвоению битовой скорости по сравнению с моносистемой (с единственным представлением), если желательно гарантировать то же самое качество. Таким образом, этот стандартный способ, хотя и гарантирует, что 2D устройство может отображать изображение, требует удвоения скорости передачи битов.

Фиг.2 иллюстрирует усовершенствованный способ с точки зрения эффективности кодирования. Перед кодированием кадров два представления перемежаются в перемежителе VI представлений, чтобы обеспечить объединенный сигнал видео данных L+R. Перемежение обеспечивает объединенный сигнал, напоминающий стандартный 2D сигнал. Упомянутый сигнал может быть сжат с использованием обычного 2D видео сжатия в 2D видео кодере 5. Этот сжатый сигнал может затем быть передан. На стороне приемника сжатый сигнал обращено сжимается в 2D видео декодере 6 и обращено перемежается с использованием обращенного перемежителя DVI. Например, 2 представления (L и R) могут быть перемежены как изображения кадра перед вводом в видео кодер 5. Следовательно,о в зависимости от временного опорного изображения, используемого для предсказания данного макроблока (MB), предсказание может быть либо «действительно» временным (различные моменты времени из того же самого представления), либо из другого представления. Этот механизм может сигнализироваться посредством так называемого сообщения SEI ("стерео видео информации"), содержащего информацию относительно выполненного перемежения, так что стерео декодер на стороне приема может отличить одно представление от другого и выполнить обращенное перемежение.

Хотя такой способ действительно уменьшает скорость передачи битов (примерно на 25% по сравнению со способом по Фиг.1), если единственный кодированный поток поступает в обычный 2D приемник (с 2D декодером и 2D экраном), отображенная видео последовательность выглядела бы искаженной, как это следует из перемежения стерео. Проблема существует даже в случае AVC (Усовершенствованное стерео кодирование) с сообщением SEI ("стерео видео информации"). Действительно, использование сообщений SEI не является принудительным, и совместимый декодер может успешно проигнорировать их. Единственный битовый поток из способа по Фиг.2 не может корректно воспроизводиться на нормальной 2D системе отображения, что является большим неудобством. Способ по Фиг.2, таким образом, не является 2D обратно совместимым. Отсутствие 2D обратной совместимости будет разочаровывать людей, что касается использования 3D сигналов видео данных и систем, так как подавляющее большинство дисплеев будет, по меньшей мере, в процессе внедрения 3D видео, оставаться стандартными 2D видео устройствами. Новые способы предпочтительно являются обратно совместимыми, то есть стандартные видео устройства должны быть в состоянии обрабатывать сигналы, генерированные новыми способами.

Поэтому целью изобретения является обеспечить способ, который, с одной стороны, уменьшает скорость передачи битов по сравнению со способом, полностью и отдельно кодирующим оба представления, в то время как, с другой стороны, все еще будет иметь обратную совместимость для стандартного видео.

С этой целью способ кодирования сигналов видео данных в соответствии с изобретением представляет собой способ, в котором сигнал видео данных кодируется, кодированный сигнал видео данных содержит, по меньшей мере, первичный и, по меньшей мере, вторичный сигнал видео данных, причем первичный и вторичный сигналы видео данных совместно сжимаются, первичный сигнал видео данных сжимается независимым образом, а вторичный сигнал видео данных сжимается с использованием данных из первичного сигнала видео данных, совместно сжатый сигнал видео данных разделяется на отдельные битовые потоки, битовые потоки содержат, по меньшей мере, первичный битовый поток, содержащий данные для первичного сигнала видео данных, и, по меньшей мере, вторичный битовый поток, содержащий данные для вторичного сигнала видео данных, затем первичный и вторичный битовый потоки мультиплексируются в мультиплексированный сигнал, и первичному и вторичному битовым потокам предоставляются отдельные коды.

Способ согласно изобретению комбинирует преимущества предшествующих способов, избегая их соответствующих недостатков. Он содержит совместное сжатие двух или более сигналов видео данных с последующим разделением единого сжатого битового потока на 2 или более (первичный и вторичный) отдельных битовых потока: "первичный" поток, который является независимым и обрабатывается обычными видео декодерами, и один или более "вторичных" наборов кадров (так называемые вспомогательные потоки видео представления), которые зависят от первичного битового потока. Отдельные битовые потоки мультиплексируются, причем первичный и вторичный битовые потоки являются отдельными битовыми потоками, которые снабжаются отдельными кодами и передаются. На первый взгляд, может показаться излишним и бесполезным затрачивать усилия сначала на совместное сжатие сигналов только для того, чтобы разделить их снова после сжатия, и предоставление им отдельных кодов. Во всех известных способах сжатому сигналу видео данных дается единственный код в мультиплексоре. На первый взгляд, представляется, что изобретение добавляет ненужную сложность в кодирование сигнала видео данных.

Изобретателями, однако, было найдено, что разделение и отдельная компоновка (то есть предоставление отдельных кодов первичному и вторичному битовому потоку в мультиплексоре) первичного и вторичного битового потока в мультиплексированном сигнале имеет результатом то, что, с одной стороны, стандартный демультиплексор в обычной видео системе будет распознавать первичный битовый поток по его коду и посылать его в декодер, так что стандартный видео декодер принимает только первичный поток, вторичный поток не проходит демультиплексор, и стандартный видео декодер, таким образом, в состоянии корректно обработать его как стандартный сигнал видео данных, например, стандартный 2D сигнал видео данных и/или стандартный сигнал видео данных 50 Гц или сигнал базового разрешения, в то время как, с другой стороны, специализированная система, такая как 3D система или система отображения на 100 Гц или видео декодер с высокой разрешающей способностью может полностью реверсировать процесс кодирования и воссоздать исходный расширенный битовый поток, прежде чем послать его, например, в стерео декодер или декодер на 100 Гц или декодер HTV.

В варианте осуществления способа согласно изобретению сигнал видео данных кодируется, кодированный сигнал видео данных содержит первое и, по меньшей мере, второе представление, имеющее кадры, причем кадры первого и второго представления перемежаются, чтобы сформировать перемеженную видео последовательность, после этого перемеженная видео последовательность сжимается, причем кадры первого из представлений кодируются и сжимаются без использования кадров второго представления, и кадры второго представления кодируются и сжимаются с использованием кадров первого представления, и сжатый расширенный сигнал видео данных разделяется на первичный и вторичный битовый поток, причем каждый битовый поток содержит кадры, причем первичный битовый поток содержит сжатые кадры для первого из представлений, а вторичный битовый поток - для второго из представлений, первичный и вторичный битовый поток формируют отдельные битовые потоки, затем первичный и вторичный битовый поток мультиплексируются в мультиплексированный сигнал, причем первичному и вторичному битовым потокам предоставляются отдельные коды.

Фиг.3A и 3B иллюстрируют способ и систему кодирования и систему декодирования вышеупомянутого варианта осуществления изобретения. Фиг.3A иллюстрирует ситуацию, в которой используются система 7 кодирования согласно изобретению и система 8 декодирования согласно изобретению, причем признаки системы кодирования и декодирования схематично показаны элементами в пунктирных прямоугольниках. Фиг.3B иллюстрирует ситуацию, где используется стандартный декодер.

Кадры левого и правого представления перемежаются в VI, чтобы обеспечить объединенный сигнал. Объединенный сигнал напоминает 2D сигнал. 2D видео кодер 5 кодирует и сжимает объединенный перемеженный сигнал. Особым признаком сжатия является то, что кадры одного из представлений формируют независимую систему, то есть в сжатии никакая информация из другого представления не используется для сжатия. Кадры другого представления сжаты с использованием информации из кадров первого представления. Изобретение отступает от естественного стремления, чтобы рассматривать два представления на одинаковом основании. Фактически, два представления не обрабатываются одинаково во время сжатия. Одно из представлений становится первичным представлением, для которого во время сжатия никакая информация не используется из другого представления, другое представление является вторичным. Кадры первичного представления и кадры вторичного представления разделяются в первичный битовый поток и вторичный битовый поток разделителем битового потока BSS. Система кодирования содержит мультиплексор MUX, который назначает код, например, 0x01 для MPEG или 0x1B для H.264, распознаваемый для стандартного видео как видео битовый поток, первичному битовому потоку, и отличающийся код, например, 0x20, вторичному потоку. Мультиплексированный сигнал передается (T). На Фиг.3A сигнал принимается системой декодирования в соответствии с изобретением. Демультиплексор распознает два битовых потока 0x01 или 0x1B (для первичного потока) и 0x20 (для вторичного потока) и посылает их оба на блок объединения битовых потоков (BSM), который объединяет первичный и вторичный поток снова, и объединенная видео последовательность декодируется путем реверсирования способа кодирования в декодере. Система 8 декодирования в комбинации с 3D дисплеем формирует пример устройства отображения в соответствии с изобретением.

Фиг.3B иллюстрирует ситуацию, когда мультиплексированный сигнал принимается стандартной видео системой 9. Стандартный демультиплексор распознает битовый поток 0x01 или 0x1B как сигнал видео данных и передает его к стандартному декодеру. Битовый поток 0x20 не распознается и отклоняется, на Фиг.3B это схематично указано посылкой битового потока в «мусорную корзину» BW. Сигнал, принятый декодером, имеет битовую скорость, которую стандартный декодер может обрабатывать, и форму, которую может обрабатывать стандартный декодер.

Поскольку первичный поток 0x1B - полностью независимый сигнал, проблема, связанная со способом по Фиг.2, не возникает, когда стандартная 2D видео система отображает представление первичного сигнала. Таким образом, способ по Фиг.3 является 2D обратно совместимым.

Способ кодирования согласно изобретению позволяет снижать скорость передачи битов по сравнению со сжатием двух представлений отдельно. Таким образом, достигается как сокращение битовой скорости, так и 2D обратная совместимость.

Фиг.4 иллюстрирует перемежение двух представлений, левого (L) и правого (R), каждое из которых состоит из кадров от 0 до 7, в перемеженный объединенный сигнал, имеющий кадры от 0 до 15. Перемежение сигнала - известный процесс в обработке изображения.

Фиг.5 иллюстрирует так называемую двухэлементную временную структуру, использующую иерархические кадры B. В нормальной видео обработке часто используются различные типы кадров I для кадров B и кадров P. Некоторые кадры нуждаются в других кадрах для кодирования. В схеме, изображенной на Фиг.5, это обозначено посредством стрелок, какие кадры используются в кодировании и сжатии других кадров. В этих схемах кадры I₀/P₀ используются в кодировании/сжатии кадров В₁, кадры В₁ используются в кодировании/сжатии кадров B₂, и кадры B₂ используются в кодировании/сжатии кадров B₃. Таким образом, имеется иерархия, причем самые низкие уровни иерархии - кадры B₃. Кадры B₃ нуждаются в кадрах более высокого уровня иерархии (I₀/P₀, B₁, B₂), чтобы кодироваться (или на стороне приемника декодироваться), но сами не требуются, чтобы кодировать или декодировать кадры иерархии более высокого уровня.

Когда схема перемежения по Фиг.4 объединяется со схемой зависимости по Фиг.5, становится очевидно, что кадры одного из представлений (любого из левого или правого представления) соответствуют кадрам на уровне B₃ иерархии, и кадрам других представлений с более высоким уровнем иерархии. Это представление не нуждается в кадрах другого представления, чтобы декодироваться, и является, таким образом, независимым сигналом. На Фиг.5 это соответствует тому факту, что никакие стрелки не идут от кадра B₃ к какому-нибудь из кадров B₂, В₁ или I₀/P₀. Кадры для другого представления (B₃) не формируют независимый сигнал, упомянутое представление нуждается в информации независимого представления, чтобы декодироваться. Кадры B₃ могут быть взаимозависимыми.

Путем перемежения кадров левого и правого представления и затем сжатия их со схемой сжатия, которая обеспечивает один независимый сигнал для одного из представлений, и затем разделения сигнала снова на первичный поток двоичных сигналов (содержащий независимый сигнал) и вторичный битовый поток (содержащий сигнал, не являющийся независимым), достигается снижение битовой скорости, но при этом обеспечивая полностью работоспособный 2D обратно совместимый сигнал. Разделитель битового потока создает первичный поток (0x1B) путем конкатенации всех блоков доступа (блок доступа содержит д