Упаковка кадров для кодирования видео

Упаковка кадров для кодирования видео

Иллюстрации

Показать все

Реферат

Перекрестная ссылка на родственные заявки

Эта заявка испрашивает преимущество по каждой из (1) предварительной заявки на выдачу патента США под порядковым № 61/205938, озаглавленной «Spatial Interleaving» («Пространственное перемежение») и поданной 26 января 2009 года (досье поверенного PU090010), и (2) предварительной заявки на выдачу патента США под порядковым № 61/269955, озаглавленной «Communicating Filter Parameters For Frame Packing Applications» («Передача параметров фильтра для приложений упаковки кадров») и поданной 1 июля 2009 года (досье поверенного PU090084). Каждая из этих двух заявок в явной форме включена в материалы настоящей заявки посредством ссылки во всей своей полноте для всех целей.

Эта заявка также родственна международной заявке под № PCT/US2008/004747, озаглавленной «Tiling In Video Encoding And Decoding» («Мозаичное размещение при кодировании и декодировании видео») и имеющей дату международной подачи 11 апреля 2008 года. Эта заявка также идентифицирована в качестве заявки на выдачу патента США под порядковым № 12/450829 (досье поверенного № PU070078).

Область техники

Описаны реализации, которые в целом относятся к областям кодирования и/или декодирования видео.

Уровень техники

С появлением устройств трехмерного (3D) отображения на рынке, в том числе, устройств стереоскопического и автостереоскопического отображения, есть большой спрос на трехмерный контент, который должен быть доступен. Типично, задача исследования состоит в том, чтобы кодировать трехмерный контент, обычно включающий в себя многочисленные проекции и, возможно, также соответствующие карты глубин. Каждый кадр трехмерного контента может требовать, чтобы система обрабатывала огромный объем данных. В типичных применениях трехмерного видео, многопроекционным видеосигналам требуется эффективно передаваться или храниться, например, вследствие ограничений по ширине полосы пропускания, ограничений по памяти и ограничения обработки. Многопроекционное кодирование видео (MVC) расширяет стандарт H.264/усовершенствованного кодирования видео (AVC) с использованием высокоуровневого синтаксиса для содействия кодированию многочисленных проекций. Этот синтаксис помогает в последующей обработке трехмерных изображений процессорами изображений.

H.264/AVC, хотя и разработанный как будто бы для двухмерного видео, также может использоваться для передачи стереоскопического контента посредством применения технологии упаковки кадров. Технология упаковки кадров представлена просто, как изложено ниже: на стороне кодера, две проекции или картинки обычно подвергаются понижающей дискретизации для упаковки в один единственный видеокадр, который затем подается в кодер H.264/AVC для вывода в качестве битового потока; на стороне декодера, битовый поток декодируется, и восстановленный кадр затем распаковывается. Распаковка предоставляет возможность извлечения двух исходных проекций из восстановленного кадра и, обычно, включает в себя операцию повышающей дискретизации для возвращения исходного размера каждой проекции, так что проекции могут воспроизводиться для отображения. Этот подход способен использоваться для двух или более проекций, таких как при многопроекционных изображениях или с информацией о глубине, и тому подобным.

Упаковка кадров может полагаться на существование вспомогательной информации, ассоциативно связанной с кадром и его проекциями. Сообщения дополнительной расширительной информации (SEI) могут использоваться для передачи некоторой информации об упаковке кадров. В качестве примера, в проекте поправки AVC, было предложено, чтобы сообщение SEI использовалось для информирования декодера о различных характеристиках пространственного перемежения упакованной картинки, в том числе, чтобы составляющие картинки формировались посредством шахматного пространственного перемежения. Посредством применения сообщения SEI, можно кодировать подвергнутую шахматному перемежению картинку стереоскопических видеоизображений непосредственно с использованием AVC. Фиг.26 показывает известный пример шахматного перемежения. До настоящего времени, однако, контент сообщения SEI и контент других высокоуровневых синтаксисов был ограничен передачей информации, релевантной для картинок или проекций, которые были подвергнуты упаковке кадра.

Сущность изобретения

Согласно общему аспекту, кодируется видеокартинка, которая включает в себя многочисленные картинки, объединенные в единую картинку. Генерируется информация, указывающая, каким образом объединены многочисленные картинки в подвергнутой доступу видеокартинке. Сгенерированная информация включает в себя информацию о пространственном перемежении и информацию о дискретизации. Информация о пространственном перемежении указывает пространственное перемежение, примененное к многочисленным картинкам при формировании единой картинки. Информация о дискретизации указывает один или более параметров, относящихся к фильтру повышающей дискретизации для восстановления каждой из многочисленных картинок в требуемое разрешение. Один или более параметров, относящихся к фильтру повышающей дискретизации, включают в себя указание направления фильтрации. Формируется битовый поток, который включает в себя кодированную видеокартинку и сгенерированную информацию. Сгенерированная информация предоставляет информацию для использования при обработке кодированной видеокартинки.

Согласно еще одному общему аспекту, структура видеосигнала или видео включает в себя секцию кодированной картинки и секцию сигнализации. Секция кодированной картинки включает в себя кодирование видеокартинки, видеокартинка включает в себя многочисленные картинки, объединенные в единую картинку. Секция сигнализации включает в себя кодирование сгенерированной информации, указывающей, каким образом объединены многочисленные картинки в подвергнутой доступу видеокартинке. Сгенерированная информация включает в себя информацию о пространственном перемежении и информацию о дискретизации. Информация о пространственном перемежении указывает пространственное перемежение, примененное к многочисленным картинкам при формировании единой картинки. Информация о дискретизации указывает один или более параметров, относящихся к фильтру повышающей дискретизации для восстановления каждой из многочисленных картинок в требуемое разрешение. Один или более параметров, относящихся к фильтру повышающей дискретизации, включают в себя указание направления фильтрации. Сгенерированная информация предоставляет информацию для использования при декодировании кодированной видеокартинки.

Согласно еще одному общему аспекту, подвергается доступу видеокартинка, которая включает в себя многочисленные картинки, объединенные в единую картинку, видеокартинка является частью принятого видеопотока. Подвергается доступу информация, которая является частью принятого видеопотока, подвергнутая доступу информация указывает, каким образом объединены многочисленные картинки в подвергнутой доступу видеокартинке. Подвергнутая доступу информация включает в себя информацию о пространственном перемежении и информацию о дискретизации. Информация о пространственном перемежении указывает пространственное перемежение, примененное к многочисленным картинкам при формировании единой картинки. Информация о дискретизации указывает один или более параметров, относящихся к фильтру повышающей дискретизации для восстановления каждой из многочисленных картинок в требуемое разрешение. Один или более параметров, относящихся к фильтру повышающей дискретизации, включают в себя указание направления фильтрации. Видеокартинка декодируется для предоставления декодированного представления по меньшей мере одной из многочисленных картинок.

Подробности одной или более реализаций изложены на прилагаемых чертежах и в описании, приведенном ниже. Даже если описаны одним конкретным образом, должно быть ясно, что реализации могут быть сконфигурированы или воплощены различными способами. Например, реализация может быть выполнена в качестве способа или воплощена в качестве устройства, сконфигурированного для выполнения набора операций, либо воплощена в качестве устройства, хранящего команды для выполнения набора операций, или воплощена в сигнале. Другие аспекты и признаки станут очевидными из последующего подробного описания, рассмотренного совместно с прилагаемыми чертежами и формулой изобретения.

Краткое описание чертежей

Фиг.1 - схема, показывающая пример четырех проекций, подвергнутых мозаичному размещению в едином кадре.

Фиг.2 - схема, показывающая пример четырех проекций, транспонированных и подвергнутых мозаичному размещению в едином кадре.

Фиг.3 показывает структурную схему для реализации видеокодера, к которому могут быть применены настоящие принципы.

Фиг.4 показывает структурную схему для реализации видеодекодера, к которому могут быть применены настоящие принципы.

Фиг.5 - схема последовательности операций для реализации способа для кодирования картинок для множества проекций с использованием стандарта AVC MPEG-4.

Фиг.6 - схема последовательности операций для реализации способа для декодирования картинок для множества проекций с использованием стандарта AVC MPEG-4.

Фиг.7 - схема последовательности операций для реализации способа для кодирования картинок для множества проекций и глубин с использованием стандарта AVC MPEG-4.

Фиг.8 - схема последовательности операций для реализации способа для декодирования картинок для множества проекций и глубин с использованием стандарта AVC MPEG-4.

Фиг.9 - схема, показывающая пример сигнала глубины.

Фиг.10 - схема, показывающая пример сигнала глубины, добавленного в качестве мозаики.

Фиг.11 - схема, показывающая пример 5 проекций, подвергнутых мозаичному размещению в едином кадре.

Фиг.12 - структурная схема для примерного кодера многопроекционного кодирования видео (MVC), к которому могут быть применены настоящие принципы.

Фиг.13 - структурная схема для примерного кодера многопроекционного кодирования видео (MVC), к которому могут быть применены настоящие принципы.

Фиг.14 - схема последовательности операций для реализации способа для обработки картинок для множества проекций при подготовке к кодированию картинок с использованием расширения многопроекционного кодирования видео (MVC) стандарта AVC MPEG-4.

Фиг.15 - схема последовательности операций для реализации способа для кодирования картинок для множества проекций с использованием расширения многопроекционного кодирования видео (MVC) стандарта AVC MPEG-4.

Фиг.16 - схема последовательности операций для реализации способа для обработки картинок для множества проекций при подготовке к декодированию картинок с использованием расширения многопроекционного кодирования видео (MVC) стандарта AVC MPEG-4.

Фиг.17 - схема последовательности операций для реализации способа для декодирования картинок для множества проекций с использованием расширения многопроекционного кодирования видео (MVC) стандарта AVC MPEG-4.

Фиг.18 - схема последовательности операций для реализации способа для обработки картинок для множества проекций и глубин при подготовке к кодированию картинок с использованием расширения многопроекционного кодирования видео (MVC) стандарта AVC MPEG-4.

Фиг.19 - схема последовательности операций для реализации способа для кодирования картинок для множества проекций и глубин с использованием расширения многопроекционного кодирования видео (MVC) стандарта AVC MPEG-4.

Фиг.20 - схема последовательности операций для реализации способа для обработки картинок для множества проекций и глубин при подготовке к декодированию картинок с использованием расширения многопроекционного кодирования видео (MVC) стандарта AVC MPEG-4.

Фиг.21 - схема последовательности операций для реализации способа для декодирования картинок для множества проекций и глубин с использованием расширения многопроекционного кодирования видео (MVC) стандарта AVC MPEG-4.

Фиг.22 - схема, показывающая примеры мозаичного размещения на уровне пикселей.

Фиг.23 показывает структурную схему для реализации устройства обработки видео, к которому могут быть применены настоящие принципы.

Фиг.24 показывает упрощенную схему для примерной трехмерной видеосистемы.

Фиг.25 показывают примерные левую и правую карты глубин для изображения из разных опорных проекций.

Фиг.26 показывает примерную структурную схему для пространственного перемежения двух составляющих картинок в единую картинку или кадр с использованием шахматного перемежения.

Фиг.27 показывает примерную картинку поперечного пространственного перемежения двух составляющих картинок.

Фиг.28 показывает примерную картинку верхне-нижнего пространственного перемежения двух составляющих картинок.

Фиг.29 показывает примерную картинку построчного пространственного перемежения двух составляющих картинок.

Фиг.30 показывает примерную картинку постолбцового пространственного перемежения двух составляющих картинок.

Фиг.31 показывает примерную картинку поперечного пространственного перемежения двух составляющих картинок, в котором правая картинка транспонирована горизонтально.

Фиг.32 показывает примерную картинку верхне-нижнего пространственного перемежения двух составляющих картинок, в котором нижняя картинка транспонирована вертикально.

Фиг.33 показывает примерную перемеженную картинку или кадр, в котором составляющие картинки представляют формат видео с многослойной глубиной (LDV).

Фиг.34 показывает примерную перемеженную картинку или кадр, в котором составляющие картинки представляют формат в двух измерениях плюс глубина.

Фиг.35-38 показывают примерные блок-схемы последовательностей операций разных вариантов осуществления для обработки кодирования и декодирования видеоизображений с использованием сообщений SEI для информации об упаковке пакетов.

Фиг.39 показывает примерную систему передачи видео, к которой могут быть применены настоящие принципы.

Фиг.40 показывает примерную систему приема видео, к которой могут быть применены настоящие принципы.

Фиг.41 показывает примерное устройство обработки видео, к которому могут быть применены настоящие принципы.

Примерные варианты осуществления, изложенные в материалах настоящей заявки, иллюстрируют различные варианты осуществления, и такие примерные варианты осуществления не должны истолковываться в качестве ограничивающих объем этого раскрытия никоим образом.

Подробное описание

Различные реализации направлены на способы и устройство для мозаичного размещения проекций при кодировании и декодировании видео. Таким образом, должно быть принято во внимание, что специалисты в данной области техники будут способны разработать различные компоновки, которые, хотя и не описаны и не показаны в материалах настоящей заявки явным образом, воплощают настоящие принципы и включены в пределы ее сущности и объема.

Все примеры и условные формулировки, изложенные в материалах настоящей заявки, предназначены для образовательных целей, чтобы помочь читателю в понимании представленных принципов и концепций, внесенных изобретателем(ями) в развитие данной области техники, и должны истолковываться в качестве существующих без ограничения такими конкретно изложенными примерами и условиями.

Более того, все выражения в материалах настоящей заявки, излагающие принципы, аспекты и варианты осуществления настоящих принципов, а также их специфичные примеры, предназначены для охвата как конструктивных, так и функциональных их эквивалентов. Дополнительно, подразумевается, что такие эквиваленты включают в себя известные в настоящее время эквиваленты, а также эквиваленты, разработанные в будущем, то есть, любые разработанные элементы, которые выполняют идентичную функцию, независимо от конструкции.

Таким образом, например, специалистами в данной области техники должно приниматься во внимание, что структурные схемы, представленные в материалах настоящей заявки, изображают концептуальные представления иллюстративных компонентов и/или компоновки схем системы. Подобным образом, должно приниматься во внимание, что любые блок-схемы последовательностей операций, схемы последовательностей операций, диаграммы переходов, псевдокод, и тому подобное, изображают различные последовательности операций, которые, по существу, могут быть представлены на машиночитаемых носителях и, значит, выполняться компьютером или процессором, показан или нет такой компьютер или процессор явным образом.

Функции различных элементов, показанных на фигурах, могут обеспечиваться благодаря использованию специализированных аппаратных средств, а также аппаратных средств, допускающих выполнение программного обеспечения при ассоциативной связи с надлежащим программным обеспечением. При обеспечении процессором, функции могут обеспечиваться одиночным выделенным процессором, одиночным совместно используемым процессором или множеством отдельных процессоров, некоторые из которых могут совместно использоваться. Более того, явное использование термина «процессор» или «контроллер» не должно толковаться указывающим исключительно на аппаратные средства, допускающие выполнение программного обеспечения, и может неявно включать в себя, без ограничения, аппаратные средства цифрового сигнального процессора («ЦСП», «DSP»), постоянное запоминающее устройство («ПЗУ», «ROM») для хранения программного обеспечения, оперативное запоминающее устройство («ОЗУ», «RAM») и энергонезависимую память.

Другие аппаратные средства, стандартные и/или специализированные, также могут быть включены в осуществление различных реализаций. Например, любые переключатели, показанные на фигурах, являются всего лишь абстрактными. Их функция может выполняться благодаря работе программной логики, благодаря специализированной логике, благодаря взаимодействию программного управления и специализированной логики, или даже вручную, конкретная технология является выбираемой конструктором в качестве более точно понятной из контекста.

В формуле изобретения из этого документа, любой элемент, выраженный в качестве средства для выполнения предписанной функции, предназначен для охвата любого способа выполнения такой функции, в том числе, например, а) комбинации элементов схемы, которые выполняют такую функцию, или b) программного обеспечения в любой форме, поэтому включающего в себя аппаратно реализованное программное обеспечение, микрокод или тому подобное, объединенные с надлежащей схемой для выполнения такого программного обеспечения, чтобы выполнять функцию. Настоящим принципам, как определено такой формулой изобретения, свойственно то обстоятельство, что функциональные возможности, предусмотренные различными перечисленными средствами, комбинируются и сведены вместе таким образом, к которому обязывает формула изобретения. Соответственно, считается, что любые средства, которые могут обеспечивать такие функциональные возможности, эквивалентны показанным в материалах настоящей заявки.

Ссылка в описании изобретения на «один из вариантов осуществления» (либо «одну из реализаций») или «вариант осуществления» (либо «реализацию») настоящих принципов означает, что конкретный признак, конструкция, характеристика и так далее, описанные в связи с вариантом осуществления, включены в по меньшей мере один вариант осуществления настоящих принципов. Таким образом, появление фразы «в одном из вариантов осуществления» или «в варианте осуществления», фигурирующей в различных местах по всему описанию изобретения, не обязательно является всецело указывающим на один и тот же вариант осуществления.

Должно быть принято во внимание, что, несмотря на то, что один или более вариантов осуществления представленных принципов описаны в материалах настоящей заявки относительно стандарта AVC MPEG-4, принципы, описанные в этой заявке, не ограничены только этим стандартом, и, соответственно, могут использоваться по отношению к другим стандартам, рекомендациям и их расширениям, более точно, стандартам, рекомендациям кодирования видео и их расширениям, в том числе, расширениям стандарта AVC MPEG-4, наряду с сохранением сущности принципов этой заявки.

Кроме того, должно быть принято во внимание, что, несмотря на то, что один или более других вариантов осуществления описаны в материалах настоящей заявки относительно расширения многопроекционного кодирования видео стандарта AVC MPEG-4, настоящие принципы не ограничены только этим расширением и/или этим стандартом и, таким образом, могут использоваться по отношению к другим стандартам, рекомендациям кодирования видео и их расширениям, относящимся к многопроекционному кодированию видео, наряду с сохранением сущности принципов этой заявки. Многопроекционное кодирование видео (MVC) является инфраструктурой сжатия для кодирования многопроекционных последовательностей. Последовательность многопроекционного кодирования видео (MVC) является набором из двух или более видеопоследовательностей, которые фиксируют одну и ту же сцену с разных точек обзора.

К тому же, должно быть принято во внимание, что, несмотря на то, что в материалах настоящей заявки описаны один или более других вариантов осуществления, которые используют информацию о глубине по отношению к видеоконтенту, принципы этой заявки не ограничены такими вариантами осуществления и, таким образом, могут быть реализованы другие варианты осуществления, которые не используют информацию о глубине, наряду с сохранением сущности настоящих принципов.

Дополнительно, используемый в материалах настоящей заявки термин «высокоуровневый синтаксис» указывает на синтаксис, присутствующий в битовом потоке, который находится иерархически выше уровня макроблоков. Например, термин высокоуровневый синтаксис, используемый в материалах настоящей заявки, может указывать, но не в качестве ограничения, на синтаксис на уровне заголовка секции, уровне дополнительной расширительной информации (SEI), уровне набора параметров картинки (PPS), уровне набора параметров последовательности (SPS), набора параметров проекции (VPS) и уровне заголовка блока сетевого уровня абстракции (NAL).

В текущей реализации многопроекционного кодирования видео (MVC), основанной на стандарте усовершенствованного кодирования видео (AVC) части 10 стандарта 4 Экспертной группы по движущемуся изображению (MPEG-4) Международной организации по стандартизации/Международной электротехнической комиссии (ISO/IEC)/рекомендациях H.264 Международного союза электросвязи, сектора телекоммуникаций (ITU-T) (в дальнейшем, «стандарт AVC MPEG4/H.264»), справочное программное обеспечение добивается многопроекционного предсказания, кодируя каждую проекцию одиночным кодером и принимая во внимание межпроекционные ссылки. Каждая проекция кодируется в качестве отдельного битового потока кодером при своем исходном разрешении, а позже, все битовые потоки объединяются, чтобы сформировать одиночный битовый поток, который затем декодируется. Каждая проекция создает отдельный декодированный выходной сигнал YUV.

Примерная видеосистема, поддерживающая выработку и использование трехмерных изображений, схематически представлена на фиг.24. Сторона выработки контента системы показывает фиксацию изображения различными средствами, в том числе, но не в качестве ограничения, стереокамерами, камерами глубины, многочисленными камерами, работающими одновременно, и преобразование двухмерных изображений в трехмерные изображения. Пример информации о карте глубин (например, Z-информации), зафиксированной для левой и правой проекций одной и той же сцены, показан на фиг.25. Каждый из этих подходов не только фиксирует контент видеоизображения, но некоторые также генерируют определенную информацию о глубине, ассоциативно связанную с записанными видеоизображениями. После обработки и кодирования, вся эта информация доступна для того, чтобы распространяться, передаваться и, в конечном счете, визуализироваться. Метаданные также генерируются с видеоконтентом для использования при последующей визуализации трехмерного видео. Визуализация может происходить с использованием двухмерных систем отображения или трехмерных устройств отображения. Трехмерные устройства отображения могут варьироваться от стереоскопических устройств отображения до много проекционных трехмерных устройств отображения, как показано на фигуре.

Еще один подход для многопроекционного предсказания включает в себя группировку набора проекций в псевдопроекции. В одном из примеров этого подхода, мы можем мозаично размещать картинки из каждых N проекций из суммарных M проекций (подвергнутых одновременной выборке) в большем кадре или суперкадре с возможной понижающей дискретизацией или другими операциями. Обращаясь к фиг.1, пример четырех проекций, мозаично размещенных в едином кадре, в целом указан номером 100 ссылки. Верхние четыре проекции находятся в своей нормальной ориентации.

Обращаясь к фиг.2, пример четырех проекций, транспонированных и мозаично размещенных в едином кадре, в целом указан номером 200 ссылки. Верхняя левая проекция находится в своей нормальной ориентации. Верхняя правая проекция транспонирована горизонтально. Нижняя левая проекция транспонирована вертикально. Нижняя правая проекция транспонирована как горизонтально, так и вертикально. Таким образом, если есть четыре проекции, то картинка из каждой проекции компонуется в суперкадре подобно мозаике. Это дает в результате единую некодированную входную последовательность с большим разрешением.

В качестве альтернативы, мы можем осуществлять понижающую дискретизацию изображения для создания меньшего разрешения. Таким образом, мы создаем многочисленные последовательности, каждая из которых включает в себя разные проекции, которые мозаично размещаются вместе. Каждая такая последовательность, в таком случае, формирует псевдопроекцию, где каждая псевдопроекция включает в себя N разных мозаичных проекций. Фиг.1 показывает одну псевдопроекцию, а фиг.2 показывает еще одну псевдопроекцию. Эти псевдопроекции затем могут кодироваться с использованием существующих стандартов кодирования видео, таких как стандарт MPEG-2 ISO/IEC и стандарт AVC MPEG-4.

Еще один другой подход к многопроекционному кодированию просто включает в себя независимое кодирование разных проекций с использованием нового стандарта, и, после декодирования, мозаичное размещение проекций, как требуется проигрывателем.

Кроме того, в еще одном подходе, проекции также могут подвергаться мозаичному размещению попиксельным образом. Например, в суперпроекции, которая состоит из четырех проекций, пиксель (x, y) может быть из проекции 0, наряду с тем, что пиксель (x+1, y) может быть из проекции 1, пиксель (x, y+1) может быть из проекции 2, а пиксель (x+1, y+1) может быть из проекции 3.

Многие производители устройств отображения используют такую инфраструктуру компоновки или мозаичного размещения разных проекций в едином кадре, а затем извлечения из их соответственных местоположений и визуализации их. В таких случаях, нет стандартного способа, чтобы определять, имеет ли битовый поток такое свойство. Таким образом, если система использует способ мозаичного размещения картинок разных проекций в большом кадре, то способ извлечения разных проекций является специализированным.

Однако, нет стандартного способа, чтобы определять, имеет ли битовый поток такое свойство. Мы предлагаем высокоуровневый синтаксис, для того чтобы облегчать визуализатору или проигрывателю извлечение такой информации, для того чтобы содействовать в отображении или другой постобработке. Также возможно, субкартинки имеют разные разрешения, и некоторая повышающая дискретизация может быть необходима, чтобы визуализировать проекцию в конечном счете. Пользователь также может пожелать иметь способ повышающей дискретизации, указанной в высокоуровневом синтаксисе. Дополнительно, также могут передаваться параметры для изменения фокуса глубины.

В варианте осуществления, мы предлагаем новое сообщение дополнительной расширительной информации (SEI) для сигнализации информации о многих проекциях в совместимом со стандартом AVC MPEG-4 потоке, где каждая картинка включает в себя субкартинки, которые принадлежат к разным проекциям. Вариант осуществления, например, предназначен для легкого и удобного отображения многопроекционных видеопотоков на трехмерных (3D) мониторах, которые могут использовать такую инфраструктуру. Концепция может быть распространена на другие стандарты и рекомендации кодирования видео, сигнализирующие такую информацию с использованием высокоуровневого синтаксиса.

Более того, в варианте осуществления, мы предлагаем способ сигнализации того, каким образом следует компоновать проекции перед тем, как они отправлены в многопроекционный видеокодер и/или декодер. Преимущественно, вариант осуществления может приводить к упрощенной реализации многопроекционного кодирования и может давать выгоду в эффективности кодирования. Определенные проекции могут быть собраны вместе и формировать псевдопроекцию или суперпроекцию, а затем, подвергнутая мозаичному размещению суперпроекция обрабатывается как нормальная проекция обычным многопроекционным видекодером и/или декодером, например, согласно основанной на текущем стандарте AVC MPEG-4 реализации многопроекционного кодирования видео. Новый флаг, показанный в таблице 1, предложен в расширении набора параметров последовательности (SPS) многопроекционного кодирования видео, чтобы сигнализировать об использовании технологии псевдопроекций. Вариант осуществления предназначен для легкого и удобного отображения многопроекционных видеопотоков на трехмерных мониторах, которые могут использовать такую инфраструктуру.

Еще один подход к многопроекционному кодированию включает в себя мозаичное размещение картинок из каждой проекции (подвергнутых одновременной выборке) в большем кадре или суперкадре с возможной операцией понижающей дискретизации. Обращаясь к фиг.1, пример четырех проекций, мозаично размещенных в едином кадре, в целом указан номером 100 ссылки. Обращаясь к фиг.2, пример четырех проекций, транспонированных и мозаично размещенных в едином кадре, в целом указан номером 200 ссылки. Таким образом, если есть четыре проекции, то картинка из каждой проекции компонуется в суперкадре подобно мозаике. Это дает в результате единую некодированную входную последовательность с большим разрешением. Этот сигнал затем может кодироваться с использованием существующих стандартов кодирования видео, таких как стандарт MPEG-2 ISO/IEC и стандарт AVC MPEG-4.

Обращаясь к фиг.3, видеокодер, способный к выполнению кодирования видео в соответствии со стандартом AVC MPEG-4, в целом указан номером 300 ссылки.

Видеокодер 300 включает в себя буфер 310 упорядочения кадров, имеющий выход в сигнальной связи с неинвертирующим входом объединителя 385. Выход объединителя 385 соединен по сигнальной связи с первым входом преобразователя и квантователя 325. Выход преобразователя и квантователя 325 соединен по сигнальной связи с первым входом энтропийного кодера 345 и первым входом обратного преобразователя и обратного квантователя 350. Выход энтропийного кодера 345 соединен по сигнальной связи с первым неинвертирующим входом объединителя 390. Выход объединителя 390 соединен по сигнальной связи с первым входом выходного буфера 335.

Первый выход контроллера 305 кодера присоединен по сигнальной связи ко второму входу буфера 310 упорядочения кадров, второму входу обратного преобразователя и обратного квантователя 350, входу модуля 315 принятия решения о типе картинки, входу модуля 320 принятия решения о типе макроблока (типа MB), второму входу модуля 360 внутреннего предсказания, второму входу деблокинг-фильтра 365, первому входу компенсатора 370 движения, первому входу блока 375 оценки движения и второму входу буфера 380 опорных картинок.

Второй выход контроллера 305 кодера соединен по сигнальной связи с первым входом блока 330 вставки дополнительной расширительной информации (SEI), вторым входом преобразователя и квантователя 325, вторым входом энтропийного кодера 345, вторым входом выходного буфера 335 и входом блока 340 вставки набора параметров последовательности (SPS) и набора параметров картинки (PPS).

Первый выход модуля 315 принятия решения о типе картинки соединен по сигнальной связи с третьим входом буфера 310 упорядочения кадров. Второй выход модуля 315 принятия решения о типе картинки соединен по сигнальной связи со вторым входом модуля 320 принятия решения о типе макроблока.

Выход блока 340 вставки набора параметров последовательности (SPS) и набора параметров картинки (PPS) соединен по сигнальной связи с третьим неинвертирующим входом объединителя 390. Выход блока 330 вставки SEI соединен по сигнальной связи со вторым неинвертирующим входом объединителя 390.

Выход обратного квантователя и обратного преобразователя 350 соединен по сигнальной связи с первым неинвертирующим входом объединителя 319. Выход объединителя 319 соединен по сигнальной связи с первым входом модуля 360 внутреннего предсказания и первым входом деблокинг-фильтра 365. Выход деблокинг-фильтра 365 соединен по сигнальной связи с первым входом буфера 380 опорных картинок. Выход буфера 380 опорных картинок соединен по сигнальной связи со вторым входом блока 375 оценки движения и с первым входом блока 370 компенсатора движения. Первый выход блока 375 оценки движения соединен по сигнальной связи со вторым входом компенсатора 370 движения. Второй выход блока 375 оценки движения соединен по сигнальной связи с третьим входом энтропийного кодера 345.

Выход компенсатора 370 движения соединен по сигнальной связи с первым входом переключателя 397. Выход модуля 360 внутреннего предсказания соединен по сигнальной связи со вторым входом переключателя 397. Выход модуля 320 принятия решения о типе макроблока соединен по сигнальной связи с третьим входом переключателя 397, для того чтобы предоставлять управляющий входной сигнал на переключатель 397. Третий вход переключателя 397 определяет, должен или нет входной сигнал «данные» переключателя (по сравнению с управляющим входным сигналом, то есть, третьим входом) предоставляться компенсатором 370 движения или модулем 360 внутреннего предсказания. Выход переключателя 397 соединен по сигнальной связи со вторым неинвертирующим входом объединителя 319 и с инвертирующим входом объединителя 385.

Входы буфера 310 упорядочения кадров и контроллера 105 кодера доступны в качестве входа кодера 300, для приема входной картинки 301. Более того, вход блока 330 вставки дополнительной расширительной информации (SEI) доступен в качестве входа кодера 300, для приема метаданных. Выход выходного буфера 335 доступен в качестве выхода кодера 300 для вывода битового потока.

Обращаясь к фиг.4, видеодекодер, способный к выполнению декодирования видео в соответствии со стандартом AVC MPEG-4, в целом указан номером 400 ссылки.

Видеодекодер 400 включает в себя входной буфер 410, имеющий выход, соединенный по сигнальной связи с первым входом энтропийного декодера 445. Первый выход энтропийного декодера 445 соединен по сигнальной связи с первым входом обратного преобразователя и обратного квантователя 450. Выход обратного преобразователя и обратного квантователя 450 соединен по сигнальной связи со вторым неинвертирующим входом объединителя 425. Выход объединителя 425 соединен по сигнальной связи со вторым входом деблокинг-фильтра 465 и первым входом модуля 460 внутреннего предсказания. Второй выход деблокинг-фильтра 465 соединен по сигнальной связи с первым входом буфера 480 опорных картинок. Выход буфера 480 опорных картинок соединен по сигнальной связи со вторым входом компенсатора 470 движения.

Второй выход энтропийного декодера 445 соединен по сигнальной связи с третьим входом компенсатора 470 движения и первым входом деблокинг-фильтра 465. Третий выход энтропийного декодера 445 соединен по сигнальной связи с входом контроллера 405 декодера. Первый выход