Способ и устройство для высокомасштабируемого внутрикадрового видеокодирования

Способ и устройство для высокомасштабируемого внутрикадрового видеокодирования

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Изобретение относится в целом к сжатию видеосигнала и более конкретно к сжатию видеосигнала для видеосигналов с высокой четкостью.

Уровень техники

Внутрикадровое видеокодирование полезно для приложений, которые требуют быстрый произвольный доступ к отдельным видеокадрам. Типичные области применения включают в себя производство кинокартин, формирование медицинских и спутниковых изображений и цифровое кино. В последнее время Объединенная Команда Видеоэкспертов (Joint Video Team (JVT)) Группы Экспертов по Видеокодированию ITU-T (ITU-T Video Coding Experts Group (VCEG)) и Экспертной Группы по Кинофильмам ISO/IEC (ISO/IEC Moving Picture Expert Group (MPEG)) пустили расширение масштабируемого видеокодирования (SVC) до стандарта H.264/AVC для обращения к возрастающей потребности в более гибких видеопредставлениях для видеоуслуг через неоднородные окружения. SVC предоставляет новый профиль, выделенный для внутрикадрового видеокодирования, который, известный как Масштабируемый Высокий Внутренний профиль (Scalable High lntra), главным образом нацелен на профессиональные приложения.

Ранние международные стандарты видеокодирования, такие как MPEG-1, 2, 4 и семейство H.26x, основывались на базе гибридного кодирования, гибриде кодирования посредством дифференциальной импульсно-кодовой модуляции (DPCM) и дискретного косинусного преобразования (DCT). Эта база DPCM была естественным образом расширена для масштабируемого видеокодирования посредством дополнительного объединения сигнала межслоевого предсказания для кодирования DPCM на слое улучшения, как это встречается в предшествующих стандартах MPEG-2, MPEG-4, H.263+ масштабируемого видеокодирования, и последнего стандарта SVC. Этот способ добавляет каждый слой улучшения к слоям накопленных предыдущих битовых потоков для дальнейшего улучшения закодированного видео. Усовершенствование может быть осуществлено для повышения видеокачества, пространственного разрешения или кадровой скорости видео, соответствующему отношению качество/SNR, пространственной и временной масштабируемости, соответственно. Получающаяся система масштабируемого видеокодирования имеет несколько типичных проблем, связанных с традиционной системой кодирования DPCM, такой как размножение ошибок и «дрейф», которые вызываются различными версиями сигналов предсказания, используемых в кодировщиках и декодерах. Это зачастую требует значительной эффективности и потерь на сложность для приспособления масштабируемого видеосжатия.

В целях внутрикадрового пространственного масштабируемого кодирования, в частности, те предшествующие стандарты приняли подход пирамидного кодирования для предоставления представления сигнала с множеством разрешений. Этот способ использует вставленный кадр из восстанавливаемого видеоосновного слоя, чтобы предсказать кадр, относящийся к высокому разрешению, на слое улучшения, а получающийся разностный сигнал кодируется посредством битового потока слоя улучшения. Это проиллюстрировано на фиг.2, которая является диаграммой, которая использует представления закодированных внутрикадровых слоев, чтобы проиллюстрировать их отношение для видеокадра, который был масштабируемо закодирован тремя уровнями разрешения, в соответствие с режимами эксплуатации предшествующего уровня техники. Однако количество получающихся образцов исходных пикселей увеличивается таким образом на 33,3% для построения пирамидального представления полного изображения в получающейся системе кодирования, которое может по сути дополнительно снизить эффективность сжатия. Результаты моделирования от основного эксперимента JVT также показывают, что текущая модель H.264/AVC объединенного масштабируемого видео страдает от существенных потерь эффективности для внутреннего двухэлементного пространственного масштабируемого кодирования, в частности в отношении диапазона высоких битовых скоростей.

В последние годы в литературе было продемонстрировано, что субполосное/вейвлет кодирование является одним из самых эффективных способов для кодирования изображений. Оно также использовалось в международном стандарте JPEG 2000 для промышленных приложений кодирования изображений и видео (в формате Движение JPEG 2000). Благодаря высокому уплотнению энергии субполосного/вейвлет преобразования эти кодировщики настоящего уровня техники способны достигать превосходной производительности сжатия без традиционных блочных артефактов, связанных с блочным преобразованием. Более значительно, они могут с легкостью приспосабливать функциональные средства желаемого пространственного масштабируемого кодирования почти с полным отсутствием каких-либо потерь в эффективности сжатия, потому что субполосное/вейвлет разложение является разрешением, масштабируемым по природе. На фиг.1 изображена схема, которая использует представления закодированных субполос, чтобы проиллюстрировать их отношения для изображения, которое было субполосно закодировано с тремя уровнями разрешения, n=0, n=1 и n=2, в соответствие с режимами эксплуатации предшествующего уровня техники. Более высокие уровни разрешения, такие как n=2, синтезируются из трех субполос (обычно обозначаемых HL, LH, HH) на более высоком уровне, плюс из субполос со всех следующих низших уровнях, с пониманием того, что «субполоса» самого низшего уровня является основным слоем, который обеспечивает версию с низким разрешением изображения. Однако, так как низкочастотный фильтр субполосного/вейвлет анализа не является превосходным полуполосным фильтром, то артефакты с наложением спектра вводятся в получающееся видео с низким разрешением, что производит возмущающее мерцание в зрительной системе человека для приложения видеокодирования.

В данном документе представлена новая база внутрикадрового масштабируемого кодирования, основанная на подходе субполосного/вейвлет кодирования. В предложенной базе используемый фильтр дискретизации с понижением частоты для генерирования видео с низким разрешением на основном слое практически не привязан к выбору конкретного субполосного/вейвлет фильтра для представления сигнала, в отличие от традиционной системы вейвлет кодирования по фиг.1. Кроме того, исследовательские усилия оказались нацелены на эффективную эксплуатацию субполосных/вейвлет методик в пределах традиционной системы макроблочного и основанного на DCT видеокодирования, для усовершенствованной эффективности внутрикадрового масштабируемого кодирования. В отличие от предшествующего кодирования визуальных текстур (VTC) MPEG-4, которое естественным образом построено на отдельной системе на основе нулевого дерева для кодирования вейвлет коэффициентов, предложенная база субполосного кодирования в частности выполнена с возможностью быть объединенной с опорным программным обеспечением H.264/AVC JSVM, с минимальными модификациями к текущему стандарту. Как таковая модифицированная система кодирования H.264/AVC может воспользоваться преимуществами вейвлет кодирования с минимальным увеличением в сложности исполнения.

Как продемонстрировали результаты моделирования в настоящем документе, внутрикадровое масштабируемое по качеству кодирование текущего SVC, основанное на традиционном подходе слоистого DPCM, также страдает от существенных потерь производительности по сравнению с кодированием единственного слоя. Природа таких потерь подобна природе традиционных способов масштабируемого между видео SNR кодирования, где эффективность кодирования снижается, потому что грубо кодированный сигнал основного слоя используется для предсказания сигнала и приводит к разностному сигналу с большой энергией. Предложенная система субполосного кодирования, подробно раскрытая в данном документе, может быть дополнительно расширена для приложений масштабируемого по качеству кодирования с усовершенствованной производительностью кодирования на основе подхода кодирования с преобразованием. Каждый слой улучшения качества в предложенной системе является дополнительно масштабируемым внутри разрешения, таким образом, обеспечивая очень гибкий битовый поток для масштабируемого декодирования при широком многообразии ограничений по качеству и разрешению. Как таковое, эффективное и высоко масштабируемое вейвлет сжатие изображения/видео, как продемонстрировал JPEG2000, может быть дополнительно приспособлено немного модифицированной системой стандартного кодирования с низкими дополнительными затратами на исполнение. Приложения кодирования видео и изображения, традиционно обслуживаемые отдельными кодировщиками, могут быть эффективно обеспечены объединенной системой кодирования.

Краткое описание чертежей

Сопроводительные фигуры, на которых одинаковые ссылочные позиции обозначают идентичные или функционально схожие элементы по всем отдельным видам, совместно с подробным описанием ниже включены в и формируют часть описания изобретения и служат для дополнительной иллюстрации вариантов осуществления концепций, которые включают в себя заявленное изобретение, и объясняют различные принципы и преимущества этих вариантов осуществления.

На фиг.1 изображено представление сигнала кадра кодированного изображения или видео с использованием подхода субполосного/вейвлет кодирования с тремя уровнями разрешения в соответствие с режимами эксплуатации предшествующего уровня техники.

На фиг.2 изображено представление сигнала кадра кодируемого изображения или видео с использованием подхода субполосного/вейвлет кодирования с тремя уровнями разрешения в соответствие с режимами эксплуатации предшествующего уровня техники.

На фиг.3 изображена блок-схема высокого уровня обычной системы пространственного масштабируемого кодирования с тремя масштабируемыми по разрешению слоями.

На фиг.4 изображена блок-схема высокого уровня обычной системы пространственного масштабируемого декодирования с двумя масштабируемыми по разрешению слоями.

На фиг.5 изображена блок-схема предложенной системы пространственного масштабируемого кодирования для некоторых вариантов осуществления, имеющих два слоя разрешения, в соответствие с некоторыми вариантами осуществления.

На фиг.6 изображена блок-схема предложенной системы пространственного масштабируемого декодирования для некоторых вариантов осуществления, имеющих два слоя разрешения.

На фиг.7 изображена блок-схема для операции 2-D дискретизации с понижением частоты в соответствие с некоторыми 2-D отдельными двухэлементными вариантами осуществления.

На фиг.8 изображена блок-схема, которая иллюстрирует некоторые наборы субполосных фильтров анализа в соответствие с некоторыми 2-D отдельными двухэлементными вариантами осуществления.

На фиг.9 изображено субполосное разделение для разложенного кадра после двух уровней двухэлементного субполосного разделения в соответствие с некоторыми вариантами осуществления.

На фиг.10 изображена блок-схема последовательности операций способа, которая показывает несколько этапов способа пространственного масштабируемого видеокодирования для сжатия исходного видеокадра в соответствие с некоторыми вариантами осуществления.

На фиг.11 изображена блок-схема последовательности операций способа, которая показывает несколько этапов способа пространственного масштабируемого видеодекодирования для разложения закодированного видеокадра в соответствие с некоторыми вариантами осуществления.

На фиг.12 изображена блок-схема кодировщика внутрислоевой кадровой текстуры в соответствие с некоторыми вариантами осуществления.

На фиг.13 изображена блок-схема декодера внутрислоевой кадровой текстуры в соответствие с некоторыми вариантами осуществления.

На фиг.14 изображена блок-схема кодировщика межслоевой кадровой текстуры в соответствие с некоторыми вариантами осуществления.

На фиг.15 изображена блок-схема декодера межслоевой кадровой текстуры в соответствие с некоторыми вариантами осуществления.

На фиг.16 изображена блок-схема еще одного кодировщика межслоевой кадровой текстуры в соответствие с некоторыми вариантами осуществления.

На фиг.17 изображена блок-схема еще одного декодера межслоевой кадровой текстуры в соответствие с некоторыми вариантами осуществления.

На фиг.18 изображено представление сигнала кадра закодированного изображения или видео с использованием предложенного нового подхода субполосного/вейвлет кодирования с тремя уровнями разрешения в соответствие с некоторыми вариантами осуществления.

На фиг.19-21 изображены графики моделирований, которые сравнивают производительность некоторых вариантов осуществления с производительностью систем предшествующего уровня техники.

На фиг.22 изображено представление сигнала кадра закодированного изображения или видео с использованием предложенного способа масштабируемого по качеству субполосного/вейвлет кодирования в трех слоях качества и двух уровнях субполосного разложения в соответствие с некоторыми вариантами осуществления.

На фиг.23 изображена блок-схема предложенной системы масштабируемого по качеству кодирования для некоторых вариантов осуществления, имеющих три масштабируемых слоя качества и три уровня разрешения, в соответствие с некоторыми вариантами осуществления.

На фиг.24 изображена блок-схема последовательности операций способа, которая показывает несколько этапов способа масштабируемого по качеству видеокодирования для сжатия исходного видеокадра в соответствие с некоторыми вариантами осуществления.

На фиг.25 изображена блок-схема последовательности операций способа, которая показывает несколько этапов способа масштабируемого по качеству видеодекодирования для разложения закодированного видеокадра в соответствие с некоторыми вариантами осуществления.

На фиг.26 и 27 изображены графики моделирований, которые сравнивают производительность некоторых вариантов осуществления с производительностью систем предшествующего уровня техники.

Для специалистов в данной области техники будет очевидно, что элементы на фигурах изображены для упрощения и ясности и необязательно, что изображены в масштабе. Например, размерности нескольких элементов на фигурах могут быть чрезмерно преувеличены относительно других элементов, чтобы помочь улучшить понимание вариантов осуществления настоящего изобретения.

Подробное описание

Перед тем как описывать в подробностях следующие варианты осуществления, необходимо обратить внимание на то, что варианты осуществления находятся главным образом в комбинациях этапов способов и компонентах устройств, которые относятся к внутрикадровому пространственному и масштабируемому видеокодированию. Соответственно, компоненты устройств и этапы способов представлены там, где им это свойственно, посредством традиционных символов на чертежах, изображая только те конкретные подробности, которые имеют отношение к пониманию вариантов осуществления настоящего изобретения так, чтобы не затруднять понимание раскрытия изобретения присутствием подробностей, которые будут легко очевидны для обычных специалистов в данной области техники, использующих описание данного документа.

В данном документе относительные термины, такие как первый и второй, верхний и нижний, и им подобные, могут использоваться исключительно для того, чтобы отличать один объект или действие от другого объекта или действия без обязательного требования или исполнения любого такого отношения или порядка в действительности между такими объектами или действиями. Термины «содержит», «содержащий» или любая другая их разновидность, предназначены для охвата неисключительного включения, такого как процесс, способ, изделие или устройство, которое тем, что содержит список элементов, не включает в себя только эти элементы, а напротив может включать в себя другие элементы, которые специально не включены в список или являются присущими такому процессу, способу, изделию или устройству. Один элемент, который идет после слов «содержит…», не исключает, без дополнительных ограничений, существование дополнительных идентичных элементов в процессе, способе, изделии или устройстве, которое содержит этот элемент.

А. Пространственное масштабируемое кодирование

Обратимся к фиг.3, на которой представлена блок-схема высокого уровня, которая изображает систему 400 пространственного масштабируемого кодирования для традиционных систем и для некоторых вариантов осуществления, имеющих три слоя разрешения, которая используется для предоставления введения в архитектуру обычной системы пространственного масштабируемого кодирования. Сигнал 401 видеокадра для версии с самым высоким разрешением видеокадра соединяется с двухмерным (2D) дискретизатором 404 с понижением частоты и с кодировщиком 450 слоя улучшения. 2-D дискретизатор с понижением частоты генерирует версию 402, пониженную по частоте, видеокадра, который соединяется с 2-ух мерным дискретизатором 405 с понижением частоты и с кодировщиком 430 слоя улучшения. 2-ух мерный дискретизатор 405 с понижением частоты, который может отличаться от 2-ух мерного дискретизатора 404 с понижением частоты, генерирует версию с самым низким разрешением видеокадра, который соединяется с кодировщиком 410 основного слоя. Кодировщик 410 основного слоя генерирует битовый поток 415 основного слоя в качестве выхода, который соединяется с мультиплексором 420. Кодировщик 430 слоя улучшения использует восстановленную информацию 435 из основного слоя для удаления межслоевых избыточностей и генерирует битовый поток 438 слоя улучшения в качестве выхода для представления закодированного входного видеокадра 402. Битовый поток 438 слоя улучшения также соединяется с мультиплексором 420. Кодировщик 450 слоя улучшения использует восстановленную информацию 445 из следующего низшего слоя для удаления межслоевых избыточностей и генерирует битовый поток 455 слоя улучшения в качестве выхода для представления закодированного входного видеокадра 401. Битовый поток 455 слоя улучшения также соединяется с мультиплексором 420. Мультиплексор 420 мультиплексирует битовый поток основного слоя и два битовых потока 438, 455 слоев улучшения, чтобы сгенерировать масштабируемый битовый поток 440, который переносит кодированную информацию, необходимую для восстановления либо версию с низким разрешением видеокадра, либо версию с более высоким разрешением видеокадра, либо версию с самым высоким разрешением битового потока.

Обратимся к фиг.4, на которой представлена блок-схема высокого уровня, которая изображает систему 500 пространственного масштабируемого декодирования для традиционных систем и для некоторых вариантов осуществления, имеющих два слоя разрешения, которая используется для предоставления введения в архитектуру обычной системы пространственного масштабируемого декодирования. Будет очевидным то, что эта блок-схема высокого уровня близко отражает блок-схему высокого уровня кодировщика 400. Демультиплексор 510 демультиплексирует принятую версию 505 масштабируемого битового потока 440 в принятый битовый поток 515 основного слоя и принятый битовый поток 520 слоя улучшения. Декодер 525 основного слоя декодирует принятый битовый поток 515 основного слоя и генерирует восстанавливаемую версию 530 с низким разрешением первоначального видеокадра. Декодер 540 слоя улучшения декодирует принятый битовый поток 520 слоя улучшения и дополнительно использует восстановленную информацию 535 из основного слоя для генерирования восстанавливаемой версии 545 с высоким разрешением закодированного видеокадра. Специалисту в данной области техники должно быть очевидно то, каким образом была бы сконструирована блок-схема высокого уровня для варианта осуществления, имеющего три слоя разрешения.

Обратимся к фиг.5, на которой блок-схема изображает систему 600 пространственного масштабируемого кодирования для некоторых предложенных вариантов осуществления, имеющих два слоя разрешения. Сигнал 601 видеокадра для версии с самым высоким разрешением видеокадра соединяется с двухмерным (2D) дискретизатором 605 с понижением частоты и с наборами 631 субполосных фильтров анализа кодировщика 630 слоя улучшения. 2-D дискретизатор 605 с понижением частоты генерирует версию 603 с самым низким разрешением исходного видеокадра. Версия 603 с самым низким разрешением соединяется с кодировщиком основного слоя, который содержит кодировщик 610 межслоевой кадровой текстуры. Кодировщик 610 межслоевой кадровой текстуры генерирует битовый поток 615 основного слоя в качестве выхода, который соединяется с мультиплексором 620. Наборы 631 субполосных фильтров анализа генерируют субполосные (вейвлет) коэффициенты версии 601 с самым высоким разрешением видеокадра - они обычно являются субполосами, называемыми в уровне техники как субполосы LL, LH, HL и HH. Кодировщик 633 межслоевой кадровой текстуры использует информацию 635 из основного слоя для удаления межслоевых избыточностей и генерирует битовый поток 438 слоя улучшения в качестве выхода для представления закодированного входного субполосного представления 632. Битовый поток 438 слоя улучшения также соединяется с мультиплексором 620. Мультиплексор 620 мультиплексирует битовый поток 615 основного слоя и битовый поток 438 слоя улучшения, чтобы сгенерировать масштабируемый битовый поток 640, который переносит кодированную информацию, необходимую для восстановления либо версию с низким разрешением видеокадра, либо версию с самым высоким разрешением битового потока. Будет очевидно то, что в варианте осуществления, имеющем больше слоев улучшения, наборы субполосных фильтров анализа каждого кодировщика слоя улучшения выполнены с возможностью генерирования субполосного представления для версии с конкретным качеством исходного видеокадра и получающиеся субполосные коэффициенты таких представлений кодируются кодировщиком кадра межслоевой текстуры на каждом слое улучшения.

Обратимся к фиг.6, на которой блок-схема изображает систему 700 пространственного масштабируемого декодирования для некоторых вариантов осуществления, имеющих два слоя разрешения. Будет очевидным то, что эта блок-схема близко отражает блок-схему кодировщика 600. Демультиплексор 710 демультиплексирует принятую версию 705 масштабируемого битового потока 440 в принятый битовый поток 715 основного слоя и принятый битовый поток 720 слоя улучшения. Принятый битовый поток 715 основного слоя декодируется декодером основного слоя, который содержит декодер 725 межслоевой кадровой текстуры и генерирует восстанавливаемую версию 730 с низким разрешением закодированного видеокадра. Декодер 743 межслоевой кадровой текстуры декодирует принятый битовый поток 720 слоя улучшения и дополнительно использует восстановленную информацию 735 из основного слоя для генерирования восстанавливаемого субполосного представления 745 слоя улучшения. Наборы 747 субполосных фильтров синтеза потом обрабатывают восстанавливаемое субполосное представление 745 слоя улучшения и генерируют синтезированную версию 750 с высоким разрешением закодированного видеокадра. Синтезированная версия 750 с высоким разрешением закодированного видеокадра в конце соединяется с ограничителем 755, который выполняет операцию отсечения над синтезируемым кадром согласно диапазону пиксельных значений. Специалисту в данной области техники должно быть очевидно то, каким образом была бы сконструирована блок-схема более низкого уровня для варианта осуществления, имеющего три или более слоев разрешения.

Обратимся к фиг.7, на которой блок-схема изображает операцию дискретизации с понижением частоты, выполняемую 2-D дискретизаторами 404, 405 и 605 с понижением частоты в соответствие с некоторыми 2-D отдельными двухэлементными вариантами осуществления. Информация 810 о видеокадре (также называемая для большего упрощения, как видеокадр) берется в качестве входа первым одномерным (1-D) фильтром 810, который выполняет вертикальную фильтрацию над отдельными столбцами входного видеокадра и фильтруемый видеокадр затем дополнительно вертикально дискретизируется с понижением на множитель 2 по частоте. Этот получающийся результат 825 затем обрабатывается вторым 1-D фильтром 830, который выполняет горизонтальную фильтрацию над отдельными рядами входного сигнала 825 и фильтруемый сигнал затем дополнительно горизонтально дискретизируется с понижением на множитель 2 по частоте, создавая версию с низким разрешением входного кадра 845 с пониженным на множитель 2 в масштабе размером в каждом пространственном измерении. Типично, такой же 1-D низкочастотный фильтр используется обоими фильтрами 810 и 830. В некоторых вариантах осуществления операция дискретизации с понижением по частоте, как только что было описано, используются для создания версий исходного видеокадра других, чем версия исходного видеокадра, имеющей самое высокое разрешение, начиная с версии с самым высоким разрешением исходного видеокадра, и рекурсивно создавая каждый исходный видеокадр со следующим более низким разрешением из текущей версии, выполняя каскадную двухмерную (2-D) отдельную фильтрацию и операцию дискретизации с понижением частоты, которая использует одномерный низкочастотный фильтр, связанный с каждой версией. В некоторых вариантах осуществления каждый низкочастотный фильтр может быть одним из прореживающего цифрового фильтра MPEG-2 для 2-D отдельной фильтрации с коэффициентами фильтра (-29, 0, 88, 138, 88, 0, -29)/256, прореживающего цифрового фильтра MPEG-4 с коэффициентами фильтра (2, 0, -4, -3, 5, 19, 26, 19, 5, -3, - 4, 0, 2 )/64, как описано в версиях названных документах на 20 октября 2006 или ранее. В некоторых альтернативных вариантах осуществления каждый низкочастотный фильтр является низкочастотным фильтром наборов субполосных фильтров анализа со значениями коэффициентов фильтров дополнительно масштабируемых на масштабирующий множитель. В этих вариантах осуществления низкочастотный фильтр, используемый для генерирования версии с самым низким разрешением видеокадра, может отличаться от слоя к слою и может быть сделан прямо из версии с самым высоким разрешением видеокадра. Эта уникальная особенность обеспечивает гибкость для конструкции дискретизатора с понижением по частоте в создании оптимальных версий с низким разрешением видеокадра.

Обратимся к фиг.8, на которой блок-схема иллюстрирует наборы 631 (фиг.5) субполосных фильтров анализа в соответствие с некоторыми 2-D отдельными двухэлементными вариантами осуществления. Входной видеокадр сначала соответственно обрабатывается низкочастотным фильтром и высокочастотным фильтром, за которым следует операция дискретизации с понижением по частоте вдоль вертикального направления, создавая промежуточные сигналы 910. Промежуточные сигналы 910 затем соответственно обрабатывается низкочастотным фильтром и высокочастотным фильтром, за которым следует операция дискретизации с понижением по частоте вдоль горизонтального направления, создавая четыре субполосы (LL 921, HL 922, LH 923 и HH 924) для версии видеокадра при заданном разрешении. Такая обработка обычно называется вейвлет/субполосным разложением. Наборы субполосных фильтров синтеза являются отраженной версией соответствующих наборов субполосных фильтров анализа. Фильтры, используемые в наборах субполосных фильтрах анализа/синтеза, могут принадлежать к семейству вейвлет фильтров и семейству QMF фильтров. Для системы, которая имеет множество уровней разрешения, каждое множество субполос для представления текущего уровня разрешения может быть синтезировано в из LL субполосы следующего более высокого уровня разрешения. Этот аспект проиллюстрирован на фиг.9, в котором субполосы самого высокого слоя разрешения указываются посредством суффикса -1, и в котором основа или самый низкий слой является LL-2. H и W обозначают, соответственно, высоту и ширину видеокадра с полным разрешением.

Обратимся к фиг.10, на которой блок-схема 1100 последовательности операций способа показывает несколько этапов способа пространственного масштабируемого видеокодирования для сжатия исходного видеокадра в соответствие с некоторыми вариантами осуществления, основываясь, по меньшей мере, частично на описаниях, приведенных выше со ссылкой на фиг.3-9. Способ 1100 является обобщенным для видеокадра, который использует любое количество версий видеокадра, в котором каждая версия имеет уникальное разрешение. На этапе 1105 принимаются версии исходного видеокадра, в которых каждая версия имеет уникальное разрешение. Генерируется битовый поток основного слоя на этапе 1100 посредством кодирования версии исходного видеокадра, имеющей самое низкое разрешение, используя кодировщик основного слоя. Генерируется битовые потоки слоя улучшения на этапе 1115, в которых каждый битовый поток слоя улучшения во множестве генерируется посредством кодирования соответствующей одной из версий исходного видео. Может существовать как несколько, так и один битовый поток слоя улучшения во множестве. Для каждой версии исходного видеокадра кодирование содержит 1) разложение соответствующей одной из версий исходного видеокадра наборами субполосных фильтров анализа на субполосное представление соответствующей одной из версий исходного видеокадра, 2) формирование сигнала межслоевого предсказания, который является представлением восстанавливаемого исходного видеокадра при следующем низшем разрешении; и 3) генерирование битового потока слоя улучшения посредством кодирования субполосного представления кодировщиком межслоевой кадровой текстуры, который использует сигнал межслоевого предсказания. Масштабируемый битовый поток сжимается на этапе 1120 из битового потока основного слоя и множества битовых потоков слоя улучшения с использованием мультиплексора битовых потоков.

Обратимся к фиг.11, на которой блок-схема 1200 последовательности операций способа показывает несколько этапов способа пространственного масштабируемого видеодекодирования для разложения закодированного видеокадра в декодированный видеокадр в соответствие с некоторыми вариантами осуществления, основываясь, по меньшей мере, частично на описаниях, приведенных выше со ссылкой на фиг.3-9. На этапе 1205 битовый поток основного слоя и множество битовых потоков слоя улучшение извлекаются с использованием демультиплексора битовых потоков. На этапе 1210 версия с самым низким разрешением декодируемого видеокадра восстанавливается из битового потока основного слоя с использованием декодера основного слоя. На этапе 1215 восстанавливается множество декодируемых субполосных представлений. Каждое декодируемое субполосное представление во множестве восстанавливается посредством декодирования соответствующего одного из множества битовых потоков слоя улучшения. Для битового потока каждого слоя улучшения декодирование содержит: 1) формирование сигнала межслоевого предсказания, который является представлением восстанавливаемого декодируемого видеокадра при следующем низшем разрешении, и 2) восстановление субполосного представления посредством декодирования слоя улучшения декодером межслоевой кадровой текстуры, который использует сигнал межслоевого предсказания. Декодируемый видеокадр синтезируется из версии с самым низким разрешением декодируемого видеокадра и множества декодируемых субполосных представлений с использованием наборов субполосных фильтров синтеза. На этапе 1225 операция отсечения может быть выполнена над декодируемым кадром согласно диапазону пиксельных значений, принятому для пиксельного представления.

Станет очевидным, что, хотя способы 1100 и 1200 описываются исходя из кодирования и декодирования видеокадра, точно такие же способы применяют кодирование и декодирование изображения, которое не является частью видеопоследовательности.

Видео 603 основного слоя в предложенной системе 600 пространственного масштабируемого кодирования может кодироваться традиционным кодировщиком внутрикадрового видео с единственным слоем, в котором каждый видеокадр кодируется традиционным кодировщиком внутрислоевой кадровой текстуры. Обратимся к фиг.12, на которой изображена блок-схема кодировщика 1300 внутрислоевой кадровой текстуры в соответствие с некоторыми вариантами осуществления. Кодировщик 1300 внутрислоевой кадровой текстуры является примером, который можно было бы использовать для кодировщика 610 внутрислоевой кадровой текстуры (фиг.5) в системе 600 пространственного масштабируемого кодирования (фиг.5). Кодировщик 1300 внутрислоевой кадровой текстуры содержит традиционные функциональные блоки, которые взаимно соединены традиционным образом, и, в частности, использует традиционный кодировщик 1310 блочного преобразования для выполнения макроблочного кодирования входного сигнала 1305, чтобы сгенерировать выходной сигнал 1315 и сигнал 1320 межслоевого предсказания. Когда входной сигнал является версией с самым низким разрешением исходного видеокадра, так же как и в варианте осуществления по фиг.5, то выходной сигнал является кодированным битовым потоком основного слоя.

Обратимся к фиг.13, на которой изображена блок-схема декодера 1400 внутрислоевой кадровой текстуры в соответствие с некоторыми вариантами осуществления. Декодер 1400 внутрислоевой кадровой текстуры является примером, который можно было бы использовать для декодера 725 внутрислоевой кадровой текстуры (фиг.6) в системе 700 пространственного масштабируемого декодирования (фиг.6). Декодер 1400 внутрислоевой кадровой текстуры содержит традиционные функциональные блоки, которые взаимно соединены традиционным образом, и, в частности, использует традиционный декодер 1410 блочного преобразования для выполнения макроблочного декодирования входного сигнала 1405, чтобы сгенерировать выходной сигнал 1415.

Желательной особенностью является то, чтобы битовый поток основного слоя от системы пространственного кодирования являлся совместимым с немасштабируемым битовым потоком от традиционной системы кодирования с единственным слоем. В некоторых варрантах осуществления декодер 1400 внутрислоевой кадровой текстуры является внутрикадровым декодером, описанным в версиях стандартов MPEG-1, MPEG-2, MPEG-4, Н.261, Н.263, MPEG-4 AVC/Н.264 и JPEG, как опубликовано на 20 октября 2006 или ранее).

Различные способы сжатия субполосных/вейвлет коэффициентов преобразованного изображения представлены в литературе. Например, алгоритм на основе нулевого дерева используется инструментом вейвлет кодирования визуальных текстур (VTC) MPEG-4 (как опубликовано на 20 октября 2006 или ранее). JPEG2000 принял алгоритм EBCOT (версия, опубликованная на 20 октября 2006 или ранее), который является схемой многопроходного адаптивного к контексту кодирования для кодирования отдельных битовых плоскостей вейвлет коэффициентов. Уникальный и полезный аспект некоторых наших вариантов изобретений заключается в эффективной эксплуатации традиционных видеоинструментов для эффективной реализации предложенной системы субполосного/вейвлет кодирования. В частности, инструменты DCT макроблочного кодирования, разработанные для кодирования пиксельных отсчетов в текущих стандартов видеокодирования, используются для кодирования субполосных/вейвлет коэффициентов в этих вариантах осуществления. Таким образом предложенные методики масштабируемого кодирования могут быть реализованы с низкими затратами посредством многократного повторного использования существующих видеоинструментов.

Обратимся к фиг.14, на которой изображена блок-схема кодировщика 1500 межслоевой кадровой текстуры в соответствие с некоторыми вариантами осуществления. Кодировщик 1500 межслоевой кадровой текстуры является примером, который можно было бы использовать для кодирования кадра слоя улучшения в традиционной системе масштабируемого видеокодирования. Он используется в качестве кодировщика 633 межслоевой кадровой текстуры (фиг.5) для кодирования разложенного на субполосы кадра слоя улучшения в некоторых вариантах осуществления предложенной системы 600 пространственного масштабируемого кодирования (фиг.5). Кодировщик 1500 межслоевой кадровой текстуры содержит традиционные функциональные блоки - в частности традиционный кодир