Способы кодирования и декодирования видеоизображения с использованием межуровневой фильтрации и видеокодер и видеодекодер с их использованием

Способы кодирования и декодирования видеоизображения с использованием межуровневой фильтрации и видеокодер и видеодекодер с их использованием

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Устройства и способы, согласно настоящему изобретению, относятся к способу многоуровневого кодирования видеоизображения и, более конкретно, к способу кодирования видеоизображения с использованием межуровневой фильтрации.

УРОВЕНЬ ТЕХНИКИ

С развитием технологии связи, включая Интернет, расширилась передача видеоизображения, а также передача текста и речи. Обычная передача текста не может удовлетворять различным потребностям пользователей, и, соответственно, расширились мультимедийные услуги, которые могут обеспечивать различные виды информации, такие как текст, изображения и музыка. Мультимедийные данные для осуществления передачи требуют носителя информации большой емкости и широкую полосу пропускания, так как, обычно, количество данных велико. Например, 24-битовое изображение в натуральных цветах (true-color), имеющее разрешение 640*480, требует емкости в 640*480*24 битов, то есть, для данных порядка 7,37 Mbits на кадр. Когда видеоизображение, состоящее из таких изображений, передают на скорости 30 кадров в секунду, требуется полоса пропускания 221 Mbits/sec. При сохранении 90-минутного фильма, основанного на таком изображении, требуется область памяти около 1200 Gbits. Соответственно, для передачи мультимедийных данных необходим способ кодирования со сжатием.

Основным принципом сжатия мультимедийных данных является удаление избыточности данных. Другими словами, данные видеоизображения могут быть сжаты при удалении пространственной, временной и визуальной избыточности. Пространственная избыточность возникает, когда в изображении повторяется один и тот же цвет или объект. Временная избыточность возникает, когда имеет место небольшое изменение между смежными кадрами в движущемся изображении или в звукозаписи повторяется один звук. При удалении визуальной избыточности учитываются ограничения зрения человека и ограниченное восприятие им высокой частоты.

Фиг.1 изображает среду, в которой применяют сжатие видеоизображения.

Данные видеоизображения сжимают видеокодером 110. MPEG-2, MPEG-4, H.263 и H.264 являются известными в настоящее время алгоритмами сжатия видеоизображения на основе Дискретного Косинусного Преобразования (DCT, ДКП). В последнее время активно проводились исследования масштабируемого кодирования видеоизображения на основе вейвлет (разложения по волнам малой длительности). Сжатые данные видеоизображения передают в видеодекодер 130 через сеть 120. Видеодекодер 130 декодирует сжатые данные видеоизображения для восстановления исходных данных видеоизображения.

Видеокодер 110 сжимает исходные данные видеоизображения, так чтобы они не превышали доступную полосу пропускания сети 120. Однако полоса пропускания канала связи может варьироваться в зависимости от вида сети 120. Например, доступная полоса пропускания канала связи сети Ethernet (локальной сети на основе протокола CSMA-CD) отлична от полосы пропускания канала беспроводной локальной сети (WLAN, БЛС). Сотовая сеть связи может иметь очень узкую полосу пропускания. Соответственно, активно проводится исследование в отношении способа формирования данных видеоизображения, сжатых по различной частоте следования битов, из одних и тех же сжатых данных видеоизображения, в частности масштабируемого кодирования видеоизображения.

Масштабируемое кодирование видеоизображения является способом сжатия видеоизображения, который обеспечивает возможность масштабирования данных видеоизображения. Масштабируемость является возможностью формирования из одного сжатого потока битов последовательностей видеоизображения при различных разрешениях, частотах кадра и качествах. Временная масштабируемость может быть обеспечена с использованием Компенсирующей Движение Временной Фильтрации (MCTF, КДВФ), Абсолютной MCTF (UMCTF, АВФКД) или алгоритма Последовательной Временной Аппроксимации и Сравнения с эталоном (STAR, ПВАС). Пространственная масштабируемость может быть получена посредством алгоритма вейвлет-преобразования (преобразования с разложением на волны малой длительности) или многоуровневого кодирования, которые активно изучались в последнее время. Масштабируемость Отношения сигнал-шум (SNR, ОСШ) может быть получена с использованием Внедренного Вейвлет с Нулевыми Деревьями (EZW, ВВН), Разбиения на Наборы в Иерархических Деревьях (SPIHT, РНИД), Внедренного Кодирования с Нулевым Блоком (EZBC, ВЕНБ), или Внедренного Блочного Кодирования с Оптимизированным Усечением (EBCOT).

В последнее время для масштабируемого кодирования видеоизображения были приняты алгоритмы многоуровневого кодирования видеоизображения. Хотя стандартное многоуровневое кодирование видеоизображения обычно использует один алгоритм кодирования видеоизображения, в последнее время повышенное внимание уделяют многоуровневому кодированию видеоизображения с использованием нескольких алгоритмов кодирования видеоизображения.

Фиг.2 и фиг 3 иллюстрируют возможные варианты потоков битов, сформированных при многоуровневом кодировании видеоизображения.

Согласно фиг.2, видеокодер использует и алгоритм Усовершенствованного Кодирования Видеоизображения MPEG-4, предлагающий превосходную эффективность кодирования, и способ вейвлет-кодирования, обеспечивающий превосходную масштабируемость. Когда видеокодер выполняет кодирование с использованием только вейвлет-кодирования, имеется тенденция к существенному ухудшению качества видеоизображения при низком разрешении. Соответственно, поток битов, изображенный на фиг.2, содержит AVC-кодированные кадры уровня с самым низким разрешением, и кадры уровня с самым высоким разрешением, вейвлет-кодированнные с использованием AVC-кодированных кадров самого низкого уровня. Кадром, используемым в качестве опорного при кодировании, является кадр, восстановленный при декодировании кадра, кодированного посредством AVC-кодирования.

Согласно фиг.3, видеокодер использует и вейвлет-кодирование, обеспечивающее превосходную масштабируемость, и AVC-кодирование, обеспечивающее высокую эффективность кодирования. Хотя в потоке битов, изображенном на фиг.2, имеется только два уровня, вейвлет-кодированный и AVC-кодированный, в потоке битов, изображенном на фиг.3, имеется вейвлет-кодированный уровень и AVC-кодированный уровень для каждого разрешения.

Раскрытие изобретения

Техническая проблема

При многоуровневом кодировании видеоизображения существует проблема, состоящая в том, что имеется тенденция к низкой эффективности кодирования уровня расширения, из-за шума квантования в предыдущем кодированном уровне (базовом уровне). В частности, проблема является более неблагоприятной, когда при многоуровневом кодировании видеоизображения используют несколько алгоритмов кодирования видеоизображения, имеющих различные характеристики. Например, использование и AVC-кодирования на основе DCT и вейвлет-кодирования, как изображено на фиг.2 или фиг.3, может ухудшить эффективность кодирования на уровне вейвлет.

Техническое решение

Настоящее изобретение обеспечивает способы кодирования и декодирования видеоизображения с использованием межуровневой фильтрации, разработанной для повышения эффективности многоуровневого кодирования видеоизображения, и видеокодеры и видеодекодеры.

Вышеупомянутая задача, а также другие задачи, признаки и преимущества настоящего изобретения станут очевидны для специалистов в данной области техники после обзора последующего описания.

Согласно аспекту настоящего изобретения, обеспечен способ кодирования видеоизображения, включающий кодирование кадров с использованием первой схемы кодирования видеоизображения, выполнение межуровневой фильтрации в отношении кадров, кодированных посредством первой схемы кодирования видеоизображения, кодирование кадров видеоизображения с использованием второй схемы кодирования видеоизображения с обращением к кадрам, подвергшимся межуровневой фильтрации, и формирование потока битов, содержащего кадры, кодированные посредством первой и второй схем кодирования видеоизображения.

Согласно другому аспекту настоящего изобретения, обеспечен способ кодирования видеоизображения, включающий субдискретизацию кадров видеоизображения для формирования кадров видеоизображения с низким разрешением, кодирование кадров видеоизображения с низким разрешением с использованием первой схемы кодирования видеоизображения, повышение дискретизации кадров, кодированных посредством первой схемы кодирования видеоизображения до разрешения кадров видеоизображения, выполнение межуровневой фильтрации в отношении кадров с повышенной дискретизацией, кодирование кадров видеоизображения с использованием второй схемы кодирования видеоизображения, обращаясь к кадрам, подвергшимся межуровневой фильтрации, и формирование потока битов, содержащего кадры, кодированные посредством первой и второй схем кодирования видеоизображения.

Согласно еще одному аспекту настоящего изобретения обеспечен видеокодер, содержащий первый блок кодирования видеоизображения, кодирующий кадры видеоизображения с использованием первой схемы кодирования видеоизображения, межуровневый фильтр, выполняющий межуровневую фильтрацию в отношении кадров, кодированных первой схемой кодирования видеоизображения, второй блок кодирования видеоизображения, кодирующий кадры видеоизображения с использованием второй схемы кодирования видеоизображения, обращаясь к кадрам, фильтрованным посредством межуровневой фильтрации, и генератор потока битов, формирующий поток битов, содержащий кадры, кодированные посредством первой и второй схем кодирования видеоизображения.

Согласно дополнительному аспекту настоящего изобретения обеспечен видеокодер, содержащий средство субдискретизации, субдискретизирующее кадры видеоизображения для формирования кадров видеоизображения с низким разрешением, первый блок кодирования видеоизображения, кодирующий кадры видеоизображения с низким разрешением с использованием первой схемы кодирования видеоизображения, средство повышения дискретизации, повышающее дискретизацию кадров, кодированных первой схемой кодирования видеоизображения, межуровневый фильтр, выполняющий межуровневую фильтрацию в отношении кадров с повышенной дискретизацией, второй блок кодирования видеоизображения, кодирующий кадры видеоизображения с использованием второй схемы кодирования видеоизображения на основе кадров, фильтрованных посредством межуровневой фильтрации, и генератор потока битов, формирующий поток битов, содержащий кадры, кодированные посредством первой и второй схем кодирования видеоизображения.

Согласно еще одному аспекту настоящего изобретения, обеспечен способ декодирования видеоизображения, включающий извлечение кадров, кодированных посредством первой и второй схем кодирования видеоизображения, из потока битов, декодирование кадров, кодированных посредством первой схемы кодирования видеоизображения, с использованием первой схемы декодирования видеоизображения и восстановление кадров первого уровня, выполнение межуровневой фильтрации в отношении восстановленных кадров первого уровня и декодирование кадров, кодированных посредством второй схемы кодирования видеоизображения, с использованием второй схемы декодирования видеоизображения на основе кадров первого уровня, фильтрованных посредством межуровневой фильтрации, и восстановление кадров второго уровня.

Согласно еще одному аспекту настоящего изобретения обеспечен способ декодирования видеоизображения, включающий извлечение кадров, кодированных посредством первой и второй схем кодирования видеоизображения, из потока битов, декодирование кадров, кодированных посредством первой схемы кодирования видеоизображения, с использованием первой схемы декодирования видеоизображения, восстановление кадров первого уровня, повышение дискретизации восстановленных кадров первого уровня, выполнение межуровневой фильтрации для кадров с повышенной дискретизацией первого уровня и декодирование кадров, кодированных посредством второй схемы кодирования видеоизображения, с использованием второй схемы декодирования видеоизображения на основе кадровпервого уровня, фильтрованных посредством межуровневой фильтрации, и восстановление кадров второго уровня.

Согласно еще одному аспекту настоящего изобретения обеспечен видеодекодер, содержащий интерпретатор потока битов, извлекающий кадры, кодированные посредством первой и второй схем кодирования видеоизображения, из потока битов, первый блок декодирования видеоизображения, декодирующий кадры, кодированные посредством первой схемы кодирования видеоизображения, обращаясь к первой схеме декодирования видеоизображения и восстанавливающий кадры первого уровня, межуровневый фильтр, выполняющий межуровневую фильтрацию на восстановленных кадрах первого уровня, и второй блок декодирования видеоизображения, декодирующий кадры, кодированные посредством второй схемы кодирования видеоизображения, с использованием второй схемы декодирования видеоизображения в отношении кадров первого уровня, фильтрованных посредством межуровневой фильтрации, и восстановление кадров второго уровня.

Согласно еще одному аспекту настоящего изобретения обеспечен видеодекодер, содержащий видеодекодер, содержащий интерпретатор потока битов для извлечения кадров, кодированных посредством первой и второй схем кодирования видеоизображения, из потока битов, первый блок декодирования видеоизображения для декодирования кадров, кодированных посредством первой схемы кодирования видеоизображения, с использованием первой схемы декодирования видеоизображения и восстановления кадров первого уровня, средство повышения дискретизации для повышения дискретизации восстановленных кадров первого уровня, межуровневый фильтр для выполнения межуровневой фильтрации в отношении кадров с повышенной дискретизацией первого уровня, и второй блок декодирования видеоизображения для декодирования кадров, кодированных посредством второй схемы кодирования видеоизображения, с использованием второй схемы декодирования видеоизображения на основе кадров первого уровня, фильтрованных посредством межуровневой фильтрации, и восстановления кадров второго уровня.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Вышеупомянутые и другие аспекты настоящего изобретения станут более очевидны при подобном описании его возможных вариантов осуществления, согласно приложенным чертежам.

Фиг.1 изображает среду, в которой применяют сжатие видеоизображения.

Фиг.2 и фиг.3 изображают возможные структуры потока битов, сформированного при многоуровневом кодировании видеоизображения.

Фиг.4 - блочная диаграмма видеокодера согласно первому возможному варианту осуществления настоящего изобретения.

Фиг.5 - блочная диаграмма видеокодера согласно второму возможному варианту осуществления настоящего изобретения.

Фиг.6 - блочная диаграмма временного фильтра согласно возможному варианту осуществления настоящего изобретения.

Фиг.7 - диаграмма, иллюстрирующая процесс кодирования видеоизображения, согласно возможному варианту осуществления настоящего изобретения.

Фиг.8 - диаграмма, иллюстрирующая подробно процесс кодирования второго уровня, согласно возможному варианту осуществления настоящего изобретения.

Фиг.9 - блочная диаграмма видеодекодера согласно первому возможному варианту осуществления настоящего изобретения.

Фиг.10 - блочная диаграмма видеодекодера согласно второму возможному варианту осуществления настоящего изобретения.

Фиг.11 - блочная диаграмма обратного временного фильтра согласно возможному варианту осуществления настоящего изобретения.

Фиг.12 - диаграмма, иллюстрирующая процесс декодирования видеоизображения, согласно возможному варианту осуществления настоящего изобретения.

Фиг.13 - диаграмма, иллюстрирующая подробно процесс выполнения обратного временного фильтрования на втором уровне, согласно возможному варианту осуществления настоящего изобретения.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Аспекты изобретения и способы их выполнения могут стать более понятны при обращении к последующему подробному описанию возможных вариантов осуществления и приложенным чертежам. Однако настоящее изобретение может быть реализовано во многих различных видах и не должно рассматриваться, как ограниченное изложенными здесь возможными вариантами осуществления. Кроме того, эти возможные варианты осуществления приведены, чтобы это раскрытие было полным и завершенным, и для передачи полностью концепции изобретения специалистам в данной области техники, и настоящее изобретение должно быть определено исключительно приложенной формулой изобретения. В описании использована сквозная нумерация.

Настоящее изобретение описано более полно, согласно приложенным чертежам, в которых изображены возможные варианты осуществления изобретения. Для удобства объяснения предполагается, что видеокодер имеет два блока кодирования для двух уровней.

Фиг.4 иллюстрирует блок-схему видеокодера согласно первому возможному варианту осуществления настоящего изобретения.

Согласно фиг.4, видеокодер, согласно первому возможному варианту осуществления настоящего изобретения, содержит первый блок 410 кодирования видеоизображения, второй блок 420 кодирования видеоизображения, генератор 430 потока битов и межуровневый фильтр 440.

Первый блок 410 кодирования содержит временной фильтр 411, преобразователь 412 Дискретного Косинусного Преобразования (DCT) и квантующее средство 413 и кодирует кадр видеоизображения с использованием усовершенствованного кодирования видеоизображения (AVC).

Временной фильтр 411 принимает кадр 400 видеоизображения и удаляет временную избыточность, которую кадр 400 видеоизображения имеет со смежными кадрами. Для удаления временной избыточности между кадрами временной фильтр 411 может использовать алгоритм Компенсирующей Движение Временной Фильтрации (MCTF). Алгоритм MCTF, поддерживающий временную масштабируемость, удаляет временную избыточность между смежными кадрами. Для MCTF широко используют Фильтр 5/3. Могут быть использованы другие алгоритмы временного фильтрования, поддерживающие временную масштабируемость, такие как Абсолютная MCTF (UMCTF) или Последовательная Временная Аппроксимация и Обращение к эталону (STAR).

Преобразователь 412 DCT выполняет DCT для кадра, фильтрованного посредством временной фильтрации. DCT выполняют для каждого блока предварительно определенного размера (8·8 или 4·4). Энтропия блока, подвергшегося DCT, уменьшена по сравнению с энтропией блока перед DCT.

Квантующее средство 413 квантует DCT-преобразованный кадр. При AVC квантование определяют на основе параметра квантования (Qp). После того как он подвергся сканированию и статистическому кодированию, квантованный кадр вставляют в поток битов.

Второй блок 420 кодирования видеоизображения содержит временной фильтр 421, вейвлет-преобразователь 422 и квантующее средство 423 и кодирует кадр видеоизображения с использованием вейвлет-кодирования.

Временной фильтр 421 принимает кадр 400 видеоизображения и удаляет временную избыточность, которую кадр 400 видеоизображения имеет со смежными кадрами. Для удаления временной избыточности между кадрами временной фильтр 421 может использовать алгоритм MCTF. Алгоритм MCTF, поддерживающий временную масштабируемость, удаляет временную избыточность между смежными кадрами. Могут быть использованы другие алгоритмы временного фильтрования, поддерживающие временную масштабируемость, такие как UMCTF или STAR.

Вейвлет-преобразователь 422 выполняет преобразование в отношении кадра, фильтрованного посредством временного фильтрования, на по-кадровой основе. Алгоритм вейвлет-преобразования, поддерживающий пространственную масштабируемость, осуществляет разложение кадра на один поддиапазон низких частот (LL) и три поддиапазона высоких частот (LH, HL и HH). LL поддиапазон по размеру составляет четверть первоначального кадра и является его аппроксимацией перед тем, как он подвергается вейвлет-преобразованию. Вновь выполняют вейвлет-преобразование для разложения LL поддиапазона на один поддиапазон низких частот (LLLL) и три поддиапазона высоких частот (LLLH, LLHL, и LLHH). LLLL поддиапазон по размеру составляет четверть LL поддиапазона и является его аппроксимацией. Для вейвлет-преобразования обычно используют фильтр 9/7.

Квантующее средство 423 осуществляет квантования кадра, преобразованного посредством вейвлет-преобразования. Квантование выполняют с использованием внедренного алгоритма квантования, такого как Внедренный Вейвлет с нулевыми Деревьями (EZW), Разбиение на Наборы в Иерархических Деревьях (SPIHT), Внедренное Кодирование с Нулевым Блоком (EZBC), или Внедренное Блочное Кодирование с Оптимизированным Усечением (EBCOT), обеспечивающие масштабируемость отношения сигнал-шум (SNR).

Временной фильтр 421 удаляет временную избыточность, которая существует в кадре 400 видеоизображения, с использованием смежных кадров или кадра, кодированного первым блоком 410 кодирования видеоизображения, в качестве опорного. DCT на основе блока, выполняемое перед квантованием, может вызывать блочные искажения изображения, которые ухудшают эффективность вейвлет-кодирования, выполняемого вторым блоком 420 кодирования видеоизображения. То есть кадр, содержащий блочные искажения изображения, может ухудшать эффективность вейвлет-кодирования, так как блочные искажения изображения, такие как шум, распространяются по всему кадру, когда кадр подвергается вейвлет-преобразованию.

Соответственно, видеокодер фиг.4 дополнительно содержит межуровневый фильтр 440 для устранения шума, формируемого между уровнями. Межуровневый фильтр 440 выполняет фильтрацию так, что кадр, кодированный посредством первого способа кодирования видеоизображения, соответственно, используют в качестве опорного для второго способа кодирования видеоизображения. Межуровневая фильтрация необходима, когда для каждого уровня используют различные схемы кодирования видеоизображения, как изображено в кодере видеоизображения фиг.4.

Межуровневый фильтр 440 выполняет фильтрование для кадра, кодированного посредством AVC-кодирования на основе DCT так, что он может, соответственно, использоваться в качестве опорного для вейвлет-кодирования. Для осуществления этого межуровневый фильтр субдискретизирует AVC-кодированный кадр с использованием MPEG (или другого) фильтра после повышения его дискретизации с использованием вейвлет-фильтра; однако, это просто иллюстративно. Кроме того, фильтром субдискретизации в межуровневом фильтре 440 может быть фильтр нижних частот, проявляющий большой градиент на частоте среза. Межуровневым фильтром 440 может быть любой один или несколько фильтров, разработанных так, чтобы кадр, подвергаемый межуровневой фильтрации, соответственно, мог использоваться в качестве опорного вторым блоком 420 кодирования видеоизображения.

Генератор 430 потока битов формирует поток битов, содержащий AVC-кодированный кадр 431, вэйвлет-кодированный кадр 432, вектора движения и другую необходимую информацию.

Фиг.5 изображает блок-схему видеокодера согласно второму возможному варианту осуществления настоящего изобретения.

Согласно фиг.5 видеокодер содержит первый блок 510 кодирования видеоизображения, второй блок 520 кодирования видеоизображения, генератор 530 потока битов, межуровневый фильтр 540, средство (блок) 550 повышения дискретизации и средство (блок) 560 субдискретизации. Видеокодер кодирует кадр видеоизображения и кадр видеоизображения с низким разрешением с использованием различных схем кодирования видеоизображения. В частности, средство 560 субдискретизации субдискретизирует кадр 500 видеоизображения для формирования кадра видеоизображения с низким разрешением.

Первый блок 510 кодирования видеоизображения содержит временной фильтр 511, DCT-преобразователь 512 и квантующее устройство 513 и кодирует кадр видеоизображения с низким разрешением с использованием AVC-кодирования.

Временной фильтр 511 принимает кадр видеоизображения с низким разрешением и удаляет временную избыточность, которую кадр с низким разрешением имеет со смежными кадрами с низким разрешением. Для удаления временной избыточности между кадрами с низким разрешением временной фильтр 511 использует алгоритм MCTF, который поддерживает временную масштабируемость. Для MCTF широко используют фильтр 5/3, но могут быть использованы другие алгоритмы временной фильтрации, поддерживающие временную масштабируемость, такие как UMCTF или STAR.

DCT-преобразователь 512 выполняет DCT для кадра, фильтрованного посредством временной фильтрации. DCT выполняют для каждого блока предварительно определенного размера (8·8 или 4·4). Энтропия блока, подвергшегося DCT, уменьшена по сравнению с энтропией блока перед DCT.

Квантующее средство 513 квантует DCT-преобразованный кадр. При AVC квантование определяют на основе параметра квантования (Qp). После того, как он подвергся переупорядочению и статистическому кодированию, квантованный кадр вставляют в поток битов.

Средство 550 повышения дискретизации повышает дискретизацию AVC-кодированного кадра до разрешения кадра 500.

Межуровневый фильтр 540 выполняет фильтрацию таким образом, что вариант (версия) кадра с повышенной дискретизацией может, соответственно, использоваться в качестве опорного для вейвлет-кодирования. В возможном варианте осуществления настоящего изобретения дискретизация варианта кадра с повышенной дискретизацией может быть повышена посредством вейвлет-фильтра с последующей субдискретизацией с использованием MPEG-фильтра; однако, это просто иллюстративно. Кроме того, субдискретизирующим фильтром в межуровневом фильтре 540 может быть фильтр нижних частот, имеющий большой градиент на частоте среза. Межуровневым фильтром 540 может быть любой один или несколько фильтров, разработанных так, чтобы кадр, подвергшийся межуровневой фильтрации, соответственно, мог использоваться в качестве опорного вторым блоком 520 кодирования видеоизображения.

Второй блок 520 кодирования видеоизображения содержит временной фильтр 521, вейвлет-преобразователь 522 и квантующее средство 523, и он кодирует кадр видеоизображения с использованием вейвлет-кодирования.

Временной фильтр 521 принимает кадр 500 видеоизображения и удаляет временную избыточность, которую кадр 500 видеоизображения имеет со смежными кадрами. В возможном варианте осуществления настоящего изобретения для удаления временной избыточности между кадрами с низким разрешением временной фильтр 521 использует алгоритм MCTF. Алгоритм MCTF, поддерживающий временную масштабируемость, удаляет временную избыточность между смежными кадрами с низким разрешением. Могут быть использованы другие алгоритмы временной фильтрации, поддерживающие временную масштабируемость, такие как UMCTF или STAR.

Вейвлет-преобразователь 522 выполняет вейвлет-преобразование в отношении кадра, фильтрованного посредством временного фильтрования. В отличие от DCT-преобразования, которое выполняют в единицах блоков, вейвлет-преобразование выполняют в единицах кадров. Алгоритм вейвлет-преобразования, поддерживающий пространственную масштабируемость, разлагает кадр на один поддиапазон низких частот (LL) и три поддиапазона высоких частот (LH, HL и HH). LL-поддиапазон составляет четверть размера исходного кадра до того, как он подвергся вейвлет-преобразованию, и является его аппроксимацией. Вновь выполняют вейвлет-преобразование для разложения LL-поддиапазона на один поддиапазон низких частот (LLLL) и три поддиапазона высоких частот (LLLH, LLHL, и LLHH). LLLL поддиапазон составляет четверть размера LL поддиапазона и является его аппроксимацией. Для вейвлет-преобразования обычно используют фильтр 9/7.

Квантующее средство 523 осуществляет квантование кадра, преобразованного посредством вейвлет-преобразования. Квантованием может быть внедренный алгоритм квантования, который обеспечивает масштабируемость SNR, такой как EZW, SPIHT, EZBC или EBCOT.

Временной фильтр 521 удаляет временную избыточность, которая существует в кадре 500 видеоизображения, с использованием смежных кадров или кадра, кодированного первым блоком 510 кодирования видеоизображения, в качестве опорного. Перед передачей во временной фильтр 521 кадр, кодированный первым блоком кодирования видеоизображения, подвергают повышению дискретизации и межуровневой фильтрации.

Генератор 530 потока битов формирует поток битов, содержащий AVC-кодированный кадр 531, вейвлет-кодированный кадр 532, векторы движения и другую необходимую информацию.

Со ссылками на фиг.6 более подробно описан временной фильтр.

Фиг.6 - блочная диаграмма временного фильтра 600, согласно возможному варианту осуществления настоящего изобретения.

Хотя на фиг.4 и фиг.5 изображено, что первый и второй блоки 410 (510) и 420 (520) кодирования видеоизображения содержат временные фильтры 411 (511) и 421 (521), соответственно, для удобства объяснения в возможном варианте осуществления предполагается, что временной фильтр 600 используют во втором блоке 420 кодирования видеоизображения.

Временной фильтр 600 удаляет временную избыточность между кадрами видеоизображения с использованием MCTF на основе принципа группа-за-группой для групп изображения (GOP, ГРИ). Для выполнения этой функции временной фильтр 600 содержит генератор 610 кадров предсказания для формирования кадра предсказания, сглаживающий фильтр 620 кадров предсказания для сглаживания кадра предсказания, генератор 630 остаточных кадров для формирования остаточного кадра посредством сравнения сглаженного кадра предсказания с кадром видеоизображения, и средство 640 обновления для обновления кадра видеоизображения с использованием остаточного кадра.

Генератор 610 кадров предсказания формирует кадр предсказания, который должен сравниваться с кадром видеоизображения для формирования остаточного кадра, с использованием кадров видеоизображения, смежных с кадром видеоизображения, и кадра, подвергшегося межуровневой фильтрации, в качестве опорного. Генератор 610 кадров предсказания обнаруживает совпадающий блок для каждого блока в кадре видеоизображения внутри опорных кадров (смежных кадров видеоизображения и кадра, подвергшегося межуровневой фильтрации) (интер-кодирование) или внутри другого блока в кадре видеоизображения (интра-кодирование).

Сглаживающий фильтр 620 кадров предсказания сглаживает кадр предсказания, так как в кадре предсказания, созданном из блоков, соответствующих блокам в кадре видеоизображения, по границам блока вносятся блочные искажения изображения (артефакты). Для выполнения этого сглаживающий фильтр 620 кадров предсказания может выполнять разделение блоков на пикселина разделения блоков по границам блоков в кадре предсказания. Так как алгоритм разделения хорошо известен в схеме кодирования видеоизображения H.264, то его подробное описание приведено не будет.

Генератор 630 остаточных кадров сравнивает сглаженный кадр предсказания с кадром видеоизображения и формирует остаточный кадр, в котором удалена временная избыточность.

Средство 640 обновления использует остаточный кадр для обновления других кадров видеоизображения. Затем обновленные кадры видеоизображения выдают на генератор 610 кадров предсказания.

Например, когда каждая GOP состоит из восьми кадров видеоизображения, временной фильтр 600 удаляет временную избыточность в кадрах 1, 3, 5 и 7 для формирования остаточных кадров 1, 3, 5 и 7, соответственно. Остаточные кадры 1, 3, 5 и 7 используют для обновления кадров 0, 2, 4 и 6. Временной фильтр 600 удаляет временную избыточность из обновленных кадров 2 и 6 для формирования остаточных кадров 2 и 6. Остаточные кадры 2 и 6 используют для обновления кадров 0 и 4. Затем временной фильтр 600 удаляет временную избыточность в обновленном кадре 4 для формирования остаточного кадра 4. Остаточный кадр 4 используют для обновления кадра 0. Посредством процесса, описанного выше, временной фильтр 600 выполняет временную фильтрацию восьми кадров видеоизображения для получения одного кадра низкой частоты(обновленный кадр 0) и семи кадров высокой частоты (остаточные кадры с 1 по 7).

Со ссылками на фиг.7 и фиг.8 описаны процесс кодирования видеоизображения и временная фильтрация. Предполагается, что кодирование видеоизображения выполняют на двух уровнях.

Сначала, согласно фиг.7, на этапе S710 видеокодер принимает кадр видеоизображения.

На этапе S720 видеокодер кодирует входной кадр видеоизображения с использованием AVC-кодирования. В приведенном возможном варианте осуществления первый уровень кодируют с использованием AVC-кодирования, так как AVC-кодирование обеспечивает наиболее высокую эффективность кодирования, доступную в настоящее время. Однако, первый уровень может быть кодирован с использованием другого алгоритма кодирования видеоизображения.

После кодирования первого уровня на этапе S730 видеокодер выполняет межуровневую фильтрацию для AVC-кодированного кадра так, чтобы он мог, соответственно, использоваться в качестве опорного для кодирования второго уровня. Межуровневая фильтрации включает в себя повышение дискретизации AVC-кодированного кадра с использованием вейвлет-фильтра и субдискретизацию варианта AVC-кодированного кадра с повышенной дискретизацией с использованием MPEG-фильтра.

После завершения межуровневой фильтрации на этапе S740 видеокодер выполняет вейвлет-кодирование кадра видеоизображения с использованием в качестве опорного кадра, подвергшегося межуровневой фильтрации. После завершения вейвлет-кодирования на этапе S750 видеокодер формирует поток битов, содержащий AVC-кодированный кадр и вейвлет-кодированный кадр. Когда первый и второй уровни имеют различные разрешения, видеокодер использует кадр с низким разрешением, полученный посредством субдискретизации входного кадра видеоизображения при AVC-кодировании. После завершения AVC-кодирования видеокодер изменяет разрешение AVC-кодированного кадра. Например, когда разрешение первого уровня ниже разрешения второго уровня, видеокодер повышает дискретизацию AVC-кодированного кадра до разрешения второго уровня. Затем видеокодер выполняет межуровневую фильтрацию варианта (экземпляра) AVC-кодированного кадра с повышенной дискретизацией.

Фиг.8 является блок-схемой, иллюстрирующей подробно процесс кодирования второго уровня согласно возможному варианту осуществления настоящего изобретения.

Согласно фиг.8 на этапе S810 второй блок кодирования видеоизображения принимает кодированный на первом уровне кадр видеоизображения, который был подвергнут межуровневой фильтрации.

На этапе S820 после приема кадра видеоизображения и кадра, подвергнутого межуровневой фильтрации, второй блок кодирования видеоизображения выполняет оценку движения для формирования кадра предсказания, который должен использоваться при удалении временной избыточности в кадре видеоизображения. Для оценки движения могут использоваться различные известные алгоритмы, такие как Согласование Блока и Иерархическое Согласование Блока Переменного Размера (HVSBM, ИСБПР).

На этапе S830 после выполнения оценки движения второй блок кодирования видеоизображения использует векторы движения, полученные в результате оценки движения, для формирования кадра предсказания.

На этапе S840 второй блок кодирования видеоизображения осуществляет сглаживание кадра предсказания для уменьшения блочных искажений изображенияв остаточном кадре. Это происходит из-за того, что очевидная граница блока ухудшает эффективность кодирования при вейвлет-преобразовании и квантовании.

На этапе S850 второй блок кодирования видеоизображения осуществляет сравнение кадра предсказания с кадром видеоизображения для формирования остаточного кадра. Остаточный кадр соответствует кадру высокой частоты (H-кадру), сформированному посредством MCTF.

На этапе S860 временной фильтр использует остаточный кадр для обновления другого кадра видеоизображения. Обновленный вариант кадра видеоизображения соответствует кадру низкой частоты (L-кадру).

После формирования L-кадра и H-к