Способ масштабируемого кодирования и декодирования видеосигнала и устройство для его осуществления

Способ масштабируемого кодирования и декодирования видеосигнала и устройство для его осуществления

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее изобретение относится в целом к сжатию видеосигнала и, в частности, касается кодирования видеосигнала с временной масштабируемостью посредством временной фильтрации с компенсацией движения в соответствии с последовательностью временных уровней с ограничениями.

Предшествующий уровень техники

Разработка технологий передачи информации, включая Интернет, привела к росту объема обмена видеосигналами. Однако потребители не удовлетворены существующими схемами связи на основе текстов. Для удовлетворения потребностей пользователей обеспечивается увеличение объема мультимедийных данных, содержащих различную информацию, в том числе текст, изображения, музыку и т.п. Мультимедийные данные обычно весьма объемны, так что для них требуется запоминающий носитель большой емкости. Также для передачи мультимедийных данных требуется широкая полоса пропускания. Например, для изображения 24-разрядного правильного цвета с разрешением 640×480 необходимо иметь 640×480×24 бита на кадр, то есть примерно 7,37 Мбит данных. В этом отношении необходимо иметь пропускную способность порядка 1200 Гбит, с тем чтобы передавать эти данные с частотой 30 кадров/с, а для запоминания кинофильма продолжительностью 90 минут потребуется объем памяти порядка 1200 Гбит. С учетом вышесказанного при передаче мультимедийных данных, включая текст, изображение или звук, необходимо использовать схему кодирования со сжатием.

Базовым принципом сжатия данных является устранение избыточности данных. Избыточность данных предполагает три типа избыточности: пространственную избыточность, временную избыточность и избыточность визуального восприятия. Пространственная избыточность относится к дублированию идентичных цветов или объектов в изображении, временная избыточность относится к отсутствию или небольшому изменению между соседними кадрами в кадре движущегося изображения или последовательному повторению одинаковых звуков в аудиосигнале, а избыточность визуального восприятия относится к притуплению человеческого зрения и чувствительности к высоким частотам. Устранив избыточность этих типов, данные можно сжать. Типы сжатия данных можно подразделить на: сжатие с потерями/без потерь в зависимости от того, потеряны ли исходные данные; внутрикадровое/межкадровое сжатие в зависимости от того, сжимаются ли данные независимо от кадра к кадру; и симметричное/асимметричное сжатие в зависимости от того, требуется ли для сжатия и восстановления данных одинаковый период времени. Вдобавок, когда общая длительность сквозной задержки при сжатии и распаковывании не превышает 50 мс, это называется сжатием в реальном времени. Когда кадры имеют различные значения разрешающей способности, это называется масштабируемым сжатием. Сжатие без потерь обычно используют при сжатии текстовых данных или медицинских данных, а сжатие с потерями обычно используют при сжатии мультимедийных данных.

С другой стороны, внутрикадровое сжатие обычно используют при устранении пространственной избыточности, а межкадровое сжатие используют при устранении временной избыточности.

Соответствующие передающие среды для передачи мультимедийных данных имеют разную пропускную способность. Используемые в настоящее время передающие среды имеют различные скорости передачи, включая сверхвысокоскоростную сеть связи, способную передавать данные со скоростями порядка десятков Мбит в секунду, сеть мобильной связи со скоростью передачи 384 Кбит в секунду и т.д. В стандартных алгоритмах кодирования видеосигнала, например MPEG-1, MPEG-2, H.263 или H.264, временная избыточность устраняется путем компенсации движения на основе схемы кодирования с предсказанием и компенсацией движения, а пространственная избыточность устраняется схемой кодирования с преобразованием. Эти схемы имеют хорошие рабочие характеристики при сжатии, но не отличаются большой гибкостью для реального масштабируемого битового потока, поскольку в основных алгоритмах этих схем используются рекурсивные подходы. По этой причине исследования в последнее время сфокусированы на масштабируемом кодировании видеосигнала на основе вейвлет-преобразования. Масштабируемое кодирование видеосигнала относится к кодированию видеосигнала с масштабируемостью, которая позволяет декодировать части сжатого битового потока. Благодаря этому свойству из битового потока можно получить различные видеосигналы. Здесь термин «масштабируемость» используется для совокупного указания на: специальную масштабируемость, предусмотренную для управления разрешающей способностью видеосигнала; масштабируемость по отношению сигнал/шум (SNR), предусмотренную для управления качеством видеосигнала; и временную масштабируемость, предусмотренную для управления значениями частоты кадров видеосигнала, а также из комбинации.

Среди многочисленных способов, используемых в схеме масштабированного кодирования видеосигнала на основе вейвлет-преобразования, базовым способом устранения временной избыточности и выполнения масштабируемого кодирования видеосигнала с временной гибкостью является временная фильтрация с компенсацией движения (MCTF), предложенная Ohm (J.R. Ohm, "Three-dimensional subband coding with motion compensation", IEEE Trans. Image Proc., Vol.3, No. 5, Sept. 1994) и усовершенствованная Choi и Wood (S.J. Choi и J.W. Woods, "Motion compensated 3-D subband coding of video", IEEE Trans. Image Proc., Vol.8, No.2, Feb. 1999). При фильтрации MCTF операция кодирования выполняется на основе группы изображений (GOP), а пары, состоящие из текущего кадра и опорного кадра, подвергаются временной фильтрации в направлении движения. Этот способ подробно описывается ниже со ссылкой на фиг. 1.

На фиг. 1 показаны временные декомпозиции в процессах масштабируемого кодирования и декодирования видеосигнала, где используется схема MCTF.

На фиг. 1 L кадр указывает на низкочастотный или обыкновенный кадр, а H кадр указывает на высокочастотный или разностный кадр. Как здесь показано, для выполнения процесса кодирования временная фильтрация сначала выполняется для пар кадров на самом низком временном уровне, чтобы преобразовать эти кадры на низком временном уровне в L кадры и H кадры на более высоком временном уровне, а затем пары преобразованных L кадров вновь подвергаются временной фильтрации и преобразуются в кадры на более высоких временных уровнях. Кодер создает битовый поток, используя L кадр на самом высоком уровне, и H кадры, которые прошли вейвлет-преобразование. Кадры, помеченные более темным цветом на фиг. 1, указывают, что они подвергаются вейвлет-преобразованию. Последовательность временных уровней распространяется от кадров на более низком уровне к кадрам на более высоком уровне. Декодер восстанавливает кадры, оперируя кадрами с более темной окраской, полученными посредством обратного вейвлет-преобразования, в порядке следования кадров от более высокого уровня к кадрам на более низком уровне. Два L кадра на втором временном уровне восстанавливают, используя L кадр и H кадр на третьем временном уровне, а четыре L кадра на первом временном уровне восстанавливают, используя два L кадра и два H кадра на втором временном уровне. Наконец, восемь кадров восстанавливают, используя четыре L кадра и четыре H кадра на первом временном уровне. Кодирование видеосигнала, использующее оригинальную схему MCTF, обладает временной гибкой масштабируемостью, но может иметь ряд недостатков, таких как неудовлетворительные рабочие характеристики при оценке однонаправленного движения, а также низкое качество при низких временных скоростях и т.д. В процессе исследования был предпринят ряд попыток с целью устранения этих недостатков. Одной из таких попыток является фильтрация MCTF без ограничений (UMCTF), предложенная Turaga и Mihaela (D.S. Turaga and Mihaela van der Schaar, "Unconstrained motion compensated temporal filtering", ISO/IEC JTC1/SC29/WG11, MPEG03/M8388, 2002). Фильтрация типа UMCTF описывается со ссылками на фиг. 2.

На фиг. 2 показаны временные декомпозиции в процессах масштабируемого кодирования и декодирования видеосигнала, где используется схема UMCTF.

В схеме UMCTF имеется возможность использовать множество опорных кадров и двунаправленную фильтрацию, что обеспечивает несколько общих структур. Вдобавок, в схеме UMCTF возможна недиадическая временная фильтрация на основе использования соответствующей вставки неотфильтрованного кадра (А кадра). Использование А кадров вместо отфильтрованных L кадров повышает визуальное качество на более низких временных уровнях, поскольку визуальное качество L кадров иногда серьезно ухудшается из-за отсутствия точной оценки движения. Множество экспериментальных результатов, полученных в прошлых исследованиях, показали, что фильтрация UMCTF без шага обновления имеет лучшие рабочие характеристики, чем исходная фильтрация MCTF. По этой причине обычно используют специальный вид фильтрации UMCTF, не содержащей шага обновления, хотя в наиболее общем варианте UMCTF есть возможность адаптивного выбора фильтров нижних частот.

Сущность изобретения

Техническая проблема

Во многих приложениях, где необходима малая сквозная задержка, таких как видеоконференции, требуется малая задержка как на стороне кодера, так и на стороне декодера. Поскольку как при фильтрации MCTF, так и при фильтрации UMCTF анализ выполняется, начиная с кадров на самом низком временном уровне, задержка на стороне кодера должна соответствовать по величине размеру группы GOP. Однако кодирование видеосигнала, дающее задержку, эквивалентную размеру GOP, реально неприемлемо для многих приложений, работающих в реальном времени. Хотя известно, что фильтрация UMCTF может снизить требование к задержке, ограничив количество будущих опорных кадров, это не является точным решением для управления сквозной задержкой. Вдобавок, не обеспечивается временная масштабируемость на стороне кодера, где кодирование видеосигнала не может прекратиться на каком-либо временном уровне и битовый поток не сможет передаваться. Однако временная масштабируемость на стороне кодера очень полезна для двунаправленных видеопотоковых приложений, работающих в реальном времени. Другими словами, работа на текущем временном уровне должна быть приостановлена, и должен быть немедленно передан битовый поток, когда операция кодирования невозможна. В этом отношении традиционные схемы имеют недостатки.

Техническое решение

В свете вышеописанных проблем имеется потребность в алгоритме кодирования видеосигнала, имеющем сравнительно небольшое влияние на визуальное качество и способном управлять сквозной задержкой так, чтобы она оставалась малой. Вдобавок, необходим алгоритм кодирования видеосигнала, обеспечивающий временные структуры с самого высокого временного уровня до самого низкого временного уровня, с тем чтобы иметь временную масштабируемость как на стороне кодера, так и на стороне декодера.

Соответственно, настоящее изобретение было задумано для удовлетворения вышеописанных потребностей. Одним аспектом настоящего изобретения является обеспечение способа и устройства для кодирования и декодирования видеосигнала, где можно управлять временем сквозной задержки и где временная масштабируемость имеется также на стороне кодера.

Согласно примерному варианту настоящего изобретения способ для кодирования видеосигнала содержит устранение временной избыточности в последовательности временных уровней с ограничениями из множества кадров, образующих входную видеопоследовательность, и формирование битового потока путем квантования коэффициентов преобразования, полученных из кадров, в которых была устранена временная избыточность.

Кадры, введенные на этапе устранения, могут являться кадрами, чья пространственная избыточность была устранена после прохождения через вейвлет-преобразование.

Коэффициенты преобразования на этапе формирования могут быть получены путем выполнения пространственного преобразования кадров, в которых была устранена временная избыточность. Пространственное преобразование выполняется на основе вейвлет-преобразования.

Временные уровни кадров могут иметь диадические иерархические структуры.

Последовательность временных уровней с ограничениями может являться последовательностью кадров на временных уровнях от самого высокого до самого низкого и последовательностью кадров, имеющих индексы с самого нижнего до самого верхнего на одном и том же временном уровне. Последовательность временных уровней с ограничениями периодически повторяется на основе размера GOP. В то же время кадр на самом высоком временном уровне имеет самый низкий кадровый индекс группы GOP среди кадров, образующих GOP.

Устранение временной избыточности выполняется на основе GOP, где первый кадр на самом высоком временном уровне в GOP кодируется как I кадр, после чего из соответствующих оставшихся кадров устраняется временная избыточность в соответствии с последовательностью временных уровней с ограничениями, причем для указанного устранения каждый из оставшихся кадров ссылается на один или несколько опорных кадров на более высоких временных уровнях, чем сам этот кадр, или имеет ссылку на один или несколько опорных кадров, чьи кадровые индексы ниже, чем у него самого, среди кадров на временном уровне, эквивалентном ему самому. Опорные кадры, на которые делается ссылка для устранения временной избыточности из соответствующих кадров, могут содержать один или два кадра с минимальным различием в индексах между одним или несколькими кадрами, имеющими более высокие временные уровни, чем сами указанные кадры.

Опорные кадры, на которые ссылается каждый кадр в процессе устранения временной избыточности, дополнительно содержат сами эти кадры (кадры, находящиеся в настоящее время в процессе фильтрации). Кадры, находящиеся в данный момент в процессе фильтрации, кодируются как I кадры, где относительная доля ссылок на самих себя в процессе устранения временной избыточности, больше заранее определенного значения.

Опорные кадры, на которые делается ссылка в процессе устранения временной избыточности, могут дополнительно содержать один или несколько кадров в следующей группе GOP, чьи временные уровни выше, чем у каждого из кадров, находящихся в данный момент в процессе фильтрации.

Последовательность временных уровней с ограничениями определяется в зависимости от режима кодирования. Последовательность временных уровней с ограничениями, определенная в зависимости от режима кодирования, периодически повторяется на основе GOP в одном и том же режиме кодирования. Кадр на самом высоком временном уровне из числа кадров, образующих GOP, может иметь самый низкий кадровый индекс.

На этапе формирования в битовый поток добавляется информация о режиме кодирования.

На этапе формирования в битовый поток добавляется информация о последовательностях пространственного устранения и временного устранения.

Режим кодирования определяется в зависимости от параметра D сквозной задержки, когда последовательность временных уровней с ограничениями продвигается от кадров на временных уровнях с самого высокого до самого низкого из числа кадров, имеющих индексы, не превышающие D, в сравнении с кадром на самом низком временном уровне, который еще не прошел временную фильтрацию, и от кадров с индексами от самого низкого к самому высокому на одном и том же временном уровне. Устранение временной избыточности выполняется на основе GOP, где первый кадр на самом высоком временном уровне в GOP кодируется как I кадр, после чего из соответствующих оставшихся кадров устраняется временная избыточность в соответствии с последовательностью временных уровней с ограничениями, причем для указанного устранения каждый из оставшихся кадров ссылается на один или несколько опорных кадров на более высоких временных уровнях, чем сам этот кадр, или ссылается на один или несколько опорных кадров, чьи индексы ниже, чем у него самого, среди кадров на временном уровне, эквивалентном самому указанному кадру. Предпочтительно, чтобы опорные кадры, на которые делается ссылка для устранения временной избыточности из соответствующих кадров, содержали бы один или два кадра с минимальным различием в индексах между одним или несколькими кадрами, имеющими более высокие временные уровни, чем сами указанные кадры.

Кадр на самом высоком временном уровне в GOP имеет самый низкий кадровый индекс.

В процессе устранения временной избыточности один или несколько опорных кадров, на которые ссылается каждый кадр, включают самих себя. Кадры, находящиеся в данный момент в процессе фильтрации, кодируются как I кадры, где относительная доля ссылок на самих себя в процессе устранения временной избыточности превосходит заранее определенное значение для коэффициента.

Опорные кадры, на которые делается ссылка в процессе устранения временной избыточности, дополнительно содержат один или несколько кадров в следующей группе GOP, чьи временные уровни выше, чем для каждого из кадров, находящихся в данный момент в процессе фильтрации, и чьи временные расстояния от каждого из кадров, находящихся в данный момент в процессе фильтрации, находятся в пределах D.

Согласно примерному варианту осуществления настоящего изобретения видеокодер содержит: блок временного преобразования, устраняющий временную избыточность в последовательности временных уровней с ограничениями из множества введенных кадров; блок пространственного преобразования, устраняющий пространственную избыточность из кадров; блок квантования, квантующий коэффициенты преобразования, полученные в процессах устранения временной и пространственной избыточностей; и блок формирования битового потока, создающий битовые потоки с использованием квантованных коэффициентов преобразования.

Блок временного преобразования видеосигнала устраняет временную избыточность кадров и передает кадры, чья временная избыточность была устранена, в блок пространственного преобразования, после чего блок пространственного преобразования устраняет пространственную избыточность кадров, чья временная избыточность была устранена, в результате чего получают коэффициенты преобразования. В то же время блок пространственного преобразования устраняет пространственную избыточность кадров посредством вейвлет-преобразования.

Кодер пространственного преобразования устраняет избыточность кадров посредством вейвлет-преобразования и передает кадры, чья пространственная избыточность была устранена, в блок временного преобразования, а затем блок временного преобразования устраняет временную избыточность кадров, чья пространственная избыточность была устранена, в результате чего получают коэффициенты преобразования.

Блок временного преобразования содержит: блок оценки движения, получающий векторы движения из множества введенных кадров; блок временной фильтрации, осуществляющий временную фильтрацию в последовательности временных уровней с ограничениями из множества введенных кадров, путем использования векторов движения; и блок выбора режима, определяющий последовательность временных уровней с ограничениями. Последовательность временных уровней с ограничениями, которую выбирает блок выбора режима, основана на периодической функции от размера GOP.

Блок выбора режима определяет последовательность временных уровней с ограничениями, состоящую из кадров на уровнях с самого высокого до самого низкого, и из кадров с индексами с самого маленького до самого большого на одном и том же временном уровне. Последовательность временных уровней с ограничениями, определенная блоком выбора режима, может периодически повторяться на основе размера GOP.

Блок выбора режима определяет последовательность временных уровней с ограничениями путем обращения к параметру D управления задержкой, причем определенная таким образом последовательность временных уровней является последовательностью кадров на уровнях с самого высокого до самого низкого из числа кадров с индексами, не превышающими D, в сравнении с кадром на самом нижнем уровне, чья временная избыточность не устранена, и последовательностью кадров с индексами от самого малого до самого большого на одном и том же временном уровне.

Блок временной фильтрации устраняет временную избыточность на основе GOP в соответствии с последовательностью временных уровней с ограничениями, выбранной блоком выбора режима, причем кадр, находящийся на самом высоком временном уровне в GOP, кодируется как I кадр, а затем устраняется временная избыточность из соответствующих оставшихся кадров, и при этом устранении каждый из оставшихся кадров ссылается на один или несколько опорных кадров на временных уровнях, более высоких, чем он сам, или ссылается на один или несколько опорных кадров, чьи индексы ниже, чем у него самого, из числа кадров на временном уровне, эквивалентном ему самому. Опорный кадр, относящийся к устранению временной избыточности из кадров, может содержать один или два кадра, имеющих минимальное отличие по индексу от кадра, находящегося в данный момент в процессе фильтрации, среди одного или нескольких кадров, находящихся на более высоких временных уровнях, чем кадры, проходящие в данный момент фильтрацию.

Кадр на самом высоком временном уровне в группе GOP имеет самый низкий временной кадровый индекс.

Блок временной фильтрации дополнительно включает кадр, находящийся в данный момент в процессе фильтрации, в опорные кадры, на которые делается ссылка при устранении временной избыточности из фильтруемого в данный момент кадра. В то же время блок временной фильтрации кодирует фильтруемый в данный момент кадр как I кадр, где относительная доля ссылок на самого себя для фильтруемого в данный момент кадра превышает заранее определенное значение.

Блок формирования битового потока создает битовый поток, включающий в себя информацию о последовательности временных уровней с ограничениями. Блок формирования битового потока может создать битовый поток, включающий в себя информацию о последовательностях устранения временной и пространственной избыточностях (последовательности устранения избыточностей) для получения коэффициентов преобразования.

Согласно примерному варианту настоящего изобретения способ декодирования видеосигнала содержит: выделение информации в кодированных кадрах путем приема входных битовых потоков и их интерпретации; получение коэффициентов преобразования путем обратного квантования информации в кодированных кадрах; и восстановление кадров посредством обратного временного преобразования коэффициентов преобразования в последовательности временных уровней с ограничениями.

На этапе восстановления кадры получают посредством обратного временного преобразования коэффициентов преобразования с последующим обратным вейвлет-преобразованием результатов.

На этапе восстановления кадры получают посредством обратного пространственного преобразования коэффициентов перед обратным временным преобразованием с последующим обратным временным преобразованием результатов. При обратном пространственном преобразовании предпочтительно используется обратное вейвлет-преобразование.

Последовательность временных уровней с ограничениями относится к последовательности кадров на временных уровнях от самого высокого до самого низкого, а также к кадрам с индексами от самого большого до самого малого на одном и том же временном уровне. Последовательность временных уровней с ограничениями периодически повторяется на основе размера группы GOP. Обратное временное преобразование относится к обратной временной фильтрации кадров, начиная с кодированных кадров на самом высоком временном уровне, и обработке последовательности временных уровней с ограничениями в группе GOP.

Последовательность временных уровней с ограничениями определяется в соответствии с информацией о режиме кодирования, выделенной из входного битового потока. Последовательность временных уровней с ограничениями периодически повторяется на основе размера GOP в одном и том же режиме кодирования.

Информация о режиме кодирования, определяющая последовательность временных уровней с ограничениями, может содержать параметр D управления сквозной задержкой, причем последовательность временных уровней с ограничениями, определенная информацией о режиме кодирования, продвигается от кодированных кадров на временных уровнях с самого высокого до самого низкого из числа кадров, имеющих индексы, не превышающие D, в сравнении с кадром на самом низком временном уровне, который еще не был декодирован, и от кадров с индексами от самого низкого до самого высокого на одном и том же временном уровне.

Последовательность устранения избыточности выделяется из входного битового потока.

Согласно примерному варианту настоящего изобретения видеодекодер, восстанавливающий кадры из входного битового потока, содержит: блок интерпретации битового потока, интерпретирующий битовый поток для выделения из него информации о кодированных кадрах; блок обратного квантования, осуществляющий обратное квантование информации о кодированных кадрах для получения из нее коэффициентов преобразования; блок обратного пространственного преобразования, выполняющий процесс обратного пространственного преобразования; и блок обратного временного преобразования, выполняющий процесс обратного временного преобразования в последовательности временных уровней с ограничениями, где кадры восстанавливаются посредством процессов обратного временного преобразования коэффициентов преобразования.

Видеодекодер дополнительно содержит блок обратного вейвлет-преобразования, выполняющий обратное вейвлет-преобразование результатов, полученных путем оперирования с коэффициентами преобразования с помощью блока обратного временного преобразования.

Видеодекодер дополнительно содержит блок обратного пространственного преобразования, выполняющий обратное пространственное преобразование коэффициентов преобразования, где результаты, полученные посредством обратного пространственного преобразования коэффициентов преобразования, подвергаются обратному временному преобразованию блоком обратного временного преобразования.

Блок обратного пространственного преобразования выполняет обратное пространственное преобразование на основе обратного вейвлет-преобразования, а последовательность временных уровней с ограничениями начинается с кодированных кадров на временных уровнях с самого высокого до самого низкого. Последовательность временных уровней с ограничениями периодически повторяется на основе размера группы GOP.

Блок обратного временного преобразования выполняет обратное временное преобразование на основе GOP, а кодированные кадры подвергаются обратной временной фильтрации, начиная с кадров на самом высоком временном уровне до кадров на самом низком временном уровне в GOP.

Блок интерпретации битового потока выделяет информацию о режиме кодирования из входного битового потока и определяет последовательность временных уровней с ограничениями в соответствии с информацией о режиме кодирования. Последовательность временных уровней с ограничениями периодически повторяется на основе GOP.

Информация о режиме кодирования, определяющая последовательность временных уровней с ограничениями, содержит параметр D управления сквозной задержкой, причем последовательность временных уровней с ограничениями, определенная информацией о режиме кодирования, продвигается от кодированных кадров на временных уровнях с самого высокого до самого низкого из числа кадров, имеющих индексы, не превышающие D, в сравнении с кадром на самом низком временном уровне, который еще не был декодирован, и от кадров с индексами с самого низкого до самого высокого на одном и том же временном уровне.

Последовательность устранения избыточности выделяется из входного потока.

Перечень чертежей

Вышеуказанные и другие цели, признаки и преимущества настоящего изобретения станут более очевидными из последующего подробного описания, взятого вместе с сопроводительными чертежами, на которых:

фиг. 1 - временные декомпозиции в процессах масштабируемого кодирования и декодирования видеосигнала при использовании схемы MCTF;

фиг. 2 - временные декомпозиции в процессах масштабируемого кодирования и декодирования видеосигнала при использовании схемы UMCTF;

фиг. 3 - функциональная блок-схема, иллюстрирующая масштабируемый видеокодер согласно примерному варианту настоящего изобретения;

фиг. 4 - функциональная блок-схема, иллюстрирующая масштабируемый видеокодер согласно примерному варианту настоящего изобретения;

фиг. 5 - функциональная блок-схема, иллюстрирующая масштабируемый видеодекодер согласно примерному варианту настоящего изобретения;

фиг. 6 - иллюстрация базовой концепции алгоритма последовательной временной аппроксимации и формирования ссылок (STAR) согласно примерному варианту настоящего изобретения;

фиг. 7 - иллюстрация множества возможных связей между кадрами в алгоритме STAR;

фиг. 8 - формирование ссылок между группами GOP согласно примерному варианту настоящего изобретения;

фиг. 9 - иллюстрация возможных связей между кадрами при не диадической временной фильтрации согласно примерному варианту настоящего изобретения;

фиг. 10 - иллюстрация возможных связей между кадрами при временной фильтрации, когда параметр управления сквозной задержкой равен нулю, согласно примерному варианту настоящего изобретения;

фиг. 11 - иллюстрация возможных связей между кадрами при временной фильтрации, когда параметр управления сквозной задержкой равен единице, согласно примерному варианту настоящего изобретения;

фиг. 12 - иллюстрация возможных связей между кадрами при временной фильтрации, когда параметр управления сквозной задержкой равен трем, согласно примерному варианту настоящего изобретения;

фиг. 13 - иллюстрация возможных связей между кадрами при временной фильтрации, когда параметр управления сквозной задержкой равен трем, а размер GOP равен 16, согласно примерному варианту настоящего изобретения;

фиг. 14 - иллюстрация прямого режима, обратного режима, двунаправленного режима и режима с внутрикадровым предсказанием;

фиг. 15 - иллюстрация возможных связей между кадрами с использованием четырех режимов предсказания при временной фильтрации согласно примерному варианту настоящего изобретения;

фиг. 16 - пример видеокодирования в быстро изменяющейся видеопоследовательности согласно примерному варианту по фиг. 15;

фиг. 17 - пример видеокодирования в медленно изменяющейся видеопоследовательности согласно примерному варианту по фиг. 15;

фиг. 18 - график, показывающий результаты отношения пиковый сигнал/шум (PSNR) для последовательности с общим промежуточным форматом (CIF) Foreman в схеме кодирования видеосигнала;

фиг. 19 - график, показывающий результаты PSNR для последовательности Mobile CIF в схеме кодирования видеосигнала;

фиг. 20 - график, показывающий результаты PSNR для последовательности CIF Foreman с различными уставками сквозной задержки в схеме кодирования видеосигнала;

фиг. 21 - график, показывающий результаты PSNR для последовательности Mobile CIF с различными уставками сквозной задержки в схеме кодирования видеосигнала; и

фиг. 22 - график, показывающий результаты PSNR, когда часть быстро изменяемой сцены из кинофильма «Матрица-2», кодируется с использованием четырех режимов предсказания, а также кодируется без использования четырех режимов предсказания.

Варианты осуществления изобретения

Далее со ссылками на сопроводительные чертежи подробно описываются примерные варианты осуществления настоящего изобретения.

На фиг. 3 представлена функциональная блок-схема, иллюстрирующая масштабируемый видеокодер согласно примерному варианту настоящего изобретения.

Масштабируемый видеокодер принимает множество введенных кадров для образования видеопоследовательности и сжимает их для формирования битового потока. Для выполнения этих операций масштабируемый видеокодер содержит: блок 10 временного преобразования, устраняющий временную избыточность между множеством кадров; блок 20 пространственного преобразования, устраняющий пространственную избыточность между кадрами; блок 30 квантования, квантующий коэффициенты преобразования, сформированные путем устранения временной и пространственной избыточностей; и блок 40 формирования битового потока, который формирует битовый поток, объединяющий квантованные коэффициенты преобразования и другую информацию.

Блок 10 временного преобразования содержит блок 12 оценки движения, блок 14 временной фильтрации и блок 16 выбора режима для компенсации движения между кадрами и выполнения временной фильтрации.

Блок 12 оценки движения получает векторы движения для компенсации движения между каждым макроблоком кадров, подвергающихся в данный момент временной фильтрации, и каждым макроблоком соответствующих им опорных кадров. Информация о векторах движения подается в блок 14 временной фильтрации, а блок 14 временной фильтрации выполняет временную фильтрацию для множества кадров, используя информацию о векторах движения. В данном примерном варианте временная фильтрация выполняется на основе группы GOP.

Блок 16 выбора режима определяет последовательность для временной фильтрации. Временная фильтрация в этом примерном варианте в основном обрабатывается в последовательности, начиная с кадра на самом высоком временном уровне до кадра на самом низком временном уровне в группе GOP. Когда кадры находятся на одном и том же временном уровне, обработка для временной фильтрации выполняется в последовательности, начиная с кадра с самым низким индексом до кадра с самым высоким индексом. Кадровый индекс является индексом, указывающим временную последовательность между кадрами, образующими группу GOP. Таким образом, когда количество кадров, образующих одну группу GOP, равно n, то последний кадр во временной последовательности имеет индекс n-1, если первый кадр GOP, который является кадром GOP, пришедшим раньше всех, определен с индексом 0.

В данном примерном варианте в качестве кадра, имеющего самый высокий временной уровень среди кадров, образующих данную группу GOP, используется, к примеру, кадр с самым низким индексом. Это обстоятельство следует интерпретировать в том смысле, что выбор другого кадра на самом высоком временном уровне в GOP также не противоречит технической концепции настоящего изобретения.

Блок 16 выбора режима может выполнять процесс кодирования видеосигнала в режиме с ограниченной задержкой для уменьшения сквозной задержки, создаваемой в процессе кодирования видеосигнала. В этом случае блок 16 выбора режима может ограничивать временную фильтрацию, с тем чтобы обеспечить последовательность кадров на временных уровнях с самого высокого до самого низкого, как было описано выше, в соответствии со значением параметра D управления сквозной задержкой. Вдобавок, блок 16 выбора режима может изменять последовательность временной фильтрации или выполнять временную фильтрацию с удалением некоторых кадров, учитывая ограничения на производительность обработки в процессе кодирования. Здесь будет использоваться термин «последовательность временных уровней с ограничениями», который обозначает последовательность временной фильтрации с учетом всех значимых факторов. Последовательность временных уровней с ограничениями определяет, что временная фильтрация начинается с кадра на самом верхнем временном уровне.

Кадры, из которых устраняется временная избыточность, то есть кадры, подвергающиеся временной фильтрации, проходят через блок 20 пространственного преобразования для устранения в них пространственной избыточности. Блок 20 пространственного преобразования устраняет специальную избыточность из кадров, которые прошли временную фильтрацию, путем использования пространственного преобразования. В данном примерном варианте используется вейвлет-преобразование. При вейвлет-преобразовании, известном специалистам