Устройство компрессии видеоданных

Устройство компрессии видеоданных

Иллюстрации

Показать все

Реферат

Изобретение относится к телевизионным системам, в частности к системам, в которых телевизионный сигнал передается по одному каналу или нескольким параллельным каналам при ширине полосы пропускания каждого канала меньшей, чем ширина спектра телевизионного сигнала, и может быть использовано в устройствах кодирования видеоданных, работающих в реальном масштабе времени, для обеспечения эффективной компрессии за счет существенного снижения пространственно-временной избыточности данных благодаря применению трехмерного вейвлет-преобразования.

Существующие в настоящее время устройства компрессии видеоданных, использующие вейвлет-преобразование, либо не устраняют временную избыточность соседних кадров видеопоследовательности, либо не могут быть реализованы в качестве систем реального времени из-за высокой вычислительной сложности.

Известно устройство «Wavelet based coding using motion compensated filtering based on both single and multiple reference frames» (патент US 7042046 B2 от 09.03.2006) того же назначения, что и предлагаемое, но не имеющее с ним общих признаков, и состоящее из последовательно соединенных блока разделения (partition), блока оценки движения (motion estimation), блока временной фильтрации (temporal filtering), блока пространственной декомпозиции (spatial decomposition), блока квантования коэффициентов (significance encoding) и блока энтропийного кодирования (entropy encoding), причем выход блока оценки движения соединен со вторым входом блока энтропийного кодирования.

Недостаток данного устройства заключается в большой вычислительной сложности вследствие использования алгоритма Motion Compenstaion Time Filtering для устранения временной корреляции соседних кадров видеопоследовательности, что затрудняет его применение в системах сжатия видеоданных, работающих в реальном времени.

Известно устройство «Signal processing method, picture encoding apparatus and picture decoding apparatus» (патент US 2001/0028404 от 11.10.2001) того же назначения, что и предлагаемое, и состоящее из последовательно соединенных блока вейвлет-преобразования (wavelet transform), блока преобразования коэффициентов (coefficient transform) и блока энтропийного кодирования (entropy coding). По функциональному признаку данное устройство принято за прототип.

Недостатки данного устройства заключаются в низкой эффективности сжатия данных вследствие того, что не ставится и не решается задача устранения временной корреляции между соседними кадрами видеопоследовательности.

Сущностью изобретения является устройство эффективной компрессии видеоданных, использующее адаптивное дискретное вейвлет-преобразование во временной области для снижения временной избыточности соседних кадров видеопоследовательности.

Достигаемый технический результат заключается в существенном увеличении коэффициента сжатия за счет применения адаптивного вейвлет-преобразования во временной области и увеличении быстродействия - за счет использования КИХ-фильтров для обработки видеоданных во временной области.

Сопоставительный анализ с прототипом показывает, что предлагаемое устройство отличается тем, что к последовательно соединенным блоку двумерного вейвлет-преобразования, блоку квантования коэффициентов преобразования и блоку энтропийного кодирования подсоединен новый элемент - блок временной декорреляции - причем выход блока временной декорреляции является входом блока двумерного вейвлет-преобразования.

Следовательно, устройство удовлетворяет критерию «новизна».

Сравнение с другими техническими решениями показывает, что предлагаемое устройство обладает повышенным коэффициентом сжатия видеоданных, а также пониженными вычислительные затратами.

Изобретение поясняется следующими графическими материалами:

фиг.1 - Функциональная схема устройства компрессии видеоданных;

фиг.2 - Функциональная схема блока временной декорреляции;

фиг.3 - Схема преобразования последовательности кадров параллельно-последовательным преобразователем;

фиг.4 - Функциональная схема блока, реализующего один уровень вейвлет-преобразования;

фиг.5 - Пространственно-временная структура входных данных;

фиг.6 - Функциональная схема блока определения номера канала с максимальной энергией;

фиг.7 - Функциональная схема блока двумерного вейвлет-преобразования;

фиг.8 - Схема двухуровневого двумерного вейвлет-преобразования входного кадра.

Устройство компрессии видеоданных (фиг.1) состоит из последовательно соединенных блока временной декорреляции 1, блока двумерного вейвлет-преобразования 2, блока квантования коэффициентов преобразования 3 и блока энтропийного кодирования 4.

Устройство компрессии видеоданных работает по принципу устранения пространственно-временной избыточности за счет применения трехмерного вейвлет преобразования, последующего квантования и статистического (энтропийного) кодирования коэффициентов преобразования и работает следующим образом.

На вход устройства компрессии видеоданных поступает последовательность из 16 кадров. В блоке временной декорреляции 1 осуществляется попиксельное адаптивное вейвлет-преобразование вдоль временной оси. На выходе блока временной декорреляции 1 формируется последовательность из 16 кадров, причем концентрация энергии входного сигнала (последовательности кадров) уменьшается с увеличением номера кадра в выходной последовательности. Выходная последовательность кадров блока временной декорреляции 1 поступает на вход блока двумерного вейвлет-преобразования 2, где происходит вычисление двумерного вейвлет-преобразования для каждого кадра в отдельности. Полученные для каждого кадра коэффициенты вейвлет-преобразования поступают в блок квантования коэффициентов преобразования 3. Для кадров, имеющих больший порядковый номер в выходной последовательности блока временной декорреляции 1, квантование осуществляется грубее, чем для кадров, имеющих меньший порядковый номер. Квантованные коэффициенты поступают на вход блока энтропийного кодирования 4, в котором осуществляется сжатие данных на основе их статического распределения.

Блок временной декорреляции 1 (фиг.2) состоит из параллельно-последовательного преобразователя 9 и последовательно соединенных блока первого уровня вейвлет-преобразования 5, блока второго уровня вейвлет-преобразования 6, блока третьего уровня вейвлет-преобразования 7 и блока четвертого уровня вейвлет-преобразования 8, причем первый А и второй В выходы блока четвертого уровня вейвлет-преобразования 8 соединены с первым А и вторым В входами параллельно-последовательного преобразователя соответственно, второй выход В блока третьего уровня вейвлет преобразования - с третьим входом С параллельно-последовательного преобразователя 9, второй выход В блока второго уровня вейвлет-преобразования 6 - с четвертым входом D параллельно-последовательного преобразователя 9, а второй выход В блока первого уровня вейвлет-преобразования 5 - с пятым входом Е параллельно-последовательного преобразователя 9.

Блок временной декорреляции 1 работает следующим образом. На вход блока первого уровня вейвлет-преобразования 5 поступает последовательность из 16 кадров. В блоке первого уровня вейвлет-преобразования 5 осуществляется попиксельная фильтрация входных данных вдоль временной оси. На первый выход А блока первого уровня вейвлет-преобразования 5 выдается последовательность из восьми кадров, содержащая низкочастотные (информативные) детали входной последовательности, а на втором выходе В - последовательность из восьми кадров, содержащая высокочастотные детали. Последовательность кадров, содержащая низкочастотные детали, подается на вход блока второго уровня вейвлет-преобразования 6. Блоки первого 5, второго 6, третьего 7 и четвертого 8 уровней вейвлет-преобразования работают идентичным образом. Полученные посредством вейвлет-преобразования данные поступают на вход параллельно-последовательного преобразователя 9, где они преобразуются в последовательность кадров в соответствии со схемой на фиг.3.

Блоки первого 5, второго 6, третьего 7 и четвертого 8 уровней вейвлет-преобразования идентичны по своей структуре (фиг.4) и состоят из последовательно соединенных низкочастотного вейвлет-фильтра h₁ 10 и дециматора 11, последовательно соединенных низкочастотного вейвлет-фильтра h₂ 12 и дециматора 13, последовательно соединенных низкочастотного вейвлет-фильтра h₃ 14 и дециматора 15, последовательно соединенных низкочастотного вейвлет-фильтра h₄ 16 и дециматора 17, последовательно соединенных высокочастотного вейвлет-фильтра g₁ 18 и дециматора 19, последовательно соединенных высокочастотного вейвлет-фильтра g₂ 20 и дециматора 21, последовательно соединенных высокочастотного вейвлет-фильтра g₃ 22 и дециматора 23, последовательно соединенных высокочастотного вейвлет-фильтра g₄ 24 и дециматора 25, последовательно соединенных блока определения номера канала с максимальной энергией 26 и мультиплексора 27, причем выход дециматора 11 соединен с первым входом А блока определения номера канала с максимальной энергией 26 и первым входом данных А1 мультиплексора 27, выход дециматора 13 - со вторым входом В блока определения номера канала с максимальной энергией 26 и вторым входом данных А2 мультиплексора 27, выход дециматора 75 - с третьим входом С блока определения номера канала с максимальной энергией 26 и третьим входом данных A3 мультиплексора 27, выход дециматора 17 - с четвертым входом D блока определения номера канала с максимальной энергией 26 и четвертым входом данных А4 мультиплексора 27, выход дециматора 19 - с пятым входом данных В1 мультиплексора 27, выход дециматора 27 - с шестым входом данных В2 мультиплексора 27, выход дециматора 23 - с седьмым входом данных ВЗ мультиплексора 27, выход дециматора 25 - с восьмым входом данных В4 мультиплексора 27, а входы низкочастотных вейвлет-фильтров h₁ 10, h₂ 12, h₃ 14, h₄ 16 и высокочастотных вейвлет-фильтров g₁ 18, g₂ 20, g₃ 22, g₄ 24 совмещены.

Блоки первого 5, второго 6, третьего 7 и четвертого 8 уровней вейвлет-преобразования идентичны и работают следующим образом. На вход вейвлет-фильтров 10, 72, 14, 16, 18, 20, 22, 24 поступает временной ряд компонентов яркости или цветности пикселей, имеющих одинаковое пространственное положение в обрабатываемой последовательности кадров (фиг.5). В низкочастотных вейвлет-фильтрах происходит выделение наиболее информативных составляющих входного сигнала, а в высокочастотных вейвлет-фильтрах - детализирующей информации [1]. Полученные после фильтрации сигналы прореживаются в два раза и подаются на входы мультиплексора 27. Прореженные выходные сигналы низкочастотных вейвлет-фильтров поступают на вход блока определения номера канала с максимальной энергией 26, который генерирует номер низкочастотного вейвлет-фильтра, выходной сигнал которого обладает максимальной энергией, что соответствует лучшей локализации энергии сигнала в низкочастотной области. Номер канала с максимальной энергией подается на вход адреса Adr мультиплексора 27, который пропускает на свои выходы прореженные выходные сигналы пары вейвлет-фильтров h-g, обладающие лучшей локализацией энергии в низкочастотной области. На выходе А мультиплексора 27 генерируется низкочастотный сигнал, а на выходе В - высокочастотный. Таким образом, в блоках первого 5, второго 6, третьего 7, четвертого 8 уровня осуществляется адаптивное вейвлет-преобразование входной последовательности кадров во временной области, сосредотачивающее энергию сигнала в низкочастотной области.

Блок определения номера канала с максимальной энергией 26 (фиг.6) состоит из четырех идентичных каналов 30-34 и селектора номера канала 34, причем выход первого канала 30 соединен с первым входом А, выход второго канала 31 - со вторым входом В, выход третьего канала 32 - с третьим входом С, а выход четвертого канала 33 - с четвертым входом D селектора номера канала 34; вход первого канала 30 совмещен с первым входом А, вход второго канала 31 - со вторым входом В, вход третьего канала 32 - с третьим входом С, вход четвертого канала - с четвертым входом D блока определения номера канала с максимальной энергией 26.

Первый канал 30 состоит из последовательно соединенных блока возведения в квадрат 28 и накапливающего сумматора 29.

Блок определения номера канала с максимальной энергией 26 работает следующим образом. Каналы 30-33 вычисляют оценку энергии входного сигнала и подают ее значение на вход селектора номера канала 34, который выбирает номер канала с максимальным значением оценки энергии. Первый канал 30 реализует вычисление оценки энергии входного сигнала по формуле:

где x[t] - входной сигнал, N - количество отсчетов после децимации выходного сигнала соответствующего низкочастотного вейвлет-фильтра (для первого уровня вейвлет-преобразования N=8, для второго - N=4, для третьего - N=2, для четвертого N=1).

Сброс накапливающего сумматора 29 происходит в момент начала новой последовательности кадров.

Вейвлет-фильтры h₁ 10, h₂ 12, h₃ 14, h₄ 16, g₁ 18, g₂ 20, g₃ 22, g₄ 24 являются КИХ-фильтрами и построены в соответствии с прямой структурой нерекурсивных линейных дискретных систем [2]

Низкочастотный вейвлет-фильтр h₁ 10 имеет вектор коэффициентов:

b_h1=[0,01639; -0,04146; -0,06737; 0,38611; 0,81272; 0,41701; -0,07649; -0,05943; 0,02368; 0,00561; -0,00182; -0,00072]^T.

Высокочастотный вейвлет-фильтр g₁ 18 имеет вектор коэффициентов:

b_g1=[-0,00072; 0,00182; 0,00561; -0,02368; -0,05943; 0,07649; 0,41701; -0,81272; 0,38611; 0,06737; -0,04146; -0,01б39]^T.

Низкочастотный вейвлет-фильтр h₂ 12 имеет вектор коэффициентов:

b_h2=[0,23038; 0,71485; 0,63088; -0,02798; -0,18703; 0,03084; 0,03288;-0,0106]^T.

Высокочастотный вейвлет-фильтр g₂ 20 имеет вектор коэффициентов:

b_g2=[-0,0106; -0,03288; 0,03084; 0,18703; -0,02798; -0,63088; 0,71485, -0.23037]^T.

Низкочастотный вейвлет-фильтр h₃ 14 имеет вектор коэффициентов:

b_h3=[0,03222; -0,0126; -0,09922; 0,29786; 0,80374; 0,49762; -0,02963; -0,07577]^T.

Высокочастотный вейвлет-фильтр g₃ 22 имеет вектор коэффициентов:

b_g3=[-0,07577; 0,02964; 0,49762; -0,80374; 0,29786; 0,09922; -0,0126;-0,03222]^T.

Низкочастотный вейвлет-фильтр h₄ 16 имеет вектор коэффициентов:

b_h4=[0,17678; 0,53033; 0,53033; 0,17678]^T.

Высокочастотный вейвлет-фильтр g₄ 24 имеет вектор коэффициентов:

b_g4=[-0,01381; -0,04143; 0,05248; 0,26793; -0,07182; -0,96675; 0,96675; 0,07182; -0,26793; -0,05248; 0,041432; 0,01381]^T.

Блок двумерного вейвлет-преобразования 2 (фиг.7) состоит из N идентичных последовательно соединенных каскадов дискретного вейвлет-преобразования 27, 28.

Блок двумерного вейвлет-преобразования 2 работает следующим образом. На вход первого каскада дискретного вейвлет-преобразования 27 поступает кадр видеопоследовательности. Каждый каскад дискретного вейвлет-преобразования осуществляет разбиение кадра на высокочастотные и низкочастотные составляющие путем применения одного уровня дискретного вейвлет-преобразования отдельно к строкам и столбцам по следующему алгоритму:

,

,

где k₁ - индекс строки,

k₂ - индекс столбца,

W - ширина входного изображения,

Н - высота входного изображения,

L - низкочастотная составляющая (НЧ) сигнала,

Н - высокочастотная составляющая (ВЧ) сигнала,

f[k₁, k₂] - входное изображение,

z[k₁, k₂] - выходное изображение,

h=[0.01639; -0,04146; -0,06737; 0,38611; 0,81272; 0,41701; -0,07649; -0,05943; 0,02368; 0,00561; -0,00182; -0,00072]^T,

g=[-0,00072; 0,00182; 0,00561; -0,02368; -0,05943; 0,07649; 0,41701; -0,81272; 0,38611; 0,06737; -0,04146; -0,01639]^T,

N_h=N_g=12.

На вход следующего каскада дискретного вейвлет-преобразования поступает низкочастотная составляющая выходного сигнала предыдущего каскада, т.е. данные с индексами:

Количество каскадов N дискретного вейвлет-преобразования находится из ограничения:

где Н₀ - высота входного кадра, W₀ - ширина входного кадра.

Блок квантования коэффициентов преобразования 3 может быть реализован с использованием известного алгоритма векторного квантования коэффициентов вейвлет-преобразования, описанного в [3].

Блок энтропийного кодирования 4 может быть реализован с использованием известного целочисленного алгоритма арифметического сжатия, описанного в [4].

Предлагаемое устройство позволяет эффективно сжимать видеоданные за счет снижения пространственно-временной избыточности данных и обладает низкой вычислительной сложностью благодаря применению КИХ-фильтров для фильтрации видеоданных во временной области и, следовательно, может быть применено в системах кодирования видеоданных, работающих в реальном масштабе времени.

Источники информации

1. В.И.Воробьев, В.Г.Грибунин. Теория и практика вейвлет-преобразования. - СПб: ВУС. 1999, с.44.

2. А.И.Солонина, Д.А.Улахович, С.М.Арбузов, Е.Б.Соловьева. Основы цифровой обработки сигналов: Курс лекций. Изд. 2-е испр. и перераб. - СПб.: БХВ-Петербург, 2005. - С.155-156.

3. Seung-Kwon P., Lee-Sup К.. A Real-Time Wavelet Vector Quantization Algorithm and Its VLSI Architecture. IEEE transactions on circuits and systems for video technology, vol.10, №3, april 2000.

4. P.G.Howard, J.S.Vitter. Practical Implementations of Arithmetic Coding. Brown University, Department of Computer Science, Technical Report No. 92-18, Revised version, April 1992.

Устройство компрессии видеоданных, состоящее из блока временной декорреляции и последовательно соединенных блока двумерного вейвлет-преобразования, блока квантования коэффициентов преобразования и блока энтропийного кодирования, отличающееся тем, что к последовательно соединенным блоку двумерного вейвлет-преобразования, блоку квантования коэффициентов преобразования и блоку энтропийного кодирования подсоединен блок временной декорреляции, причем выход блока временной декорреляции является входом блока двумерного вейвлет-преобразования, а блок временной декорреляции состоит из параллельно-последовательного преобразователя и последовательно соединенных блока первого уровня вейвлет-преобразования, блока второго уровня вейвлет-преобразования, блока третьего уровня вейвлет-преобразования и блока четвертого уровня вейвлет-преобразования, причем первый и второй выходы блока четвертого уровня вейвлет-преобразования соединены с первым и вторым входами параллельно-последовательного преобразователя соответственно, второй выход блока третьего уровня вейвлет преобразования - с третьим входом параллельно-последовательного преобразователя, второй выход блока второго уровня вейвлет-преобразования - с четвертым входом параллельно-последовательного преобразователя, а второй выход блока первого уровня вейвлет-преобразования - с пятым входом параллельно-последовательного преобразователя, причем блоки первого, второго, третьего, четвертого уровня вейвлет-преобразования являются адаптивными.