Видеодекодер с обработкой перемежающихся данных

Видеодекодер с обработкой перемежающихся данных

Реферат

 

Изобретение относится к обработке информации, представляющей цифровые изображения. Техническим результатом является использование операции обработки с повторным уплотнением с использованием сокращенного количества операций уплотнения и представляющей собой перемежающуюся операцию, выполняемую совместно с другими операциями обработки. Технический результат достигается тем, что декодер MPEG в телеприемнике высокой четкости декодирует и распаковывает закодированные согласно MPEG данные для получения распакованных блоков пикселей изображения и содержит цепь компенсации движения, связанную с памятью кадров для создания окончательно декодированных пикселей для отображения. Распакованные данные вновь уплотняются множеством параллельных устройств повторного уплотнения до запоминания их в памяти кадров, причем каждое устройство повторного уплотнения получает поток перемежающихся данных пикселей, выполняет предсказание и уплотняет перемежающиеся значения пикселей во время каждого такта соответственно. 4 с. и 19 з.п. ф-лы, 28 ил.

Изобретение относится к обработке информации, представляющей цифровые изображения.

Быстрый прогресс в сфере цифровой технологии привел к соответствующим успехам в различных областях, связанных с обработкой сигналов цифровых изображений, к примеру, телевидении высокой четкости (ТВЧ). К этому относится и разработка стандарта уплотнения сигналов MPEG (Экспертная группа по подвижным изображениям (ЭГПИ) для обработки видеосигналов MPEG-2 (Международный стандарт 13818-2 ISO/IEC (Международная организация по стандартизации/Международная электротехническая комиссия), 20 января, 1995). Признано, что этот широко распространенный стандарт обработки изображений особенно подходит для использования в спутниковых, кабельных и наземных телевещательных системах, включая системы ТВЧ.

Цифровая наземная телевещательная система ТВЧ, утвержденная недавно в США как система ТВЧ Большого альянса, определяет стандарт цифрового вещания материала программ высокой четкости (ВЧ), который подвергается уплотнению данных с использованием стандарта уплотнения MPEG-2. Описание системы ТВЧ Большого альянса можно найти, например, в Трудах Национальной ассоциации телевещателей за 1994 год. Труды 48-й ежегодной конференции по технике телевещания, 20-24 марта, 1994. Стандарт телевещания ВЧ обеспечивает разрешающую способность изображения до 1920 пикселей на строку (по горизонтали) на 1080 строк (по вертикали). Стандарт MPEG-2 определяет процедуры, необходимые для распаковки изображения ВЧ для воспроизведения с помощью устройства отображения, к примеру, в телевизионном приемнике. Для декодера MPEG требуется около 80 мегабит (Мбит) памяти для правильного декодирования изображения ВЧ, как определено в стандарте наземного телевещания. В приемнике телезрителя потребовалось бы 96 Мбит памяти.

В декодере видеосигнала MPEG, который можно встретить в приемнике телевизионных сигналов, для декодирования потока цифровых данных, закодированного согласно MPEG, который, как известно, представляет собой I, P и В кадры изображения, обычно требуется больше одного кадра памяти. В общем случае для декодирования потока данных MPEG требуется три кадра памяти. Два кадра памяти необходимы для хранения данных опорного кадра I или P, а дополнительный кадр памяти используется для хранения данных кадра В.

Декодер MPEG содержит контур ДИКМ (дифференциальная импульсно-кодовая модуляция), как известно, связанный с функцией компенсации движения, для создания окончательно декодированных выборок пикселей. Как раскрыто в одновременно рассматриваемом Патенте США 5847762, выданном 8 декабря 1998, контур ДИКМ подходящим образом модифицирован путем включения в него цепи уплотнения данных. Эта цепь уплотнения вновь уплотняет распакованные данные MPEG, прежде чем передать их в память кадров, что снижает требования к памяти декодера MPEG. Контур ДИКМ устроен так, что значение уплотняемого пикселя зависит от результатов работы схемы предсказателя, оценивающей пиксели, расположенные непосредственно слева, прямо над и по диагонали вверх налево от обрабатываемого пикселя. Операция предсказателя представляет собой объемную по вычислениям последовательную операцию в реальном времени. Операция предсказателя весьма важна, поскольку затрагивается более одного значения пикселя, и поэтому для хорошего уплотнения требуется точное предсказание, а не "догадка" о значении пикселя.

В соответствии с принципами настоящего изобретения в способе для обработки потока данных, содержащего блоки данных пикселей, представляющих информацию о изображении, значение первого пикселя первого блока пикселей обрабатывается с помощью первой функции во время заданного интервала. Значение пикселя второго блока обрабатывается с помощью другой, второй функции во время заданного интервала.

Фиг.1 - блок-схема части приемника телевизионных сигналов, использующего декодер MPEG и соответствующие цепи обработки цифровых сигналов, скомпонованные в соответствии с принципами настоящего изобретения; фиг. 2-17 - форматы обработки блоков пикселей, помогающие понять операцию уплотнения/распаковки и соответствующие цепи, показанные на фиг.1; фиг.18 - субдискретизация и сверхдискретизация пикселей; фиг.19 - блок-схема устройства для выполнения процесса, изображенного на фиг.18; фиг.20 - подробности цепи уплотнения по фиг.1; фиг.21 - подробности цепи распаковки по фиг.1; фиг. 22 - расположение пикселей, помогающее понять аспекты работы цепи, показанной на фиг.20; фиг. 23-26 - операция управления потоками данных для системы по фиг.1; фиг.27 - таблица, изображающая связи между пикселями во время работы цепи, показанной на фиг.20; фиг.28 - альтернативное устройство схемы, показанной на фиг.23.

В раскрытом варианте изобретения в декодере MPEG телевизионного приемника используется сжатие данных, включая повторное уплотнение, между декодером и памятью кадров декодера, из которой извлекается отображаемая информация о изображении. В системе используется конвейерная обработка с учетом требований синхронизации процессора предсказателя, где для предсказания значения заданного четвертого пикселя должны быть доступными три значения пикселя (элементы изображения). Однако конвейерная обработка замедляет процесс обработки (уменьшает пропускную способность). Эта проблема решается путем перемежения данных пикселей из независимых блоков пикселей 88, подаваемых от устройства распаковки MPEG. Перемежение увеличивает скорость обработки, поскольку дает возможность обрабатывать данные пикселей на чередующихся тактовых импульсах, так что всегда генерируется уплотненное значение пикселя. Функция повторного уплотнения использует сокращенное количество операций уплотнения и представляет собой перемежающуюся операцию, выполняемую совместно с другими функциями, что экономит площадь интегральной схемы.

На фиг.1 изображена часть процессора цифровых видеосигналов, который, к примеру, можно встретить в телевизионном приемнике, для обработки входного видеосигнала высокой четкости. Видеопроцессор выполняет функции, установленные в известном декодере MPEG. Кодер MPEG и декодер MPEG описаны, например, Аng и др. в "Video Compression Makes Big Gains" IEEE Spectrum, октябрь, 1991. Эти функции обычно включают в себя входную буферизацию, декодирование с переменной длиной слова, обратное квантование и обратное ДКП (дискретное косинусное преобразование) до соответствующей обработки с компенсацией движения, в результате которой создаются окончательно декодированные выходные выборки. Дополнительную информацию, касающуюся этих и связанных с ними функций обработки видеосигнала, можно найти в Weiss, Issues in Advanced Television Technology (Focal Press, Boston, USA).

Система на фиг.1 получает управляемый поток уплотненных данных, закодированных согласно MPEG, из источника, представленного модулем 10, который включает в себя транспортный декодер, разделяющий пакеты данных после демодуляции входного сигнала. В этом примере полученный входной поток данных представляет собой материал по изображениям высокой четкости (1920 пикселей/горизонтальная строка 1088 горизонтальных строк), как определено в спецификации Большого альянса для наземной системы телевещания высокой четкости США. Скорость передачи информации высокой четкости 19201088 составляет 94 003 200 байт/с, которая определяется следующим образом: (1920Н1088V30F(8+4) YC)/В, где Н представляет горизонтальные пиксели, V представляет вертикальные строки, F представляет количество кадров/с, YC представляет биты (яркость + цветность) и В представляет 8 бит/байт.

На практике уплотненный поток данных MPEG обеспечивается через внутреннюю шину памяти 55 и интерфейс уплотненных данных, включенный в модуль 128, который получает данные от шины управления 114 под управлением микропроцессора 120. Микропроцессор 120 получает поток данных MPEG через вход для уплотненных данных.

Входной поток данных от источника 10 представлен в виде блоков данных 88 пикселей. Эти данные представляют собой уплотненную закодированную внутрикадровую и межкадровую информацию. Внутрикадровая информация содержит зафиксированные кадры (anchor frames) типа I-кадра. Межкадровая информация содержит кодированную с предсказанием движения остаточную информацию изображения, которая представляет различие между соседними кадрами изображения. Кодирование межкадрового движения включает в себя генерацию векторов движения, которые представляют смещение между текущим обрабатываемым блоком и блоком в ранее восстановленном изображении. Вектор движения, который дает наилучшее совпадение между текущим и предыдущим блоками, кодируется и передается. Также различие (остаток) между каждым блоком 88 с компенсацией движения и восстановленным перед ним блоком, перед передачей подвергается ДКП, квантуется и кодируется с переменной длиной слова. Такой процесс кодирования с компенсацией движения более подробно описан в различных публикациях, включая упомянутые выше работы Weiss и Аng и др.

Декодер MPEG предъявляет пониженные требования к памяти, что позволяет значительно уменьшить объем внешней памяти кадров. Как поясняется далее, это достигается путем повторного уплотнения распакованных видеокадров, подлежащих хранению в памяти, и путем избирательной горизонтальной фильтрации и прореживания (то есть, субдискретизации) данных пикселей в контуре декодера, в зависимости от рабочего режима декодера. Например, в одном режиме система обеспечивает уплотнение зафиксированного кадра. В другом режиме система обеспечивает уплотнение после сжатия горизонтальных деталей путем низкочастотной фильтрации и субдискретизации.

Входные уплотненные блоки данных пикселей буферизируются модулем 12 перед их декодированием с переменной длиной слова с помощью модуля 14, что, как известно, также создает векторы движения ВД. Буфер 12 имеет емкость памяти 1,75 Мбит для случая потока данных MPEG основного уровня, основного профиля. Декодированные уплотненные блоки данных выводятся из модуля 14 через мультиплексор (Мульт) 15, который создает выходные потоки данных Р1 и Р2. Выходы Р1 и Р2 представляют конвейеры двойных данных, которые далее обозначаются как канал 1 (P1) и канал 2 (Р2). Канал Р1 содержит группу коэффициентов ДКП (дискретного косинусного преобразования) для блока пикселей 88 "А" данного макроблока, за которой следует группа коэффициентов ДКП блока пикселей 88 "С" для этого макроблока. Коэффициенты ДКП, как известно, располагаются в диагональном или "зигзагообразном" формате развертки. Канал 1 передает последовательность таких блоков А и С для последовательности соответствующих макроблоков. Подобным же образом канал 2 содержит группу коэффициентов ДКП "В" и "D" для данного макроблока и для последующих соответствующих макроблоков. Расположение данных пикселей для указанных блоков и макроблоков пикселей в конвейерной последовательности показано и обсуждается в связи с фиг. 2-17.

Данные блоков пикселей пересылаются соответствующими каналами по трактам параллельной обработки данных, каждый из которых включает обратный квантователь (18, 20), модуль обратного дискретного косинусного преобразования (ДКП) (22, 21), выходные буферы с обслуживанием типа ПП-ПО (первым пришел - первым обслужен) (26, 28), модули переупорядочивания блоков (23, 25), модули перемежения блоков (24, 27) и сумматоры (30, 32). Декодирование с распаковкой и преобразованием выполняются соответственно модулями обратного квантования и модулями обратного ДКП в каждом конвейере перед подачей на один из входов соответствующих сумматоров 30 и 32.

Модули переупорядочивания 23, 25 удаляют зигзагообразный формат развертки данных пикселей, прошедших обратное ДКП в модулях 21 и 22, для создания горизонтальной построчной последовательности развертки пикселей для каждого блока 88. Таким образом, например, в канале 1 выход модуля 23 представляет значения пикселей в виде а1 а2 а3...а63 а64 (для блока А), с1 с2 с3... с63 с64 (для блока С) и т.д. В модуле перемежения 24 используется способ мультиплексирования для создания выходных данных канала 1 в виде а1 с1 а2 с2 а3 с3...а64 с64. Перемежитель 27 создает подобную последовательность для блоков В, D.

Величина шага квантования обратных квантователей 18 и 20 регулируется сигналом управления квантованием из буфера 12 для обеспечения равномерного потока данных. Декодированные векторы движения ВД подаются из декодера 14 в модуль компенсации движения 90, как обсуждается ниже. Декодер 14, как известно, выдает также сигнал управления выбором межкадрового/внутрикадрового режима, который здесь не показан в целях упрощения чертежа. Операции, выполняемые модулями 14, 18/20, 21/22 и 23/25, являются обратными по отношению к соответствующим операциям, выполняемым кодером MPEG в передатчике. Декодер MPEG на фиг.1 воссоздает полученное изображение, используя способы обработки MPEG, которые кратко описаны ниже.

Восстановленные блоки пикселей получаются соответственно на выходах сумматоров 30 и 32 путем суммирования остаточных данных изображения из модулей 26 и 28 с предсказанными данными изображения, обеспечиваемыми на выходах модуля компенсации движения 90 на основе содержимого памяти видеокадров 20. Весь кадр из восстановленных блоков пикселей, представляющих изображение, запоминается в памяти кадров 60. В межкадровом режиме векторы движения ВД, полученные из декодера 14, используются для определения местоположения предсказанных блоков из модуля 90. Процесс компенсации движения создает предсказания на основе ранее декодированных изображений, которые комбинируются с данными о коэффициентах (с выходов модулей обратного ДКП 21 и 22), для того чтобы восстановить окончательно декодированные выборки. Модуль компенсации движения 90 работает в соответствии с обсужденными известными способами, совместимыми со стандартом MPEG, например, в соответствии с упомянутыми ранее спецификацией MPEG и публикациями Weiss и Аng. Выходы А, С и В, D представляют собой распакованные перемежающиеся данные блоков пикселей А, С и перемежающиеся данные блоков пикселей В, D, как обсуждается ниже.

Выгодно то, что процесс восстановления изображения, затрагивающий сумматор 30, 32, внешнюю память кадров декодера 60 и модуль компенсации движения 90, предъявляет значительно сниженные требования к памяти кадров из-за использования параллельных устройств уплотнения данных 40 и 42, работающих на блочной основе, и модулей горизонтального прореживания пикселей (субдискретизации) 36 и 38, что сжимает горизонтальные детали. Объем памяти кадров 60 может быть уменьшен на 25, 50% или более, в зависимости от сжатия данных, достигнутого модулями повторного уплотнения 40, 42, и прореживания, выполняемого модулями 36, 38. Выходные данные из модулей прореживания 36 и 38 обрабатываются модулем переупорядочивания блоков 43 перед пересылкой в устройство уплотнения 40 в рабочем режиме со сжатием данных, когда используется горизонтальное прореживание, как обсуждается ниже. Результат операции переупорядочивания рассматривается в связи с фиг.12 и 14 и связанными с ними фигурами. Сигнал управления режимом и переключатель режима 45 изменяют работу устройства уплотнения в рабочем режиме со сжатием данных, когда активизированы модули горизонтального прореживания 36 и 38, как объясняется ниже. Устройство уплотнения 42 в режиме со сжатием данных блокируется (например, к нему не подводится питание). В других случаях, например, при обработке входного сигнала высокой четкости активизированы оба устройства уплотнения 40 и 42.

Модули распаковки 80-84 выполняют операцию, обратную уплотнению, выполняемому модулями 40 и 42. Модуль 88 выполняет операцию, обратную прореживанию, выполняемому модулями 36 и 38. Дополнительные подробности выполнения этих операций обсуждаются далее. Модуль форматирования 86 отбрасывает ненужные распакованные строки пикселей, пока не будут обнаружены строки, содержащие распакованные пиксели, необходимые для обработки предсказателя с компенсацией движения, обрабатываемого модулем 90. Такой процесс выбора предотвращает накопление ненужных данных, и его выгодно использовать в системе уплотнения (к примеру, в раскрытой здесь системе), которая не обеспечивает для каждого пикселя его уникальное отображение в памяти. В этой связи следует отметить, что значение пикселя может быть уплотнено или подвергнуто квантованию, например, с помощью 3, 4 или 5 бит, и значение пикселя станет известным после распаковки.

Преимуществом является то, что обработка входного потока данных высокой четкости, декодированного согласно MPEG, выполняется путем перемежения входного потока данных до повторного уплотнения и путем обработки перемежающихся данных с использованием цепи уплотнения перемежающихся данных. Цепь повторного уплотнения данных содержит одинаковые устройства уплотнения 40 и 42, которые работают с перемежающимся потоком данных. Эти устройства уплотнения совместно используют некоторые логические схемы и просмотровые таблицы, содержащиеся в модуле 44, и работают в соответствии с локально генерируемыми тактовыми импульсами ТИ 54 МГц (227 МГц), которые создаются генератором тактовых импульсов 50. Сигнал ТИ подается также в схему горизонтальной сверхдискретизации 88. Тактовый сигнал 81 МГц (327 МГц), также создаваемый генератором 50, подается в устройства распаковки 62, 80, 82 и 84 и на процессор дисплея 70.

Прежде чем продолжить описание работы системы, будет полезно разобраться в сущности процесса обработки перемежающихся данных пикселей, показанного на фиг. 2-17. На фиг.2 показана известная конфигурация макроблока MPEG, содержащая составляющие яркости (Y) и цветности (U, V). Составляющая яркости каждого макроблока образуется блоками яркости Ya, Yb, Yc и Yd 88 пикселей. Составляющая цветности, как показано, содержит блоки "U" 44 пикселя Ua-Ud и блоки "V" 44 пикселя Va-Vd. Перемежители 24 и 27 (фиг.1) выполняют перемежение этих блоков пикселей соответственно в каналах данных Р1 и Р2, упомянутых ранее, а на фиг.3 показано, как расположены блоки яркости и цветности во время процесса конвейерной обработки А, С и В, D. Более подробно конвейерный процесс перед перемежением показан на фиг.4 применительно к блокам 44 пикселя, которые образуют составляющую цветности "U". На фиг.4 показан результат процесса, с помощью которого модули 23 и 25 помещают блоки пикселей цветности Ua и Uc в канал данных 1, а блоки пикселей Ub и Ud в канал 2. На этой схеме А1 представляет значение первого пикселя (8-разрядное) блока А, А2 представляет значение второго пикселя (8-разрядное) блока А, В1 представляет 8-разрядное значение первого пикселя блока В и так далее вплоть до последних значений А16 и В16 для блока D. Аналогичные выводы подходят и к данным пикселей яркости.

На фиг. 5-7 показано расположение данных пикселей в предположении, что модули 36 и 38 на фиг.1 не выполняют горизонтальное прореживание. При таком рабочем режиме модули 36 и 38 обходятся в зависимости от величины сжатия данных (прореживание плюс уплотнение), требуемой для данной конфигурации системы. Обработка данных пикселей с горизонтальным прореживанием показана на фиг. 11-17.

На фиг.5 показана последовательность А, С перемежающихся данных пикселей в канале 1, передаваемая с выхода перемежителя 24 на устройство уплотнения 40 через буфер 26 и сумматор 30 без прореживания, выполняемого модулем 36. Подобным же образом данные пикселей в канале 2 передаются в устройство уплотнения 42 от перемежителя 27 и сумматора 32 в последовательности Bl, Dl, В2, D2, . .. и т.д. Способ расчленения макроблока на секции, представленные группами данных А, В, С и D, не имеет значения. Например, в другой системе канал Р1 мог бы передавать данные А, В или данные A, D. Подобным же образом, канал 2 мог бы передавать комбинацию данных, отличную от В, D. В показанном примере данные А, С, передаваемые каналом 1, соответствуют "четным" блокам данных в соответствии со спецификацией MPEG, а данные канала 2В, D соответствуют "нечетным" блокам данных в спецификации MPEG.

На фиг.6 показан выход уплотненных данных пикселей от первого устройства уплотнения 40 в первом канале после кодирования по Хаффмену. Каждый символ "х" в потоке данных на фиг.6 представляет "безразличное" состояние, созданное для упрощения процесса синхронизации, в результате чего для каждого тактового цикла используется длительный тактовый импульс (а не менее желательный старт-стопный тактовый импульс), охватывающий 8 бит данных. Сигнал разрешения записи (не показан) обеспечивает запись в память только действительно уплотненных данных, если они имеются. Для каждых шестнадцати 8-разрядных пикселей (цветности) (8 байт) на входе создается 16 байт уплотненных данных на выходе. Аналогичный выход данных пикселей из второго устройства уплотнения 42 для блоков В, D в канале 2 не показан. Детали схемы уплотнения, подходящей для использования в устройствах уплотнения 40 и 42, будут показаны и обсуждены в связи с фиг.20.

После уплотнения с помощью модулей 40 и 42 данные пикселей передаются через внутреннюю шину памяти шириной 128 бит (то есть, 128 параллельных линий данных, пересылающих каждая один бит) 55 (фиг.1) и внешнюю шину памяти 57 шириной 64 бит во внешнюю память кадров декодера 60. Память 60 запоминает данные блока пикселей в неперемежающемся виде. Выходные схемы, связанные с устройствами уплотнения 40 и 42, или схемы перед памятью 60, могут выполнить обратное перемежение под управлением локального микропроцессора 120. В этих схемах для выполнения функции обратного перемежения используются известные способы обработки сигналов, которые для упрощения чертежа не показаны. На фиг. 7 показан вид уплотненных данных пикселей, посылаемых в память 60 после обратного перемежения. Каждый уплотненный пиксель представлен 3-6 битами данных. В блоке уплотненных данных А "а1'" представляет не пиксель а1 в этот момент, а 8 бит, образованных комбинацией уплотненных пикселей и дополнительных служебных данных. Длина данных пикселя определяется самими данными и местоположением пикселя. Количество бит, используемых для уплотнения данных в блоке цветности, составляет 64. Исходные данные цветности образованы 128 битами (816 бит). Подобные выкладки применимы для данных с "В" по "D".

Вновь вернемся к фиг.1, где уплотненные данные пикселей, хранящиеся в памяти 60, обрабатываются для отображения с помощью цепи обработки отображения, включающей устройство распаковки отображения 62, буфер отображения ПП-ПО 64, мультиплексор 68 и процессор отображения 70. Буфер отображения 64 поддерживает 16 строк изображения, разделенных между парой восьмистрочных буферов. Распакованные данные для обработки отображения считываются из одного из строчных буферов через мультиплексор 68, в то время как другой строчный буфер заполняется уплотненными данными из модуля 62. Буферы 64 могут располагаться в модуле памяти 60. Процессор отображения 70 может включать, например, схему кодирования NTSC (Национальный комитет по ТВ системам, США), схемы для отбора пикселей для отображения и цепь возбуждения отображения для подачи видеосигналов на устройство воспроизведения изображений 72, например, кинескоп высокой четкости или другое подходяще средство отображения.

Перед распаковкой, выполняемой модулем 62, данные пикселей вновь перемежаются, образуя последовательность блоков "ab", показанную на фиг.8. Это перемежение может быть выполнено путем соответствующей адресации операции считывания памяти 60 или входными логическими схемами, связанными с устройством распаковки отображения 62. Подобным же образом пиксели с и d повторно перемежаются для образования последовательности данных "сd" (не показана) до распаковки. Последовательности повторного перемежения для отображения, а именно, ab и cd, отличаются от исходных входных перемежающихся последовательностей (ас и bd). Исходные перемежающиеся допущенные данные пикселей, например, а и b, доступные сначала, и данные а и b обработаны параллельно. Последовательность отображения после повторного перемежения подходит для целей отображения, когда необходимы данные из одного и того же кадра изображения (пиксели а, b и с, d находятся в одном и том же кадре изображения). Последовательность перемежающихся распакованных данных пикселей для последовательности "ab" показана на фиг.9. Также создается не показанная подобная последовательность перемежающихся распакованных данных пикселей для последовательности "cd" (Cl, Dl, C2, D2, С3, D3,...). После обработки в модулях 64, 68 и 70 пиксели данного блока перестраиваются в формат отображения, как показано на фиг.10. Это упрощенный пример в форме 4:2:0 предпочтительней, чем в форме 4:2:2.

Снова обратимся к фиг.1, где контур декодера MPEG имеет также функцию распаковки, выполняемую множеством устройств распаковки 80, 82 и 84 вместе с форматированием данных и горизонтальной сверхдискретизацией, выполняемыми соответственно модулями 86 и 88. Вышеописанные комментарии, касающиеся фиг. 8 и 9, применимы также к этой функции распаковки контура управления, где перед распаковкой данные пикселей перемежаются схемами, связанными с устройствами распаковки, для создания последовательности данных "ab" (и "cd"), как показано на фиг.8.

На фиг. 11-17 показаны компоновки последовательностей данных пикселей в предположении, что была предоставлена возможность горизонтального прореживания (то есть, субдискретизации) с помощью модулей 36 и 38 по фиг.1. При разрешении сжатия данных в виде горизонтального прореживания с помощью модулей 36 и 38 устройство уплотнения 42 заблокировано, и для уплотнения данных из-за уменьшенного объема данных используется только устройство уплотнения 40. Цепь 44 содержит логические схемы и просмотровые таблицы, используемые модулями 40 и 42. Эти схемы и таблицы используются только одним из устройств уплотнения, в то время как другое устройство не активизировано в режиме работы с уменьшенным объемом данных, когда требования к обработке данных ниже. В режиме высокой разрешающей способности, когда работают оба устройства уплотнения 40 и 42, совместное использование этих схем и таблиц облегчается с помощью процесса конвейерной обработки перемежающихся данных. В частности, модуль 44 содержит две просмотровые таблицы: одну для использования устройством уплотнения 40 и другую для использования устройством уплотнения 42. ПТ (просмотровая таблица) для устройства уплотнения 40 используется для уплотнения перемежающихся данных как А, так и С, поскольку эти данные уплотняются в различные моменты времени, к примеру, на чередующихся тактовых импульсах, как обсуждается далее. Подобным же образом ПТ для устройства уплотнения 42 используется во время уплотнения как данных В, так и данных D.

На фиг. 11 показана последовательность данных пикселей, поступающих из канала данных 1 на вход прореживающего фильтра 36 на фиг.1. В результате прореживания фильтром 36 создается последовательность данных пикселей по фиг. 12, которая подается на вход цепи переупорядочивания 43. На фиг.12 элементы, отмеченные символом "х", представляют "безразличные" данные или отсутствие данных. В режиме Н/2 (полустрочной частоты), в соответствии с которым данные горизонтальных пикселей субдискретизируются с коэффициентом 2, фильтр 36 усредняет два соседних пикселя, так что а1*=(А1+А2)/2; с1*=(С1+С2)/2; а2*=(А3+А4)/2 и т.д.

Этот процесс показан на фиг.18 и обсуждается ниже. Также можно использовать прореживание с другими коэффициентами субдискретизации. На фиг. 13 и 14 показана подобная последовательность данных пикселей, поступающих от канала данных 2 на прореживающий фильтр 38 на фиг.1.

На фиг.15 показана последовательность данных пикселей после прореживания и переупорядочивания модулем 43 на фиг.1. В частности, данные пикселей были повторно выровнены модулем 43 для размещения их в правильной последовательности для уплотнения и запоминания в памяти 60. На фиг.15 данные пикселей с а1 по с4 представляют один кадр изображения (матрица 24) после прореживания, данные пикселей с b1 по d4 представляют второй кадр изображения (матрица 24) после прореживания и так далее.

На фиг. 1 все переупорядоченные данные пикселей из модуля 43 подаются в устройство уплотнения 40 через переключатель режимов 45, поскольку для уплотнения сокращенного объема данных, являющегося результатом прореживания, требуется только одно устройство уплотнения. В процессе прореживания усреднение данных создает из двух пикселей один пиксель, в результате чего становится меньше данных и соответственно снижаются требования к пропускной способности для обработки данных. Следовательно, достаточно использовать только одно устройство уплотнения, а устройство уплотнения 42 не активизируется. Устройства уплотнения включаются в работу и блокируются в зависимости от отсутствия или наличия прореживания в ответ на сигнал управления режимом, как обсуждается далее.

Переупорядочивание, которое возникает в цепи переупорядочивания 43, не является прямой процедурой, к примеру, оно может возникнуть с помощью буфера ПП-ПО. Для минимизации сложности обработки в контуре компенсации движения, включая горизонтальное прореживание, переупорядочивание и повторное уплотнение, данные предоставляются в устройство уплотнения 40 по существу в том же самом формате, что и данные, которые не были прорежены по горизонтали модулями 36 и 38. Отделение цепи переупорядочивания 43 от устройства повторного уплотнения 40 упрощает схему, поскольку устройство повторного уплотнения 40 не должно различать данные, которые требуется переупорядочить из модулей 36 и 38, и данные, не требующие переупорядочивания, из сумматоров 30 и 32.

Фиг. 15А является компиляцией фиг. 11 - 15 и показывает поток данных, претерпевающих горизонтальное прореживание и переупорядочивание, в соответствии с синхронизацией пикселей. Потоки данных 15-1 и 15-2 на фиг.15А представляют соответственно данные из сумматоров 30, 32 и данные, поступающие в цепи прореживания 36, 38. Потоки данных 15-3 и 15-4 представляют соответственно данные из цепей прореживания 36, 38, которые подаются на вход цепи переупорядочивания 43. Как обсуждалось ранее, пиксели, как это видно из диаграммы, перемежаются в потоках данных с 15-1 по 15-4. Потоки данных 15-1 и 15-3 представляют данные из конвейера Р1, а потоки данных 15-2 и 15-4 представляют данные из конвейера Р2. Поток данных 15-5 представляет данные из цепи переупорядочивания 43, которые поступают на вход устройства повторного уплотнения 40 через переключатель 45. В нижней части фиг.15А предусмотрены тактовые импульсы (ТИ) пикселей, которые приведены для демонстрации синхронизации пикселей данных, когда они проходят через систему. В показанном примере отобранные пиксели данных будут проходить через процессы переупорядочивания. Этот процесс одинаков для данных из любого конвейера. Пиксели потоков данных 15-1 и 15-2 представляют макроблок пикселей цветности. Процесс для макроблоков пикселей яркости такой же, но является более сложным, поскольку визуализация распространяется на четырех блока пикселей 88 вместо четырех блоков пикселей 44. Больший по величине макроблок вызывает переупорядочивание, которое возникает на большем количестве тактовых импульсов с вчетверо большим количеством данных. Однако принципы переупорядочивания остаются одинаковыми как для данных яркости, так и для данных цветности.

Пиксель В1 из потока данных 15-2 прореживается на пятьдесят процентов и объединяется с пикселем В2 для создания пикселя выходных данных того же размера, что один пиксель входных данных. То же самое происходит с пикселями D1 и D2. Цепь прореживания 38 буферизирует прореженные данные из пикселей В1 и D1, пока не будут обработаны пиксели В2 и D2. В этом причина того, что во время первых двух периодов тактовых импульсов выходные данные из цепи прореживания 38 являются недействительными. Действительные данные появляются во время третьего такта в виде пикселя b1*. Данные из пикселя В1 выводятся во время первой половины третьего такта, а данные из пикселя В2 выводятся во время второй половины третьего такта. Четвертый такт создает пиксель dl* подобным же образом.

Данные, выходящие из каналов Р1 и Р2, проходят в цепь переупорядочивания 43, которая буферизирует данные и обращается к конкретным пикселям в необходимом порядке для формирования непрерывного потока данных, направляемого в устройство уплотнения 40. Как видно по потокам 15-4 и 15-5 на фиг.15А, пиксели b1*, b2*, b3* и b4* должны чередоваться с пикселями dl*, d2*, d3* и d4*, но после соответствующих пикселей а и с. Следовательно, пиксели, ожидая вывода, остаются в цепи переупорядочивания 43 в течение неравных интервалов времени. Например, пиксель b1* принимается цепью переупорядочивания во время такта 3 и выводится во время такта 12, в то время как пиксель b2* принимается цепью переупорядочивания во время такта 7 и выводится во время такта 14. Пиксели направляются в цепь переупорядочивания 43 конечным автоматом, управляемым микропроцессором 120.

Для поддержания постоянного потока данных устройство уплотнения 40 ожидает данные входных пикселей в перемежающемся формате, как показано в потоках данных 15-1 и 15-2. После цепей прореживания 36 и 38 порядок пикселей изменяется, поскольку два конвейера Р1 и Р2 субдискретизируются на порядок 2 каждый для подачи в потоке данных 15-5 половины данных. Однако субдискретизированные данные из Р1 и Р2 получаются из соседних по вертикали блоков изображения. Устройство уплотнения 40 ожидает данные пикселей, перемежающиеся от соседних по горизонтали блоков. Следовательно, цепь переупорядочивания 43 объединяет субдискретизированные данные в порядке, показанном в потоках данных 15-3 и 15-4, в порядок, показанный в потоке данных 15-5. Этот порядок фактически такой же, как и для перемежающихся данных, не подвергавшихся субдискретизации в цепях прореживания. Блоки пикселей из субдискретизированных данных и из не субдискретизированных данных имеют один и тот же размер, то есть они имеют одно и то же количество пикселей, как по горизонтали, так и по вертикали. Единственное отличие состоит в том, что блоки субдискретизированных данных пикселей содержат информацию о пикселях из двух соседних по горизонтали блоков пикселей, как упоминалось ранее. Это отличие прозрачно для устройства уплотнения 40, что позволяет иметь непрерывный поток данных. Несмотря на то, что эта система выполняет переупорядочивание для объединения соседних по горизонтали блоков пикселей в субдискретизированный блок пикселей, общая направленность изобретения распространяется также на систему, которая может объединять блоки пикселей с другим пространственным соотношением.

Как видно из фиг.15А, оказывается, что цепи переупорядочивания 43 необходимы пиксели с а2* по а4* и с а6* по а8* из ц