Уменьшенное рассогласование коэффициентов усиления постоянной состовляющей (dc) и dc-утечки при обработке преобразования с перекрытием

Уменьшенное рассогласование коэффициентов усиления постоянной состовляющей (dc) и dc-утечки при обработке преобразования с перекрытием

Иллюстрации

Показать все

Реферат

УРОВЕНЬ ТЕХНИКИ

Кодирование с преобразованием является методом сжатия, используемым во многих системах сжатия аудио, изображений и видео. Несжатые цифровые изображения и видео обычно представлены в виде или захвачены как выборки элементов или цветов изображения в местоположениях кадра изображения или видео, скомпонованных в двумерную (2D) решетку. Это стандартно относится к представлению в пространственной области изображения или видео. Например, типичный формат изображения прямоугольной формы состоит из трех двумерных массивов 8-битных цветовых выборок. Каждая выборка является числом, представляющим значение компонента цвета в пространственном местоположении в сетке, где каждый компонент цвета представляет собой амплитуду вдоль оси координат в пределах цветового пространства, такого как RGB или YUV и других. Индивидуальная выборка в одном из этих массивов может называться пикселем. (В другом известном варианте использования термин пиксель является названием n-кратных выборок n компонентов цвета, которые совмещены в пространстве например, для указания на 3-кратную группу R, G и B значений компонентов цвета для данного пространственного местоположения, однако альтернативно в настоящем документе этот термин используют для ссылки на выборку скалярных значений). Различные системы изображения и видео могут использовать разные цветовое, пространственное и временное разрешения при взятии выборок. Аналогично, цифровое аудио обычно представлено как дискретизированный по времени поток аудио сигнала. Например, типичный аудиоформат состоит из потока выборок аудиосигнала с 16-битной амплитудой, представляющих собой амплитуды аудиосигнала в равноудаленные моменты времени.

Несжатое цифровое аудио, изображения или видеосигналы могут потреблять значительную емкость при хранении и передаче. Кодирование с преобразованием может использоваться вместе с другими методами кодирования для уменьшения количества данных для представления такого цифрового аудио, изображений и видео, например, посредством преобразования представления в пространственной области (или во временной области) сигнала в представление в частотной области (или в другую похожую область преобразования), чтобы сделать возможным последующее уменьшение количества данных, необходимых для представления сигнала. Уменьшение количества данных обычно выполняется посредством применения процесса, известного как квантование, или посредством выборочного отбрасывания определенных частотных составляющих представления в области преобразования (или с помощью их комбинации), за которым следует применение методов энтропийного кодирования, таких как адаптивное кодирование Хаффмана или адаптивное арифметическое кодирование. Процесс квантования может применяться выборочно, на основе оцененной степени чувствительности восприятия индивидуальных частотных составляющих или на основе других критериев. Для данной скорости передачи выходных данных соответствующее применение кодирования с преобразованием обычно дает гораздо менее ощутимую деградацию цифрового сигнала, в сравнении с уменьшением качества цветовой выборки или пространственного разрешения изображений или видео непосредственно в пространственной области или аудио во временной области.

Более конкретно, типичная технология кодирования, основанная на блочном преобразовании, делит несжатые пиксели цифрового изображения на двумерные блоки фиксированного размера (X₁, ... X_n). Линейное преобразование, которое выполняет пространственно-частотный анализ, применяется к данному блоку, которое конвертирует выборки в пространственной области внутри блока в набор частотных коэффициентов (или коэффициентов преобразования), обычно представляющих собой интенсивность цифрового сигнала в соответствующих частотных полосах на протяжении блочного интервала. Для сжатия коэффициенты преобразования могут квантоваться (то есть может быть уменьшена точность, например, посредством отбрасывания наименьших значащих битов значений коэффициента или, иначе, отображения значений в наборе чисел с более высокой точностью в значения более низкой точности), а также кодироваться энтропийно или с переменной длиной кода в поток сжатых данных. При декодировании, коэффициенты преобразования будут обратно квантоваться и обратно преобразовываться назад в пространственную область, чтобы приближенно восстанавливать исходный сигнал изображения/видео, подвергнутый цветовой и пространственной дискретизации (восстановленные блоки ).

Способность использовать корреляцию выборок в блоке и таким образом максимизировать возможность сжатия является главным требованием при проектировании преобразования. Во многих приложениях кодирования, основанного на блочном преобразовании, преобразование должно быть обратимым, чтобы поддерживать сжатие с потерями и сжатие без потерь, в зависимости от операции квантования, примененной в области преобразований. Без применения квантования, например, кодирование, которое использует обратимое преобразование, может осуществить точное восстановление входных данных после применения соответствующего декодирования. Однако требование обратимости в этих приложениях ограничивает выбор преобразований, на которых может быть разработана технология кодирования. Сложность реализации преобразования является другим важным ограничением проектирования. Таким образом, варианты преобразований часто выбираются так, что применение прямых и обратных преобразований включает в себя только умножения на целые числа и другие простые математические операции, такие как сложение, вычитание и операции сдвига (для реализации умножения или деления на степень числа 2, например 4, 8, 16, 32 и т.д.), таким образом, что могут быть получены быстрые целочисленные реализации с минимальным расширением динамического диапазона.

Многие стандарты сжатия изображений и видео, такие как JPEG (ITU-T T.81|ISO/IEC 10918-1) и MPEG-2 (ITU-T H.262|ISO/IEC 13818-2), среди прочих, используют преобразование на основе дискретного косинусного преобразования (DCT). Известно, что DCT имеет подходящие свойства для мощного сжатия, но также имеет недостатки во многих реализациях. DCT описано авторами N. Ahmed, T. Natarajan, and K.R. Rao, "Discrete Cosine Transform", IEEE Transactions on Computers, C-23 (Январь 1974 года), стр. 90-93.

Когда сжимается статическое изображение (или кодированный кадр внутри видеоряда), многие общие стандарты, такие как JPEG и MPEG-2, разделяют массивы, представляющие изображение, на блоки выборок 8×8 и применяют преобразование блока для каждого такого блока изображения. На коэффициенты преобразования в данном блоке в этих форматах оказывают влияние только значения выборок в пределах области блока. При кодировании изображений и видео, квантование выборок в этих независимо сконструированных блоках может привести к неравномерностям на границах блока и таким образом сформировать визуально раздражающие артефакты, известные как блочные артефакты или блочный эффект. Аналогично, для аудиоданных, когда не перекрывающиеся блоки независимо кодированы с преобразованием, ошибки квантования дадут неравномерности в сигнале на границах блока в результате восстановления аудиосигнала в декодере. В случае аудио-сигнала может быть слышен периодически щелкающий эффект.

Методы, которые используются для подавления блочных артефактов, включают в себя использование фильтров для удаления блочности, чтобы сгладить значения сигнала на границах между блоков. Эти методы не лишены своих недостатков. Например, методы удаления блочности могут требовать наличия существенных вычислительных ресурсов.

Другим подходом является уменьшение блочных эффектов посредством использования преобразования с перекрытием, как описано в H. Malvar, "Signal Processing with Lapped Transforms," Artech House, Norwood MA, 1992. В общем, преобразование с перекрытием является преобразованием, имеющим область ввода, которая охватывает несколько прилегающих выборок в соседних блоках, кроме выборок в текущем блоке. Аналогично, на стороне восстановления, обратное преобразование с перекрытием оказывает влияние на декодированные выборки в соседних блоках, равно как и выборки текущего блока. Таким образом, обратное преобразование может сохранить непрерывность на границах блока даже в присутствии квантования, последовательно приводя к уменьшению эффекта блочности. Другим преимуществом преобразования с перекрытием является то, что оно может использовать кросс-блочную корреляцию, которая дает лучшую способность сжатия. Согласно некоторым реализациям преобразования с перекрытием, перекрывающиеся блоки выборок обрабатываются в прямом и обратном преобразованиях. Согласно другим реализациям, обработка перекрытия отделена от обработки преобразования; для кодирования обработка перекрытия выполняется на границах блока перед прямым преобразованием, которое выполняется для не перекрывающихся блоков, и для декодирования для не перекрывающихся блоков выполняются обратные преобразования, а затем обработка перекрытия выполняется на границах блока.

В случае двумерных данных, обычно, двумерное преобразование с перекрытием является функцией текущего блока, совместно с выбранными элементами блоков слева, сверху, справа и снизу от текущего блока, и возможно, блоков сверху-слева, сверху-справа, снизу-слева и снизу-справа от текущего блока. Число выборок в соседних блоках, которые используются для вычисления преобразования с перекрытием для текущего блока, называется величиной перекрытия или поддержки.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Подробное описание направлено на различные технологии для сжатия и распаковки цифровых медиаданных. Например, применяются различные методы, которые направлены на преодоление эффекта рассогласования коэффициента усиления постоянной составляющей и утечки постоянной составляющей при операциях обработки преобразования с перекрытием во время кодирования и/или декодирования.

Согласно одному аспекту описанной технологии, устройство декодирования цифровых медиаданных выполняет обратное преобразование с перекрытием, во время декодирования цифровых медиаданных. Устройство декодирования цифровых медиаданных выполняет обратное частотное преобразование цифровых медиаданных. Затем устройство применяет множество операторов перекрытия к результатам обратного частотного преобразования. Первым из множества операторов перекрытия является оператор внутреннего перекрытия, а вторым из множества операторов перекрытия является граничный или угловой оператор перекрытия. Каждый из множества операторов перекрытия характеризуется, по существу, эквивалентным коэффициентом усиления постоянной составляющей. Это уменьшает рассогласование коэффициента усиления постоянной составляющей между операторами.

При соответствующем кодировании, устройство кодирования цифровых медиаданных выполняет преобразование с перекрытием во время кодирования цифровых медиаданных. При предварительной обработке, устройство применяет множество операторов перекрытия к выборкам цифровых медиаданных или результатам ранних стадий кодирования таких выборок цифровых медиаданных. Первым из множества операторов перекрытия является оператор внутреннего перекрытия, а вторым из множества операторов перекрытия является граничный или угловой оператор перекрытия. Вновь, каждый из множества операторов перекрытия характеризуется, по существу, эквивалентным коэффициентом усиления постоянной составляющей, что уменьшает рассогласование коэффициента усиления постоянной составляющей между операторами и, тем самым, улучшает производительность сжатия. Устройство кодирования цифровых медиаданных выполняет частотное преобразование результатов предварительной обработки перекрытия. Помимо уменьшенного рассогласования коэффициента усиления постоянной составляющей, такое множество операторов перекрытия демонстрирует уменьшение утечки постоянной составляющей во многих примерах.

Согласно другому аспекту описанных технологий, устройство декодирования цифровых медиаданных принимает, в кодированном потоке бит, информацию, указывающую выбранный вариант границы мозаичного элемента, где выбранный вариант границы мозаичного элемента указывает обработку жесткой границы мозаичного элемента для операторов перекрытия или обработку гибкой границы мозаичного элемента для операторов перекрытия. Основываясь, по меньшей мере частично, на выбранном варианте границы мозаичного элемента, устройство декодирования цифровых медиаданных выполняет обработку обратного перекрытия. Например, обработка гибкой границы мозаичного элемента характеризуется обработкой перекрытия на границах мозаичного элемента, а обработка жесткой границы мозаичного элемента характеризуется отсутствием такой обработки перекрытия на границах мозаичного элемента. Согласно некоторым реализациям, обработка обратного перекрытия может включать в себя применение операторов перекрытия, которые разработаны, чтобы иметь уменьшенное рассогласование коэффициента усиления постоянной составляющей и/или утечку постоянной составляющей. При соответствующем кодировании, устройство кодирования цифровых медиаданных выбирает между использованием обработки жесткой границы мозаичного элемента для операторов перекрытия и обработки гибкой границы мозаичного элемента для операторов перекрытия. Устройство кодирования цифровых медиаданных выполняет обработку перекрытия согласно выбранному варианту границы мозаичного элемента. Устройство также сообщает информацию, в кодированном потоке битов, указывающую выбранный вариант границы мозаичного элемента. Согласно некоторым реализациям, это позволяет переключение между первым режимом (жесткие границы мозаичного элемента), который обычно имеет меньшую эффективность сжатия, но не имеет зависимостей между мозаичными элементами, и вторым режимом (гибкие границы мозаичного элемента), который обычно имеет большую эффективность сжатия, но и зависимости между мозаичными элементами.

Вышеописанное раскрытие изобретения является всего лишь кратким описанием и не предназначено для описания всех признаков представленных в настоящем документе инноваций. Вышеуказанные и другие объекты, признаки и преимущества изобретения станут более очевидны из следующего подробного описания осуществления изобретения со ссылками на чертежи.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

На фиг.1 показана блок-схема кодера, который включает в себя преобразование с перекрытием, использующее оператор обратимого перекрытия.

На фиг.2 показана блок-схема декодера, который включает в себя соответствующее преобразование с обратным перекрытием.

На фиг.3 показана схема компоновки блоков в примерных реализациях, изображающая расположение внутреннего 4×4, краевого 4×1 и углового 2×2 операторов перекрытия для использования на первом этапе преобразования с перекрытием и, для каналов максимального разрешения, на втором этапе преобразования с перекрытием в примерных реализациях. Изображенные операторы перекрытия также используются на соответствующих этапах обратного преобразования с перекрытием в примерных реализациях.

На фиг.4 показана схема компоновки блоков в примерных реализациях, изображающая расположение внутреннего 2×2, краевого 2×1 и углового 1×1 операторов перекрытия для использования на втором этапе преобразования с перекрытием для канала сигнала цветности 4:2:2, подвергнутого понижающей дискретизации в примерных реализациях. Изображенные операторы перекрытия также используются на соответствующих этапах обратного преобразования с перекрытием в примерных реализациях.

На фиг.5 показана схема компоновки блоков в примерных реализациях, изображающая расположение внутреннего 2×2, краевого 2×1 и углового 1×1 операторов перекрытия для использования на втором этапе преобразования с перекрытием для канала сигнала цветности 4:2:0, подвергнутого понижающей дискретизации в примерных реализациях. Изображенные операторы перекрытия также используются на соответствующих этапах обратного преобразования с перекрытием в примерных реализациях.

На фиг.6A показана блок-схема последовательности операций, изображающая примерный способ выбора и сигнализации о жесткой или гибкой границе мозаичного элемента для обработки перекрытия.

На фиг.6B показана блок-схема последовательности операций, изображающая примерный способ приема индикатора выбранной жесткой или гибкой границы мозаичного элемента для обработки обратного перекрытия.

На фиг.7A показана блок-схема последовательности операций, изображающая примерный способ для выполнения преобразования с перекрытием с использованием операторов перекрытия с уменьшенным рассогласованием коэффициента усиления постоянной составляющей и уменьшенной утечкой постоянной составляющей.

На фиг.7B показана блок-схема последовательности операций, изображающая примерный способ для выполнения обратного преобразования с перекрытием с использованием операторов перекрытия с уменьшенным рассогласованием коэффициента усиления постоянной составляющей и уменьшенной утечкой постоянной составляющей.

На фиг.8 показана структурная схема подходящей вычислительной среды для реализации описанных в настоящем документе технологий.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Следующее описание относится к сжатию цифровых медиаданных, или системе распаковки, или кодеру, или декодеру, которые используют решение прямого/обратного преобразования с перекрытием, направленное на преодоление эффекта рассогласования коэффициента усиления постоянной составляющей и утечки постоянной составляющей. Для целей иллюстрации, вариант осуществления изобретения системы сжатия/распаковки, объединяющей эти технологии, может быть системой сжатия/распаковки изображений или видео. Иначе, технологии, описанные в настоящем документе, могут быть соединены в системы сжатия или распаковки, кодеры или декодеры для других двумерных данных или других медиаданных. Технологии, описанные в настоящем документе, не требуют того, чтобы система сжатия цифровых медиаданных кодировала сжатые медиаданные в конкретный формат кодирования.

Примерные реализации, представленные ниже, показывают решения, которые направлены на преодоление проблемы рассогласования коэффициента усиления постоянной составляющей и утечки постоянной составляющей, при кодировании и декодировании изображений. Например, эти решения могут быть включены в стандарт кодирования изображений JPEG XR (ITU-T T.832 I ISO/IEC 29199-2). В дополнение, различные секции первой и второй примерных реализаций используют операторы, на которые ссылаются или которые определяются в стандарте JPEG XR.

Реализации также относятся к путям решения проблем утечки постоянной составляющей в операторе 4×4 для обработки перекрытия при кодировании и декодировании изображений, как описано в предварительной заявке № 12/165,474, поданной 30 июня, 2008 года.

1. Кодер/Декодер

Ниже описаны репрезентативные, но обобщенные и упрощенные, кодер и декодер данных.

На фиг.1 и 2 показаны обобщенные схемы процессов, используемых в репрезентативном кодере 100 двумерных данных и соответствующем декодере 200. Кодер 100 и декодер 200 включают в себя обработку преобразований с перекрытием, используя методы, которые направлены на преодоление рассогласования коэффициента усиления постоянной составляющей и/или утечку постоянной составляющей. Схемы представляют обобщенную или упрощенную иллюстрацию использования и применения описанных в настоящем документе технологий в системе сжатия и системе распаковки, соединенных в кодере и декодере двумерных данных. В альтернативных кодерах и декодерах на основе этих методов уменьшения рассогласования коэффициента усиления постоянной составляющей и утечки постоянной составляющей, для сжатия двумерных данных может использоваться дополнительное или меньшее число процессов, из тех, что указаны в этом репрезентативном кодере и декодере. Например, некоторые кодеры/декодеры могут также включать в себя преобразование цветов, любое разнообразие обработки цветовых форматов, масштабируемое кодирование и т.д. Описанная система сжатия и распаковки (кодер и декодер) может обеспечить сжатие двумерных данных без потерь и/или с потерями, в зависимости от применения квантования, которое может быть основано на одном и более параметрах управления квантованием, управляющими потерями качества в кодированном представлении, в широком диапазоне выбираемых точностей, ранжируемых от «абсолютно без потерь на всем протяжении» до «очень грубое представление» (с высокой степенью сжатия).

Кодер 100 двумерных данных выдает сжатый поток битов 120, то есть более компактное представление (для типичного входа) двумерных данных 110, представляющих собой входные данные кодера 100. Например, входные двумерные данные могут являться изображением, кадрами из видеоряда или другими данными, имеющими два измерения, относящимися обычно к изображению. На этапе 130 компоновки области, кодер 100 организует входные данные в блоки для дальнейшей обработки. Например, блоки могут являться блоками выборок 4×4, блоками выборок 2×4 или блоками выборок 2×2. Иначе, блоки могут иметь другие размеры. На первом этапе 140 обработки прямого перекрытия, кодер применяет оператор перекрытия к блокам входных данных. Оператор прямого перекрытия (указан как затененный блок 142) является, в примерном варианте осуществления изобретения, четырьмя операторами преобразования с перекрытием. Затем кодер 100 выполняет блочное преобразование 150 над соответствующими блоками.

Кодер 100 отделяет коэффициенты постоянной составляющей от коэффициентов переменной составляющей соответствующих блоков для последовательного кодирования. Кодер 100 выполняет дополнительный этап обработки перекрытия и прямых частотных преобразований коэффициентов постоянной составляющей. Дополнительный этап обработки перекрытия может быть пропущен и может использовать такие же операторы перекрытия, как первый этап, или другие операторы перекрытия. Например, согласно некоторым реализациям, кодер 100 может выбрать выполнять или нет дополнительный этап обработки перекрытия и сообщить решение декодеру в виде кодированных данных для использования в принятии решения относительно того, какую обработку обратного перекрытия выполнять. Кодер 170 квантует результаты дополнительного преобразования с перекрытием коэффициентов постоянной составляющей, и кодер квантует коэффициенты переменной составляющей. Затем, кодер энтропийно кодирует 180 коэффициенты и пакетирует энтропийно кодированную информацию для сигнализации в потоке битов 120 наряду со вспомогательной информацией, указывающей на решения кодирования, которую декодер 200 будет использовать при декодировании.

Согласно фиг.2, если кратко, декодер 200 выполняет обратный процесс. На стороне декодера биты коэффициентов преобразования извлекаются 210 из их соответствующих пакетов сжатого потока битов 205, из которого коэффициенты постоянной и переменной составляющей самостоятельно декодируются 220 и деквантуются 230. Коэффициенты постоянной составляющей 240 восстанавливаются посредством применения обратного преобразования, и плоскость коэффициентов постоянной составляющей является "обратно перекрытой" в постпреобразовательной фильтрации, которая использует подходящий оператор, примененный на границах блока постоянной составляющей. Далее, блоки выборок восстанавливаются посредством применения обратного преобразования 250 к коэффициентам постоянной составляющей и коэффициентам переменной составляющей 242, декодированных из потока битов. Наконец, края блоков в плоскостях результирующих изображений фильтруются 260 на основе обратного перекрытия. Второй этап обработки обратного перекрытия может использовать те же операторы перекрытия, что и на первом этапе обработки перекрытия, или другие операторы. Это обеспечивает восстановленный вывод двумерных данных 290.

2. Общие примеры описанных технологий

Эта секция содержит общие примеры методов, которые улучшают производительность кодирования преобразования с перекрытием и соответствующее декодирование.

На фиг.6A изображен примерный способ 600 для выбора и подачи сигнала о жесткой или гибкой границе мозаичного элемента для обработки перекрытия. Кодер, такой как было разъяснено согласно фиг.1, может выполнять такой метод. Или другой кодер может выполнять такой метод.

На этапе 610 кодер выбирает жесткую границу мозаичного элемента или гибкую границу мозаичного элемента для использования, когда выполняется обработка перекрытия во время кодирования преобразования с перекрытием. Например, выбор может быть основан на числе мозаичных элементов, представленных в подлежащем кодированию изображении, желаемой вычислительной сложности декодирования, желаемом качестве вывода, настройках пользователя либо отдельном декодировании индивидуальных мозаичных элементов (без зависимости между мозаичными элементами), являющихся желаемой особенностью данного приложения, либо другим фактором. В общем, использование жестких границ мозаичного элемента внутри изображения приводит к меньшим зависимостям между мозаичными элементами, так как при обработке перекрытия края мозаичных элементов рассматриваются как границы изображения. Это облегчает декодирование отдельных мозаичных элементов (в противоположность целым изображениям) при потенциальной цене эффективности сжатия (так как может понадобиться больше бит для подавления блочных артефактов, чего можно было бы избежать с помощью обработки перекрытия, и так как операция перекрытия обычно также улучшает свойство сжатия преобразования, известное как эффективность кодирования). С другой стороны, использование гибких границ мозаичного элемента разрешает обработку перекрытия на границах мозаичных элементов, но создает зависимости между мозаичными элементами для декодирования. После принятия решения о границах мозаичного элемента кодер соответственно выполняет обработку преобразования с перекрытием.

На этапе 620 кодер сообщает решение о выбранной границе мозаичного элемента в виде потока битов. Например, решение о выбранной границе мозаичного элемента может быть сообщено как отдельный элемент синтаксиса (например, как одиночный бит в заголовке изображения, указывающий на то, выбрана ли жесткая или гибкая граница мозаичного элемента для обработки перекрытия для данного изображения). Выбранную границу мозаичного элемента можно сообщить в комбинации, или совместно, с другими элементами синтаксиса, и она может сигнализироваться на основе, отличной от способа отсылки изображения за изображением.

На фиг.6B изображен примерный способ 630 для приема индикатора жесткой или гибкой границы мозаичного элемента. Декодер, такой как было разъяснено со ссылкой на фиг.2, может выполнять этот метод. Альтернативно, другой декодер выполняет такой метод.

На этапе 640 декодер принимает информацию в кодированном потоке битов, указывающую выбранный вариант границы мозаичного элемента для обработки обратного перекрытия. Выбранный вариант границы мозаичного элемента указывает жесткую границу мозаичного элемента или гибкую границу мозаичного элемента для обработки обратного перекрытия. Например, выбранный вариант границы мозаичного элемента может быть принят как отдельный элемент синтаксиса или совместно кодированный элемент синтаксиса, также он может быть принят в заголовке изображения для изображения или принят на каком-либо другом синтаксическом уровне. На этапе 650 декодер выполняет декодирование с обратным преобразованием на основе, по меньшей мере, частично, выбранного варианта границы мозаичного элемента. Например, декодер осуществляет выборочное выполнение или не выполняет обработку обратного перекрытия на границах мозаичного элемента, в зависимости от использования гибких границ мозаичных элементов или жестких границ мозаичных элементов.

Индикатор решения о границе мозаичного элемента может быть также совмещен с выбранным режимом перекрытия, так что вариант режима перекрытия указывает комбинацию этапа перекрытия и решений о жестких/гибких границах мозаичного элемента. Например, одно значение варианта режима перекрытия может указывать, что перекрытие не применяется (например, первый и второй этапы перекрытия не применяются в иерархической схеме преобразования с перекрытием из двух этапов), другое значение варианта режима перекрытия может указывать, что только первый из двух этапов применяется с гибкими границами мозаичного элемента, еще одно значение варианта режима перекрытия может указывать два режима перекрытия, применяемых с гибкими границами мозаичного элемента, еще одно значение варианта режима перекрытия может указывать, что только первый из двух этапов применяется с жесткими границами мозаичного элемента, и еще одно значение варианта режима перекрытия может указывать на два режима перекрытия, применяемых с жесткими границами мозаичного элемента. Такой вариант режима перекрытия может выбраться, использоваться во время выполнения кодирования преобразования с перекрытием и сигнализироваться в кодированном потоке битов. Кодированный поток битов принимается соответствующим декодером, и выбранный вариант режима перекрытия декодируется и используется во время выполнения декодирования обратного преобразования с перекрытием.

На фиг.7A изображен примерный способ 700 для использования операторов перекрытия с уменьшенным рассогласованием коэффициента усиления постоянной составляющей и уменьшенной утечкой постоянной составляющей при преобразовании с перекрытием во время кодирования. Кодер, такой как было разъяснено со ссылкой на фиг.1, может выполнять такой метод. Альтернативно, другой кодер может выполнять такой метод.

На этапе 710 кодер кодирует цифровые медиаданные, где кодирование включает в себя обработку преобразования с перекрытием, которая использует множество операторов перекрытия с уменьшенным рассогласованием коэффициента усиления постоянной составляющей и уменьшенной утечкой постоянной составляющей. В частности, первый оператор перекрытия (для внутренних областей) имеет первый коэффициент усиления постоянной составляющей, а второй оператор перекрытия (для краевых и угловых областей) имеет второй коэффициент усиления постоянной составляющей, который является по существу эквивалентом первого коэффициента усиления постоянной составляющей. Ниже приведены примеры внутренних операторов перекрытия, краевых операторов перекрытия и угловых операторов перекрытия, имеющих по существу эквивалентные коэффициенты усиления постоянной составляющей, для блоков выборок яркости и выборок цветности при различных разрешениях.

На этапе 720 кодер выдает кодированный поток битов, например поток битов, соответствующий JPEG XR формату или другому формату.

На фиг.7B изображен примерный способ 730 для использования операторов перекрытия с уменьшенным рассогласованием коэффициента усиления постоянной составляющей и уменьшенной утечкой постоянной составляющей при обратном преобразовании с перекрытием во время декодирования. Декодер, такой как было разъяснено со ссылкой на фиг.2, может выполнять такой метод. Альтернативно, другой декодер может выполнять такой метод.

На этапе 740 декодер принимает кодированный поток битов, например поток битов, соответствующий JPEG XR формату, или другому формату. На этапе 750 декодер выполняет обработку обратного преобразования с перекрытием, которая использует множество операторов перекрытия с уменьшенным рассогласованием коэффициента усиления постоянной составляющей и уменьшенной утечкой постоянной составляющей. В частности, первый оператор перекрытия (для внутренних областей) имеет первый коэффициент усиления постоянной составляющей, а второй оператор перекрытия (для краевых и угловых областей) имеет второй коэффициент усиления постоянной составляющей, который является по существу эквивалентом первого коэффициента усиления постоянной составляющей. Ниже приведены примеры внутренних операторов перекрытия, краевых операторов перекрытия и угловых операторов перекрытия, имеющих по существу эквивалентные коэффициенты усиления постоянной составляющей, для блоков выборок яркости и выборок цветности при различных разрешениях.

Термин "по существу эквивалентный коэффициент усиления постоянной составляющей" не значит, что операторы перекрытия должны иметь точно такой же коэффициент усиления постоянной составляющей. Вместо этого, разница коэффициента усиления постоянной составляющей должна быть достаточно мала для уменьшения (или даже устранения) нежелательных артефактов, возникающих из-за разницы коэффициента усиления постоянной составляющей между операторами перекрытия, учитываемыми эксплуатационными ограничениями и планируемыми применениями. Целевая степень схожести коэффициентов усиления постоянной составляющей может варьироваться в зависимости от сложности целевой реализации в отношении желаемого качества, в дополнение к другим факторам. В качестве примера ниже представлены наборы операторов перекрытия, которые имеют по существу эквивалентный коэффициент усиления постоянной составляющей внутри соответствующих наборов.

3. Примерные реализации

Примерные реализации включают в себя технологию преобразования с перекрытием.

3.1 Теоретические основы

Как отмечено выше, преобразование с перекрытием (также называемое перекрываемым преобразованием) является концептуально подобным блочному преобразованию. Стандартное блочное преобразование содержит два этапа:

1) разделение входных данных на блочные области (области, которые состоят из строки выборок в одномерных рядах или из массива выборок прямоугольной формы в наборе двумерных данных, таких как изображение), и

2) применение процесса преобразования к каждому блоку для анализа/разложения их частотного содержания.

Для применений сжатия, выходные данные блочного преобразования квантуются, и к результату применяется энтропийное кодирование. Эти этапы иногда комбинируются с другими операциями, такими как процессы прогнозирования и процессы оценки вероятности. Во время декодирования декодер применяет обратные или приближенные обратные операции для каждого их этих этапов обработки.

Хорошо известным эффектом, связанным с блочными преобразованиями, является образование блочных артефактов, которые представляют собой ощутимые неравномерности, которые могут наблюдаться в восстановленном приближении, что происходит в результате процесса декодирования. Хорошо известным методом подавления блочных артефактов является использование преобразования с перекрытием, как разъяснено выше, при преобразовании с перекрытием, где блоки данных, которые формируют входные данные для процесса преобразования, перекрываются с другими блоками. При использовании преобразования с перекрытием возникает проблема обработки краев сигнала. На краю набора выборок входных данных (например, на краю изображения) некоторые данные, которые обычно были бы частью входных данных преобразования с перекрытием для кодера, не представлены. И проектировщик системы должен определить, как в таких случаях обрабатывать края.

В технологии кодирования изображения ключевым понятием является разложение большого изображения на множество мозаичных элементов. Мозаичным элементом является набор данных, который точно или приблизительно соответствует конкретной пространственной области изображения на картинке. Посредством сегментирования изображения на мозаичные элементы и кодирования каждого мозаичного элемента в отдельности становится возможным обращаться к части изображения и декодировать ее без того, чтобы декодировать целое изображение. Возможность обращаться к конкретным областям изображения может быть особенно полезной, когда изображения большие. Однако сегментирован