Улучшенное маскирование ошибки в области частот

Улучшенное маскирование ошибки в области частот

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее изобретение, в общем, относится к маскированию ошибки, более конкретно к методике маскирования ошибки в области частот, предназначенной для использования на стороне декодирования кодека, такого как субполосный кодек или кодек с преобразованием.

Предшествующий уровень техники

Мультимедийный кодер представляет собой устройство, схему или компьютерную программу, которая позволяет анализировать потоки информации, такие как аудиопоток, видеопоток или поток данных изображения, и выводить информационный поток, представляющий эту информацию, в закодированной форме. Полученную в результате информацию часто используют с целью передачи, сохранения и/или шифрования. С другой стороны, декодер представляет собой устройство, схему или компьютерную программу, которая позволяет выполнять операцию, обратную операции кодера, состоящую в том, что устройство принимает закодированный поток информации и выводит декодированный поток этой информации.

В большей части аудио- и видеокодеров предшествующего уровня техники каждый кадр входного сигнала анализируют в области частот. Результат этого анализа преобразуют в цифровую форму и кодируют и затем передают или сохраняют в зависимости от варианта применения. На стороне приема или при использовании сохраненного кодированного сигнала процедура декодирования, после которой следует процедура синтеза, позволяет восстановить сигнал в области времени.

Кодеки часто используют для сжатия/развертывания информации, такой как аудио- и видеоданные, для эффективной ее передачи по каналам передачи данных с ограниченной полосой частот.

Наиболее часто используемые аудио- и видеокодеки представляют собой субполосные кодеки и кодеки с преобразованием. Субполосный кодек построен на основе набора фильтров, а кодек с преобразованием обычно основан на преобразовании области времени в область частоты, таком как, например, DCT (ДКП, дискретное косинусное преобразование). Однако кодеки этих двух типов можно рассматривать как математически эквивалентные. В том смысле, что они основаны на одном и том же принципе, когда кодек преобразования можно рассматривать как субполосный кодек с большим количеством субполос.

Общая характеристика этих кодеков состоит в том, что они работают с блоками выборок - кадрами. Коэффициенты кодирования, получаемые из анализа преобразования или субполосного анализа каждого кадра, квантуют в соответствии с динамическим выделением битов, и они могут изменяться от кадра к кадру. Декодер, при приеме потока битов, рассчитывает выделение битов и декодирует кодированные коэффициенты.

При передачах данных на основе пакетов квантованные коэффициенты кодирования и/или параметры могут быть сгруппированы в пакеты. Пакет может содержать данные, соответствующие нескольким кадрам, одному кадру, или может содержать только часть данных кадра.

При неблагоприятных условиях канала в кодированной/сжатой информации после выхода из кодера могут возникать потери или она может поступать на сторону декодирования с ошибками. В общем, передача звуковых, видео- и других соответствующих данных в неблагоприятных условиях канала стала одной из самых серьезных проблем в настоящее время. Для снижения влияния ошибок, возникающих при потерях пакетов или в нарушенных в течение передачи данных, часто используют так называемое маскирование ошибки для уменьшения снижения качества звука, видео- или других данных, представленных с помощью коэффициентов кодирования.

Схемы маскирования ошибки обычно основаны на формировании замены для квантованного коэффициента (коэффициентов) кодирования потерянного пакета или, в более общем варианте, пакета с ошибками так, чтобы замена была аналогична исходному пакету. Это становится возможным, поскольку информация, такая как звук и, в частности, речь, проявляет значительную степень кратковременного самоподобия. В результате эти методики оптимально работают для относительно небольших пропорций ошибок (10%) и для малых пакетов (4-40 мс).

В области передачи информации по ненадежным каналам известна технология, представляющая собой кодирование с множеством описаний. Кодер генерирует несколько различных описаний одного и того же звукового сигнала, а декодер может формировать пригодную для использования реконструкцию исходного аудиосигнала, применяя любой поднабор кодированных описаний. Эта технология подразумевает возникновение ошибки или потерь независимо для каждого описания. Это может означать, что каждое описание должно быть передано по собственному каналу или, что описания совместно используют один и тот же канал, но смещены по времени по отношению друг к другу. В этом случае высока вероятность приема декодером достоверных данных в каждый момент времени. Потеря одного описания поэтому может быть перекрыта благодаря доступности другого описания того же сигнала. Этот способ очевидно увеличивает общую задержку передачи между передатчиком и приемником. Кроме того, для обеспечения возможности повышения избыточности необходимо жертвовать либо скоростью передачи данных, или некоторым качеством.

В случае кодеков с преобразованием, ориентированных на блок или кадр, оценка интервалов потерянных сигналов может быть выполнена в области времени, то есть на выходе декодера, или в области частот, то есть внутри по отношению к декодеру.

Несколько методик маскирования ошибки в области времени уже известны в предшествующем уровне техники. Упрощенная технология, такая как способы, построенные на основе приглушения, восстанавливает потери путем приглушения выходных сигналов в течение периода следования ошибочных данных. Ошибочные данные заменяют нулевым сигналом. Хотя этот способ является очень простым, он ведет к очень неприятным эффектам из-за воспринимаемых разрывов, которые он вводит как результат неожиданного падения энергии сигналов.

Способ повторения очень похож на методику приглушения, но вместо замены данных нулевым сигналом при возникновении ошибочных данных он повторяет часть данных, которая была принята последней. Этот способ работает лучше, чем приглушение, за счет увеличения потребления памяти. Характеристики этого способа, однако, ограничены, и при этом возникают некоторые весьма раздражающие искажения. Например, если последний принятый кадр представлял собой барабанную дробь, при повторе последней можно получить двойной удар в барабан в месте, где ожидается только один. Другие искажения могут возникать в случае, например, короткого периода повторения, в результате которого возникает жужжащий звук, генерируемый из-за эффекта гребенчатой фильтрации.

Другие более совершенные методики направлены на интерполяцию аудиосигнала, и в них используют, например, замену формы колебаний сигнала, дублирование формы сигнала на основе высоты звука или модификацию по временной шкале. Эти методики работают гораздо лучше, чем описанные выше примитивные методики. Однако они требуют существенных усложнений. Кроме того, величина задержки, требуемая для выполнения интерполяции, во многих случаях становится неприемлемой.

Хорошо известные в литературе, например [1], [2], [3], методики восстановления звука предлагают полезные подходы и фактически направлены на решение аналогичных проблем.

Маскирование ошибки в области частот анализируют в документах [4], [5]. В случае преобразования DCT (ДКП, дискретное косинусное преобразование) было определено, что простая методика маскирования состоит в нарезании больших коэффициентов DCT.

В публикации [6] используют подход замены данных с вариантами выбора спектральной энергии, регулируемыми при прослушивании. Более конкретно, в неповрежденных звуковых данных, до возникновения ошибочных данных, находят определенную структуру. Когда такая структура будет найдена, данные замены определяют на основе этой структуры.

В публикации [7] описана технология маскирования ошибки в области частот. Описанная технология является достаточно общей, и ее используют для кодеров преобразования. В ней используется прогнозирование для восстановления потерянных коэффициентов или коэффициентов с ошибками. Прогнозирование коэффициентов частотного канала/элементов кодированного сигнала с ошибками основано на предыдущих коэффициентах того же элемента кодированного сигнала/канала и, таким образом, может рассматриваться, как фаза в элементе кодированного сигнала/канале, и изменяется в течение времени при попытке сохранить так называемую горизонтальную когерентность фазы. В некоторых случаях такая методика позволяет получить достаточно удовлетворительные результаты.

Однако методика маскирования ошибки, предложенная в [7], обычно приводит к потере так называемой вертикальной когерентности фазы, что может привести к разрывам кадров и воспринимаемым искажениям.

Статья "Optimal estimation for Error Concealment in Scalable Video Coding" авторов Zhang и др. представляет собой другой пример классической схемы маскирования ошибки в области частот. В этой схеме используют статистическую модель для изменения коэффициентов преобразования во времени (от кадра к кадру) и выполняют оценку реконструированного (восстановленного) коэффициента. Потерянный коэффициент DCT реконструируют при использовании информации из текущего базового слоя и предыдущего слоя улучшения. Используя информацию об интервале квантования коэффициента DCT из базового слоя, можно определить возможный диапазон исходного коэффициента DCT. Основываясь на информации коэффициента DCT в предыдущем кадре слоя улучшения и используя диапазон исходного коэффициента DCT в качестве ограничения, можно определить наилучшую оценку для восстановления потерянного коэффициента DCT.

В публикации [8] Wiese и др. описывают методику маскирования ошибки, которая основана на переключении между несколькими стратегиями маскирования, которые включают в себя, по меньшей мере, приглушение субполосы и повтор или оценку субполосы.

Сущность изобретения

Настоящее изобретение позволяет преодолеть эти и другие недостатки устройств предшествующего уровня техники.

В общем, целью настоящего изобретения является предоставление улучшенной методики маскирования ошибок.

Другая цель изобретения состоит в предоставлении методики маскирования ошибки в области частот, которая более оптимально использует избыточность исходного информационного сигнала.

Еще одной целью изобретения является предоставление общей и эффективной методики маскирования ошибки в области частот, которую можно применять как к субполосным кодекам, так и к кодекам с преобразованием.

Также целью является получение улучшенного устройства маскирования ошибки в области частот, а также декодера и приемника, содержащих такое устройство маскирования ошибки.

Эти и другие цели достигаются с помощью изобретения в том виде, как оно определено прилагаемой патентной формулой изобретения.

Изобретение относится к методике маскирования ошибки в области частот для информации, представленной на основе кадров, используя коэффициенты кодирования. Основная идея состоит в маскировании ошибочного коэффициента кодирования путем использования корреляции коэффициентов кодирования как по времени, так и по частоте. Эту методику можно применять для любой информации, такой как данные звука, видео и изображений, сжатые в коэффициенты кодирования и переданные в неблагоприятных условиях канала. Методика маскирования ошибки, предложенная в соответствии с изобретением, имеет очевидное преимущество, состоящее в использовании избыточности исходного информационного сигнала во времени, а также по частоте. Например, она предлагает возможность использования избыточности между кадрами, а также в пределах кадров.

Существует множество возможностей использования корреляции по времени и по частоте, включая использование коэффициентов кодирования из того же кадра, в котором имеется коэффициент кодирования с ошибкой, вместе с коэффициентами из одного или больше предыдущих и/или последующих кадров, используя несколько разных коэффициентов из каждого из множества предыдущих и/или последующих кадров или даже используя диагональную структуру коэффициентов кодирования. Следует, однако, понимать, что использование коэффициентов кодирования из одного или больше последующих кадров обычно вводит задержку, которая может быть или может не быть приемлемой, в зависимости от вариантов применения.

Использование коэффициентов кодирования из того же кадра, в котором имеется коэффициент кодирования с ошибкой, иногда называется корреляцией коэффициента внутри кадра и представляет собой специальный случай более общей корреляции по частоте. Аналогично, использование коэффициентов из одного или больше предыдущих и/или последующих кадров иногда называется корреляцией между кадрами или просто корреляцией по времени.

Маскирование ошибки в соответствии с изобретением предпочтительно выполняют путем оценки нового коэффициента кодирования на основе, по меньшей мере, одного другого коэффициента кодирования в том же кадре, в котором имеется коэффициент с ошибкой, и, по меньшей мере, одного коэффициента кодирования одного или больше других кадров и замены коэффициента кодирования с ошибкой (обычно потерянного) новым коэффициентом кодирования.

Обычно в субполосных кодеках и кодеках с преобразованием информация может быть представлена коэффициентами кодирования множества частотных элементов, либо полос частот, либо компонентов частотного преобразования. В особенно предпочтительном и конкретном варианте выполнения, когда обнаруживают коэффициент кодирования с ошибкой для некоторого частотного элемента в некотором кадре, новый коэффициент кодирования этого частотного элемента можно оценить, по меньшей мере, частично на основе, по меньшей мере, одного коэффициента кодирования, по меньшей мере, одного другого частотного элемента в том же кадре и предпочтительно также на основе, по меньшей мере, одного коэффициента кодирования того же частотного элемента в одном или более других кадрах. Может быть предпочтительным также рассмотреть, по меньшей мере, один коэффициент кодирования, по меньшей мере, одного другого частотного элемента в одном или более других кадрах.

Особенно предпочтительный вариант выполнения, который не вводит дополнительной задержки, основан на оценке коэффициента с ошибкой не только из предыдущих данных частотного элемента с ошибкой или потерянного частотного элемента, но также и по текущим и/или предыдущим данным других частотных элементов.

Это означает, что используют как избыточность по времени, так и по частоте. Это в особенности справедливо для случая аудиосигнала, который состоит из суммы гармоник, частоты которых медленно изменяются с течением времени. Для этого очень часто встречающегося случая звукового сигнала места расположения пиков спектра изменяются с течением времени. Например, пик, который расположен в кадре m-1, может быть расположен в другом месте в кадре m. Использование блока оценки или блока прогнозирования, в котором применяется двойная избыточность такого типа, поэтому является очень предпочтительным.

В частности, настоящее изобретение также предполагает использование специальной методики для оценки нового коэффициента кодирования путем прогнозирования спектрального фазового компонента на основе приблизительного сопоставления групповой задержки между кадрами, используя заранее заданный критерий аппроксимации. Предпочтительно такой подход выполняют путем начальной оценки групповой задержки, по меньшей мере, из одного другого кадра с последующим расчетом спектральной фазы путем, по меньшей мере, приблизительного сопоставления групповой задержки спектрального компонента с ошибкой с оцениваемой групповой задержкой.

Компонент амплитуды спектра можно предсказывать на основе сопоставления энергии спектральных коэффициентов рассматриваемого кадра с энергией соответствующих спектральных коэффициентов, по меньшей мере, одного другого кадра.

В случае кодирования с преобразованием, когда коэффициенты кодирования представляют собой сложные спектральные коэффициенты преобразования, предпочтительно выполняют оценку нового комплексного коэффициента спектрального кодирования для некоторого частотного элемента путем прогнозирования спектральной амплитуды и фазы отдельно с последующим объединением прогнозируемой спектральной амплитуды и фазы в новый комплексный спектральный коэффициент кодирования. Сопоставление энергии спектра и сопоставление групповой задержки затем можно использовать для индивидуального прогнозирования компонента амплитуды спектра и компонента фазы спектра соответственно для комплексного коэффициента кодирования.

Следует понимать, что коэффициент кодирования с ошибкой может представлять собой коэффициент с частичной ошибкой или полностью потерянный коэффициент кодирования. В более совершенных протоколах обнаружения ошибок возможно различать ошибки в младших значимых битах от ошибок в старших значимых битах коэффициента кодирования и, таким образом, повторно использовать, по меньшей мере, часть информации.

Изобретение предлагает следующие преимущества:

- улучшенное маскирование ошибки;

- оптимальное использование избыточности исходного информационного сигнала;

- оно, в общем, применимо для любого из вариантов субполосного кодека или кодека с преобразованием.

Другие преимущества, предлагаемые в настоящем изобретении, будут понятны при чтении приведенного ниже описания вариантов выполнения изобретения.

Краткое описание чертежей

Изобретение, вместе с другими его целями и преимуществами, будет более понятно из следующего описания, которое следует рассматривать вместе с прилагаемыми чертежами, на которых:

на фиг. 1 схематично представлен обычный вариант применения кодирования источника;

на фиг. 2A-H показаны схемы, иллюстрирующие различные примерные случаи использования как корреляции по времени, так и корреляции коэффициентов кодирования по частоте;

на фиг. 3 показана схема возможного перекрытия при разделении кадров входных выборок во временной области;

на фиг. 4 показана схема примера основного кодера на основе преобразования;

на фиг. 5 показана схема примера основного декодера на основе преобразования с маскированием ошибки;

на фиг. 6 показана схема модуля маскирования ошибки в соответствии с предпочтительным вариантом выполнения изобретения;

на фиг. 7 показана схема примера основного субполосного кодера;

на фиг. 8 показана схема примера основного субполосного декодера с маскированием ошибки;

на фиг. 9A, B показаны схемы, иллюстрирующие экстраполяцию фазы на основе сопоставления групповой задержки; и

на фиг. 10 показана схема блока оценки для комплексных коэффициентов в соответствии с предпочтительным вариантом выполнения изобретения.

Подробное описание предпочтительного варианта осуществления

На чертежах одинаковые ссылочные позиции используются для обозначения соответствующих или аналогичных элементов.

Для лучшего понимания изобретения может быть полезно начать с краткого обзора общего источника применения кодирования, что подразумевает передачу кодированной информации через канал передачи данных. Как указано выше, кодек представляет собой составное устройство, схему или компьютерную программу, которая может обрабатывать информационный поток и, в общем, содержит кодирующую часть и декодирующую часть. Кодеки часто используют для сжатия/развертывания информации, такой как звуковые и видеоданные, для эффективной передачи через каналы передачи данных с ограниченной полосой пропускания.

В большинстве аудио- и видеокодеков предшествующего уровня техники каждый кадр входного сигнала анализируют в области частот. Результат этого анализа кодируют и затем передают. На приемной стороне процедура синтеза восстанавливает сигнал во временной области.

Основная концепция в кодировании в области частот состоит в разделении спектра на полосы или компоненты частот, обычно называемые частотными элементами кодированного сигнала, используя либо набор фильтров, либо расчет поблочного преобразования. После кодирования и декодирования эти частотные элементы можно использовать для повторного синтеза точной копии входного сигнала либо путем суммирования с помощью набора фильтров, либо с использованием обратного преобразования.

Два хорошо известных типа кодеков, которые принадлежат к классу кодеков области частот, представляют собой субполосные кодеки и кодеки с преобразованием. Основной принцип обоих типов кодеков состоит в разделении спектра на частотные элементы. При субполосном кодировании используют набор фильтров для разделения входного сигнала на множество относительно широких частотных полос. При кодировании с преобразованием, с другой стороны, используют способ преобразования блока для обеспечения гораздо более высокого разрешения по частоте.

Общая характеристика этих кодеков состоит в том, что они работают по блокам выборок - кадрам. Коэффициенты кодирования, получаемые в результате расчета преобразования или расчета субполос каждого кадра, квантуют, кодируют и передают. На приемной стороне кодированные и квантованные коэффициенты кодирования декодируют для восстановления исходной информации.

Как показано на фиг. 1, кодер 10 выполняет процесс кодирования для преобразования информационного потока в кодированную форму, обычно в виде квантованных и кодированных коэффициентов кодирования. Кодированную информацию затем передают в блок 20 обработки канала для перевода кодированной информации в форму, пригодную для передачи через канал передачи данных. На приемной стороне поступающий поток битов обычно обрабатывают с помощью блока 30 обработки канала, который может выполнять демультиплексирование и обнаружение ошибок. Например, при передаче данных, основанной на пакетах, можно проверять наличие битовых ошибок в пакетах, выполняя проверки CRC (контроль с помощью избыточного циклического кода) или эквивалентное обнаружение ошибки. Часто пакеты с неправильными проверочными суммами просто отбрасывают. Для снижения влияния ошибок, вводимых в пакеты в течение передачи, часто используют блок маскирования ошибки в процессе декодирования блока 40 для маскирования ошибочных или отсутствующих коэффициентов кодирования путем оценки новых заменяющих коэффициентов. Блок 40 декодирования затем выполняет процесс синтеза коэффициентов без ошибок и оцененных заменяющих коэффициентов для восстановления исходной информации.

Изобретение относится к специально разработанной методике маскирования ошибок в области частот, которая основана на идее маскирования коэффициента кодирования с ошибкой путем использования корреляции коэффициента кодирования как по времени, так и по частоте. Эту методику применяют для любой информации, такой как данные звука, видео и изображения, которые сжимают в коэффициенты кодирования и передают в неблагоприятных условиях канала. В методике маскирования ошибки, предложенной в изобретении, применяют избыточность информационного сигнала по времени и по частоте и предлагают возможность использовать избыточность между кадрами, а также в пределах кадров.

Существует множество возможностей использования временной и частотной корреляции/зависимости коэффициентов кодирования. Для оценки нового коэффициента кодирования, который можно использовать вместо коэффициента с ошибкой или потерянного коэффициента, желательно анализировать и определять, как изменяется фаза и/или амплитуда с течением времени (между кадрами), а также как фаза и/или амплитуда изменяются по отношению к частоте. Иногда такой подход также называют горизонтальной корреляцией/зависимостью и вертикальной корреляцией/зависимостью соответственно.

Например, для данного коэффициента с ошибкой возможно выполнить оценку нового коэффициента кодирования на основе коэффициентов кодирования из того же кадра, что и коэффициент кодирования с ошибкой вместе с коэффициентами из одного или больше предыдущих и/или последующих кадров. Другой возможный подход состоит в использовании множества коэффициентов из каждого из множества предыдущих и/или последующих кадров. Также можно использовать диагональные структуры зависимостей коэффициентов по времени и частоте.

Следует, однако, понимать, что при использовании коэффициентов кодирования из одного или больше последующих кадров обычно вводят задержку, которая может быть или может не быть приемлемой, в зависимости от вариантов применения. В общем, конечно, возможно использовать не только коэффициенты кодирования без ошибки, но также и полученные ранее оценки заменяющих коэффициентов.

На фиг. 2A-H показаны схемы, представляющие различные примерные случаи использования как корреляции коэффициентов кодирования по времени, так и по частоте. Следует понимать, что возможно множество других вариантов, в зависимости от конструктивного выбора, требуемой сложности расчетов и т.д.

В упрощенной схеме по фиг. 2A предполагается, что коэффициент кодирования с ошибкой (обозначен крестиком) был обнаружен для заданного частотного элемента k в данном блоке или кадре m. На фиг. 2A представлен основной пример, в котором рассматриваемый коэффициент с ошибкой заменяют на основе предыдущего коэффициента того же частотного элемента вместе с коэффициентами двух соседних элементов в пределах того же кадра, в котором имеется рассматриваемый коэффициент с ошибкой. Это представляет собой основной пример использования зависимости коэффициента как по времени, так и по частоте. Использование коэффициентов кодирования из того же кадра, что и коэффициент кодирования с ошибкой иногда называется корреляцией коэффициента внутри кадра, и этот случай представляет собой специальный случай более общей корреляции по частоте. Аналогично, использование коэффициентов из одного или больше предыдущих и/или последующих кадров называется корреляцией между кадрами или корреляцией по времени. Принцип маскирования коэффициента кодирования с ошибкой на основе корреляции коэффициентов внутри кадра и между кадрами является в особенности предпочтительным.

На фиг. 2B представлен пример последовательных коэффициентов с ошибками в одном и том же элементе. Здесь предполагается, что коэффициент с ошибкой кадра m был заменен новым оцененным коэффициентом замены, например, как показано на фиг. 2A. В следующем кадре m+1 коэффициент с ошибкой заменяют на основе коэффициента замены (обозначен пунктирным крестиком внутри кружочка) того же частотного элемента в предыдущем кадре m вместе, например, с коэффициентами двух соседних элементов в пределах одного и того же кадра в качестве рассматриваемого коэффициента с ошибкой. Может быть предпочтительным обеспечить возможность регулирования влияния оцениваемых коэффициентов замены по сравнению с коэффициентами без ошибки. Такой подход может быть выполнен путем предоставления весовых коэффициентов, которые могут изменяться в зависимости от того, являются ли коэффициенты коэффициентами, переданными без ошибок, или оцененными заменяющими коэффициентами, а также в зависимости от "расстояния" во времени (то есть количества кадров) и/или по частоте (то есть количества элементов) от рассматриваемого коэффициента с ошибкой.

На фиг. 2C представлен пример, когда несколько из коэффициентов кодирования в текущем кадре содержат ошибки. В этом случае коэффициент кодирования без ошибки в текущем кадре используют вместе с предыдущим коэффициентом того же частотного элемента, а также коэффициентами других частотных элементов из предыдущего кадра. Этот процесс обычно повторяют для каждого из коэффициентов с ошибками текущего кадра, пока все они не будут заменены новыми коэффициентами.

На фиг. 2D представлен пример, когда несколько коэффициентов кодирования из более чем одного предыдущего кадра рассматривают вместе с коэффициентами в пределах текущего кадра.

На фиг. 2E представлен еще один пример, где коэффициенты одного и того же частотного элемента из нескольких предыдущих кадров используют вместе с коэффициентами нескольких элементов в пределах текущего кадра.

На фиг. 2F представлен пример с диагональной структурой корреляции.

На фиг. 2G представлен основной пример, в котором коэффициент одного и того элемента в последующем кадре используется вместе с коэффициентами двух соседних элементов в пределах одного и того же кадра в качестве рассматриваемого коэффициента с ошибкой. Это означает, что, когда обнаруживают коэффициент с ошибкой в пределах данного кадра, алгоритм маскирования ошибки должен ожидать поступление следующего кадра для доступа к коэффициенту (коэффициентам) следующего кадра. Очевидно, что это вводит задержку в один кадр, а также подразумевает, что коэффициент одного и того же элемента в следующем кадре будет безошибочным/восстановленным коэффициентом.

На фиг. 2H представлен еще один пример с задержкой на два кадра, где количество коэффициентов в пределах одного и того же кадра, в качестве рассматриваемых коэффициентов с ошибками, используют вместе с таким количеством коэффициентов без ошибок/восстановленных коэффициентов, которое возможно в двух непосредственно следующих кадрах.

Изобретение более подробно будет описано ниже в основном со ссылкой на кодеки с преобразованием и субполосные кодеки. Более подробная информация по субполосным кодекам и кодекам с преобразованием включает в себя информацию о выделении битов, размерах этапов и прореживании, приведенную в [9].

Как показано на фиг. 3, каждый анализируемый кадр m может состоять из блоков входных выборок x(n), возможно перекрывающихся во временной области. На фиг. 4 показана блок-схема примера простого кодека с преобразованием. Как можно видеть, каждый блок x(m,n) входного сигнала умножают на взвешивающую функцию h(n) и затем преобразуют в частотную область путем использования модуля 12 FFT (БПФ, быстрого преобразования Фурье). Очевидно следует понимать, что кодер на основе FFT представляет собой всего лишь пример и что можно использовать преобразования других типов, например MDCT (МДКП, модифицированное дискретное косинусное преобразование). Полученные комплексные коэффициенты y(m,k) частотной области, индексированные по номеру k элемента, квантуют с помощью блока 14 квантования с получением квантованных комплексных коэффициентовy_q(m,k). Квантованные коэффициенты затем кодируют и мультиплексируют с помощью блока 16 в мультиплексированный информационный поток. Полученный в результате разбитый на кадры битовый поток затем пакетизируют с помощью блока 18 и, наконец, передают в декодер на приемной стороне.

Как показано на фиг. 5, на приемной стороне поступающий битовый поток депакетизируют с помощью блока 32, который производит разбитый на кадры поток битов, а также указатель bfi(m) плохого кадра для каждого кадра m. Указатель плохого кадра может представлять собой результат проверки CRC или обнаружения потерянных пакетов. Разбитый на кадры битовый поток и соответствующий указатель плохого кадра передают в блок 42, который выполняет демультиплексирование и декодирование для извлечения квантованных комплексных коэффициентов преобразования. Если ошибки не обнаружены, квантованные коэффициенты просто подвергают обратному преобразованию в модуле 46 IFFT (Обратное FFT) для получения сигнала во временной области, который умножают на функцию w(n) окна, и суммируют с перекрытием в модуле 48 суммирования с перекрытием для восстановления декодированного сигнала x_q(n) во временной области.

В зависимости от того, как кодированные данные были мультиплексированы и пакетизированы, данные, относящиеся к одному кадру, могут быть потеряны частично или полностью. В результате этого, по меньшей мере, часть спектральных коэффициентов может быть с ошибками. Демультиплексирование указателя bfi(m) плохого кадра определяет, какие коэффициенты кодирования имеют ошибки, формируя, таким образом, указатель bci(m,k) плохого коэффициента. В предпочтительном варианте выполнения изобретения модуль 44 (ММО, ECU) маскирования ошибки поэтому принимает указатель bci(m,k) того, какие спектральные коэффициенты содержат ошибку или отсутствуют в дополнение к извлеченным спектральным коэффициентам y_q(m,k) без ошибок. На основе указателя bci(m,k) плохого коэффициента модуль 44 маскирования ошибки заменяет спектральные коэффициенты, которые указаны, как содержащие ошибки или потерянные, новыми спектральными коэффициентами.

На фиг. 6 показана блок-схема модуля 44 маскирования ошибки в соответствии с предпочтительным вариантом выполнения изобретения. Логические модули 52 и 54 работают для распознавания коэффициентов с ошибками среди коэффициентов без ошибок на основе указателя плохого коэффициента для всех элементов k в кадре m. Предпочтительно указатель bci(m,k) плохого коэффициента представляет собой Булеву функцию. В случае, когда отсутствуют ошибки в канале, указатель всегда установлен в значение FALSE (ложь), что означает, что модуль 44 маскирования ошибки просто выводит свой входной сигнал, то есть _q(m,k)=y_q(m,k). С другой стороны, когда обнаруживают плохой или потерянный коэффициент, указатель устанавливают в значение TRUE (истина), что означает, что коэффициент заменен на выходное значение блока 56 оценки. Иногда требуется, чтобы блок оценки постоянно работал для поддержания в обновленном состоянии своей внутренней памяти, в результате для замены требуется использовать только его выходной сигнал. Поэтому bci(m,k) служит для выбора, какие спектральные коэффициенты должны быть заменены спектральным коэффициентом, оценка которого была проведена блоком 56 оценки. Затем набор индексов k спектральных коэффициентов с ошибками в кадре m обозначают как S={k, так что bci (m,k)=TRUE}. Модуль 58 рекомбинации принимает и компонует оцененные заменяющие коэффициенты и коэффициент без ошибок кадра m для вывода.

Для общности случай субполосного кодека также будет кратко представлен со ссылкой на фиг. 7 и 8.

На фиг. 7 показана блок-схема примера базового субполосного кодера. В субполосном кодере набор фильтров 12-1 - 12-N используют для разделения входного сигнала на N полос частот, каждую из которых обычным способом переводят с использованием фильтра низкой частоты на нулевую частоту для генерирования соответствующего коэффициента кодированияy_q(m,k). Полученные коэффициенты y (m,k), индексированные по номеру k элемента, затем отдельно квантуют с помощью набора блоков 14-1 - 14-N квантования с получением квантованных комплексных коэффициентов y_q(m,k). Квантованные коэффициенты затем кодируют и мультиплексируют с помощью блока 16 и затем пакетизируют с помощью блока 18 перед передачей в декодер на принимающей стороне.

Как показано на фиг. 8, на принимающей стороне входящий поток битов депакетизируют с помощью блока 32, который генерирует разбитый на кадры битовый поток, а также указатель bfi(m) плохого кадра для каждого кадра m. Разбитый на кадры битовый поток и указатель плохого кадра передают в блок 42, который выполняет демультиплексирование и декодирование для извлечения квантованных комплексных коэффициентов преобразования и указателя bci(m,k) плохого коэффициента. Если ошибки не обнаружены, квантованные коэффициенты просто переводят обратно в их исходное частотное положение с помощью набора фильтров 46-1 - 46-N и суммируют вместе для получения аппроксимации x_q(n) исходного сигнала. В условиях плохого канала, когда при передаче возникают ошибки, модуль 44 маскирования ошибки принимает указатель bci(m,k) спектральных коэффициентов, имеющих ошибку, в дополнение к извлеченным коэффициентам y_q(m,k) без ошибок. Основываясь на указателе плохого коэффициента, модуль 44 маскирования ошибки заменяет эти коэффициенты, которые обозначены, как плохие или отсутствующие, на новые спектральные коэффиц