Способ расширения ширины полосы, устройство расширения ширины полосы, программа, интегральная схема и устройство декодирования аудио

Способ расширения ширины полосы, устройство расширения ширины полосы, программа, интегральная схема и устройство декодирования аудио

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее изобретение относится к способу расширения ширины полосы для расширения ширины полосы частот аудиосигнала.

Уровень техники

Технология расширения полосы частот (BWE) аудиосигнала типично используется в современных аудиокодеках для того, чтобы эффективно кодировать широкополосный аудиосигнал на низкой скорости передачи битов. Ее принцип состоит в том, чтобы использовать параметрическое представление исходного высокочастотного (HF) содержимого для того, чтобы синтезировать аппроксимацию HF из низкочастотных (LF) данных.

Фиг. 1 является схемой, показывающей такой аудиокодек на основе BWE-технологии. В его кодере широкополосный аудиосигнал сначала разделяется (101 и 103) на LF- и HF-часть; LF-часть кодируется (104) с сохранением формы сигнала; между тем, взаимосвязь между LF-частью и HF-частью анализируется (102) (типично, в частотной области) и описывается посредством набора HF-параметров. Вследствие описания параметров HF-части, мультиплексированные (105) данные формы сигнала и HF-параметры могут быть переданы в декодер на низкой скорости передачи в битах.

В декодере LF-часть сначала декодируется (107). Чтобы аппроксимировать исходную HF-часть, декодированная LF-часть преобразуется (108) в частотную область, результирующий LF-спектр модифицируется (109), чтобы сформировать HF-спектр, согласно некоторым декодированным HF-параметрам. HF-спектр дополнительно уточняется (110) посредством постобработки, также согласно некоторым декодированным HF-параметрам. Уточненный HF-спектр преобразуется (111) во временную область и комбинируется с задержанной (112) LF-частью. Как результат, конечный восстановленный широкополосный аудиосигнал выводится.

Следует отметить, что в BWE-технологии один важный этап заключается в том, чтобы формировать HF-спектр из LF-спектра (109). Существует несколько способов реализовывать это, к примеру, копирование LF-части в HF-местоположение, нелинейная обработка или повышающая дискретизация.

Наиболее известным аудиокодеком, который использует такую BWE-технологию, является MPEG-4 HE-AAC, в котором BWE-технология указывается как SBR (репликация полос спектра) или SBR-технология, при этом HF-часть формируется посредством простого копирования LF-части в QMF-представлении в спектральное HF-местоположение.

Такая операция спектрального копирования, также называемая наложением, является простой и, как оказалось, эффективной для большинства случаев. Тем не менее, на очень низких скоростях передачи битов (например, <20 кбит/с в монорежиме), когда только небольшие ширины полосы LF-части являются достижимыми, такая SBR-технология может приводить к ощущениям нежелательных акустических артефактов, таких как неразборчивость и неприятный тембр (например, см. непатентный документ (NPL) 1).

Следовательно, чтобы не допускать таких артефактов, являющихся следствием операции зеркального отображения или копирования, представленной в сценарии кодирования с низкой скоростью передачи битов, стандартная SBR-технология совершенствуется и дополняется следующими основными изменениями (например, см. NPL 2):

(1) модификация алгоритма наложения с шаблона копирования на управляемый фазовым вокодером шаблон наложения;

(2) повышение адаптивного временного разрешения для параметров постобработки.

Как результат первой модификации (вышеуказанный документ (1)), посредством разброса LF-спектра с несколькими целочисленными множителями по существу обеспечивается непрерывность гармоник в HF. В частности, нежелательное ощущение неразборчивости вследствие эффектов биения не возникает на границе между низкой частотой и высокой частотой и между различными высокочастотными частями (например, см. NPL 1).

Так же, вторая модификация (вышеуказанный документ (2)) упрощает уточненный HF-спектр так, что он является более адаптивным к колебаниям сигнала в реплицированных полосах частот.

Поскольку новое наложение сохраняет гармоническое отношение, оно называется гармоническим расширением ширины полосы (HBE). Преимущества HBE предшествующего уровня техники по сравнению со стандартной SBR также экспериментально подтверждены для кодирования аудио с низкой скоростью передачи битов (например, см. NPL 1).

Следует отметить, что вышеуказанные две модификации влияют только на формирователь (109) HF-спектра, остальные процессы в HBE являются идентичными процессам в SBR.

Фиг. 2 является схемой, показывающей формирователь HF-спектра в HBE предшествующего уровня техники. Следует отметить, что формирователь HF-спектра включает в себя T-F-преобразование 108 и HF-восстановление 109. При условии LF-части сигнала, предположим, что его HF-спектр составляет (T-1) наложений HF-гармоник (каждый процесс наложения формирует одно HF-наложение), от второго порядка (HF-наложение с наименьшей частотой) до T-того порядка (HF-наложение с наибольшей частотой). В HBE предшествующего уровня техники все эти HF-наложения формируются независимо, путем параллельного извлечения из фазовых вокодеров.

Как показано на фиг. 2, (T-1) фазовых вокодеров (201-203) с различными коэффициентами растягивания (от 2 до k) используются для того, чтобы растягивать входную LF-часть. Растянутые выводы, с различными длинами, подвергаются полосовой фильтрации (204-206) и повторно дискретизируются (207-209), чтобы сформировать HF-наложения посредством преобразования растяжения времени в расширение диапазона частот. Посредством задания коэффициента растягивания в два раза превышающим коэффициент повторной дискретизации HF-наложения поддерживают гармоническую структуру сигнала и имеют двойную длину LF-части. Затем все HF-наложения совмещаются по задержке (210-212) так, что они компенсируют потенциальные различные вносимые задержки от операции повторной дискретизации. На последнем этапе все совмещенные по задержке HF-наложения суммируются и преобразуются (213) в QMF-область, чтобы сформировать HF-спектр.

При наблюдении вышеуказанного формирователя HF-спектра, он имеет большой объем вычислений. Объем вычислений, главным образом, является следствием операции растягивания во времени, реализованной посредством последовательности кратковременных преобразований Фурье (STFT) и обратных кратковременных преобразований Фурье (ISTFT), принятых в синфазных вокодерах, и последующей QMF-операции, применяемой к растянутой во времени HF-части.

Общее введение по фазовому вокодеру и QMF-преобразованию описывается ниже.

Фазовый вокодер является известной технологией, которая использует преобразования в частотной области, чтобы реализовывать эффект растягивания во времени. Т.е. чтобы модифицировать временное развитие сигнала, в то время как его локальные спектральные характеристики сохраняются неизменными. Ее основной принцип описывается ниже.

Фиг. 3A и фиг. 3B являются схемами, показывающими основной принцип растягивания во времени, выполняемого посредством фазового вокодера.

Разделение аудио на перекрывающиеся блоки и переразмещение этих блоков, при этом размер перескока (временной интервал между последовательными блоками) не является одинаковым при вводе и выводе, как проиллюстрировано на фиг. 3A. Таким образом, входной размер R_a перескока меньше выходного размера R_s перескока, как результат, исходный сигнал растягивается со скоростью r, показанной в нижеприведенном уравнении 1.

Математическое выражение 1

(уравнение 1)

Как показано на фиг. 3B, переразмещенные блоки перекрываются в когерентном шаблоне, что требует преобразования в частотной области. Типично, входные блоки преобразуются в частоту, после надлежащей модификации фаз новые блоки преобразуются обратно в выходные блоки.

Согласно вышеуказанному принципу, большинство классических фазовых вокодеров приспосабливают кратковременное преобразование Фурье (STFT) в качестве преобразования в частотной области и заключают в себе явную последовательность из анализа, модификации и повторного синтеза для растягивания во времени.

QMF-гребенки преобразуют представления во временной области в совместные представления в частотно-временной области (и наоборот), которые типично используются в схемах параметрического кодирования, таких как репликация полос спектра (SBR), параметрическое стереокодирование (PS) и пространственное кодирование аудио (SAC) и т.д. Характеристика этих гребенок фильтров заключается в том, что комплексные сигналы частотной (подполосной) области эффективно избыточно дискретизируются на коэффициент два. Это обеспечивает операции постобработки сигналов подполосной области без ввода искажения от наложения спектров.

Подробнее, при условии действительного дискретного временного сигнала x(n), с помощью QMF-гребенки анализа, комплексные сигналы s_k(n) подполосной области получаются с помощью нижеприведенного уравнения 2.

(уравнение 2)

В уравнении 2, p(n) представляет импульсную характеристику прототипного фильтра нижних частот порядка L-1, α представляет фазовый параметр, M представляет число полос частот, и k является индексом подполосы, где k=0, 1, ..., M-1.

Следует отметить, что аналогично STFT QMF-преобразование также является совместным частотно-временным преобразованием. Это означает, что оно предоставляет как частотный спектр сигнала, так и изменение в частотном спектре со временем, при этом частотный спектр представляется посредством подполосы, а временная шкала представляется посредством временного кванта, соответственно.

На фиг.4 показана диаграмма схемы QMF-анализа и синтеза.

Подробно, как проиллюстрировано на фиг. 4, данный реальный аудиоввод разделяется на последовательные перекрывающиеся блоки с длиной L и размером перескока M (фиг. 4(a)), процесс QMF-анализа преобразует каждый блок в один временной квант, состоящий из M комплексных подполосных сигналов. Посредством этого, L входных выборок временной области преобразуются в L комплексных QMF-коэффициентов, состоящих из L/M временных квантов и M подполос частот (фиг. 4(b)). Каждый временной квант, комбинированный с предыдущими (L/M-1) временных квантов, синтезируется посредством процесса QMF-синтеза, чтобы восстанавливать M реальных выборок временной области (фиг. 4(c)) с практически идеальным восстановлением.

Список библиографических ссылок

Непатентные документы

NPL 1. Frederik Nagel и Sascha Disch "A harmonic bandwidth extension method for audio codecs", IEEE Int. Conf. on Acoustics, Speech and Signal Proc., 2009.

NPL 2. Max Neuendorf и др. "A novel scheme for low bitrate unified speech and audio coding - MPEG RM0", 126 съезд AES, Мюнхен, Германия, май 2009 года.

Раскрытие изобретения

Техническая проблема

Проблемой, ассоциированной с HBE-технологией предшествующего уровня техники, является большой объем вычислений. Традиционный фазовый вокодер, принятый в HBE для растягивания сигнала, имеет больший объем вычислений вследствие применения последовательных FFT и IFFT, т.е. последовательных FFT (быстрых преобразований Фурье) и IFFT (обратных быстрых преобразования Фурье); и последующее QMF-преобразование увеличивает объем вычислений за счет применения к растянутому во времени сигналу. Кроме того, в общем, попытка уменьшать объем вычислений приводит к потенциальной проблеме ухудшения качества.

Таким образом, настоящее изобретение создано с учетом вышеуказанной проблемы и имеет целью предоставить способ расширения ширины полосы, обеспечивающий уменьшение объема вычислений при расширении ширины полосы, а также подавление ухудшения качества в расширенной ширине полосы.

Решение проблемы

Для достижения вышеуказанной цели, способ расширения ширины полосы согласно аспекту настоящего изобретения является способом расширения ширины полосы для формирования сигнала полной ширины полосы из сигнала ширины полосы низких частот, причем способ включает в себя первый этап преобразования для преобразования сигнала ширины полосы низких частот в область гребенки квадратурных зеркальных фильтров (QMF), чтобы сформировать первый низкочастотный QMF-спектр; этап сдвига основного тона для формирования сигналов со сдвинутым основным тоном посредством применения различных коэффициентов сдвига к сигналу ширины полосы низких частот; этап формирования высоких частот для формирования высокочастотного QMF-спектра посредством растягивания во времени сигналов со сдвинутым основным тоном в QMF-области; этап модификации спектра для модификации высокочастотного QMF-спектра, чтобы удовлетворить условиям высокочастотной энергии и тональности; и этап формирования полной ширины полосы для формирования сигнала полной ширины полосы посредством комбинирования модифицированного высокочастотного QMF-спектра с первым низкочастотным QMF-спектром.

Соответственно, высокочастотный QMF-спектр формируется посредством растягивания во времени сигналов со сдвинутым основным тоном в QMF-области. Следовательно, можно избегать традиционной комплексной обработки (последовательно повторяемых FFT и IFFT и последующего QMF-преобразования) для формирования высокочастотного QMF-спектра, и тем самым объем вычислений может быть уменьшен. Следует отметить, что аналогично STFT, само QMF-преобразование предоставляет совместное частотно-временное разрешение, таким образом, QMF-преобразование заменяет последовательность STFT и ISTFT. Помимо этого, в способе расширения ширины полосы согласно аспекту настоящего изобретения, сигналы со сдвинутым основным тоном формируются посредством применения взаимно различных коэффициентов сдвига вместо только одного коэффициента сдвига, и растягивание во времени выполняется для этих сигналов, можно подавлять ухудшение качества высокочастотного QMF-спектра.

Кроме того, этап формирования высоких частот включает в себя второй этап преобразования для преобразования сигналов со сдвинутым основным тоном в QMF-область, чтобы сформировать QMF-спектры; этап формирования наложений гармоник для растягивания QMF-спектров вдоль временного измерения с различными коэффициентами растягивания, чтобы сформировать наложения гармоник; этап совмещения для совмещения по времени наложений гармоник; и этап суммирования для суммирования совмещенных по времени наложений гармоник.

Кроме того, этап формирования наложений гармоник включает в себя этап вычисления для вычисления амплитуды и фазы QMF-спектра из QMF-спектров; этап фазовой манипуляции для манипуляции фазы, чтобы сформировать новую фазу; и этап формирования QMF-коэффициентов для комбинирования амплитуды с новой фазой, чтобы сформировать новый набор QMF-коэффициентов.

Кроме того, на этапе фазовой манипуляции, новая фаза формируется на основе исходной фазы всего набора QMF-коэффициентов.

Кроме того, на этапе фазовой манипуляции, манипуляция выполняется многократно для наборов QMF-коэффициентов, и на этапе формирования QMF-коэффициентов новые наборы QMF-коэффициентов формируются.

Кроме того, на этапе фазовой манипуляции, различная манипуляция выполняется в зависимости от индекса QMF-подполосы.

Кроме того, на этапе формирования QMF-коэффициентов новые наборы QMF-коэффициентов суммируются с перекрытием, чтобы сформировать QMF-коэффициенты, соответствующие расширенному во времени аудиосигналу.

В частности, растягивание во времени в способе расширения ширины полосы согласно аспекту настоящего изобретения имитирует способ растягивания на основе STFT посредством модификации фаз входных QMF-блоков и суммирования с перекрытием модифицированных QMF-блоков с различным размером перескока. С точки зрения объема вычислений, по сравнению с последовательными FFT и IFFT в способе на основе STFT, такое растягивание во времени имеет меньший объем вычислений посредством заключения в себе только одного преобразования на основе QMF-анализа. Следовательно, можно дополнительно уменьшить объем вычислений при расширении ширины полосы.

Кроме того, для достижения вышеуказанной цели, способ расширения ширины полосы в другом аспекте настоящего изобретения является способом расширения ширины полосы для формирования сигнала полной ширины полосы из сигнала ширины полосы низких частот, причем способ включает в себя первый этап преобразования для преобразования сигнала ширины полосы низких частот в область гребенки квадратурных зеркальных фильтров (QMF), чтобы сформировать первый низкочастотный QMF-спектр; этап формирования наложения гармоник низшего порядка для формирования наложения гармоник низшего порядка посредством растягивания во времени сигнала ширины полосы низких частот в QMF-области; этап формирования высоких частот для (i) формирования сигналов, подвергнутые сдвигу основного тона, посредством применения различных коэффициентов сдвига к наложению гармоник низшего порядка, и (ii) формирования высокочастотного QMF-спектра из сигналов; этап модификации спектра для модификации высокочастотного QMF-спектра, чтобы удовлетворить условиям высокочастотной энергии и тональности; и этап формирования полной ширины полосы для формирования сигнала полной ширины полосы посредством комбинирования модифицированного высокочастотного QMF-спектра с первым низкочастотным QMF-спектром.

Соответственно, высокочастотный QMF-спектр формируется посредством растягивания во времени и сдвига основного тона сигнала ширины полосы низких частот в QMF-области. Следовательно, можно избегать традиционной комплексной обработки (последовательно повторяемых FFT и IFFT и последующего QMF-преобразования) для формирования высокочастотного QMF-спектра, и тем самым объем вычислений может быть уменьшен. Помимо этого, поскольку сигналы со сдвинутым основным тоном формируются посредством применения взаимно различных коэффициентов сдвига вместо только одного коэффициента сдвига, и высокочастотный QMF-спектр формируется из этих сигналов, можно подавлять ухудшение качества высокочастотного QMF-спектра. Кроме того, поскольку высокочастотный QMF-спектр формируется из наложения гармоник низшего порядка, можно дополнительно подавлять ухудшение качества высокочастотного QMF-спектра.

Следует отметить, что в способе расширения ширины полосы согласно другому аспекту настоящего изобретения сдвиг основного тона также работает в QMF-области. Это служит для разложения LF QMF-подполосы в наложении низшего порядка на несколько подподполос для более высокого частотного разрешения, затем преобразовывать эти под-подполосы в QMF-подполосу высоких частот, чтобы сформировать спектр наложения высшего порядка.

Кроме того, этап формирования наложения гармоник низшего порядка включает в себя второй этап преобразования для преобразования сигнала ширины полосы низких частот во второй низкочастотный QMF-спектр; этап полосовой фильтрации для полосовой фильтрации второго низкочастотного QMF-спектра; и этап растягивания для растягивания второго низкочастотного QMF-спектра после полосовой фильтрации вдоль временного измерения.

Кроме того, второй низкочастотный QMF-спектр имеет более точное частотное разрешение, чем первый низкочастотный QMF-спектр.

Кроме того, этап формирования высоких частот включает в себя: этап формирования наложения для полосовой фильтрации наложения гармоник низшего порядка, чтобы сформировать наложения после полосовой фильтрации; этап формирования высшего порядка для преобразования каждого из наложений после полосовой фильтрации в высокую частоту, чтобы сформировать наложения гармоник высшего порядка; и этап суммирования для суммирования наложений гармоник высшего порядка с наложением гармоник низшего порядка.

Кроме того, этап формирования высшего порядка включает в себя этап разбиения для разбиения каждой QMF-подполосы в каждом из наложений после полосовой фильтрации на несколько под-подполос; этап преобразования для преобразования под-подполос в QMF-подполосы высоких частот; и этап комбинирования для комбинирования результатов преобразования под-подполос.

Кроме того, этап преобразования включает в себя этап разделения для разделения под-подполос каждой из QMF-подполос на часть полосы задерживания и часть полосы пропускания; этап вычисления частот для вычисления транспонированных центральных частот под-подполос для части полосы пропускания с помощью зависимого от порядка наложения коэффициента; первый этап преобразования для преобразования под-подполос для части полосы пропускания в QMF-подполосы высоких частот согласно центральным частотам; и второй этап преобразования для преобразования под-подполос для части полосы задерживания в QMF-подполосы высоких частот согласно под-подполосам частот части полосы пропускания.

Следует отметить, что в способе расширения ширины полосы согласно настоящему изобретению операции (этапы) процесса, описанные выше, могут комбинироваться любым образом.

Такой способ расширения ширины полосы, аналогично способу согласно настоящему изобретению, является HBE-технологией с небольшим объемом вычислений, которая использует формирователь HF-спектра с уменьшенным объемом вычислений, который вносит наибольший объем вычислений в HBE. Чтобы уменьшить объем вычислений, в способе расширения ширины полосы согласно аспекту настоящего изобретения, используется новый фазовый вокодер на основе QMF, который выполняет растягивание во времени в QMF-области с небольшим объемом вычислений. Кроме того, в способе расширения ширины полосы согласно другому аспекту настоящего изобретения, чтобы не допускать возможных проблем качества, ассоциированных с решением, используется новый алгоритм сдвига основного тона, который формирует наложения гармоник высшего порядка из наложения низшего порядка в QMF-области.

Цель этого изобретения состоит в создании наложения на основе QMF, при котором растягивание во времени, или растягивание во времени и расширение диапазона частот могут выполняться в QMF-области, чтобы далее создать HBE-технологию с небольшим объемом вычислений, управляемую посредством фазового вокодера на основе QMF.

Следует отметить, что настоящее изобретение может быть реализовано не только как такой способ расширения ширины полосы, но также и как устройство расширения ширины полосы и интегральная схема, которые расширяют полосу частот аудиосигнала с использованием способа расширения ширины полосы, как программа, инструктирующая компьютер расширять ширину полосы частот с использованием способа расширения ширины полосы, и как носитель записи, на котором записывается программа.

Преимущества изобретения

Способ расширения ширины полосы в настоящем изобретении разрабатывает новую технологию гармонического расширения ширины полосы (HBE). Суть технологии заключается в том, чтобы выполнять растягивание во времени или растягивание во времени и сдвиг основного тона в QMF-области, а не в традиционной FFT-области и временной области, соответственно. По сравнению с HBE-технологией предшествующего уровня техники, способ расширения ширины полосы в настоящем изобретении может предоставлять хорошее качество звука и значительно уменьшать объем вычислений.

Краткое описание чертежей

Фиг. 1 показывает схему аудиокодека с использованием обычной BWE-технологии.

Фиг. 2 показывает формирователь HF-спектра с сохранением гармонической структуры.

Фиг. 3A является диаграммой, показывающей принцип растягивания во времени посредством переразмещения аудиоблоков.

Фиг. 3B является диаграммой, показывающей принцип растягивания во времени посредством переразмещения аудиоблоков.

Фиг. 4 является диаграммой, показывающей схему QMF-анализа и синтеза.

Фиг. 5 является блок-схемой способа расширения ширины полосы в первом варианте осуществления настоящего изобретения.

Фиг. 6 является схемой формирователя HF-спектра в первом варианте осуществления настоящего изобретения.

Фиг. 7 является схемой аудиодекодера в первом варианте осуществления настоящего изобретения.

Фиг. 8 является схемой изменения временной шкалы сигнала на основе QMF-преобразования в первом варианте осуществления настоящего изобретения.

Фиг. 9 является диаграммой, показывающей способ растягивания во времени в QMF-области в первом варианте осуществления настоящего изобретения.

Фиг. 10 является диаграммой, показывающей сравнение эффектов растягивания для синусоидального тонального сигнала с различными коэффициентами растягивания.

Фиг. 11 является схемой, показывающей эффект рассогласования и разброса по энергии в HBE-схеме.

Фиг. 12 является блок-схемой способа расширения ширины полосы во втором варианте осуществления настоящего изобретения.

Фиг. 13 является схемой формирователя HF-спектра во втором варианте осуществления настоящего изобретения.

Фиг. 14 является схемой аудиодекодера во втором варианте осуществления настоящего изобретения.

Фиг. 15 является схемой, показывающей способ расширения диапазона частот в QMF-области во втором варианте осуществления настоящего изобретения.

Фиг. 16 является графиком, показывающим распределение спектра под-подполосы во втором варианте осуществления настоящего изобретения.

Фиг. 17 является диаграммой, показывающей взаимосвязь между компонентом ширины полосы и компонентом полосы задерживания для синусоиды в комплексной QMF-области во втором варианте осуществления настоящего изобретения.

Осуществление изобретения

Следующие варианты осуществления являются просто иллюстративными для принципов различных изобретательских уровней. Следует понимать, что изменения сведений, описанных в данном документе, должны быть очевидными для специалистов в данной области техники.

Первый вариант осуществления

В дальнейшем в этом документе описываются HBE-схема (способ гармонического расширения ширины полосы) и декодер (аудиодекодер или устройство декодирования аудио) с ее использованием в настоящем изобретении.

Фиг. 5 является блок-схемой последовательности операций, показывающей способ расширения ширины полосы в настоящем варианте осуществления.

Этот способ расширения ширины полосы является способом расширения ширины полосы для формирования сигнала полной ширины полосы из сигнала ширины полосы низких частот, причем способ включает в себя первый этап преобразования для преобразования сигнала ширины полосы низких частот в область гребенки квадратурных зеркальных фильтров (QMF), чтобы сформировать первый низкочастотный QMF-спектр; этап сдвига основного тона для формирования сигналов со сдвинутым основным тоном посредством применения различных коэффициентов сдвига к сигналу ширины полосы низких частот; этап формирования высоких частот для формирования высокочастотного QMF-спектра посредством растягивания во времени сигналов со сдвинутым основным тоном в QMF-области; этап модификации спектра для модификации высокочастотного QMF-спектра, чтобы удовлетворить условиям высокочастотной энергии и тональности; и этап формирования полной ширины полосы для формирования сигнала полной ширины полосы посредством комбинирования модифицированного высокочастотного QMF-спектра с первым низкочастотным QMF-спектром.

Следует отметить, что первый этап (S11) преобразования выполняется посредством модуля 1406 T-F-преобразования, который должен быть описан ниже, этап сдвига основного тона (S12) выполняется посредством модулей 504-506 дискретизации и модуля 1403 временной повторной дискретизации, которые должны быть описаны ниже. Помимо этого, этап (S13) формирования высоких частот выполняется посредством модулей 507-509 QMF-преобразования, фазовых вокодеров 510-512, модуля 404 QMF-преобразования и модуля 1405 растягивания во времени, которые должны быть описаны ниже. Кроме того, этап (S15) формирования полной ширины полосы выполняется посредством модуля 1410 сложения, который должен быть описан ниже.

Кроме того, этап формирования высоких частот включает в себя второй этап преобразования для преобразования сигналов со сдвинутым основным тоном в QMF-область, чтобы сформировать QMF-спектры; этап формирования наложений гармоник для растягивания QMF-спектров вдоль временного измерения с различными коэффициентами растягивания, чтобы сформировать наложения гармоник; этап совмещения для совмещения по времени наложений гармоник; и этап суммирования для суммирования совмещенных по времени наложений гармоник.

Следует отметить, что второй этап преобразования выполняется посредством модулей 507-509 QMF-преобразования и модуля 1404 QMF-преобразования, а этап формирования наложений гармоник выполняется посредством фазовых вокодеров 510-512 и модуля 1405 растягивания во времени. Кроме того, этап совмещения выполняется посредством модулей 513-515 совмещения по задержке, которые должны быть описаны, а этап суммирования выполняется посредством модуля 516 сложения, который должен быть описан ниже.

В HBE-схеме в настоящем варианте осуществления, формирователь HF-спектра в HBE-технологии разрабатывается с процессами сдвига основного тона во временной области, после которых выполняются управляемые вокодером процессы растягивания во времени в QMF-области.

Фиг. 6 является схемой, показывающей формирователь HF-спектра, используемый в HBE-схеме в настоящем варианте осуществления. Формирователь HF-спектра включает в себя: модули 501, 502, ..., и 503 полосовой фильтрации; модули 504, 505, ..., и 506 дискретизации; модули 507, 508, ..., и 509 QMF-преобразования; фазовые вокодеры 510, 511, ..., и 512; модули 513, 514, ..., и 515 совмещения по задержке; и модуль 516 сложения.

Данный ввод LF-ширины полосы сначала подвергается полосовой фильтрации (501-503) и повторно дискретизируется (504-506), чтобы сформировать части HF-ширины полосы. Эти части HF-ширины полосы преобразуются (507-509) в QMF-область, результирующие выводы QMF растягиваются во времени (510-512) с коэффициентами растягивания, в два раза превышающими соответствующие коэффициенты повторной дискретизации. Растянутые HF-спектры совмещаются по задержке (513-515) так, что они компенсируют потенциальные различные вносимые задержки от процесса повторной дискретизации, и суммируются (516), чтобы сформировать конечный HF-спектр. Следует отметить, что каждый из вышеприведенных номеров 501-516 в круглых скобках обозначает составляющий элемент формирователя HF-спектра.

При сравнении схемы в настоящем варианте осуществления со схемой предшествующего уровня техники (фиг. 2) можно видеть, что основные отличия состоят в том, что 1) большее число QMF-преобразований применяется; и 2) операция растягивания во времени выполняется в QMF-области, а не в FFT-области. Подробная операция растягивания во времени в QMF-области описывается ниже с дополнительными сведениями.

Фиг. 7 является схемой, показывающей декодер, приспосабливающий формирователь HF-спектра в настоящем варианте осуществления. Декодер (устройство декодирования аудио) включает в себя модуль 1401 демультиплексирования, модуль 1402 декодирования, модуль 1403 временной повторной дискретизации, модуль 1404 QMF-преобразования и модуль 1405 растягивания во времени, Следует отметить, что, в настоящем варианте осуществления, модуль 1401 демультиплексирования соответствует модулю отделения, который отделяет кодированный сигнал ширины полосы низких частот от кодированной информации (потока битов). Кроме того, модуль 1409 обратного T-F-преобразования соответствует модулю обратного преобразования, который преобразует сигнал полной ширины полосы из сигнала области гребенки квадратурных зеркальных фильтров (QMF) в сигнал временной области.

С помощью декодера, поток битов демультиплексируется (1401) сначала, LF-часть сигнала затем декодируется (1402). Чтобы аппроксимировать исходную HF-часть, декодированная LF-часть (сигнал ширины полосы низких частот) повторно дискретизируется (1403) во временной области, чтобы сформировать HF-часть, результирующая HF-часть преобразуется (1404) в QMF-область, результирующий HF QMF-спектр растягивается (1405) вдоль временного направления, растянутый HF-спектр дополнительно уточняется (1408) посредством постобработки согласно некоторым декодированным HF-параметрам. Между тем, декодированная LF-часть также преобразуется (1406) в QMF-область. В конечном счете, уточненный HF-спектр комбинируется (1410) с задержанным (1407) LF-спектром, чтобы сформировать QMF-спектр полной ширины полосы. Результирующий QMF-спектр полной ширины полосы преобразуется (1409) обратно во временную область, чтобы выводить декодированный широкополосный аудиосигнал. Следует отметить, что каждый из вышеприведенных номеров 1401-1410 в круглых скобках обозначает составляющий элемент декодера.

Способ растягивания во времени

Процесс растягивания во времени HBE-схемы в настоящем варианте осуществления служит для аудиосигнала, его растянутый во времени сигнал может формироваться посредством QMF-преобразования, фазовых манипуляций и обратного QMF-преобразования. В частности, этап формирования наложений гармоник включает в себя: этап вычисления для вычисления амплитуды и фазы QMF-спектра из QMF-спектров; этап фазовой манипуляции для манипуляции фазы, чтобы сформировать новую фазу; и этап формирования QMF-коэффициентов для комбинирования амплитуды с новой фазой, чтобы сформировать новый набор QMF-коэффициентов. Следует отметить, что каждый из этапа вычисления, этапа фазовой манипуляции и этапа формирования QMF-коэффициентов выполняется посредством модуля 702, который должен быть описан ниже.

Фиг. 8 является схемой, показывающей процесс растягивания во времени на основе QMF, выполняемый посредством модуля 1404 QMF-преобразования и модуля 1405 растягивания во времени. Во-первых, аудиосигнал преобразуется в набор QMF-коэффициентов, X(m,n), посредством преобразования на основе QMF-анализа (701). Эти QMF-коэффициенты модифицируются в модуле 702. При этом для каждого QMF-коэффициента вычисляются его амплитуда r и фаза a, X(m,n)=r(m,n)·exp(j·a(m,n)). Фазы a(m,n) модифицируются (манипулируются) в a˜(m,n). Модифицированные фазы a˜ и исходные амплитуды r составляют новый набор QMF-коэффициентов. Например, новый набор QMF-коэффициентов показывается в нижеприведенном уравнении 3.

(уравнение 3)

В завершение, новый набор QMF-коэффициентов преобразуется (703) в новый аудиосигнал, соответствующий исходному аудиосигналу с модифицированной временной шкалой.

Алгоритм растягивания во времени на основе QMF в HBE-схеме в настоящем варианте осуществления имитирует алгоритм растягивания на основе STFT: 1) стадия модификации использует принцип мгновенной частоты, чтобы модифицировать фазы; 2), чтобы уменьшать объем вычислений, суммирование с перекрытием выполняется в QMF-области с использованием свойства аддитивности QMF-преобразования.

Ниже приводится подробное описание алгоритма растягивания во времени в HBE-схеме в настоящем варианте осуществления.

При условии, что имеется 2L действительных сигналов временной области, x(n), которые должны быть растянуты с коэффициентом s растягивания, после стадии QMF-анализа имеется 2L комплексных QMF-коэффициентов, состоящих из 2L/M временных квантов и M подполос частот.

Следует отметить, что аналогично способу растягивания на основе STFT, преобразованные QMF-коэффициенты являются необязательными согласно аналитическому кодированию с взвешиванием перед фазовой манипуляцией. В этом изобретении, это может быть реализовано либо во временной области, либо в QMF-области.

Во временной области, сигнал временной области, разумеется, может быть кодирован с взвешиванием, как показано в нижеприведенном уравнении 4.

(уравнение 4)

Mod(.) в уравнении 4 означает операцию модуляции.

В QMF-области, эквивалентная операция может быть реализована посредством:

1) Преобразования аналитического окна кодирования h(n) (с длиной L) в QMF-область, чтобы сформировать H(v,k) с L/M временных квантов и M подполос частот.

2) Упрощения QMF-представления окна кодирования, как показано в нижеприведенном уравнении 5.

(уравнение 5)

Здесь, v=0, ..., L/M-1.

3) Выполнения аналитического кодирования со взвешиванием в QMF-области посредством X(m,k)=X(m,k)∙H₀(w), где w=mod(m,L/M). (Следует отметить, что mod(.) означает операцию модуляции).

Кроме того, в HBE-схеме в настоящем варианте осуществления, на этапе фазовой манипуляции, новая фаза формируется на основе исходной фазы всего набора QMF-коэффициентов. В частности, в настоящем варианте осуществления, в каче