Устройство и способ обработки аудио сигнала

Устройство и способ обработки аудио сигнала

Иллюстрации

Показать все

Реферат

Настоящее изобретение относится к схеме обработки аудио сигнала с помощью изменения фаз спектральных значений звукового сигнала, реализуемого в схеме расширения диапазона частот (BWE).

Хранение или передача звуковых сигналов часто становятся объектом строгих ограничений по битрейту [максимальное количество бит, которое можно передать в единицу времени]. До настоящего времени кодировщики были вынуждены резко уменьшать передаваемый диапазон аудио частот, кроме случаев, когда был возможен очень низкий битрейт. Современные аудио кодировщики имеют возможность кодирования широкополосных сигналов с помощью способов расширения диапазона частот, как описано в М.Dietz, L.Liljeryd, K.Kjörling and O.Kunz, "Spectral Band Replication, a novel approach in audio coding," in 112th AES Convention, Munich, May 2002; S.Meltzer, R.Böhm and F.Henn, "SBR enhanced audio codecs for digital broadcasting such as "Digital Radio Mondiale" (DRM)," in 112th AES Convention, Munich, May 2002; Т.Ziegler, A.Ehret, P.Ekstrand and М.Lutzky, "Enhancing mp3 with SBR: Features and Capabilities of the new mp3PRO Algorithm," in 112th AES Convention, Munich, May 2002; International Standard ISO/IEC 14496-3:2001/FPDAM 1, "Bandwidth Extension," ISO/IEC, 2002. Speech bandwidth extension method and apparatus Vasu lyengar et al.; E.Larsen, R.М.Aarts, and М.Danessis. Efficient high-frequency bandwidth extension of music and speech. In AES 112th Convention, Munich, Germany, May 2002; R.М.Aarts, E.Larsen, and O. Ouweltjes. A unified approach to low- and high frequency bandwidth extension. In AES 115th Convention, New York, USA, October 2003; K.Käyhkö. A Robust Wideband Enhancement for Narrowband Speech Signal. Research Report, Helsinki University of Technology, Laboratory of Acoustics and Audio Signal Processing, 2001; E.Larsen and R.М.Aarts. Audio Bandwidth Extension-Application to psychoacoustics, Signal Processing and Loudspeaker Design. John Wiley & Sons, Ltd, 2004; E.Larsen, R.М.Aarts, and М.Danessis. Efficient high-frequency bandwidth extension of music and speech. In AES 112th Convention, Munich, Germany, May 2002; J.Makhoul. Spectral Analysis of Speech by Linear Prediction. IEEE Transactions on Audio and Electroacoustics, AU-21(3), June 1973; United States Patent Application 08/951,029, Ohmori, et al. Audio band width extending system and method and United States Patent 6895375, Malah, D & Cox, R.V.: System for bandwidth extension of Narrow-band speech. Эти алгоритмы используют параметрическое представление высокочастотного контента [содержания] (ВЧ), которое генерируется из закодированной низкочастотной части (НЧ) декодированного сигнала с помощью перестановки в ВЧ-область спектра ("патчирования" [патч-программное средство, используемое для устранения проблем, изменения или улучшения работы существующих функций]) и использования параметров, полученных в результате последующей обработки.

В последнее время используется новый алгоритм, основанный на применении фазового вокодера, который, например, представлен в следующих публикациях: М.Puckette. Phase-locked Vocoder. IEEE ASSP Conference on Applications of Signal Processing to Audio and Acoustics, Mohonk 1995.", Röbel, A.: Transient detection and preservation in the phase vocoder; citeseer.ist.psu.edu/679246.html; Laroche L., Dolson М.: "Improved phase vocoder timescale modification of audio", IEEE Trans. Speech and Audio Processing, vol. 7, no. 3, pp.323-332 and United States Patent 6549884 Laroche, J. & Dolson, М.: Phase-vocoder pitch-shifting for the patch generation, has been presented in Frederik Nagel, Sascha Disch, "A harmonic bandwidth extension method for audio codecs," ICASSP International Conference on Acoustics, Speech and Signal Processing, IEEE CNF, Taipei, Taiwan, April 2009. Однако этот способ, называемый "гармоническим продолжением диапазона частот" (НВЕ), подвержен деградации качества переходных процессов, содержащихся в звуковом сигнале, как описано в следующих публикациях: Frederik Nagel, Sascha Disch, Nikolaus Rettelbach, "A phase vocoder driven bandwidth extension method with novel transient handling for audio codecs," 126th AES Convention, Munich, Germany, May 2009, при этом в стандартном алгоритме фазового вокодера не гарантируется сохранность вертикальной когерентности по поддиапазонам и, кроме того, при пересчете дискретного преобразования Фурье (DFT) фазы должны быть разделены на изолированные временные блоки преобразования, косвенным образом предполагающие циклическую периодичность.

Известно, что из-за наличия блока обработки фазовым вокодером можно наблюдать, два вида искажений. Это, в частности, дисперсия сигнала и временной алиасинг [наложение], связанный с эффектами временной циклической свертки сигнала за счет применения новых рассчитанных фаз.

Другими словами, путем применения модификации фазы спектральных значений звукового сигнала в BWE алгоритме, переходные процессы, содержащихся в блоке звукового сигнала, могут быть обработаны в пределах блока, т.е. циклически заведены обратно в блок. Это приводит к временному алиасингу и, как следствие, приводит к деградации звукового сигнала.

Поэтому необходимо использовать способы для специальной обработки частей сигнала, содержащих переходные процессы. Однако, при использовании BWE алгоритма, выполняемого декодировщиком в цепи кодирования, вычислительная сложность является серьезной проблемой. Соответственно, желательно применять меры по борьбе с только что упомянутой деградацией аудио сигнала, не приводящие к увеличению стоимости и значительному увеличению вычислительной сложности.

Объектом настоящего изобретения является схема для обработки аудио сигнала путем изменения фаз спектральных значений звукового сигнала, например, на основе схемы BWE, которая позволяет достичь лучшего компромисса между уменьшением только что упомянутой деградации и вычислительной сложности.

Эта задача решается с помощью устройства по п.1 или способом по п.19, или компьютерной программы по п.20.

Основной идеей изобретения является то, что вышеупомянутый улучшенный компромисс может быть достигнут, если хотя бы один добавленный блок аудио выборок, содержащий добавленные значения, и значения аудио сигнала генерируются до того, как во вспомогательном блоке проводится изменение фаз спектральных значений. При использовании такого подхода может предотвращаться возникновение или по крайней мере станет менее вероятным дрейф контента [содержания] сигнала к границам блока из-за изменения [модификации] фазы и соответствующего алиасинга во времени, следовательно, качество звука обеспечивается с меньшими усилиями.

Замысел изобретения связан с обработкой аудио сигнала и основан на генерации множества последовательных блоков выборок, содержащих, по крайней мере один добавленный блок аудио выборок, имеющий добавленные значения и значения аудио сигнала. Добавленный блок затем преобразуется в спектральное представление, имеющее спектральные значения. Спектральные значения затем изменяются для получения модифицированного спектрального представления. Наконец, модифицированное спектральное представление преобразуется в измененный во временной области звуковой сигнал. Диапазон значений, которые использовались в качестве добавленных, затем может быть удален.

Согласно варианту осуществления настоящего изобретения, добавленный блок создается путем введения добавленных значений, предпочтительно состоящих из нулевых значений, до или после временного блока.

Согласно варианту изобретения, количество добавленных блоков ограничено теми, которые содержат переходные процессы, предотвращая тем самым использование дополнительных вычислительных затрат на обработку этих процессов. Если сформулировать более конкретно, блок обрабатывается лучшим образом, например, с помощью BWE алгоритма, если в этом блоке звукового сигнала обнаружены переходные процессы, представленные в виде добавленного блока, а другой блок звукового сигнала обрабатывается так же, как обычный блок, имеющий значения аудио сигнала только в соответствии со стандартным вариантом BWE алгоритма, когда в блоке не обнаружены переходные процессы. С помощью избирательного переключения между стандартной и улучшенной обработкой, вычислительные затраты в среднем могут быть значительно уменьшены, что позволяет, например, уменьшить скорости обращения к процессору и памяти.

Согласно вариантам осуществления настоящего изобретения, вспомогательные значения располагаются до и/или после временного блока, в котором обнаружен переходной процесс, так что добавленный блок приспособлен для преобразования между временной и частотной областями с помощью первого и второго преобразователя, реализуемых, например, в DFT и IDFT процессорах, соответственно. Предпочтительным решением была бы организация заполнения симметрично относительно временного блока.

Согласно одному из вариантов, по крайней мере один добавленный блок создается путем включения добавленных значений, таких как нулевые значения, в блок аудио выборок аудио сигнала. Кроме того, функция анализа окна, имеющая по крайней мере один охранный интервал, добавляется в начальное положение функции окна или конечное положение функции окна, и используется для формирования добавленного блока путем применения этой функции анализа окна к блоку аудио выборки звукового сигнала. Оконная функция может включать, например, окно Ханна с охранными интервалами.

Далее варианты осуществления настоящего изобретения поясняются со ссылкой на прилагаемые чертежи, на которых:

на фиг.1 показана блок-схема воплощения для работы с аудио сигналом;

на фиг.2 показана блок-схема воплощения для выполнения расширения диапазона частот звукового сигнала;

на фиг.3 показана блок-схема воплощения для выполнения алгоритма расширения диапазона частот с использованием различных коэффициентов BWE;

на фиг.4 показана блок-схема другого варианта изобретения для преобразования добавленного блока или обычного блока с использованием детектора переходных процессов;

на фиг.5 показана блок-схема реализации воплощения фиг.4;

на фиг.6 показана блок-схема другого варианта реализации воплощения фиг.4;

на фиг.7а показан график типичного блока сигнала до и после модификации фазы для иллюстрации влияния изменения фазы на форму сигнала с переходным процессом в центре временного блока;

на фиг.7б показан график типичного блока сигнала до и после модификации фазы для иллюстрации влияния изменения фазы на форму сигнала с переходным процессом в непосредственной близости от первой выборки временного блока;

на фиг.8 показана блок схема обзор другого воплощения настоящего изобретения;

на фиг.9а показан график типичной функции анализа окна в виде окна Ханна с охранным интервалом, в котором охранный интервал характеризуются нулевыми значениями, окна, которое используется в альтернативных вариантах осуществления настоящего изобретения;

на фиг.9б показан график типичной функции анализа окна в виде окна Ханна с охранным интервалом, в котором охранный интервал заполняется искусственным сигналом, такое окно используется в дальнейших альтернативных вариантах осуществления настоящего изобретения;

на фиг.10 показано схематическое изображение для обработки спектрального диапазона аудио сигнала в схеме расширения диапазона частот;

на фиг.11 показано схематическое изображение для дополнительной операции перекрытия в контексте схемы расширения диапазона частот;

на фиг.12 показана блок-схема и схематическое изображение для реализации альтернативного варианта, основанного на фиг.4; и

на фиг.13 показана блок-схема для реализации типичного гармонического расширения диапазона частот (НВЕ).

На фиг.1 показано устройство для работы с аудио сигналом в соответствии с вариантом осуществления настоящего изобретения. Аппаратная часть содержит модуль обработки окна 102, который имеет вход 100 аудио сигнала. В модуле обработки окна 102 реализована возможность генерации множества последовательных блоков выборок, которое содержит по меньшей мере один добавленный блок. Добавленный блок, в частности, содержит добавленные значения и значения аудио сигнала. Добавленный блок формируется на выходе 103 модуля обработки окна 102 и подается на первый преобразователь 104, который используется для преобразования добавленного блока 103 в спектральное представление, имеющее спектральные значения. Спектральные значения на выходе 105 первого преобразователя 104 затем подаются на модификатор фазы 106. В модификаторе фазы 106 реализована функциональная возможность изменения фазы спектральных значений 105 для получения модифицированного спектрального представления 107. Затем выход 107 подается на второй преобразователя 108, который используется для преобразования модифицированного спектрального представления 107 в измененный во временной области звуковой сигнал 109. Выход 109 второго преобразователя 108 затем может быть подключен к модулю передискретизации, который необходим для расширения диапазона частот схемы, как это обсуждалось в связи с фиг.2, 3 и 8.

На фиг.2 показано схематическое изображение воплощения для выполнения алгоритма расширения диапазона частот с использованием коэффициента расширения диапазона частот (σ). Для этого звуковой сигнал 100 подается в модуль обработки окна 102, который включает в себя процессор анализа окна 110 и последующий модуль формирования добавленных значений 112. В варианте изобретения в процессоре анализа окна 110 реализована возможность генерации множества последовательных блоков, имеющих одинаковый размер. Выход процессора анализа окна 110 затем подключен к модулю формирования добавленных значений 112. В частности, модуль формирования добавленных значений 112 используется для искусственного увеличения блока на множество последовательных блоков на выходе 111 процессора анализа окна 110 для формирования добавленного блока на выходе 103 модуля формирования добавленных значений 112. На этом этапе добавленный блок получается с помощью включения вспомогательных значений для заданных моментов времени перед первой выборкой последовательных блоков выборок или после последней выборки последовательных блоков выборок. Добавленный блок 103 далее преобразуется первым преобразователем 104 для получения спектрального представления на выходе 105. Кроме того, для извлечения диапазона частот сигнала 113 из спектрального представления 105 или аудио сигнала 100 используется полосно-пропускающий фильтр 114. Характеристику полосы пропускания фильтра 114 выбирают таким образом, чтобы полоса пропускания сигнала 113 совпадала с соответствующим диапазоном частот. При этом полосовой фильтр 114 получает коэффициент расширения диапазона частот (σ), который также присутствует на выходе 115 потока данных модификатора фазы 106. В одном из вариантов осуществления настоящего изобретения коэффициент расширения диапазона частот (σ) равен 2,0 и предназначен для выполнения алгоритма расширения диапазона частот. В случае, если звуковой сигнал 100 имеет, например, частотный диапазон от 0 до 4 кГц, полосовой фильтр 114 извлечет диапазон частот от 2 до 4 кГц, таким образом, что полоса пропускания сигнала 113 будет преобразована с использованием соответствующего BWE алгоритма в требуемый диапазон частот от 4 до 8 кГц при условии, что коэффициент расширения диапазона частот (σ), например равный 2,0, применяется для выбора соответствующего полосового фильтра 114 (см. фиг.10). Спектральное представление полосового сигнала на выходе 113 из полосно-пропускающего фильтра 114 содержит информацию об амплитуде и фазе, которые затем обрабатываются в модуле масштабирования 116 и модификаторе фазы 106, соответственно. Модуль масштабирования 116 выполняет масштабирование амплитудной информации спектральных значений 113 с коэффициентом, который зависит от перекрытия добавленных характеристик, в котором учитывается отношение первого интервала времени (а) перекрытия добавленных характеристик, применяемого в модуле обработки окна 102 и другого интервала времени (b), применяемого в потоке данных сумматоре перекрытия 124.

Например, если есть перекрытие добавленных характеристик шести последовательных блоков звуковых выборок, имеющих первый диапазон времени (а), и отношение второго интервала времени (b) к первому диапазону времени (а) равно b/a=2, то коэффициент b/a×1/6 будет применяться в модуле масштабирования 116 для масштабирования спектральных значений на выходе 113 (см. фиг.11), в предположении прямоугольных окон анализа.

Тем не менее, такое специальное масштабирование амплитуды может быть применено только, когда сокращение потока данных производится для последующего добавленного перекрытия. В случае, если сокращение производится перед добавленным перекрытием, сокращение может влиять на амплитуды спектральных значений, которые обычно вычисляются в модуле масштабирования 116.

Модификатор фазы 106 настроен, соответственно, на масштабирование или копирование фаз спектральных значений 113 полосы звукового сигнала с коэффициентом расширения диапазона частот (σ), так что по крайней мере одна выборка из последовательного блока выборок сворачивается в блок с помощью циклической свертки.

Влияние циклической свертки основано на циклической периодичности, которая является нежелательным побочным эффектом в первом 104 и втором преобразователях 108, и показано на фиг.7 на примере переходного процесса 700, расположенного в центре окна анализа 704 (фиг.7а) и переходного процесса 702 в непосредственной близости от границы окна анализа 704 (фиг.7б).

На фиг.7а показан переходной процесс 700, расположенный в центре окна анализа 704, т.е. внутри блока последовательных звуковых выборок, имеющих длину выборки 706, включающего, например, 1001 выборку с первой выборкой 708 и последнюю выборку 710 последовательного блока. Исходный сигнал 700 обозначен тонкой пунктирной линией. После преобразования в первом преобразователе 104 с последующим использованием модификации фазы, например, путем обработки спектра исходного сигнала фазовым вокодером, переходной процесс 700 и после преобразования во втором преобразователе 108 будет сдвинут и циклически свернут обратно в окно анализа 704, т.е. при этом циклическая свертка переходного процесса 701 все еще будет находиться внутри окна анализа 704. Циклическая свертка переходного процесса 701 обозначается жирной линией и обозначается "нет охранного интервала".

Фиг.7б показывает исходный сигнал, содержащий переходной процесс 702 вблизи от первой выборки 708 окна анализа 704. Исходный сигнал с переходным процессом 702 также показан тонкой пунктирной линией. В этом случае после преобразования в первом преобразователе 104 с последующим применением модификации фазы, переходной процесс 702 после преобразования во втором преобразователе 108 будет сдвинут и циклически свернут обратно в окно анализа 704, таким образом, будет получена циклическая свертка переходного процесса 703, что показано толстой линией и обозначением "нет охранного интервала". Здесь генерируется циклическая свертка переходного процесса 703, поскольку по крайней мере часть переходного процесса 702 сдвигается перед первой выборкой 708 окна анализа 704 вследствие модификации фазы, что приводит к циклической свертке переходного процесса 703. В частности, как видно на фиг.7b, часть переходного процесса 702, которая выходит за пределы окна анализа 704, возвращается обратно (часть 705) левее последней выборки 710 окна анализа 704 из-за эффекта циклической периодичности.

Изменение спектрального представления, включающего изменение амплитудной информации с выхода 117 модуля масштабирования 116, и измененную фазовую информацию с выхода 107 модификатора фазы 106 подается во второй модуль преобразователя 108, который настроен на преобразование модифицированного спектрального представления в изменение звукового сигнала во временной области на выходе 109 второго преобразователя 108. Изменение во временной области аудио сигнала на выходе 109 второго преобразователя 108 может быть передано на модуль удаления заполнения 118. В модуле удаления заполнения 118 реализована возможность удаления этих выборок из измененного во временной области звукового сигнала, выборок, которые соответствуют выборкам добавленных значений, введенных для генерации добавленного блока на выходе 103 модуля обработки окна 102 перед модификацией фазы, в модуле удаления заполнения 118 применяется обработка модификатором фазы 106 последующего потока данных. Точнее, выборки удаляются в такие моменты времени модифицированного во временной области звукового сигнала, которые соответствуют указанным моментам времени, для которых добавленные значения вставляются перед модификацией фазы.

В одном из вариантов изобретения, добавленные значения симметрично вставляются перед первой выборкой 708 и после последней выборки 710 последовательного блока аудио выборок, как, например, показано на фиг.7, так что образуются две симметричные охранные зоны 712, 714, вмещающие в центре последовательные блоки, имеющие длину выборок 706. В этом симметричном случае, охранные зоны или "охранные интервалы" [охранный интервал - это циклическое повторение окончания символа, пристраиваемое вначале символа) (Суть сверточного кодирования заключается в том, что к последовательности передаваемых битов добавляются служебные биты, значения которых зависят от нескольких предыдущих переданных битов (Стандарт IEEE 802.11а))] 712, 714, соответственно, могут быть удалены из добавленных блоков в модуле удаления заполнения 118 после модификации фазы спектральных значений и их последующего преобразования в измененный во временной области звуковой сигнал так, чтобы на выходе 119 модуля удаления заполнения 118 получить последовательный блок, из которого исключены только добавленные значения.

В альтернативной реализации, охранный интервал не удаляется в модуле удаления заполнения 118 на выходе 109 второго преобразователя 108, так что изменение во временной области добавленного блока звукового сигнала будет иметь длину выборки 716, включая длину выборки 706 в центре последовательного блока и длины выборок 712, 714 из охранных интервалов. Затем этот сигнал может быть обработан на последующих стадиях обработки вплоть до сумматора перекрытия 124, как показано на блок-схеме фиг.2. В случае, если модуль удаления заполнения 118 отсутствует, эта обработка, включающая операции в охранном интервале, может быть также интерпретирована как передискретизация сигнала. Хотя модуль удаления заполнения 118 не требуется в вариантах осуществления настоящего изобретения, целесообразно его использовать, как показано на фиг.2, так как присутствующий на выходе 119 сигнал уже будет иметь такую же длину выборки, как в исходном последовательном блоке или блоке без добавленных значений, которые имеются на выходе 111 процессора анализа окна 110 перед этапом создания данных в модуле формирования добавленных значений 112. Таким образом, последующие этапы обработки будут адаптированы к сигналу на выходе 119.

Предпочтительно, чтобы измененный во временной области аудио сигнал на выходе 119 модуля удаления заполнения 118 подавался на модуль передискретизации 120. Модуль передискретизации 120 можно создать на основе простого преобразователя частоты дискретизации, который в своей работе использует коэффициент расширения диапазона частот (σ) для сокращения сигнала во временной области на выходе 121 модуля передискретизации 120. Здесь, параметры сокращения зависят от характеристики модификации фазы, предоставляемые модификатором фазы 106 на выходе 115. В одном из вариантов изобретения, коэффициент расширения диапазона частот σ=2 поступает на модификатор фазы 106 через выход 115 на модуль передискретизации 120, так что каждая вторая выборка будет удалена из модифицированного во временной области аудио сигнала на выходе 119, в результате чего сигнал на выходе 121 будет сокращен во временной области.

Сокращенный во временной области сигнал, присутствующий на выходе 121 модуля передискретизации 120, впоследствии подается в модуль синтеза окна 122, в котором реализуется функция синтеза окна, например, для сокращеннного во временной области сигнала, причем функция синтеза окна соответствует функции анализа, применяемой в процессоре анализа окна 110 модуля обработки окна 102. Здесь функция синтеза окна может быть согласована с функцией анализа таким образом, что применение функции синтеза компенсирует влияние функции анализа. Кроме того, модуль синтеза окна 122 также может быть использован для работы с измененным во временной области сигналом на выходе 109 второго преобразователя 108.

Сокращенный и обработанный в окне сигнал во временной области с выхода 123 модуля синтеза окна 122 затем подается на сумматор перекрытия 124. Здесь, сумматор перекрытия 124 получает информацию о первом промежутке времени для операции добавления перекрытия (а), выполняемой в модуле обработки окна 102, и коэффициенте расширения диапазона частот (σ), используемом в модификаторе фазы 106 на выходе 115. Для сокращения и обработки в окне сигнала во временной области сумматор перекрытия 124 использует другой промежуток времени (б), который больше первого промежутка времени (а). В случае, если сокращение производится после добавленного перекрытия, условие σ=b/а может быть выполнено в соответствии со схемой расширения диапазона частот. Тем не менее, в варианте, показанном на фиг.2, сокращение производится перед добавленным перекрытием, так что сокращение может иметь влияние на вышеуказанное условие, которые обычно используется в сумматоре перекрытия 124.

В предпочтительном варианте, аппаратная часть, показанная на фиг.2 сконфигурирована для выполнения BWE алгоритма, который включает в себя коэффициент расширения диапазона частот (σ), в котором коэффициент расширения диапазона частот (σ) управляет расширением частот от диапазона аудио сигнала до требуемого диапазона частот. Таким образом, сигнал в требуемом диапазоне частот в зависимости от коэффициента расширения диапазона частот (σ) может быть получен на выходе 125 сумматора перекрытия 124.

В контексте BWE алгоритма, в сумматоре перекрытия 124 реализована возможность расширения аудио сигнала во времени на расстояние между последовательными блоками входного сигнала, находящимися во временной области дальше друг от друга, чем исходное перекрытие последовательных блоков аудио сигнала, для получения расширенного сигнала. В случае, например, если сокращение производится после добавленного перекрытия, с коэффициентом расширения во времени 2,0, то это приведет к увеличению продолжительности исходного аудио сигнала 100 сигнала в два раза. Последующее сокращение с соответствующим коэффициентом сокращения 2,0, например, приведет к сокращению, и диапазон частот расширенного сигнала будет снова иметь исходную продолжительность звукового сигнала 100. Однако в случае, если модуль передискретизации 120 установлен перед сумматором перекрытия 124, как показано на фиг.2, модуль передискретизации 120 может быть сконфигурирован для работы с коэффициентом расширения диапазона частот (σ), превышающем 2,0, так что, например, каждая вторая выборка удаляется из входного сигнала во временной области, в результате чего происходит сокращение сигнала во временной области в два раза по сравнению с продолжительностью исходного звукового сигнала 100. Одновременно сигнал после полосовой фильтрации в диапазоне частот, например, от 2 до 4 кГц, будет иметь расширенный диапазон частот с коэффициентом 2,0, что преобразует сигнал 121 в соответствующий желаемый диапазон частот, например, от 4 до 8 кГц после сокращения. Впоследствии сокращенный сигнал и сигнал с расширенным диапазоном частот могут быть расширены во времени до исходной продолжительности звукового сигнала 100 на выходе сумматора перекрытия 124. Описанная выше обработка, в основном, связана с принципом фазового вокодера.

Сигнал в желаемом диапазоне частот с выхода 125 сумматора перекрытия 124 поступает на регулятор огибающей 130. Переданные параметры, полученные на основе звукового сигнала 100, поступают на вход 101 регулятора огибающей 130, в котором реализована возможность настройки огибающей сигнала на выходе 125 сумматоре перекрытия 124, определенным образом, так что на выходе 129 регулятора огибающей 130 формируется скорректированный сигнал, который имеет отрегулированную огибающую и/или исправленную тональность.

На фиг.3 показана блок-схема варианта осуществления настоящего изобретения, в котором аппаратная часть настроена для выполнения алгоритма расширения диапазона частот с использованием различных BWE коэффициентов (σ) как, например, σ=2, 3, 4, …. Первоначально параметры алгоритма расширения диапазона частот направляются на вход 128 всех устройств, работающих совместно с BWE коэффициентами (σ). К ним относятся, в частности, первый преобразователь 104, модификатор фазы 106, второй преобразователь 108, модуль передискретизации 120 и сумматор перекрытия 124, как показано на фиг.3. Как описано выше, последовательное выполнение работающими устройствами алгоритма расширения диапазона частот реализуются таким образом, что для разных коэффициентов BWE (σ) на входе 128 формируются соответствующие изменения во временной области звуковых сигналов на выходах 121-1, 121-2, 121-3, … модуля передискретизации 120, для которых характерны различные целевые диапазоны частот или участки диапазонов, соответственно. Затем, различные изменения аудио сигналов во временной области обрабатываются сумматором перекрытия 124 на основе различных BWE коэффициентов (σ), что приводит к различным добавленным значениям перекрытия на выходах 125-1, 125-2, 125-3, … сумматора перекрытия 124. Эти добавленные значения перекрытия в результате объединяются сумматором 126, на выходе 127 которого получается объединенный сигнал, включающий различные целевые частотные диапазоны.

Для иллюстрации сказанного на фиг.10 изображен основной принцип алгоритма расширения диапазона частот. В частности, на фиг.10 схематически показано как BWE коэффициент (σ) управляет сдвигом частоты между участками диапазона 113-1, 113-2, 113-3 аудио сигнала 100 и целевым частотным диапазоном 125-1, 125-2 или 125-3 соответственно.

Во-первых, в случае σ=2, сигнал полосового фильтра 113-1 с диапазоном частот, например от 2 до 4 кГц, извлекается из исходного диапазона звукового сигнала 100. Диапазон после полосной фильтрации 113-1 затем преобразуется на первом выходе 125-1 сумматора перекрытия 124. Первый выход 125-1 имеет частотный диапазон от 4 до 8 кГц, соответствующий расширенному диапазону частот исходного диапазона звукового сигнала 100 с коэффициентом 2,0 (σ=2). Этот верхний диапазон для σ=2 также можно назвать "первым диапазоном патчирования". Далее, в случае σ=3, формируется сигнал полосового фильтра 113-2 с частотным диапазоном от 8/3 до 4 кГц, который затем преобразуется на втором выходе 125-2 после сумматора перекрытия 124, имеющий диапазон частот от 8 до 12 кГц. Верхний диапазон на выходе 125-2 соответствует расширенному диапазону частот с коэффициентом 3,0 (σ=3), также можно назвать "вторым диапазоном патчирования". Далее, в случае σ=4, формируется сигнал полосового фильтра 113-3 с диапазоном частот от 3 до 4 кГц, который затем преобразуется на третьем выходе 125-3 с диапазоном частот от 12 до 16 кГц после сумматора перекрытия 124. Верхний диапазон на выходе 125-3, соответствующий коэффициенту расширения диапазона частот 4,0 (σ=4), также можно назвать "третьим диапазоном патчирования". В дополнение к сказанному, первый, второй и третий диапазоны патчирования получаются с помощью перекрытия последовательных диапазонов частот до максимальной частоты 16 кГц, которая предпочтительна при работе с аудио сигналом 100 в контексте улучшения качества алгоритма расширения диапазона частот. В принципе, алгоритм расширения диапазона частот может быть выполнен для более высоких значений BWE коэффициента σ>4 с получением еще более высоких частотных диапазонов. Однако необходимо принимать во внимание, что такие высокочастотные диапазоны, как правило, не приводят к дальнейшему улучшению качества восприятия обрабатываемого звукового сигнала.

Как показано на фиг.3, добавленные значения перекрытия 125-1, 125-2, 125-3, …, полученные на основе различных BWE коэффициентов (σ), далее объединяются сумматором 126, так что на выходе получается объединенный сигнал 127, включающий различные частотные диапазоны (см. фиг.10). Здесь, объединенный сигнал на выходе 127 содержит преобразованный высокочастотный диапазон патчирования, начинающийся от максимальной частоты (f_max) аудио сигнала 100 до увеличенной в σ раз максимальной частоты (σxf_max), например, от 4 до 16 кГц (фиг.10).

Поток данных регулятора огибающей 130 формируется, как представлено выше, для того, чтобы изменить огибающую объединенного сигнала на основе переданных параметров аудио сигнала, имеющихся на входе 101, что приводит к изменению сигнала на выходе 129 регулятора огибающей 130. Затем скорректированный сигнал, подаваемый на выход 129 регулятора огибающей 130, суммируется с исходным звуковым сигналом 100 дополнительным сумматором 132, чтобы в результате получить окончательный сигнал с расширенным диапазоном частот на выходе 131 сумматора 132. Как показано на фиг.10, частотный диапазон расширенного сигнала на выходе 131 включает в себя диапазон частот звукового сигнала 100 и различные частотные диапазоны, полученные в результате преобразования в соответствии с алгоритмом расширения полосы пропускания, в общей сложности, например, в диапазоне от 0 до 16 кГц (фиг.10).

В одном из вариантов изобретения в соответствии с фиг.2, модуль обработки окна 102 настроен для включения добавленных значений в заданные моменты времени перед первой выборкой последовательного блока выборок или после последней выборки из последовательного блока выборок, причем общее количество добавленных значений и количество значений в последовательном блоке по крайней мере в 1,4 раза больше числа значений в последовательном блоке выборок.

В частности, на фиг.7 показана первая часть добавленного блока, имеющая длину выборки 712, вставляется перед первой выборкой 708, расположенной в центре последовательного блока 704 и имеющей длину выборки 706, в то время как вторая часть добавленного блока, имеющая длину выборки 714, вставляется за центром последовательного блока 704. Заметим, что на фиг.7 последовательный блок 704 или окно анализа, соответственно, обозначают "область интересов," (ROI), в которой вертикальные сплошные линии, пересекающие выборки 0 и 1000, указывают на границы окна анализа 704, в котором выполняется условие циклической периодичности.

Желательно, чтобы первая часть добавленного блока слева от последовательного блока 704 имела тот же размер, что и вторая часть добавленного блока справа от последовательного блока 704, при этом общий размер добавленного блока имеет длину выборки 716 (например, от выборки 500 к выборке 1500), которая в два раза больше длины выборки 706 в центре последовательного блока 704. На фиг.7, 6, например, показано, что переходной процесс 702 изначально расположен недалеко от левой границы окна анализа 704, будет сдвигаться во времени из-за модификации фазы, выполняемой модификатором фазы 106, так что после сдвига переходной процесс 707 расположен вблизи центра первой выборки 708, будет получен находящийся в центре последовательный блок 704. В этом случае смещенный переходной блок 707 будет полностью находиться внутри добавленного блока, имеющего длину выборки 716, таким образом предотвращая циклическую свертку или циклическую упаковку, вызванную выполняемой модификацией фазы.

Если, например, первая часть добавленного блока слева от первой выборки 708 в центре последовательного блока 704 не является достаточно большой, чтобы полностью разместить возможные временные смещения переходного процесса, он будет циклически свернут, следовательно, по крайней мере часть переходных процессов снова появится во второй части добавленного блока справа от последней выборки 710 последовательного блока 704. Предпочтительно, однако, эту часть переходного процесса удалять с помощью модуля удаления заполнения 118 после использования модификатора фазы 106 на последующих этапах обработки. Однако длина выборки 716 добавленного блока должна быть по крайней мере в 1,4 раза больше, чем длина выборки 706 последовательного блока 704. Считается, что модификация фазы, выполняемая модификатором фазы 106, как, например, это реализовано в фазовом вокодере, всегда приводит к временному сдвигу в сторону отрицательного времени, то есть со сдвигом влево от оси время/выборка.

В вариантах осуществления настоящего изобретения, первый и второй преобразователи 104, 108 реализованы для работы с преобразованием длины, что соответствует длине выборки добавленного блока. Например, если последовательный блок имеет длину выборки N, а добавленный блок имеет длину выборки не менее 1.4xN, или, например, 2N, преобразование длины, выполняемое первым и вторым преобразователями 104, 108, также будет имеет длину 1.4xN или 2N.

В принципе, однако, преобразование длины первым и вторым преобразователями 104, 108 должно выбираться в зависимости от BWE коэффициента (σ) таким образом, что чем больше BWE коэффициент (σ), тем больше должна быть длина преобразования. Тем не менее, достаточно использовать преобразование длины такого же размера, как длина выборки добавленного блока, даже в случае,