Устройство и способ для формирования сигнала с расширенной полосой пропускания из аудиосигнала с ограниченной полосой пропускания

Устройство и способ для формирования сигнала с расширенной полосой пропускания из аудиосигнала с ограниченной полосой пропускания

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к обработке аудиосигналов и, в частности, к устройству и способу для формирования сигнала с расширенной полосой пропускания из аудиосигнала с ограниченной полосой пропускания.

УРОВЕНЬ ТЕХНИКИ

Хранение или передача аудиосигналов зачастую подчиняются строгим ограничениям скорости передачи битов. В прошлом, кодеры принудительно существенно уменьшали полосу пропускания передаваемого аудиосигнала, когда была доступна только очень низкая скорость передачи битов. Современные аудиокодеки в настоящее время имеют возможность кодировать широкополосные сигналы посредством использования способов расширения полосы пропускания (BWE), как описано в работах авторов M. Dietz, L. Liljeryd, K. Kjörling и O. Kunz "Spectral Band Replication, the novel approach in audio coding", in 112th AES Convention, Мюнхен, май 2002 года; авторов S. Meltzer, R. Böhm и F. Henn "SBR enhanced audio codecs for digital broadcasting such as "Digital Radio Mondiale" (DRM)", in 112th AES Convention, Мюнхен, май 2002 года; авторов T. Ziegler, A. Ehret, P. Ekstrand и M. Lutzky "Enhancing mp3 with SBR: Features and Capabilities of the new mp3PRO Algorithm", in 112th AES Convention, Мюнхен, май 2002 года; в Международном стандарте ISO/IEC 14496-3:2001/FPDAM 1, "Bandwidth Extension", ISO/IEC, 2002 года; "Speech bandwidth extension method and apparatus" авторов Vasu Iyengar и др.; E. Larsen, R. M. Aarts и M. Danessis "Efficient high-frequency bandwidth extension of music and speech", In AES 112th Convention, Мюнхен, Германия, май 2002 года; авторов R. M. Aarts, E. Larsen и O. Ouweltjes "The unified approach to low- and high frequency bandwidth extension", In AES 115th Convention, Нью-Йорк, США, октябрь 2003 года; автора K. Käyhkö "A Robust Wideband Enhancement for Narrowband Speech Signal", Research Report, Helsinki University of Technology, Laboratory of Acoustics and Audio Signal Processing, 2001 год; авторов E. Larsen и R. M. Aarts "Audio Bandwidth Extension – Application to psychoacoustics, Signal Processing and Loudspeaker Design", John Wiley and Sons, Ltd, 2004 год; авторов E. Larsen, R. M. Aarts и M. Danessis "Efficient high-frequency bandwidth extension of music and speech", In AES 112th Convention, Мюнхен, Германия, май 2002 года; автора J. Makhoul "Spectral Analysis of Speech by Linear Prediction", IEEE Transactions on Audio and Electroacoustics, AU-21(3), июнь 1973 года; заявке на патент (США) 08/951,029, Ohmori, et al. "Audio band width extending system and method"; и патенте (США) 6,895,375, Malah, D и Cox, R. V. "System for bandwidth extension of Narrow-band speech". Эти алгоритмы основываются на параметрическом представлении высокочастотного (HF) контента, который формируется из низкочастотной части (LF) декодированного сигнала, посредством транспозиции в спектральную HF-область ("патчирования") и применения постобработки на основе параметров. LF-часть кодируется с помощью любого аудио- или речевого кодера. Например, способы расширения полосы пропускания, описанные в работах M. Dietz, L. Liljeryd, K. Kjörling и O. Kunz "Spectral Band Replication, a novel approach in audio coding", in 112th AES Convention, Мюнхен, май 2002 года; S. Meltzer, R. Böhm и F. Henn "SBR enhanced audio codecs for digital broadcasting such as "Digital Radio Mondiale" (DRM)", in 112th AES Convention, Мюнхен, май 2002 года; T. Ziegler, A. Ehret, P. Ekstrand и M. Lutzky "Enhancing mp3 with SBR: Features and Capabilities of the new mp3PRO Algorithm", in 112th AES Convention, Мюнхен, май 2002 года; и в Международном стандарте ISO/IEC 14496-3:2001/FPDAM 1, "Bandwidth Extension", ISO/IEC, 2002 "Speech bandwidth extension method and apparatus", Vasu Iyengar и др., основываются на модуляции с одной боковой полосой (SSB), зачастую также называемой "способом перезаписи", для формирования нескольких HF-патчей.

В последнее время, новый алгоритм, который использует банк фазовых вокодеров, как описано в работах автора M. Puckette "Phase-locked Vocoder", IEEE ASSP Conference on Applications of Signal Processing to Audio and Acoustics, Mohonk 1995"; автора Röbel, A.: "Transient detection and preservation in the phase vocoder"; citeseer.ist.psu.edu/679246.html; авторов Laroche L., Dolson M.: "Improved phase vocoder timescale modification of audio", IEEE Trans. Speech and Audio Processing, издание 7, номер 3, стр. 323-332; патенте (США) 6,549,884, Laroche, J. и Dolson, M.: "Phase-vocoder pitch-shifting, for the generation of the different patches", представлены, как описано в работе авторов Frederik Nagel, Sascha Disch, "A harmonic bandwidth extension method for audio codecs", ICASSP International Conference on Acoustics, Speech and Signal Processing, IEEE CNF, CNF IEEE, Taipei, Тайвань, апрель 2009 года. Этот способ разработан, чтобы исключать акустическую неровность, которая зачастую наблюдается в сигналах, подвергнутых SSB-расширению полосы пропускания. Хотя и является полезным для многих тональных сигналов, этот способ, называемый "гармоническим расширением полосы пропускания" (HBE), имеет предрасположенность к ухудшениям качества переходных частей, содержащихся в аудиосигнале, как описано в работе авторов Frederik Nagel, Sascha Disch, Nikolaus Rettelbach "A phase vocoder driven bandwidth extension method with novel transient handling for audio codecs", 126th AES Convention, Мюнхен, Германия, май 2009 года, поскольку не гарантируется поддержание вертикальной когерентности по подполосам частот в стандартном алгоритме на основе фазового вокодера, и кроме того, пересчет фаз должен выполняться для временных блоков преобразования, или альтернативно, гребенки фильтров. Следовательно, возникает необходимость специальной обработки для частей сигнала, содержащих переходные части. Кроме того, фазовые вокодеры на основе суммирования с перекрытием, применяемые в HBE-алгоритме, вызывают дополнительную задержку, которая является слишком высокой для того, чтобы быть приемлемой для использования в вариантах применения, разработанных для целей связи.

Как указано выше, существующие схемы расширения полосы пропускания могут применять один способ патчирования к данному сигнальному блоку за раз, будь это патчирование на основе SSB, как описано в работах авторов M. Dietz, L. Liljeryd, K. Kjörling и O. Kunz "Spectral Band Replication, the novel approach in audio coding", in 112th AES Convention, Мюнхен, май 2002 года; авторов S. Meltzer, R. Böhm и F. Henn "SBR enhanced audio codecs for digital broadcasting such as "Digital Radio Mondiale" (DRM)", in 112th AES Convention, Мюнхен, май 2002 года; авторов T. Ziegler, A. Ehret, P. Ekstrand и M. Lutzky, "Enhancing mp3 with SBR: "Features and Capabilities of the new mp3PRO Algorithm", in 112th AES Convention, Мюнхен, май 2002 года; и в Международном стандарте ISO/IEC 14496-3:2001/FPDAM 1 "Bandwidth Extension", ISO/IEC, 2002, "Speech bandwidth extension method and apparatus", Vasu Iyengar и др., или патчирование на основе HBE-вокодера, поясненное в работах авторов Frederik Nagel, Sascha Disch "A harmonic bandwidth extension method for audio codecs", in ICASSP International Conference on Acoustics, Speech and Signal Processing, IEEE CNF, CNF IEEE, Taipei, Тайвань, апрель 2009 года, на основе технологий фазового вокодера, как описано в работах автора M. Puckette "Phase-locked Vocoder", IEEE ASSP Conference on Applications of Signal Processing to Audio and Acoustics, Mohonk 1995"; автора Röbel, A.: "Transient detection and preservation in the phase vocoder"; citeseer.ist.psu.edu/679246.html; авторов Laroche L., Dolson M.: "Improved phase vocoder timescale modification of audio", IEEE Trans. Speech and Audio Processing, издание 7, номер 3, стр. 323-332; патенте (США) 6,549,884, Laroche, J. и Dolson, M.: "Phase-vocoder pitch-shifting".

Альтернативно, может использоваться комбинация патчирования на основе HBE и SSB, как описано в предварительной заявке на патент (США) 61/312,127. Кроме того, современные аудиокодеры, как описано в работах авторов Neuendorf, Max; Gournay, Philippe; Multrus, Markus; Lecomte, Jérémie; Bessette, Bruno; Geiger, Ralf; Bayer, Stefan; Fuchs, Guillaume; Hilpert, Johannes; Rettelbach, Nikolaus; Salami, Redwan; Schuller, Gerald; Lefebvre, Roch; Grill, Bernhard, "Unified Speech and Audio Coding Scheme for High Quality at Lowbitrates", ICASSP 2009, 19-24 апреля 2009 года, Taipei, Тайвань; авторов Bayer, Stefan; Bessette, Bruno; Fuchs, Guillaume; Geiger, Ralf; Gournay, Philippe; Grill, Bernhard; Hilpert, Johannes; Lecomte, Jérémie; Lefebvre, Roch; Multrus, Markus; Nagel, Frederik; Neuendorf, Max; Rettelbach, Nikolaus; Robilliard, Julien; Salami, Redwan; Schuller, Gerald "A Novel Scheme for Low Bitrate Unified Speech and Audio Coding, 126th AES Convention", 7 мая 2009 года, Мюнхен, предлагают возможность переключения способа патчирования глобально на основе временных блоков между альтернативными схемами патчирования.

Традиционное патчирование с SSB-перезаписью имеет такой недостаток, что оно вводит нежелательную неровность в аудиосигнал. Тем не менее, оно является вычислительно простым и сохраняет временную огибающую переходных частей.

В аудиокодеках с использованием HBE-патчирования, недостаток заключается в том, что качество воспроизведения переходных частей зачастую является субоптимальным. Кроме того, вычислительная сложность значительно повышается по сравнению с очень простым в вычислительном отношении способом SSB-перезаписи. Кроме того, HBE-патчирование вводит дополнительную алгоритмическую задержку, которая превышает допустимый диапазон для применения в сценариях связи.

Дополнительный недостаток обработки предшествующего уровня техники заключается в том, что комбинация патчирования на основе HBE и SSB в одном временном блоке не исключает дополнительную задержку, вызываемую посредством HBE.

Задача настоящего изобретения заключается в том, чтобы предоставлять принцип для формирования сигнала с расширенной полосой пропускания из аудиосигнала с ограниченной полосой пропускания, обеспечивающий возможность улучшенного перцепционного качества при исключении таких недостатков.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Это задача решается посредством устройства по п. 1 и способа по п. 15.

Согласно варианту осуществления настоящего изобретения, устройство для формирования сигнала с расширенной полосой пропускания из аудиосигнала с ограниченной полосой пропускания содержит модуль формирования патчей, модуль обработки сигналов и модуль комбинирования. Аудиосигнал с ограниченной полосой пропускания содержит множество последовательных временных блоков с ограниченной полосой пропускания, при этом каждый временной блок с ограниченной полосой пропускания имеет, по меньшей мере, один ассоциированный параметр репликации полос спектра, содержащий полосу базовых частот. Сигнал с расширенной полосой пропускания содержит множество последовательных временных блоков с расширенной полосой пропускания. Модуль формирования патчей выполнен с возможностью формирования патчированного (подвергнутого патчированию) сигнала, содержащего полосу верхних частот, с использованием временного блока с ограниченной полосой пропускания аудиосигнала с ограниченной полосой пропускания. Модуль формирования патчей выполнен с возможностью осуществлять алгоритм гармонического патчирования для того, чтобы получать патчированный сигнал. Модуль формирования патчей выполнен с возможностью осуществлять алгоритм гармонического патчирования для текущего временного блока с расширенной полосой пропускания из множества последовательных временных блоков с расширенной полосой пропускания с использованием предшествующего во времени временного блока с ограниченной полосой пропускания из множества последовательных временных блоков с ограниченной полосой пропускания аудиосигнала с ограниченной полосой пропускания. Модуль обработки сигналов выполнен с возможностью обработки сигнала до патчирования или патчированного сигнала, сформированного с использованием предшествующего во времени временного блока с ограниченной полосой пропускания, с использованием параметра репликации полос спектра, ассоциированного с текущим временным блоком с ограниченной полосой пропускания для того, чтобы получать обработанный патчированный сигнал, содержащий полосу верхних частот. Предшествующий во времени временной блок с ограниченной полосой пропускания идет во времени перед текущим временным блоком с ограниченной полосой пропускания во множестве последовательных временных блоков с ограниченной полосой пропускания аудиосигнала с ограниченной полосой пропускания. Модуль комбинирования выполнен с возможностью комбинирования аудиосигнала с ограниченной полосой пропускания, содержащего полосу базовых частот, и обработанного патчированного сигнала, содержащего полосу верхних частот, чтобы получать сигнал с расширенной полосой пропускания.

Базовая концепция, лежащая в основе настоящего изобретения, заключается в том, что вышеуказанное улучшенное перцепционное качество может достигаться, если патчированный сигнал, содержащий полосу верхних частот, формируется с использованием временного блока с ограниченной полосой пропускания аудиосигнала с ограниченной полосой пропускания, алгоритм гармонического патчирования выполняется для того, чтобы получать патчированный сигнал, алгоритм гармонического патчирования выполняется для текущего временного блока с расширенной полосой пропускания из множества последовательных временных блоков с расширенной полосой пропускания с использованием предшествующего во времени временного блока с ограниченной полосой пропускания из множества последовательных временных блоков с ограниченной полосой пропускания аудиосигнала с ограниченной полосой пропускания, и если сигнал до патчирования или патчированный сигнал обработан с использованием параметра репликации полос спектра, ассоциированного с текущим временным блоком с ограниченной полосой пропускания для того, чтобы получать обработанный патчированный сигнал, содержащий полосу верхних частот, при этом предшествующий во времени временной блок с ограниченной полосой пропускания идет во времени перед текущим временным блоком с ограниченной полосой пропускания во множестве последовательных временных блоков с ограниченной полосой пропускания аудиосигнала с ограниченной полосой пропускания. Таким образом, можно исключать негативное влияние дополнительной задержки, вызываемой посредством HBE-алгоритма, на сигнал с расширенной полосой пропускания. Следовательно, может значительно улучшаться перцепционное качество сигнала с расширенной полосой пропускания.

Согласно варианту осуществления, модуль формирования патчей выполнен с возможностью осуществления алгоритма гармонического патчирования с использованием обработки суммирования с перекрытием, по меньшей мере, между двумя временными блоками с ограниченной полосой пропускания. Посредством использования обработки суммирования с перекрытием дополнительная задержка вводится в алгоритм гармонического патчирования.

Согласно варианту осуществления, способ для формирования сигнала с расширенной полосой пропускания из аудиосигнала с ограниченной полосой пропускания, причем аудиосигнал с ограниченной полосой пропускания содержит множество последовательных временных блоков с ограниченной полосой пропускания, при этом каждый временной блок с ограниченной полосой пропускания имеет, по меньшей мере, один ассоциированный параметр репликации полос спектра, содержащий полосу базовых частот, а сигнал с расширенной полосой пропускания содержит множество последовательных временных блоков с расширенной полосой пропускания, содержит формирование патчированного сигнала, содержащего полосу верхних частот, выполнение алгоритма гармонического патчирования для того, чтобы получать патчированный сигнал, обработку сигнала до патчирования или патчированного сигнала для того, чтобы получать обработанный патчированный сигнал, содержащий полосу верхних частот, и комбинирование аудиосигнала с ограниченной полосой пропускания, содержащего полосу базовых частот, и обработанного патчированного сигнала, содержащего полосу верхних частот, чтобы получать сигнал с расширенной полосой пропускания. Этап формирования содержит формирование патчированного сигнала, содержащего полосу верхних частот, с использованием временного блока с ограниченной полосой пропускания аудиосигнала с ограниченной полосой пропускания. Этап выполнения содержит выполнение алгоритма гармонического патчирования для текущего временного блока с расширенной полосой пропускания из множества последовательных временных блоков с расширенной полосой пропускания с использованием предшествующего во времени временного блока с ограниченной полосой пропускания из множества последовательных временных блоков с ограниченной полосой пропускания аудиосигнала с ограниченной полосой пропускания. Этап обработки содержит обработку сигнала до патчирования или патчированного сигнала с использованием параметра репликации полос спектра, ассоциированного с текущим временным блоком с ограниченной полосой пропускания для того, чтобы получать обработанный патчированный сигнал, содержащий полосу верхних частот. Здесь, предшествующий во времени временной блок с ограниченной полосой пропускания идет во времени перед текущим временным блоком с ограниченной полосой пропускания во множестве последовательных временных блоков с ограниченной полосой пропускания аудиосигнала с ограниченной полосой пропускания.

Кроме того, варианты осуществления настоящего изобретения относятся к концепции для улучшения перцепционного качества стационарных частей аудиосигналов без задействования переходных частей. Чтобы удовлетворять обоим требованиям, может вводиться схема, которая применяет смешанное патчирование, состоящее из гармонического патчирования и патчирования с перезаписью.

Некоторые варианты осуществления согласно изобретению предоставляют лучшее перцепционное качество относительно традиционного HBE, которое вводит дополнительную алгоритмическую задержку по сравнению с SSB. Она может компенсироваться в этом изобретении посредством использования стационарности сигнала с использованием кадров из предшествующего уровня техники для формирования высокочастотного контента для гармонических сигналов.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Ниже поясняются варианты осуществления настоящего изобретения со ссылкой на прилагаемые чертежи, на которых:

Фиг. 1 показывает блок-схему варианта осуществления устройства для формирования сигнала с расширенной полосой пропускания из аудиосигнала с ограниченной полосой пропускания;

Фиг. 2 показывает блок-схему варианта осуществления модуля формирования патчей для выполнения алгоритма гармонического патчирования в области гребенки фильтров;

Фиг. 3 показывает блок-схему примерной реализации блока нелинейной обработки варианта осуществления модуля формирования патчей в соответствии с фиг. 2;

Фиг. 4 показывает блок-схему варианта осуществления модуля формирования патчей для выполнения алгоритма патчирования с перезаписью в области гребенки фильтров;

Фиг. 5a показывает схематичную иллюстрацию примерной схемы расширения полосы пропускания с использованием алгоритма гармонического патчирования и алгоритма патчирования с перезаписью;

Фиг. 5b показывает примерный спектр, полученный из схемы расширения полосы пропускания по фиг. 5a;

Фиг. 6a показывает дополнительную схематичную иллюстрацию примерной схемы расширения полосы пропускания с использованием алгоритма гармонического патчирования и алгоритма патчирования с перезаписью;

Фиг. 6b показывает примерный спектр, полученный из схемы расширения полосы пропускания по фиг. 6a;

Фиг. 7a показывает схематичную иллюстрацию примерной схемы расширения полосы пропускания с использованием только алгоритма патчирования с перезаписью;

Фиг. 7b показывает примерный спектр, полученный из схемы расширения полосы пропускания по фиг. 7a;

Фиг. 8a показывает схематичную иллюстрацию примерной схемы расширения полосы пропускания с использованием только алгоритма гармонического патчирования;

Фиг. 8b показывает примерный спектр, полученный из схемы расширения полосы пропускания по фиг. 8a;

Фиг. 9 показывает блок-схему варианта осуществления модуля формирования патчей варианта осуществления устройства в соответствии с фиг. 1;

Фиг. 10 показывает блок-схему дополнительного варианта осуществления модуля формирования патчей варианта осуществления устройства в соответствии с фиг. 1;

Фиг. 11 показывает схематичную иллюстрацию примерной схемы патчирования;

Фиг. 12 показывает примерную реализацию операции обеспечения непрерывности фазы/перекрестного затухания между различными временными блоками с расширенной полосой пропускания; и

Фиг. 13 показывает блок-схему дополнительного варианта осуществления устройства для формирования сигнала с расширенной полосой пропускания из аудиосигнала с ограниченной полосой пропускания.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

ФИГ. 1 показывает блок-схему варианта осуществления устройства 100 для формирования сигнала 135 с расширенной полосой пропускания из аудиосигнала 105 с ограниченной полосой пропускания. Здесь, аудиосигнал 105 с ограниченной полосой пропускания содержит множество последовательных временных блоков с ограниченной полосой пропускания, при этом каждый временной блок с ограниченной полосой пропускания имеет, по меньшей мере, один ассоциированный параметр 121 репликации полос спектра, содержащий полосу базовых частот. Кроме того, сигнал 135 с расширенной полосой пропускания содержит множество последовательных временных блоков с расширенной полосой пропускания. Как показано на фиг. 1, устройство 100 содержит модуль 110 формирования патчей, модуль 120 обработки сигналов и модуль 130 комбинирования. Модуль 110 формирования патчей выполнен с возможностью формирования патчированного сигнала 115, содержащего полосу верхних частот, с использованием временного блока с ограниченной полосой пропускания аудиосигнала 105 с ограниченной полосой пропускания. В варианте осуществления по фиг. 1, модуль 110 формирования патчей выполнен с возможностью осуществлять алгоритм гармонического патчирования для того, чтобы получать патчированный сигнал 115. Например, модуль 110 формирования патчей выполнен с возможностью осуществлять алгоритм гармонического патчирования для текущего временного блока (m') с расширенной полосой пропускания из множества последовательных временных блоков с расширенной полосой пропускания с использованием предшествующего во времени временного блока (m-1) с ограниченной полосой пропускания из множества последовательных временных блоков с ограниченной полосой пропускания аудиосигнала 105 с ограниченной полосой пропускания. Как примерно проиллюстрировано на фиг. 1, модуль 120 обработки сигналов выполнен с возможностью обработки сигнала 105 до патчирования (необязательной) или патчированного сигнала 115, сформированного с использованием предшествующего во времени временного блока (m-1) с ограниченной полосой пропускания, с использованием параметра 121 репликации полос спектра (SBR), ассоциированного с текущим временным блоком (m) с ограниченной полосой пропускания для того, чтобы получать обработанный патчированный сигнал 125, содержащий полосу верхних частот. В варианте осуществления по фиг. 1, предшествующий во времени временной блок (m-1) с ограниченной полосой пропускания идет во времени перед текущим временным блоком (m) с ограниченной полосой пропускания во множестве последовательных временных блоков с ограниченной полосой пропускания аудиосигнала 105 с ограниченной полосой пропускания. Модуль 130 комбинирования выполнен с возможностью комбинирования аудиосигнала 105 с ограниченной полосой пропускания, содержащего полосу базовых частот, и обработанного патчированного сигнала 125, содержащего полосу верхних частот, чтобы получать сигнал 135 с расширенной полосой пропускания.

Что касается варианта осуществления по фиг. 1, индекс m может соответствовать отдельному временному блоку с ограниченной полосой пропускания из множества последовательных временных блоков с ограниченной полосой пропускания аудиосигнала 105 с ограниченной полосой пропускания, в то время как индекс m' может соответствовать отдельному временному блоку с расширенной полосой пропускания из множества последовательных временных блоков с расширенной полосой пропускания, полученных из модуля 110 формирования патчей.

Например, модуль 110 формирования патчей, показанный в варианте осуществления по фиг. 1, использует модуль гармонической транспозиции на основе DFT или модуль гармонической транспозиции на основе QMF, к примеру, описанный в разделах 7.5.3 и 7.5.4 MPEG-аудиостандарта ISO/IEC FDIS 23003-3, 2011, соответственно.

В вариантах осуществления, модуль 120 обработки сигналов может содержать модуль регулирования огибающей для регулирования огибающей патчированного сигнала 115 в зависимости от SBR-параметра 121, чтобы получать подвергнутый регулированию огибающей или обработанный патчированный сигнал 125.

Фиг. 2 показывает блок-схему варианта осуществления модуля 110 формирования патчей варианта осуществления устройства 100 в соответствии с фиг. 1 для выполнения алгоритма гармонического патчирования в области гребенки фильтров. Ссылаясь на фиг. 2, устройство 100 может содержать QMF-гребенку 210 аналитических фильтров, вариант осуществления модуля 110 формирования патчей и QMF-гребенку 220 синтетических фильтров.

Например, QMF-гребенка 210 аналитических фильтров выполнена с возможностью преобразования декодированного низкочастотного сигнала 205 во множество 215 подполосных сигналов. Множество 215 подполосных сигналов, показанных на фиг. 2, может представлять полосу базовых частот аудиосигнала 105 с ограниченной полосой пропускания, показанного на фиг. 1.

В варианте осуществления по фиг. 2, модуль 110 формирования патчей выполнен с возможностью управления множеством 215 подполосных сигналов, предоставленных посредством QMF-гребенки 210 аналитических фильтров, и выводит множество 217 подполосных сигналов после патчирования для QMF-гребенки 220 синтетических фильтров. Множество 217 подполосных патчированных сигналов, показанных на фиг. 2, может представлять патчированный сигнал 115, показанный на фиг. 1.

QMF-гребенка 220 синтетических фильтров, например, выполнена с возможностью преобразования множества 217 из подполосных патчированных сигналов в сигнал 135 с расширенной полосой пропускания.

Что касается варианта осуществления по фиг. 2, подполосные патчированные сигналы 217, принятые посредством QMF-гребенки 220 синтетических фильтров, обозначаются посредством 1, 2, 3,..., представляющих различные подполосные патчированные сигналы, характеризуемые посредством все более высоких частот.

Как примерно проиллюстрировано на фиг. 2, модуль 110 формирования патчей выполнен с возможностью получения первой группы 219-1 подполосных патчированных сигналов, второй группы 219-2 подполосных патчированных сигналов и третьей группы 219-3 подполосных патчированных сигналов из множества 215 подполосных сигналов. Например, модуль 110 формирования патчей выполнен с возможностью непосредственно подавать первую группу 219-1 подполосных патчированных сигналов из QMF-гребенки 210 аналитических фильтров в QMF-гребенку 220 синтетических фильтров. На фиг. 2 также примерно проиллюстрировано то, что модуль 110 формирования патчей содержит множество 250 блоков нелинейной обработки.

Множество 250 блоков нелинейной обработки может содержать первую группу 252 блоков нелинейной обработки и вторую группу 254 блоков нелинейной обработки. Например, первая группа 252 блоков нелинейной обработки модуля 110 формирования патчей выполнена с возможностью осуществления нелинейной обработки, чтобы получать вторую группу 219-2 подполосных патчированных сигналов. Помимо этого, вторая группа 254 блоков нелинейной обработки модуля 110 формирования патчей может быть выполнена с возможностью осуществления нелинейной обработки, чтобы получать третью группу 219-3 подполосных патчированных сигналов. В варианте осуществления по фиг. 2, первая группа 252 блоков нелинейной обработки содержит первый блок 253-1 нелинейной обработки и второй блок 253-2 нелинейной обработки, в то время как вторая группа 254 блоков нелинейной обработки содержит первый блок 255-1 нелинейной обработки и второй блок 255-2 нелинейной обработки.

Например, первый блок 253-1 нелинейной обработки и второй блок 253-2 нелинейной обработки первой группы 252 блоков нелинейной обработки выполнены с возможностью осуществлять нелинейную обработку, в которой фазы первого сигнала подполосы верхних частот 261 и второго сигнала 263 подполосы верхних частот умножены на коэффициент (σ) расширения полосы пропускания в два, чтобы получать соответствующие нелинейно обработанные выходные сигналы 271-1, 271-2, соответственно. Помимо этого, первый блок 255-1 нелинейной обработки и второй блок 255-2 нелинейной обработки второй группы 254 блоков нелинейной обработки могут быть выполнены с возможностью осуществлять нелинейную обработку, в которой фазы первого сигнала подполосы верхних частот 261 и второго сигнала 263 подполосы верхних частот умножены на коэффициент (σ) расширения полосы пропускания в три, чтобы получать соответствующие нелинейно обработанные выходные сигналы 273-1, 273-2, соответственно.

Нелинейно обработанные выходные сигналы 271-1, 271-2, выводимые посредством первого блока 253-1 нелинейной обработки и второго блока 253-2 нелинейной обработки, могут быть обработаны посредством соответствующих блоков 122-1, 122-2 обработки сигналов модуля 120 обработки сигналов, соответственно. Как примерно проиллюстрировано на фиг. 2, модуль 120 обработки сигналов выполнен с возможностью обработки нелинейно обработанных выходных сигналов 271-1, 271-2 с использованием параметра 121 репликации полос спектра по фиг. 1. На фиг. 2 примерно показано то, что на выходе модуля 120 обработки сигналов получается вторая группа 219-2 подполосных патчированных сигналов. В частности, вторая группа 219-2 подполосных патчированных сигналов может соответствовать первой полосе целевых частот (или первому верхнему патчу), сформированной из полосы базовых частот, при этом первый верхний патч основан на коэффициенте (σ) расширения полосы пропускания в два.

Помимо этого, нелинейно обработанные выходные сигналы 273-1, 273-2, выводимые посредством первого блока 255-1 нелинейной обработки и второго блока 255-2 нелинейной обработки, могут составлять третью группу 219-3 подполосных патчированных сигналов, принимаемых посредством QMF-гребенки 220 синтетических фильтров. В частности, третья группа 219-3 подполосных патчированных сигналов может соответствовать второй полосе целевых частот (или второму верхнему патчу), сформированной из полосы базовых частот, при этом вторая полоса целевых частот основана на коэффициенте (σ) расширения полосы пропускания в три.

Что касается варианта осуществления по фиг. 2, нелинейно обработанный выходной сигнал для верхнего патча (например, нелинейно обработанный выходной сигнал 271-2) и нелинейно обработанный выходной сигнал для другого верхнего патча (например, нелинейно обработанный выходной сигнал 273-1) могут суммироваться или комбинироваться, как указано на фиг. 2 посредством пунктирной линии 211.

В частности, посредством предоставления модуля 110 формирования патчей, показанного на фиг. 2, можно формировать сигнал 135 с расширенной полосой пропускания с использованием первой группы 219-1 подполосных патчированных сигналов, соответствующих полосе базовых частот, второй группы 219-2 подполосных патчированных сигналов, соответствующих первому верхнему патчу, и третьей группе 219-3 подполосных патчированных сигналов, соответствующих второму верхнему патчу.

Фиг. 3 показывает блок-схему примерной реализации блока 300 нелинейной обработки варианта осуществления модуля 110 формирования патчей в соответствии с фиг. 2. Блок 300 нелинейной обработки, показанный на фиг. 3, может соответствовать одному из блоков 250 нелинейной обработки, показанных на фиг. 2. В примерной реализации по фиг. 3, блок 300 нелинейной обработки содержит блок 309 кодирования со взвешиванием, блок 310 фазового умножения, модуль 320 прореживания и модуль 330 растягивания во времени (например, с использованием стадии суммирования с перекрытием (OLA)). Например, блок 310 фазового умножения выполнен с возможностью умножения фазы подполосного сигнала 305 на коэффициент (σ) расширения полосы пропускания для того, чтобы получать подполосный сигнал 315 после фазового умножения. Кроме того, модуль 320 прореживания может быть выполнен с возможностью прореживания подполосного сигнала 315 после фазового умножения, чтобы получать прореженный подполосный сигнал 325. Кроме того, модуль 330 растягивания во времени может быть выполнен с возможностью растягивания во времени прореженного подполосного сигнала 325, чтобы получать растянутый во времени выходной сигнал 335, который временно распределяется во времени. Предпочтительно, блок 330 выполняет обработку суммирования с перекрытием с большим размером перескока по сравнению с размером перескока, используемым при кодировании со взвешиванием в блоке 309, с тем чтобы получать операцию растягивания во времени. Подполосный сигнал 305, вводимый в блок 310 фазового умножения, показанный на фиг. 3, может соответствовать одному из подполосных сигналов 215, вводимых в модуль 110 формирования патчей, показанный на фиг. 2, в то время как растянутый во времени выходной сигнал 335, предоставленный посредством модуля 330 растягивания во времени, показанного на фиг. 3, может соответствовать нелинейно обработанному выходному сигналу, предоставленному посредством одного из блоков 250 нелинейной обработки модуля 110 формирования патчей, показанного на фиг. 2. В частности, растянутый во времени выходной сигнал 335 может быть обработан посредством использования обработки сигналов, так что получается сигнал 135 с расширенной полосой пропускания.

В примерной реализации по фиг. 3, блок 310 фазового умножения может реализовываться с возможностью управления подполосным сигналом 305 с использованием коэффициента (σ) расширения полосы пропускания. Например, коэффициент расширения полосы пропускания σ=2 и σ=3 может использоваться для того, чтобы предоставлять первый верхний патч и второй верхний патч для сигнала 135 с расширенной полосой пропускания, соответственно, как описано со ссылкой на фиг. 2. Кроме того, модуль 320 прореживания блока 300 нелинейной обработки, показанный на фиг. 3, может реализовываться посредством преобразователя частоты дискретизации для преобразования частоты дискретизации подполосного сигнала 315 после фазового умножения в зависимости от коэффициента (σ) расширения полосы пропускания. Если, например, коэффициент расширения полосы пропускания σ=2 используется посредством модуля 320 прореживания, то каждая вторая выборка подполосного сигнала 315 после фазового умножения должна удаляться из него. Это приводит к случаю, в котором прореженный сигнал 325, выводимый посредством модуля 320 прореживания, фактически характеризуется посредством половины длительности подполосного сигнала 315 после фазового умножения и имеющего расширенную полосу пропускания.

Кроме того, модуль 330 растягивания во времени может быть выполнен с возможностью осуществлять растягивание во времени прореженного подполосного сигнала 325 на коэффициент растягивания во времени в два (например, с использованием обработки суммирования с перекрытием посредством OLA-стадии), так что растянутый во времени выходной сигнал 335, выводимый посредством модуля 330 растягивания во времени, снова должен иметь исходную длительность подполосного сигнала 305, вводимого в блок 310 фазового умножения.

В примерной реализации по фиг. 3, модуль 320 прореживания и модуль 330 растягивания во времени также могут размещаться в обратном порядке относительно направления обработки сигналов. Это указывается на фиг. 3 посредством двойной стрелки 311. В случае если модуль 330 растягивания во времени предоставляется перед модулем 320 прореживания, подполосный сигнал 315 после фазового умножения сначала должен быть растянут во времени, чтобы получать растянутый во времени сигнал, а затем прорежен, чтобы предоставлять прореженный выходной сигнал для сигнала с расширенной полосой пропускания. Если, например, подполосный сигнал 315 после фазового умножения сначала растягивается во времени на коэффициент растягивания во времени в два, растянутый во времени сигнал должен характеризоваться посредством длительности, в два раза превышающей длительность подполосного сигнала 315 после фазового умножения. Последующее прореживание на соответствующий коэффициент прореживания в два, например, приводит к случаю, в котором прореженный выходной сигнал снова должен иметь исходную длительность подполосного сигнала 305, вводимого в блок 310 фазового умножения и имеющего расширенную полосу пропускания.

Ссылаясь на фиг. 3, здесь указывается то, что в любом случае, операция растягивания во времени, выполняемая посредством модуля 330 растягивания во времени с использованием обработки суммирования с перекрытием, приводит к дополнительной задержке алгоритма гармонического патчирования, к примеру, в модуле 110 формирования патчей. Этот эффект дополнительной задержки вследствие операции растягивания во времени в алгоритме гармонического патчирования указывается на фиг. 3 посредством стрелки 350. Тем не менее, варианты осуществления настоящего изобретения предоставляют такое преимущество, что эта дополнительная задержка может эффективно компенсироваться посредством применения алгоритма гармонического патчирования к предшествующему во времени временному блоку (m-1) с ограниченной полосой пропускания для получения текущего временного блока (m') с расширенной полосой пропускания, как описано со ссылкой на фиг. 1.

В вариантах осуществления, связанных с фиг. 3, модуль 110 формирования патчей может быть выполнен с возможностью осуществления алгоритма гармонического патчирования с использованием обработки суммирования с перекрытием, по меньшей мере,