Синтезатор аудиосигнала и кодирующее устройство аудиосигнала
Иллюстрации
Показать всеЗаявленное изобретение относится к области синтезаторов аудиосигнала, кодирующих устройств аудиосигнала и потоков данных, содержащих закодированный аудиосигнал. Технический результат - создание синтезатора, который эффективно выполняет преобразование сигнала и позволяет обеспечить улучшенное качество. Для этого синтезатор аудиосигнала производит сигнал аудиосинтеза, имеющий первый диапазон частот и второй синтезируемый диапазон частот, полученный из первого диапазона частот, и включает в себя: генератор участка диапазона, спектральный конвертер, первичный процессор сигнала и объединитель. Генератор участка диапазона выполняет, по крайней мере, два различных алгоритма внесения исправлений, причем каждый алгоритм внесения исправлений производит первичный сигнал, имеющий компоненты сигнала во втором синтезируемом диапазоне частот, на основе использования аудиосигнала, имеющего компоненты сигнала в первом диапазоне частот. Генератор участка диапазона приспособлен для выбора одного из двух различных алгоритмов внесения исправлений в зависимости от информации контроля о первой временной части сигнала, и второго алгоритма внесения исправлений в зависимости от информации контроля о второй временной части сигнала, отличающейся от первой части, и получить первичный сигнал для первой и второй временных частей. Спектральный конвертер преобразовывает первичный сигнал в первичное представление спектра сигнала. Первичный процессор сигнала формирует соответствующее первичное представление спектра сигнала в зависимости от параметров восстановления спектральной области спектрального диапазона. Объединитель комбинирует аудиосигнал, имеющий компоненты сигнала в первой группе, или сигнал, полученный из аудиосигнала с соответствующим первичным представлением спектра сигнала или с последующим сигналом, полученным из соответствующего первичного представления спектра сигнала, для получения сигнала аудиосинтеза. 6 н. и 8 з.п ф-лы, 7 ил.
Реферат
Изобретение относится к области синтезаторов звукового (аудио) сигнала, кодирующих устройств звукового сигнала и потоков данных, содержащих закодированный звуковой сигнал.
Кодирование сигналов природного происхождения и кодирование речи - два основных класса кодировок для звуковых сигналов. Кодирование звуковых сигналов природного происхождения обычно используется для музыки или сигналов произвольного вида, требует использования средних скоростей передачи битов и обычно подразумевает использование широких полос пропускания звуковых частот. Кодирование речи ограничено главным образом требованиями к воспроизведению речи и может использовать очень низкую скорость передачи битов. Передача речи в широком диапазоне частот обеспечивает главным образом субъективное повышение качества по сравнению с узким диапазоном частот. Увеличение полосы пропускания улучшает не только естественность речи, но также ее понимание и четкость. Таким образом, широкополосная кодировка речи - важная задача для разработки телефонных систем следующих поколений. Более того, из-за значительного развития мультимедийной области, передачей музыки и других неречевых сигналов с высоким качеством через телефонные системы, а также, например, необходимостью хранения и передачи сигналов через радио/телевизионные или другие системы радиопередачи, широкополосная кодировка речи является весьма желательным требованием.
Чтобы существенно уменьшить скорость передачи битов, исходное кодирование может быть выполнено с использованием звуковых кодировщиков с узкополосным восприятием. Эти кодировщики звуковых сигналов природного происхождения используют бесполезность части сигнала при его восприятии и статистическую избыточность в сигнале. В случае, если применение вышеупомянутых принципов оказывается недостаточным для преодоления ограничений в скорости передачи данных, скорость передачи может уменьшиться. Часто применяется сокращение числа звуковых потоков в сигнале, что приводит к случайным периодически слышимым искажениям, а также использование объединенного кодирования и совмещения стерео области или параметрическое кодирование двух или больше каналов. Злоупотребление такими методами приводит к раздражающему искажению восприятия. Для того, чтобы улучшить качество кодировки, используются методы расширения полосы частот, такие как восстановление диапазона спектра (ВДС). На этих методах основана кодировка, позволяющая эффективно сформировать высокочастотную область спектра в высокочастотной реконструкции сигнала (ВРС).
В процессе воспроизведения высокочастотных сигналов может, например, произойти определенное изменение низкочастотных сигналов, и преобразованные сигналы затем включаются в высокочастотные сигналы. Этот процесс также известен как внесение исправлений в сигнал, при этом могут использоваться различные способы преобразования. Звуковой стандарт MPEG-4 использует только один алгоритм внесения исправлений для всех звуковых сигналов. Следовательно, такой подход является недостаточно гибким, чтобы его можно было использовать для внесения исправлений в сигналы различных типов или кодирование схем.
С одной стороны, стандарт MPEG-4 использует сложный процесс представления высокочастотной части спектра, в которой применяются многие основные параметры ВДС. Эти основные параметры ВДС-данные по огибающей спектра, данные по уровню шума, который будет добавлен к восстановленной части спектра, информации о способе обратной фильтрации, чтобы приблизить тональность восстановленной высокочастотной части спектра к тональности высокочастотной части исходного сигнала, и дополнительные данные для восстановленной части диапазона, например, данные по недостающей гармонике и т.д. Доказано, что эта часто используемая процедура представления спектра, обеспечивающаяся внесением последовательных исправлений в соответствующие частотные области спектров сигналов в пределах диапазона группы фильтров, эффективна, обеспечивает высокое качество и позволяет достичь приемлемых требований по производительности процесса, объемов и конфигураций памяти, и требований по питанию.
С другой стороны, внесение исправлений начинается в той же самой группе фильтров, поскольку дальнейшая обработка исправленного сигнала применяется таким образом, чтобы было строгое соответствие между операцией внесения исправлений и последующей обработкой результата этой операции. Поэтому при таком комбинированном подходе становится проблематичным выполнение нескольких алгоритмов внесения исправлений.
WO 98/57436 предлагает способы перемещения, используемые в восстановлении частотной полосы спектра, которые объединены с регулированием огибающей спектра.
В WO 02/052545 принята классификация сигналов на две группы: они могут быть «периодической последовательностью импульсов» либо «непериодической последовательностью импульсов», и на основании этой классификации предложен адаптивный переключаемый преобразователь. Переключаемый преобразователь параллельно (одновременно) выполняет два алгоритма внесения исправлений и устройство совмещает оба исправленных сигнала в соответствии с принятой классификацией («периодическая последовательность импульсов», «непериодическая последовательность импульсов»). Фактическое переключение между преобразователями или смешивание сигналов выполнены в настройке огибающей спектра группы фильтров в зависимости от данных контроля и вида огибающей. Кроме того, для сигналов «периодическая последовательность импульсов», сигнал основного диапазона преобразовывается в диапазон группы фильтров, выполняется операция перевода частоты и регулирование огибающей сигнала, полученного в результате перевода частоты. В этом заключается совмещение внесения исправлений и процедуры дальнейшей обработки.
Для сигналов типа «непериодическая последовательность импульсов» осуществляется преобразование частотной области (преобразование 40) и результат преобразования частотной области затем преобразовывается в диапазон группы фильтров, в котором выполняется регулирование огибающей. Таким образом, обеспечиваются выполнение и гибкость этой процедуры, которая имеет, в качестве одной из возможных альтернатив, совмещение процедур внесения исправлений и дальнейшей обработки. Другая альтернатива заключается в возможности преобразования частотной области, которая выполняется за пределами группы фильтров и заключается в регулировании огибающей, но такой подход проблематичен по отношению к возможностям его реализации и гибкости.
Задача предложенного изобретения состоит в том, чтобы создать синтезатор, который эффективно выполняет преобразование сигнала и позволяет обеспечить улучшенное качество.
Эта задача достигнута при помощи синтезатора в соответствии с п.1, кодирующего устройства по п.9, метода формирования синтезированного аудиосигнала по п.13, а также методу создания потока данных по п.14 формулы.
Настоящее изобретение основано на идее, заключающейся в том, что, с одной стороны, операция внесения исправлений в обрабатываемый сигнал и, с другой стороны, дальнейшая обработка результата операции внесения исправлений должны выполняться в полностью независимых областях. Это обеспечивает гибкость и, с одной стороны, позволяет оптимизировать различные алгоритмы внесения исправлений в пределах генератора внесения исправлений и, с другой стороны, всегда использовать тот же самый результат формирования огибающей независимо от основного алгоритма внесения 3 исправлений. Поэтому создание любого исправленного сигнала за пределами спектральной области, в которой производится регулирование огибающей, позволяет гибко применять различные алгоритмы внесения исправлений к различным частям сигнала, полностью независимо от последующей процедуры ВДС. Проектировщик не должен заботиться о специфических особенностях алгоритмов внесения исправлений, прибывающих из регулирования конверта, или не должен заботиться о специфических особенностях алгоритмов внесения исправлений для определенного регулирования огибающей. Вместо этого различные участки восстановленного спектрального диапазона могут быть созданы независимо друг от друга. То есть, с одной стороны, осуществляется операция внесения исправлений и, с другой стороны, производится дальнейшая обработка результата внесения исправлений.
Это означает, что при полном восстановлении спектрального диапазона, алгоритм внесения исправлений выполняется отдельно. Следовательно, алгоритм допускает внесение исправлений при одновременном осуществлении операции ВДС. Эти процедуры могут оптимизироваться независимо друг от друга и, поэтому гибки относительно последующих алгоритмов (внесения исправлений и других), могут применяться просто, без необходимости изменения любого из параметров дальнейшей обработки результата внесения исправлений, выполненного в спектральной области, без внесения каких-либо дополнительных исправлений.
Настоящее изобретение обеспечивает улучшенное качество, так как оно позволяет легко использовать различные алгоритмы внесения исправлений для различных частей сигнала таким образом, чтобы каждая составная часть основного сигнала была преобразована в соответствии с алгоритмом внесения исправлений, который будет применен к этой части сигнала наилучшим образом. Кроме того, при таком подходе также может использоваться прямой, эффективный и высококачественный инструмент регулирования огибающей, который работает в диапазоне группы фильтров, известен и уже используется во многих приложениях, таких как MPEG-4, ОН-ААС. За счет разделения алгоритмов внесения исправлений и дальнейшей обработки, известные способы дальнейшей обработки результата внесения исправлений могут применяться со всеми доступными алгоритмами внесения исправлений. При этом никакие алгоритмы внесения исправлений не применяются в диапазоне группы фильтров, в котором выполняется последующая обработка результата внесения исправлений. Однако произвольное внесение исправлений может выполняться диапазоне группы фильтров, а также в других диапазонах.
Кроме того, эта особенность допускает возможность масштабирования. Например, для сигналов низкого уровня могут использоваться алгоритмы исправления, которые требуют меньшего количества ресурсов, а для сигналов высокого уровня, используются алгоритмы исправления, которые требуют больших ресурсов, что позволяет получить лучшее качество звука.
Возможен альтернативный подход, в котором алгоритмы внесения исправлений остаются прежними, а сложная последующая обработка результата внесения исправлений может быть использована для других задач.
Для сигналов низкого уровня, например, может быть применено пониженное разрешение частоты при регулировании огибающей спектра. В то же время для сигналов высокого уровня будет использовано более высокое разрешение частоты, обеспечивающее лучшее качество, но при этом потребуется увеличение ресурсов памяти, процессора и, конечно, расхода мощности мобильного устройства. Все это может быть сделано без привлечения других аналогичных методов, так как алгоритм внесения исправлений не зависит от метода спектрального регулирования огибающей спектра и наоборот. Вместо этого разделение обрабатываемого сигнала на отдельные части и обработка разделенных исходных данных путем преобразования в спектральное представление при помощи группы фильтров, оказались оптимальными решениями.
В соответствии с первой отличительной особенностью изобретения, звуковой синтезатор сигнала производит сигнал аудиосинтеза, имеющий первый диапазон частот и второй синтезируемый диапазон частот, полученный из первого диапазона частот. Звуковой синтезатор сигнала содержит генератор участка диапазона, спектральный конвертер, первичный процессор сигнала и сумматор. Генератор участка диапазона выполняет по крайней мере два различных алгоритма внесения исправлений, причем каждый алгоритм внесения исправлений использует звуковой сигнал, имеющий компоненты в первом диапазоне частот, и производит первичный сигнал, имеющий компоненты сигнала в области второго синтезируемого диапазона частот. Генератор участка диапазона используется для выбора по крайней мере одного из двух различных алгоритмов внесения исправлений в зависимости от информации контроля для части сигнала, поступающей на первом этапе, и второго (из двух различных) алгоритма внесения исправлений в зависимости от информации контроля для части сигнала поступающей на втором этапе, отличающейся от информации на первом этапе. Затем формируется первичный сигнал для первой и второй частей сигнала. Спектральный конвертер преобразовывает первичный сигнал в первичное спектральное представление сигнала. Первичный процессор сигнала обрабатывает первичное спектральное представление сигнала в зависимости от спектральных параметров представления участка диапазона, чтобы получить соответствующее спектральное представление первичного сигнала. Сумматор формирует звуковой сигнал, имеющий компоненты сигнала из первого диапазона или сигнала, полученного из звукового сигнала с соответствующим первичным спектральным представлением сигнала либо с последующим сигналом, полученным из соответствующего первичного спектрального представления сигнала, для создания сигнала аудиосинтеза.
Возможны другие варианты исполнения, когда звуковой синтезатор сигнала формируется таким образом, чтобы использовались по крайней мере два отличающихся от друг друга алгоритма внесения исправлений, в которых спектральные компоненты звукового сигнала, находящиеся в первом диапазоне частот, заменялись целевой частотой из второго диапазона частот, а целевая частота отличалась от частоты обоих алгоритмов внесения исправлений. Генератор участка диапазона может быть в дальнейшем приспособлен для работы во временном интервале обоих алгоритмов внесения исправлений.
В соответствии со второй отличительной особенностью настоящего изобретения, звуковое кодирующее устройство сигнала на основе аудиосигнала формирует поток данных, включающий компоненты звукового сигнала из первого диапазона частот, управляют информацией и параметрами представления спектрального диапазона. Кодирующее устройство звукового сигнала использует частотный избирательный фильтр, генератор и генератор контроля информации. Частотный избирательный фильтра выделяет компоненты звукового сигнала из первого диапазона частот. Генератор производит параметры отклика диапазона спектра на основе компонентов звукового сигнала из второго диапазона частот. Генератор контроля информации вырабатывает информацию контроля, идентификатор информации контроля, соответствующий алгоритм внесения исправлений на основе первого или второго различных алгоритмов внесения исправлений. Каждый алгоритм внесения исправлений использует компоненты звукового сигнала из первого диапазона частот и производит первичный сигнал, имеющий компоненты сигнала во втором восстанавливаемом диапазоне частот.
В соответствии с еще одной отличительной особенностью настоящего изобретения, поток битов звукового сигнала передается по линии передачи, связанной с компьютером и содержит кодируемое звуковое сообщение из первого диапазона частот, информацию контроля и параметры представления спектрального диапазона.
Поэтому настоящее изобретение имеет отношение к методам переключения между различными алгоритмами внесения исправлений при восстановлении спектрального диапазона, причем используемый алгоритм внесения исправлений зависит от состояния кодирующего устройства и результата, полученного в кодирующем устройстве, а также от состояния кодировщика, в зависимости от информации, переданной в потоке данных. На основе использования восстановления диапазона спектра (ВДС) восстановление высокочастотных участков спектрального диапазона может быть проведено, например, путем копирования низкочастотных участков спектрального диапазона сигнала через набор КОФ-фильтров (КОФ-квадратурный отражательный фильтр) на высокочастотные участки спектра. Это копирование также известно как внесение исправлений, и, согласно вариантам исполнения настоящего изобретения, это внесение исправлений может быть заменено или дополнено альтернативными методами, которые выполнены во временной области. Примеры для альтернативных алгоритмов внесения исправлений:
(1) Использование увеличения частоты дискретизации (например, отражение спектра);
(2) Фазовый вокодер;
(3) Нелинейное искажение;
(4) Отражение спектра через КОФ-диапазоны путем изменения порядка КОФ-групп;
(5) Управляемая модель (в частности, для речи);
(6) Модуляция
Альтернативные алгоритмы внесения исправлений могут также быть выполнены в пределах кодирующего устройства. Это позволяет получить параметры представления спектрального диапазона, которые используются, например, инструментами ВДС для шумоподобного заполнения, обратной фильтрации, восполнения недостающих гармоник и т.д. В зависимости от варианта исполнения, алгоритм внесения исправлений в пределах генератора внесения исправлений заменен имеющимися инструментами для представления спектрального диапазона.
Конкретный выбор для алгоритма внесения исправлений зависит от имеющегося звукового сигнала. Например, фазовый вокодер сильно изменяет индивидуальные особенности речевых сигналов, и поэтому фазовый вокодер не обеспечивает подходящий алгоритм внесения исправлений, например, для речи или подобных речи сигналов. Следовательно, в зависимости от типа звукового сигнала, генератор участка диапазона выбирает алгоритм внесения исправлений из нескольких вариантов для того чтобы восстановить высокочастотные участки диапазона. Например, генератор участка диапазона может выбрать один из вариантов: обычный инструмент ВДС (копирование диапазонов КОФ) или фазовый вокодер или использовать любые другие алгоритмы внесения исправлений.
В отличие от обычного ВДС-алгоритма (например осуществленного в MPEG-4) настоящее изобретение можно использовать в качестве генератора внесения исправлений для того, чтобы воспроизвести высокочастотный сигнал. Генератор внесения исправлений может работать не только в частотном, но также и во временном интервале и средствах, исправляющих алгоритмы, например: отражение и/или осуществление выборки и/или фазовый вокодер и/или нелинейное искажение. Проводится восстановление спектрального диапазона в частотном или во временном интервале зависит от конкретного сигнала (то есть производится адаптация к сигналу), различные виды которых ниже будут рассмотрены подробно.
Восстановление спектрального диапазона опирается на тот факт, что во многих целях достаточно передать звуковой сигнал только в пределах основного диапазона частот и произвести компоненты сигнала в верхнем диапазоне частот в кодировщике. Получающийся звуковой сигнал будет иметь высокое качество восприятия, так как для речи и музыки например, высокочастотные компоненты спектра часто имеют корреляцию относительно низкочастотных компонентов в основном диапазоне частот. Поэтому, при использовании подходящего алгоритма внесения исправлений, который воспроизводит недостающие высокочастотные компоненты, можно получить звуковой сигнал с высоким качеством восприятия. В то же самое время параметр, который влияет на восстановление верхних участков диапазона, приводит к существенному уменьшению скорости передачи битов при кодировке аудиосигнала, потому что только звуковое сообщение в пределах основного диапазона частот сжимается при кодировке и передается на декодировку. Поскольку остающиеся частотные компоненты спектра только управляют информацией, а параметры представления спектрального диапазона переданы, которые управляют декодером в процессе производства оценки исходного высокочастотного сигнала. Так, строго говоря, этот процесс использует три аспекта: (i) параметрическая оценка высокочастотного участка диапазона (вычисление параметра ВДС), (ii) генерация первичных исправлений (фактическое внесение исправлений) и (iii) условия для дальнейшей обработки (например, регулирование уровня шума).
Основной диапазон частот может быть определен так называемой пересекающейся частотой, которая определяет порог в пределах диапазона частот, до которого выполнено кодирование звукового сигнала. Основной кодер кодирует звуковое сообщение в пределах основного диапазона частот, ограниченного пересекающейся частотой. Начинаясь с пересекающейся частоты, компоненты сигнала будут воспроизведены в спектральном диапазоне. При использовании обычных методов для воспроизведения спектрального диапазона часто случается, что некоторые сигналы включают нежелательные искажения в пересекающейся частоте основной кодировки.
При использовании образца на основе настоящего изобретения можно задать такой алгоритм внесения исправлений, который избегает этих искажений или, по крайней мере, корректирует искажения таким образом, что они не имеют эффекта ухудшения качества восприятия. Например, при использовании отражения в алгоритме внесения исправлений во временном интервале восстановление спектрального диапазона выполнено так же как при расширении полосы пропускания (РПП) в пределах AMR-ВБ+(с использованием соответствующего адаптивного многоскоростного широкополосного кодера-декодера). Кроме того, допускается возможность изменения алгоритма внесения исправлений в зависимости от сигнала так, что для речи и для музыки, например, могут использоваться различные способы расширения полосы пропускания. Но также и для сигнала, который не может быть точно идентифицирован как музыка или речь (то есть смешанный сигнал) алгоритм внесения исправлений может быть изменен в пределах коротких промежутков времени. То есть, в любом заданном промежутке времени может использоваться для внесения исправлений наиболее подходящий алгоритм внесения исправлений. Предпочтительно алгоритм исправления определять кодирующим устройством, которое может, например, сравнить для каждого обработанного блока входных данных результаты внесения исправлений с оригинальным (исходным) звуковым сигналом. Это значительно улучшает качество восприятия получающегося звукового сигнала, произведенного звуковым синтезатором сигнала.
Дальнейшие преимущества настоящего изобретения получаются вследствие отделения генератора внесения исправлений от процессора первичного сигнала, который может включать стандартные инструменты ВДС. Это разделение позволяет использовать обычные инструменты ВДС, которые могут включать обратное фильтрование, добавление уровня шума или недостающей гармоники или пр. Поэтому, стандартные ВДС -инструменты также могут использоваться, в то время как процедура внесения исправлений становится более гибкой. Кроме того, так как стандартные ВДС-инструменты используются в частотной области, отделяя генератор исправлений от ВДС-инструментов, допускается вычисление внесения исправлений в частотной или во временной области.
Краткое описание чертежей
Существующее изобретение будет теперь описано посредством иллюстрированных примеров. Отличительные особенности изобретения будут лучше оценены и легче восприниматься в дальнейшем детальном описании, которое нужно рассматривать с использованием сопровождающих рисунков, в которых:
Фиг.1 показывает блок-схему звуковой обработки сигнала, реализующую настоящее изобретение;
Фиг.2 показывает блок-схему для генератора участка диапазона согласно изобретению;
Фиг.3 показывает блок-схему для сумматора, работающего во временном
интервале;
Фиг, 4a к 4d иллюстрируют схематично примеры для различных алгоритмов внесения исправлений;
Фиг.5a и 5b иллюстрируют фазовый вокодер и внесение исправлений методом копирования;
Фиг.6a к 6d показывают блок-схемы для обработки закодированного звукового потока и выполнения модуляции импульсами РСМ;
Фиг.7a к 7c показывают блок-схемы для звукового кодирующего устройства согласно изобретению.
Детальное описание изобретения
Примеры реализации изобретения, описанные ниже, являются просто иллюстрациями для объяснения принципа настоящего изобретения для того, чтобы улучшить преобразование спектрального диапазона, например, для использования в звуковом декодере. Подразумевается, что модификации и изменения решений, описанных здесь, будут очевидны для других специалистов. Представлена суть изобретения, чтобы не ограничиваться определенными деталями, представленными посредством описания и объяснениями об их воплощении.
Фиг.1 показывает звуковой синтезатор сигнала, используемый для воспроизведения сигнала аудиосинтеза 105, имеющего первый диапазон частот и второй скопированный диапазон частот, полученный из первого диапазона. Звуковой синтезатор сигнала включает генератор участка диапазона 110, позволяющий выполнение, по крайней мере, двух различных алгоритмов внесения исправлений, причем каждый алгоритм внесения исправлений производит первичный сигнал 115, имеющий компоненты сигнала во втором копируемом диапазоне частот, использующем звуковой сигнал 105, имеющий компоненты сигнала в первом диапазоне частот. Генератор участка диапазона 110 позволяет выбрать, по крайней мере, один из двух различных алгоритмов внесения исправлений в первую по времени часть сигнала в зависимости от информации контроля 112 и второй алгоритм (из двух различных) внесения исправлений в зависимости от информации контроля 112 для второй части сигнала, отличающейся от первой. Генератор участка диапазона формирует первичный сигнал 115 для первой и второй частей исходного сигнала. Затем звуковой синтезатор сигнала включает спектральный конвертер 120 для преобразования первичного сигнала 115 в первичное спектральное представление 125, включающее компоненты из первой и второй подгрупп, и так далее. Далее звуковой синтезатор сигнала включает первичный процессор сигнала 130 для обработки первичного спектрального представления 125 в зависимости от параметров участка диапазона спектра 132, чтобы получить соответствующее первичное представление спектра сигнала 135. Синтезатор звукового сигнала далее включает сумматор 140. Сумматор объединяет звуковой сигнал 105, имеющий компоненты сигнала из первого диапазона или сигнала, полученного из звукового сигнала 105 с соответствующим первичным представлением спектра сигнала 135 или с последующим сигналом, полученным из соответствующего первичного представления спектра сигнала 135, чтобы получить сигнал аудиосинтеза 145.
В дальнейших вариантах использования сумматор 140 может использовать сигнал, полученный из звукового сигнала 105 для представления первичного спектра сигнала 125. Сигнал, используемый сумматором, и полученный из звукового сигнала, может также быть звуковым сигналом, обработанным конвертером времени / спектральным конвертером, может быть получен в результате анализа группой фильтров, либо низкочастотным сигналом, произведенным генератором участка диапазона, работающим во временном интервале или в спектральной области, либо звуковым сигналом с задержкой по времени, либо звуковым сигналом, обработанным операцией увеличения частоты дискретизации таким образом, чтобы у сигналов, которые будут объединены, была одинаковая основная частота дискретизации.
В еще одном воплощении синтезатор звукового сигнала затем включает анализатор для того, чтобы проанализировать характеристики звукового сигнала 105, имеющего компоненты сигнала в первом диапазоне частот 201 и предоставляет контрольную информацию 112, по результатам которой выбирается первый или второй алгоритмы внесения исправлений.
В дальнейших возможных воплощениях анализатор приспособлен, чтобы запускать негармонический алгоритм исправления для части сигнала, имеющей признаки речи или гармонического алгоритма исправления для оставшейся части звукового сигнала 105.
Во всех дальнейших воплощениях изобретения звуковой сигнал 105 закодирован вместе с метаданными в потоке данных, причем генератор участка диапазона 110 приспособлен для получения контрольной информации 112 из метаданных в потоке данных.
В других вариантах использования преобразователь спектра 120 включает анализ группой фильтров, или, по крайней мере, два различных алгоритма внесения исправлений, могут также включать алгоритм фазового вокодера, либо алгоритм внесения исправлений с увеличением частоты дискретизации, либо нелинейный алгоритм корректировки искажений, либо алгоритм копирования.
Во всех же дальнейших воплощениях первичный процессор сигнала 130 приспособлен для выполнения согласования энергий участков диапазона, либо обратной фильтрации диапазонов спектра, либо добавление уровня шума к диапазону спектра, либо добавление недостающей гармоники к диапазону.
Фиг.2 показывает блок-схему, показывающую подробно генератор участка диапазона 110, включая контроллер, который получает контрольную информацию 112, и звуковой сигнал 105, и средства исправления 113. Контроллер 111 приспособлен для выбора алгоритма для участка диапазона на основе информации контроля 112. Генератор участка диапазона 110 включает первый инструмент внесения исправлений 11 За и выполнение первого алгоритма 1, второй инструмент внесения исправлений 113b и выполнение второго алгоритма внесения исправлений 2, и так далее. Вообще, генератор участка 110 включает столько средств исправления 113, сколько доступно алгоритмов внесения исправлений. Например, генератор внесения исправлений 110 может включить два, три, четыре или больше средств внесения исправлений 113. После того, как контроллер 111 получает информацию контроля 112, выбирается одно из средств внесения исправлений 113, контроллер 111 посылает звуковой сигнал 105 на средство внесения исправлений 113, которое выполняет алгоритм внесения исправлений и производит первичный сигнал 115, включающий компоненты сигнала в копируемых диапазонах частот 202, 203.
Фиг.3 показывает блок-схему, показывающую подробно сумматор (объединитель) 140, причем объединитель 140 включает группу фильтров синтеза 141, устройство задержки 143 и сумматор 147. Соответствующий первичный сигнал 135 введен в группу фильтров синтеза 141, который производит из соответствующего первичного сигнала 135 (например, в спектральном представлении) соответствующий первичный сигнал в пределах временного интервала 135t (первичный сигнал временной области). Аудиосигнал основного диапазона 105 вводится в устройство задержки 143, которое используется для задержки диапазона основного сигнала 105 на определенный промежуток времени, и после задержки диапазона основного сигнала выводится 105d. Задержанный аудиосигнал основного диапазона 105d и скорректированный во временном интервале первичный сигнал 135t объединяются в сумматоре 147, формируя сигнал аудиосинтеза 145, который выводится из объединителя 140. Величина задержки в устройстве задержки 143 зависит от алгоритма обработки синтезатора звукового сигнала, при условии, что временной интервал будет соответствовать первичному сигналу 135t будет соответствовать времени задержки сигнала основного диапазона 105d (синхронизация).
Фиг.4а к 4d показывают различные алгоритмы внесения исправлений, используемые в генераторе участка 110, и средства внесения исправлений 113. Как объяснено выше, алгоритм внесения исправлений производит исправленный сигнал в копируемом диапазоне частот. В воплощениях как показано в фиг.4, первый диапазон частот 201 продолжается до частоты отсечки fmax, в которой начинается второй диапазон частот 202 (или второй копируемый диапазон частот), продолжающийся до удвоенной частоты отсечки 2*fmax. Выше этой частоты начинается третий диапазон частот 203 (или третий копируемый диапазон частот). Первый диапазон частот 201 может включать вышеупомянутый основной диапазон частот.
На фиг.4 показаны в качестве примера четыре алгоритма внесения исправлений. Первый алгоритм внесения исправлений в фиг.4а включает отражение или осуществление выборки, второй алгоритм внесения исправлений включает копирование или модуляцию и показан в фиг.4b, третий алгоритм внесения исправлений, включающий фазовый вокодер, показан на фиг.4 с, и четвертый алгоритм внесения исправлений, обрабатывающий искажение, показан на Фиг.4d.
Отражение, как показано в фиг.4а, выполнено таким образом, чтобы исправленный сигнал во втором диапазоне частот 202 был получен путем отражения первого диапазона частот 201 относительно частоты отсечки fmax. Исправленный сигнал в третьем диапазоне частот 203, в свою очередь, получен отражением сигнала второго диапазона частот 202. Так как сигнал во втором диапазоне частот 202 уже был зеркально отраженным сигналом, сигнал в третьем диапазоне частот 203 может быть просто получен перемещением звукового сигнал 105 из первого диапазона частот 201 в третий диапазон частот 203.
Второй алгоритм внесения исправлений как показано в фиг.4 осуществляет копирование (или модуляцию) сигнала. В этом варианте исполнения сигнал во втором диапазоне частот 202 получен перемещением (копированием) сигнала первого диапазона частот 201 во второй диапазон частот 202. Точно так же также сигнал в третьем диапазоне частот 203 получен перемещением сигнал из первого диапазона частот 201 в третий диапазон частот 203.
Фиг.4 с показывает вариант исполнения с использованием фазового вокодера в качестве алгоритма внесения исправлений. Исправленный сигнал произведен последовательным рядом шагов (этапов), причем на первом шаге производятся компоненты сигнала до удвоенной частоты (максимальная частота 2*fmax), на втором шаге производятся компоненты сигнала до утроенной частоты (максимальная частота 3*fmax) и так далее. Фазовый вокодер увеличивает частоты сигналов с множителем n(n=2,3,4,…) приведение к распространению типовых ценностей по частотному диапазону n-времен основного диапазона частот (первый диапазон частот 201).
Алгоритм внесения исправлений, использующий искажение (например, с использованием квадратичного сигнала), показан в Фиг.4d. Искажения могут быть получены многими способами. Простой путь заключается в возведении в квадрат уровня сигнала, что приводит к появлению более высоких частот. Другая возможность искажения может быть получена ограничением (например, обрезая сигнал выше определенного уровня). В этом случае также появятся высокочастотные компоненты. Практически любой способ искажения, известный в обычных методах, может здесь использоваться.
На фиг.5а более подробно показан алгоритм внесения исправлений фазовым вокодером. Первый диапазон частот 201 как и прежде заканчивается максимальной частотой fmax (частота отсечки), от которой начинается второй диапазон частот 202, который заканчивается, например, удвоенной максимальной частотой 2*fmax. После второго диапазона частот 202, начинается третий диапазон частот 203, который, например, может закончиться утроенной максимальной частотой 3*finax.
Для более ясно представления на фиг.5а показан спектр (уровень Р как функция частоты f) с восемью линиями частоты 105а, 105b,…, 105-ый для звукового сигнала 105. От этих восьми линий 105а,…, 105-ый фазовый вокодер производит новый сигнал, перемещая линии в соответствии с показанными стрелками. Изменение частоты соответствует вышеупомянутому умножению. В частности, первая линия 105а перемещена к второй линии 105b, вторая линия перемещена к четвертой линии, и так далее, до восьмой 105-ой линии, которая перемещена к 16-ой линии (последняя линия во второй частотной области 202). Это соответствует умножению два. Чтобы образовались линии с утроенной максимальной частотой, 3*fmax, все частоты линий могут быть умножены на три, то есть первая линия 105а перемещена к третьей линии 105с, вторая линия 105b перемещена к шестой линии, и так далее, до восьмой 105-ой линии, которая перемещается к 24-ой линии (последняя линия в третьем диапазоне частот 203). Очевидно, что этим фазовым вокодером, линии не являются больше равноудаленными, но о