Концепция генерирования сигнала понижающего микширования

Концепция генерирования сигнала понижающего микширования

Иллюстрации

Показать все

Реферат

Настоящее изобретение относится к обработке звуковых сигналов и, в частности, к понижающему микшированию множества входных сигналов в сигнал понижающего микширования.

При обработке сигналов часто возникает необходимость в микшировании двух или более сигналов в один суммарный сигнал. Процедура микширования обычно сопровождается некоторыми искажениями сигналов, особенно, если два сигнала, которые подлежат микшированию, содержат одинаковые, но сдвинутые по фазе составляющие. Если указанные сигналы суммируются, результирующий сигнал содержит значительные искажения гребенчатого фильтра. Для предотвращения указанных искажений предлагались различные способы, которые либо являлись чрезвычайно затратными с точки зрения вычислительной сложности, либо основывались на применении поправочного коэффициента усиления или поправочного члена к уже искаженному сигналу.

Преобразование многоканальных звуковых сигналов в меньшее число каналов обычно предполагает микширование нескольких звуковых каналов. Международный союз электросвязи (ITU), например, рекомендует использовать матрицу пассивного микширования во временной области со статическими коэффициентами усиления для понижающего преобразования от одной многоканальной установки к другой [1]. В [2] предлагается достаточно похожий подход.

Для повышения разборчивости диалогов в [3] предлагается комбинированный подход с использованием рекомендуемого ITU и матричного понижающего микширования. Кроме того, аудиокодеры используют пассивное понижающее микширование каналов, например, в некоторых параметрических модулях [4, 5, 6].

Подход, описанный в [7], выполняет измерение громкости каждого входного и выходного канала, т.е., всех без исключения каналов до и после процесса микширования. Благодаря использованию отношения сумм входных энергий (т.е., энергии микшируемых каналов) и выходной энергии (т.е., энергии микшированных каналов) могут быть получены коэффициенты усиления, при которых уменьшаются потери энергии сигнала и эффекты окрашивания.

Подход, описанный в [8], выполняет пассивное понижающее микширование, которое впоследствии преобразуется в частотную область. Понижающее микширование после этого анализируется каскадом пространственной коррекции, который пытается обнаружить и скорректировать любые пространственные расхождения путем внесения изменений в межканальные разности уровней и межканальные разности фаз. Затем к сигналу применяется эквалайзер, чтобы сигнал понижающего микширования имел ту же мощность, что и входной сигнал. На последнем этапе сигнал понижающего микширования преобразуется обратно во временную область.

В [9, 10] описывается другой подход, при котором два сигнала, подлежащие понижающему микшированию, преобразуются в частотную область, при этом создается пара требуемое/фактическое значение. Требуемое значение вычисляется как корень суммы отдельных энергий, а фактическое значение вычисляется как корень энергии суммарного сигнала. Эти два значения затем сравниваются, и в зависимости от того, больше ли фактическое значение, чем требуемое значение, или меньше, к фактическому значению применяется различная коррекция.

В соответствии с другим вариантом, существуют способы, которые направлены на выравнивание фаз сигналов таким образом, чтобы из-за разности фаз не возникали эффекты подавления сигналов. Такие способы, например, предлагались для параметрических стереокодеров [11, 12, 13].

Пассивное понижающее микширование, осуществляемое в [1, 2, 3, 4, 5, 6], является наиболее прямым подходом к микшированию сигналов. Но если не предпринимать никаких дальнейших действий, полученные в результате сигналы понижающего микширования могут страдать от значительных потерь сигнала и эффектов гребенчатой фильтрации.

Подходы, описанные в [7, 8, 9, 10], выполняют пассивное понижающее микширование - в смысле микширования обоих сигналов в равной степени - на первом этапе. После этого к прошедшему понижающее микширование сигналу применяются некоторые коррекции. Это может помочь уменьшить эффекты гребенчатого фильтра, но, с другой стороны, внесет искажения модуляции. Это вызвано быстро изменяющимися во времени поправочными коэффициентами усиления/членами. Кроме того, фазовый сдвиг величиной 180 градусов между подлежащими понижающему микшированию сигналами все же приводит к понижающему микшированию с нулевым значением и не может быть скомпенсирован применением, например, поправочного коэффициента усиления.

Подход с выравниванием фазы, такой как упомянутый в [11, 12, 13], может помочь избежать нежелательного подавления сигналов; но все же ввиду выполнения процедуры простого суммирования выравненных по фазе сигналов могут возникать искажения гребенчатого фильтра и подавление, если фазы не были оценены надлежащим образом. Кроме того, устойчивое оценивание фазовых соотношений между двумя сигналами является непростой задачей и требует интенсивных вычислений, особенно, если оно выполняется более чем для двух сигналов.

Целью настоящего изобретения является создание усовершенствованной концепции понижающего микширования множества входных сигналов в сигнал понижающего микширования.

Данная цель достигается с помощью устройства по п. 1, системы по п. 16, способа по п. 17 или компьютерной программы по п. 18.

Предлагается устройство обработки звуковых сигналов для понижающего микширования первого входного сигнала и второго входного сигнала в сигнал понижающего микширования, причем первый входной сигнал ( X 1 ) и второй входной сигнал ( X 2 ), по меньшей мере, частично коррелированы, содержащее:

блок выделения несходства, выполненный с возможностью приема первого входного сигнала и второго входного сигнала, а также вывода выделенного сигнала, который менее коррелирован по отношению к первому входному сигналу, чем второй входной сигнал, и

блок объединения, выполненный с возможностью объединения первого входного сигнала и выделенного сигнала с целью получения сигнала понижающего микширования.

В настоящем документе устройство описывается в частотно-временной области, но все соображения верны также для сигналов во временной области. Первый входной сигнал и второй входной сигнал являются сигналами, подлежащими микшированию, причем первый входной сигнал служит в качестве опорного сигнала. Оба сигнала подаются на блок выделения несходства, причем коррелированные составляющие второго входного сигнала по отношению ко второму входному сигналу режектируются, и только некоррелированные составляющие второго входного сигнала пропускаются на выход блока выделения.

Усовершенствование предлагаемой концепции состоит в том, как микшируются сигналы. На первом этапе выбирается один сигнал, служащий в качестве опорного сигнала. Затем определяется, какая составляющая опорного сигнала уже имеется в другом, и только те составляющие, которые отсутствуют в опорном сигнале (т.е., некоррелированный сигнал), суммируются с опорным сигналом для получения сигнала понижающего микширования. Поскольку только слабокоррелированные или некоррелированные составляющие по отношению к опорному сигналу объединяются с опорным сигналом, риск внесения эффектов гребенчатого фильтра минимизируется.

Таким образом, предлагается новая концепция микширования двух сигналов в один сигнал понижающего микширования. Новый способ направлен на предотвращение создания искажений понижающего микширования, подобных гребенчатой фильтрации. Кроме того, предлагаемый способ является вычислительно эффективным.

В некоторых вариантах осуществления данного изобретения блок объединения содержит систему масштабирования энергии, выполненную таким образом, что соотношение энергии понижающего микширования и суммарных энергий первого входного сигнала и второго входного сигнала не зависит от корреляции первого входного сигнала и второго входного сигнала. Такое устройство масштабирования энергии может обеспечивать сохранение энергии в процессе понижающего микширования (т.е., сигнал понижающего микширования содержит то же количество энергии, что и исходный стереосигнал) или, по меньшей мере, неизменность воспринимаемого звука независимо от корреляции первого входного сигнала и второго входного сигнала.

В вариантах осуществления данного изобретения система масштабирования энергии содержит первое устройство масштабирования энергии, выполненное с возможностью масштабирования первого входного сигнала на основе первого коэффициента масштабирования с целью получения масштабированного входного сигнала.

В некоторых вариантах осуществления данного изобретения система масштабирования энергии содержит блок предоставления первого коэффициента масштабирования, выполненный с возможностью предоставления первого коэффициента масштабирования, причем блок предоставления первого коэффициента масштабирования предпочтительно выполнен в виде процессора, выполненного с возможностью вычисления первого коэффициента масштабирования в зависимости от первого входного сигнала, второго входного сигнала, выделенного сигнала и/или коэффициента масштабирования для выделенного сигнала. Во время понижающего микширования опорный сигнал (первый входной сигнал) может масштабироваться для сохранения общего уровня энергии или для поддержания уровня энергии независимым от корреляции входных сигналов автоматически.

В вариантах осуществления данного изобретения система масштабирования энергии содержит второе устройство масштабирования энергии, выполненное с возможностью масштабирования выделенного сигнала на основе второго коэффициента масштабирования с целью получения масштабированного выделенного сигнала.

В некоторых вариантах осуществления данного изобретения система масштабирования энергии содержит блок предоставления второго коэффициента масштабирования, выполненный с возможностью предоставления второго коэффициента масштабирования, причем блок предоставления второго коэффициента масштабирования предпочтительно выполнен в виде интерфейса человек-машина, выполненного с возможностью ручного ввода второго коэффициента масштабирования.

Второй коэффициент масштабирования можно рассматривать как эквалайзер. Как правило, он может выполняться частотно-зависимым, а в предпочтительных вариантах осуществления - вручную звукооператором. Разумеется, возможно множество различных соотношений при микшировании, и они существенно зависят от опыта и/или вкуса звукооператора.

В соответствии с другим вариантом, блок предоставления второго коэффициента масштабирования выполнен в виде процессора, выполненного с возможностью вычисления первого коэффициента масштабирования в зависимости от первого входного сигнала, второго входного сигнала и/или выделенного сигнала.

В некоторых вариантах осуществления данного изобретения блок объединения содержит устройство суммирования для вывода сигнала понижающего микширования на основе первого входного сигнала и на основе выделенного сигнала. Поскольку только слабокоррелированные или даже некоррелированные составляющие по отношению к опорному сигналу добавляются к опорному сигналу, риск внесения эффектов гребенчатого фильтра минимизируется. Кроме того, использование устройства суммирования является вычислительно эффективным.

В некоторых вариантах осуществления данного изобретения блок выделения несходства содержит блок оценки сходства, выполненный с возможностью предоставления коэффициентов фильтрации для получения составляющих первого входного сигнала, присутствующих во втором входном сигнале, из первого входного сигнала, и блок уменьшения сходства, выполненный с возможностью уменьшения составляющих первого входного сигнала, присутствующих во втором входном сигнале, на основе коэффициентов фильтрации. В таких реализациях блок выделения несходства состоит из двух субкаскадов: блока оценки сходства и блока уменьшения сходства. Первый входной сигнал и второй входной сигнал подаются в каскад оценки сходства, в котором составляющие первого входного сигнала, присутствующие во втором входном сигнале, оцениваются и представляются в виде результирующих коэффициентов фильтрации. Коэффициенты фильтрации, первый входной сигнал и второй входной сигнал подаются в блок уменьшения сходства, в котором составляющие второго входного сигнала, аналогичные первому входному сигналу, соответственно, подавляются и/или нейтрализуются. Результатом этого является выделенный сигнал, представляющий собой оценку для некоррелированной составляющей второго входного сигнала по отношению к первому входному сигналу.

В некоторых вариантах осуществления данного изобретения блок уменьшения сходства содержит каскад нейтрализации, который включает в себя устройство нейтрализации сигналов, выполненное с возможностью вычитания получаемых составляющих первого входного сигнала, присутствующих во втором входном сигнале, либо сигнала, формируемого из извлекаемых составляющих, из второго входного сигнала или из сигнала, извлекаемого из второго входного сигнала. Данная концепция относится к способу, используемому в объекте адаптивной нейтрализации шума, но с той разницей, что он не используется, как первоначально предполагается, для нейтрализации шума или некоррелированной компоненты, а вместо этого используется для нейтрализации коррелированной составляющей, результатом чего является выделенный сигнал.

В некоторых вариантах осуществления данного изобретения каскад нейтрализации содержит устройство комплексной фильтрации, выполненное с возможностью фильтрации первого входного сигнала с помощью комплекснозначных коэффициентов фильтрации. Преимущество данного подхода состоит в том, что могут моделироваться фазовые сдвиги.

В некоторых вариантах осуществления данного изобретения каскад нейтрализации содержит фазосдвигающее устройство, выполненное с возможностью выравнивания фазы второго входного сигнала с фазой первого входного сигнала. При противоположных фазах между первым входным сигналом и вторым входным сигналом помимо внезапных падений сигнала первого входного сигнала в сигнале понижающего микширования могут возникать скачки фазы и эффекты нейтрализации сигнала. Данный эффект может быть существенно уменьшен путем выравнивания фазы второго входного сигнала по отношению к первому входному сигналу. Такой каскад нейтрализации может называться каскадом нейтрализации с выравниваем с противоположной фазой.

В некоторых вариантах осуществления данного изобретения блок уменьшения сходства содержит каскад подавления сигнала, включающий в себя устройство подавления сигнала, выполненное с возможностью умножения второго входного сигнала на коэффициент усиления подавления с целью получения выделенного сигнала. Экспериментально обнаружено, что с помощью этих признаков могут быть уменьшены звуковые искажения из-за ошибок оценки коэффициентов фильтрации.

В некоторых вариантах осуществления данного изобретения каскад подавления сигнала содержит фазосдвигающее устройство, выполненное с возможностью выравнивания фазы второго входного сигнала с фазой первого входного сигнала. Коэффициенты усиления подавления являются вещественнозначными и, следовательно, не оказывают никакого влияния на фазовые соотношения двух входных сигналов, но, поскольку так или иначе должны оцениваться комплекснозначные коэффициенты фильтрации, может быть получена дополнительная информация об относительной фазе между входными сигналами. Эта информация может использоваться для выравнивания фазы второго входного сигнала по отношению к первому входному сигналу. Это может осуществляться в каскаде подавления сигнала перед применением коэффициентов усиления подавления, причем фаза второго входного сигнала сдвигается на расчетную фазу комплекснозначных коэффициентов фильтрации, указанных выше. Такой каскад подавления может называться каскадом подавления с выравниваем с противоположной фазой.

В некоторых вариантах осуществления данного изобретения выходной сигнал каскада нейтрализации подается на вход каскада подавления сигнала с целью получения выделенного сигнала, либо выходной сигнал каскада подавления сигнала подается на вход каскада нейтрализации с целью получения выделенного сигнала. Для дополнительного повышения качества сигнала понижающего микширования может использоваться комбинированный подход использования нейтрализации, а также подавления компонентов когерентного сигнала. Полученный в результате сигнал понижающего микширования может быть получен путем сначала выполнения процедуры нейтрализации, а затем применения процедуры подавления. В других вариантах осуществления полученный в результате сигнал понижающего микширования может быть получен путем сначала выполнения процедуры подавления, а затем применения процедуры нейтрализации. Таким образом, составляющие в выделенном сигнале, которые коррелированы с первым сигналом, могут быть дополнительно уменьшены. Выделенный сигнал, а также первый входной сигнал могут, как и раньше, масштабироваться по энергии.

В некоторых вариантах осуществления данного изобретения составляющие первого входного сигнала, присутствующие во втором входном сигнале, взвешиваются перед вычитанием из второго входного сигнала в зависимости от весового коэффициента. Весовой коэффициент, как правило, может быть зависимым от времени и частоты, но может также выбираться постоянным. В некоторых вариантах осуществления при этом может использоваться также модуль подавления с выравниваем с противоположной фазой с незначительной модификацией: взвешивание с весовым коэффициентом должно осуществляться аналогичным образом после фильтрации с абсолютным значением коэффициентов фильтрации.

В некоторых вариантах осуществления данного изобретения фазосдвигающее устройство выполнено с возможностью выравнивания фазы второго входного сигнала с фазой первого входного сигнала в зависимости от весового коэффициента.

В некоторых вариантах осуществления данного изобретения фазосдвигающее устройство выполнено с возможностью выравнивания фазы второго входного сигнала только с фазой первого входного сигнала, если весовой коэффициент меньше или равен предварительно заданного порога.

Данное изобретение дополнительно относится к системе обработки звуковых сигналов для понижающего микширования множества входных сигналов в сигнал понижающего микширования, содержащей, по меньшей мере, первое устройство в соответствии с изобретением и второе устройство в соответствии с изобретением, причем сигнал понижающего микширования первого устройства подается на второе устройство в качестве первого входного сигнала или в качестве второго входного сигнала. Для понижающего микширования множества входных каналов может использоваться последовательное включение множества двухканальных устройств понижающего микширования.

Кроме того, данное изобретение относится к способу понижающего микширования первого входного сигнала и второго входного сигнала в сигнал понижающего микширования, включающему в себя этапы:

оценки некоррелированного сигнала, который является составляющей второго входного сигнала и который является некоррелированным по отношению к первому входному сигналу, и

суммирования первого входного сигнала и некоррелированного сигнала с целью получения сигнала понижающего микширования.

Кроме того, данное изобретение относится к компьютерной программе для реализации способа в соответствии с изобретением при исполнении в компьютере или процессоре сигналов.

Предпочтительные варианты осуществления рассматриваются ниже применительно к прилагаемым чертежам, на которых:

фиг. 1 иллюстрирует первый вариант осуществления устройства обработки звуковых сигналов;

фиг. 2 подробнее иллюстрирует первый вариант осуществления;

фиг. 3 иллюстрирует блок уменьшения сходства и блок объединения первого варианта осуществления;

фиг. 4 иллюстрирует блок уменьшения сходства второго варианта осуществления;

фиг. 5 иллюстрирует блок уменьшения сходства и блок объединения третьего варианта осуществления;

фиг. 6 иллюстрирует блок уменьшения сходства четвертого варианта осуществления;

фиг. 7 иллюстрирует блок уменьшения сходства и блок объединения пятого варианта осуществления;

фиг. 8 иллюстрирует блок уменьшения сходства и блок объединения шестого варианта осуществления; и

фиг. 9 иллюстрирует последовательное включение множества устройств обработки звуковых сигналов.

На фиг. 1 приведено высокоуровневое системное описание предлагаемого нового устройства 1 понижающего микширования. Устройство описывается в частотно-временной области, где k и m соответствуют показателям частоты и времени соответственно, но все соображения верны также для сигналов во временной области. Первый входной сигнал X 1 (k,m) и второй входной сигнал X 2 (k,m) являются входными сигналами, подлежащими микшированию, причем первый входной сигнал X 1 (k,m) служит в качестве опорного сигнала. Оба сигнала X 1 (k,m) и X 2 (k,m) подаются на блок 2 выделения несходства, причем коррелированные составляющие в отношении X 1 (k,m) и X 2 (k,m) режектируются или, по меньшей мере, уменьшаются, и только некоррелированный сигнал или некоррелированные составляющие U ^ 2 (k,m) выделяются и пропускаются на выход блока выделения. Затем первый входной сигнал X 1 (k,m) масштабируется с помощью первого устройства 4 масштабирования энергии для удовлетворения некоторому предварительно задаваемому ограничению по энергии, результатом чего является масштабированный опорный сигнал X 1S (k,m). Необходимые коэффициенты G E x (k,m) масштабирования предоставляются источником 5 предоставления коэффициента масштабирования. Выделенная составляющая U ^ 2 (k,m) может также масштабироваться с помощью второго устройства 6 масштабирования энергии, результатом чего является масштабированная некоррелированная составляющая U ^ 2S (k,m). Соответствующие коэффициенты G Eu (k,m) масштабирования предоставляются вторым источником 7 предоставления коэффициента масштабирования. Коэффициенты G Eu (k,m) масштабирования могут определяться предпочтительно вручную звукооператором. Оба масштабированных сигнала X 1S (k,m) и U ^ 2S (k,m) суммируются с помощью устройства 8 суммирования для формирования требуемого сигнала X ˜ D (k,m) понижающего микширования.

На фиг. 2 приведено среднеуровневое системное описание предлагаемого устройства 1. В некоторых реализациях блок 2 выделения несходства состоит из двух субкаскадов: блока 9 оценки сходства и блока 10 уменьшения сходства, как показано на фиг. 2. Первый входной сигнал X 1 (k,m) и второй входной сигнал X 2 (k,m) подаются в каскад 9 оценки сходства, в котором составляющие X 1 (k,m), присутствующие в X 2 (k,m), оцениваются и представляются в виде результирующих коэффициентов W k (l) фильтрации, где l=0...L−1, а L - длина фильтра. Коэффициенты W k (l) фильтрации, первый входной сигнал X 1 (k,m) и второй входной сигнал X 2 (k,m) подаются в блок 10 уменьшения сходства, в котором составляющие X 2 (k,m), аналогичные X 1 (k,m), соответственно, по меньшей мере, подавляются и/или нейтрализуются. Результатом этого является остаточный сигнал U ^ 2 (k,m), представляющий собой оценку для некоррелированной составляющей X 2 (k,m) по отношению к X 1 (k,m).

В модели сигнала предполагается, что второй входной сигнал X 2 (k,m) является смесью взвешенной или фильтрованной версии W'(k,m) X 1 (k,m) первого входного сигнала X 1 (k,m) и изначально неизвестного независимого сигнала U 2 (k,m) с E{ X 1 U 2 * }=0. Таким образом, считается, что X 2 (k,m) состоит из суммы коррелированной и некоррелированной составляющей в отношении X 1 (k,m):

X 2 (k,m) = W'(k,m)⋅ X 1 (k,m)+ U 2 (k,m). (1)

Заглавные буквы означают преобразованные по частоте сигналы, а k и m являются показателями частоты и времени соответственно. Теперь требуемый сигнал X ˜ D (k,m) понижающего микширования можно определить следующим образом:

X ˜ D (k,m)= G E x (k,m) X 1 (k,m)+ G E u (k,m) U ^ 2 (k,m) , (2)

где U ^ 2 (k,m) - оценка U 2 (k,m), и где G E x (k,m) и G E u (k,m) - коэффициенты масштабирования для регулирования энергий опорного сигнала X 1 (k,m) и выделенной составляющей U ^ 2 (k,m) другого входного сигнала X 2 (k,m) в соответствии с предварительно задаваемыми ограничениями. Кроме того, они могут использоваться для выравнивания сигналов. В некоторых сценариях это может оказаться необходимым, особенно, для U ^ 2 (k,m). В оставшейся части данного документа частотно-временные показатели (k,m) будут для ясности исключены.

Первостепенной задачей является получение составляющей U 2 , которая не коррелирована с X 1 . Это может осуществляться с помощью способа, используемого в объекте адаптивной нейтрализации шума, но с той разницей, что он не используется, как первоначально предполагается, для нейтрализации шума или некоррелированной компоненты, а вместо этого используется для нейтрализации коррелированной составляющей, результатом чего является оценка U ^ 2 или U 2 .

На фиг. 3 изображен блок 10 уменьшения сходства, содержащий каскад 10а нейтрализации, и блок 3 объединения первого варианта осуществления такой системы. Преимущество данного подхода состоит в том, что допускается комплексное значение W, и, следовательно, могут моделироваться фазовые сдвиги.

U ^ 2 = X 2 −W X 1 (3)

Для определения U ^ 2 необходим расчетный комплексный коэффициент W усиления для изначально неизвестного комплексного коэффициента W' усиления. Это осуществляется путе