Способ и устройство для сжатия и восстановления представления системы амбисоник высшего порядка для звукового поля

Способ и устройство для сжатия и восстановления представления системы амбисоник высшего порядка для звукового поля

Иллюстрации

Показать все

Реферат

Изобретение относится к способу и к устройству для сжатия и восстановления представления системы Амбисоник высшего порядка для звукового поля.

Уровень техники

Система Амбисоник высшего порядка, обозначаемая HOA, предлагает один способ представления трехмерного звука. Другими способами являются синтез волнового поля (WFS) или основанные на каналах способы, как, например, 22.2. В отличие от основанных на каналах способов, представление HOA предлагает преимущество, что оно является независимым от конкретной системы громкоговорителей. Эта гибкость, однако, обеспечивается за счет обработки декодирования, которая требуется для проигрывания представления HOA на конкретной системе громкоговорителей. По сравнению с подходом WFS, где количество требуемых громкоговорителей является обычно очень большим, HOA также может воспроизводиться на системах, состоящих только из нескольких громкоговорителей. Дополнительное преимущество HOA состоит в том, что одно и то же представление также может использоваться без какой-либо модификации для бинаурального воспроизведения в наушниках.

HOA основывается на представлении пространственной плотности комплексных амплитуд гармонических плоских волн посредством усеченного разложения по сферическим гармоникам (SH). Каждый коэффициент разложения является функцией угловой частоты, который может быть эквивалентным образом представлен посредством функции временной области. Следовательно, без потери общности, может предполагаться, что полное представление звукового поля HOA фактически состоит из функций временной области, где обозначает количество коэффициентов разложения. Эти функции временной области в последующем будут эквивалентным образом упоминаться как последовательности коэффициентов HOA.

Пространственное разрешение представления HOA улучшается с ростом максимального порядка разложения. К сожалению, количество коэффициентов разложения растет квадратично с порядком , в частности, . Например, обычные представления HOA, использующие порядок , требуют коэффициентов (разложения) HOA. Согласно вышеизложенным рассмотрениям, полный битрейт (частота следования битов) для передачи представления HOA, при заданных требуемой одноканальной частоте дискретизации и количестве бит в расчете на выборку, определяется посредством . Передача представления HOA порядка с частотой дискретизации = 48 кГц с использованием бит в расчете на выборку дает результатом битрейт, равный 19.2 Мбит/с, что является очень высоким для многих практических применений, например, потоковой передачи. Поэтому сжатие представлений HOA является в высшей степени предпочтительным.

Изобретение

Существующие способы, обращающиеся к сжатию представлений HOA (с ), являются достаточно редкими. Наиболее прямой подход, которому следуют в E. Hellerud, I. Burnett, A Solvang and U.P. Svensson, "Encoding Higher Order Ambisonics with AAC", 124th AES Convention, Amsterdam, 2008, состоит в том, чтобы выполнять прямое кодирование индивидуальных последовательностей коэффициентов HOA с использованием улучшенного кодирования аудио (AAC), которое является алгоритмом перцепционного кодирования. Однако присущей проблемой для этого подхода является перцепционное кодирование сигналов, которые никогда не прослушиваются. Реконструированные сигналы проигрывания обычно получаются посредством взвешенной суммы последовательностей коэффициентов HOA, и имеется высокая вероятность для размаскирования шума перцепционного кодирования, когда восстановленное представление HOA воспроизводится на конкретной системе громкоговорителей. Большой проблемой для размаскирования шума перцепционного кодирования являются высокие взаимные корреляции между индивидуальными последовательностями коэффициентов HOA. Так как сигналы шума кодирования в индивидуальных последовательностях коэффициентов HOA являются обычно некоррелированными друг с другом, может происходить конструктивная суперпозиция шума перцепционного кодирования при том, что в то же время свободные от шума последовательности коэффициентов HOA удаляются при суперпозиции. Дополнительная проблема состоит в том, что эти взаимные корреляции ведут к уменьшенной эффективности перцепционных кодеров.

Чтобы минимизировать степень обоих эффектов, в EP 2469742 A2 предложено преобразовывать представление HOA в эквивалентное представление в дискретной пространственной области до перцепционного кодирования. Формально, эта дискретная пространственная область является эквивалентом временной области пространственной плотности комплексных амплитуд гармонических плоских волн, дискретизированной в некоторых дискретных направлениях. Дискретная пространственная область, таким образом, представляется посредством стандартных сигналов временной области, которые могут интерпретироваться как общие плоские волны, сталкивающиеся из направлений дискретизации, и соответствуют сигналам громкоговорителей, если громкоговорители расположены в точности в таких же направлениях, что и направления, предполагаемые для преобразования пространственной области.

Преобразование в дискретную пространственную область уменьшает взаимные корреляции между индивидуальными сигналами пространственной области, но эти взаимные корреляции полностью не устраняются. Примером для относительно высоких взаимных корреляций является направленный сигнал, чье направление попадает между смежными направлениями, охватываемыми сигналами пространственной области.

Основной недостаток обоих подходов состоит в том, что количество перцепционно кодированных сигналов равняется , и скорость данных для сжатого представления HOA растет квадратично с порядком системы Амбисоник N.

Чтобы уменьшать количество перцепционно кодированных сигналов, патентная заявка EP 2665208 A1 предлагает разложение представления HOA на заданное максимальное количество доминирующих направленных сигналов и остаточную окружающую компоненту. Уменьшение количества сигналов, подлежащих перцепционному кодированию, достигается посредством уменьшения порядка остаточной окружающей компоненты. Логическое обоснование за этим подходом состоит в том, чтобы сохранять высокое пространственное разрешение по отношению к доминирующим направленным сигналам при представлении остатка с достаточной точностью посредством представления HOA более низкого порядка.

Этот подход работает достаточно хорошо до тех пор, пока предположения о звуковом поле удовлетворяются, т.е. что оно состоит из малого количества доминирующих направленных сигналов (представляющих функции общих плоских волн, кодированные с использованием полного порядка N) и остаточной окружающей компоненты без какой-либо направленности. Однако, если последующее разложение остаточной окружающей компоненты все еще содержит некоторые доминирующие направленные компоненты, уменьшение порядка вызывает ошибки, которые воспринимаются различным образом при воспроизведении после восстановления. Обычными примерами представлений HOA, где предположения нарушаются, являются общие плоские волны, кодированные в порядке, более низком, чем N. Такие общие плоские волны порядка, более низкого, чем N, могут проистекать из авторского создания, чтобы делать, чтобы источники звука проявлялись более широко, и также могут происходить при записи представлений звукового поля HOA посредством сферических микрофонов. В обоих примерах звуковое поле представляется посредством большого количества высоко коррелированных сигналов пространственной области (см. также раздел Пространственное разрешение системы Амбисоник высшего порядка для объяснения).

Проблема, подлежащая решению посредством изобретения, состоит в том, чтобы устранить недостатки, результирующие из обработки, описанной в патентной заявке EP 2665208 A1, чтобы, тем самым, также избежать вышеописанных недостатков другого процитированного предшествующего уровня техники.

Эта проблема решается посредством способов, раскрытых в пунктах 1 и 3. Соответствующие устройства, которые используют эти способы, раскрыты в пунктах 2 и 4.

Изобретение улучшает обработку сжатия представления звукового поля HOA, описанную в патентной заявке EP 2665208 A1. Сначала, как и в EP 2665208 A1, представление HOA анализируется на присутствие доминирующих источников звука, чьи направления оцениваются. Со знанием направлений доминирующих источников звука, представление HOA разлагается на некоторое количество доминирующих направленных сигналов, представляющих общие плоские волны, и остаточную компоненту. Однако вместо немедленного уменьшения порядка этой остаточной компоненты HOA, она преобразуется в дискретную пространственную область, чтобы получать функции общих плоских волн в равномерных направлениях дискретизации, представляющие остаточную компоненту HOA. После этого эти функции плоских волн предсказываются из доминирующих направленных сигналов. Причина для этой операции состоит в том, что части остаточной компоненты HOA могут быть высоко коррелированными с доминирующими направленными сигналами.

Это предсказание может быть простым предсказанием, чтобы вырабатывать только малую величину дополнительной (побочной) информации. В наиболее простом случае предсказание состоит из соответствующего масштабирования и задержки. В заключение, ошибка предсказания преобразуется назад в область HOA и рассматривается как остаточная окружающая компонента HOA, для которой выполняется уменьшение порядка. Предпочтительно, эффект вычитания предсказуемых сигналов из остаточной компоненты HOA состоит в том, чтобы уменьшать ее полную мощность также как оставшуюся величину доминирующих направленных сигналов и, этим способом, уменьшать ошибку разложения, результирующую из уменьшения порядка.

В принципе, новый способ сжатия подходит для сжатия представления системы Амбисоник высшего порядка, обозначаемой HOA, для звукового поля, при этом упомянутый способ включает в себя этапы:

- из текущего временного кадра коэффициентов HOA, оценку направлений доминирующих источников звука;

- в зависимости от упомянутых коэффициентов HOA и от упомянутых направлений доминирующих источников звука, разложение упомянутого представления HOA на доминирующие направленные сигналы во временной области и остаточную компоненту HOA, при этом упомянутая остаточная компонента HOA преобразуется в дискретную пространственную область, чтобы получать функции плоских волн в равномерных направлениях дискретизации, представляющие упомянутую остаточную компоненту HOA, и при этом упомянутые функции плоских волн предсказываются из упомянутых доминирующих направленных сигналов, тем самым, обеспечивая параметры, описывающие упомянутое предсказание, и соответствующая ошибка предсказания преобразуется назад в область HOA;

- уменьшение текущего порядка упомянутой остаточной компоненты HOA до более низкого порядка, что дает результатом остаточную компоненту HOA уменьшенного порядка;

- декоррелирование упомянутой остаточной компоненты HOA уменьшенного порядка, чтобы получать соответствующие сигналы временной области остаточной компоненты HOA;

- перцепционное кодирование упомянутых доминирующих направленных сигналов и упомянутых сигналов временной области остаточной компоненты HOA, чтобы обеспечивать сжатые доминирующие направленные сигналы и сжатые сигналы остаточной компоненты.

В принципе? новое устройство сжатия является подходящим для сжатия представления системы Амбисоник высшего порядка, обозначаемой HOA, для звукового поля, при этом упомянутое устройство включает в себя:

- средство, которое выполнено с возможностью оценки направлений доминирующих источников звука из текущего временного кадра коэффициентов HOA;

- средство, которое выполнено с возможностью разложения, в зависимости от упомянутых коэффициентов HOA и от упомянутых направлений доминирующих источников звука, упомянутого представления HOA на доминирующие направленные сигналы во временной области и остаточную компоненту HOA, при этом упомянутая остаточная компонента HOA преобразуется в дискретную пространственную область, чтобы получать функции плоских волн в равномерных направлениях дискретизации, представляющие упомянутую остаточную компоненту HOA, и при этом упомянутые функции плоских волн предсказываются из упомянутых доминирующих направленных сигналов, тем самым, обеспечивая параметры, описывающие упомянутое предсказание, и соответствующая ошибка предсказания преобразуется назад в область HOA;

- средство, которое выполнено с возможностью уменьшения текущего порядка упомянутой остаточной компоненты HOA до более низкого порядка, что дает результатом остаточную компоненту HOA уменьшенного порядка;

- средство, которое выполнено с возможностью декоррелирования упомянутой остаточной компоненты HOA уменьшенного порядка, чтобы получать соответствующие сигналы временной области остаточной компоненты HOA;

- средство, которое выполнено с возможностью перцепционного кодирования упомянутых доминирующих направленных сигналов и упомянутых сигналов временной области остаточной компоненты HOA, чтобы обеспечивать сжатые доминирующие направленные сигналы и сжатые сигналы остаточной компоненты.

В принципе, новый способ восстановления является подходящим для восстановления представления системы Амбисоник высшего порядка, сжатого согласно вышеописанному способу сжатия, при этом упомянутый способ восстановления включает в себя этапы:

- перцепционное декодирование упомянутых сжатых доминирующих направленных сигналов и упомянутых сжатых сигналов остаточной компоненты, чтобы обеспечивать восстановленные доминирующие направленные сигналы и восстановленные сигналы временной области, представляющие остаточную компоненту HOA в пространственной области;

- повторную корреляцию упомянутых восстановленных сигналов временной области, чтобы получать соответствующую остаточную компоненту HOA уменьшенного порядка;

- увеличение порядка упомянутой остаточной компоненты HOA уменьшенного порядка до исходного порядка, чтобы обеспечивать соответствующую восстановленную остаточную компоненту HOA;

- с использованием упомянутых восстановленных доминирующих направленных сигналов, упомянутой восстановленной остаточной компоненты HOA исходного порядка, упомянутых оцененных направлений доминирующих источников звука, и упомянутых параметров, описывающих упомянутое предсказание, конструирование соответствующего восстановленного и реконструированного кадра коэффициентов HOA.

В принципе новое устройство восстановления является подходящим для восстановления представления системы Амбисоник высшего порядка, сжатого согласно вышеописанному способу сжатия, при этом упомянутое устройство восстановления включает в себя:

- средство, которое выполнено с возможностью перцепционного декодирования упомянутых сжатых доминирующих направленных сигналов и упомянутых сжатых сигналов остаточной компоненты, чтобы обеспечивать восстановленные доминирующие направленные сигналы и восстановленные сигналы временной области, представляющие остаточную компоненту HOA в пространственной области;

- средство, которое выполнено с возможностью повторной корреляции упомянутых восстановленных сигналов временной области, чтобы получать соответствующую остаточную компоненту HOA уменьшенного порядка;

- средство, которое выполнено с возможностью увеличения порядка упомянутой остаточной компоненты HOA уменьшенного порядка до исходного порядка, чтобы обеспечивать соответствующую восстановленную остаточную компоненту HOA;

- средство, которое выполнено с возможностью конструирования соответствующего восстановленного и реконструированного кадра коэффициентов HOA посредством использования упомянутых восстановленных доминирующих направленных сигналов, упомянутой восстановленной остаточной компоненты HOA исходного порядка, упомянутых оцененных направлений доминирующих источников звука, и упомянутых параметров, описывающих упомянутое предсказание.

Предпочтительные дополнительные варианты осуществления изобретения раскрыты в соответствующих зависимых пунктах формулы изобретения.

Чертежи

Иллюстративные варианты осуществления изобретения описаны со ссылкой на сопровождающие чертежи, которые показывают:

Фиг. 1a - этап 1 сжатия: разложение сигнала HOA на некоторое количество доминирующих направленных сигналов, остаточную окружающую компоненту HOA и дополнительную информацию;

Фиг. 1b - этап 2 сжатия: уменьшение порядка и декоррелирование для окружающей компоненты HOA и перцепционное кодирование обоих компонент;

Фиг. 2a - этап 1 восстановления: перцепционное декодирование сигналов временной области, повторная корреляция сигналов, представляющих остаточную окружающую компоненту HOA, и увеличение порядка;

Фиг. 2b - этап 2 восстановления: конструирование полного представления HOA;

Фиг. 3 - разложение HOA;

Фиг. 4 - конструирование HOA;

Фиг. 5 - сферическая система координат.

Иллюстративные варианты осуществления

Обработка сжатия

Обработка сжатия согласно изобретению включает в себя два последовательных этапа, проиллюстрированных на фиг. 1a и фиг. 1b, соответственно. Точные определения индивидуальных сигналов описаны в разделе Подробное описание разложения и реконструкции HOA. Используется по-кадровая обработка для сжатия с неперекрывающимися входными кадрами последовательностей коэффициентов HOA длины , где k обозначает индекс кадра. Кадры определяются по отношению к последовательностям коэффициентов HOA, определенным в уравнении (42) как

(1)

где обозначает период дискретизации.

На фиг. 1a, кадр последовательностей коэффициентов HOA вводится в этап или стадию 11 оценки направлений доминирующих источников звука, который анализирует представление HOA на присутствие доминирующих направленных сигналов, чьи направления оцениваются. Оценка направления может выполняться, например, посредством обработки, описанной в патентной заявке EP 2665208 A1. Оцененные направления обозначаются посредством , где обозначает максимальное количество оценок направлений. Предполагается, что они располагаются в матрице как

. (2)

Неявно предполагается, что оценки направлений подходящим образом упорядочены посредством назначения их оценкам направлений из предыдущих кадров. Следовательно, предполагается, что временная последовательность индивидуальной оценки направления описывает направленную траекторию доминирующего источника звука. В частности, если предполагается, что d-й доминирующий источник звука не является активным, является возможным указать это посредством назначения недействительного значения для . Затем, используя оцененные направления в , представление HOA разлагается на этапе или стадии 12 разложения на некоторое количество максимум доминирующих направленных сигналов , некоторые параметры , описывающие предсказание сигналов пространственной области остаточной компоненты HOA из доминирующих направленных сигналов, и окружающую компоненту HOA , представляющую ошибку предсказания. Подробное описание этого разложения обеспечивается в разделе Разложение HOA.

На фиг. 1b показано перцепционное кодирование направленных сигналов и остаточной окружающей компоненты HOA . Направленные сигналы являются стандартными сигналами временной области, которые могут индивидуально сжиматься с использованием любого существующего способа перцепционного сжатия. Сжатие окружающей компоненты области HOA выполняется в двух последовательных этапах или стадиях. На этапе или стадии 13 уменьшения порядка выполняется уменьшение до порядка системы Амбисоник , где, например, , давая результатом окружающую компоненту HOA . Такое уменьшение порядка выполняется посредством удержания в только коэффициентов HOA и отбрасывания других. На стороне декодера, как описано ниже, для опущенных значений добавляются соответствующие нулевые значения.

Следует отметить, что, по сравнению с подходом в патентной заявке EP 2665208 A1, уменьшенный порядок может, в общем, выбираться более малым, так как полная мощность также как оставшаяся величина направленности остаточной окружающей компоненты HOA является более малой. Поэтому уменьшение порядка вызывает более малые ошибки по сравнению с EP 2665208 A1.

На последующем этапе или стадии 14 декоррелирования, последовательности коэффициентов HOA, представляющие окружающую компоненту HOA с уменьшенным порядком, декоррелируются, чтобы получать сигналы временной области , которые вводятся в (набор из) параллельные перцепционные кодеры или модули 15 сжатия, работающие согласно любому известному способу перцепционного сжатия. Декоррелирование выполняется, чтобы избегать размаскирования шума перцепционного кодирования при воспроизведении представления HOA, следующем за его восстановлением (см. патентную заявку EP 2688065 A1 для объяснения). Приблизительное декоррелирование может достигаться посредством преобразования в эквивалентных сигналов в пространственной области посредством применения сферического гармонического преобразования, как описано в EP 2469742 A2.

Альтернативно, может использоваться адаптивное сферическое гармоническое преобразование, как предложено в патентной заявке EP 2688066 A1, где сетка направлений дискретизации вращается, чтобы достигать наилучшего возможного эффекта декоррелирования. Дополнительным альтернативным способом декоррелирования является преобразование Карунена-Лоэва (KLT), описанное в патентной заявке EP 12305860.4. Следует отметить, что для упомянутых последних двух типов декоррелирования должен обеспечиваться некоторый тип дополнительной информации, обозначенной посредством , чтобы обеспечивать возможность обращения декоррелирования на стадии восстановления HOA.

В одном варианте осуществления перцепционное сжатие всех сигналов временной области и выполняется совместно, чтобы улучшать эффективность кодирования.

Вывод перцепционного кодирования является сжатыми направленными сигналами и сжатыми окружающими сигналами временной области .

Обработка восстановления

Обработка восстановления показана на фиг. 2a и фиг. 2b. Подобно сжатию, она состоит из двух последовательных этапов. На фиг. 2a перцепционное восстановление направленных сигналов и сигналов временной области , представляющих остаточную окружающую компоненту HOA, выполняется на этапе или стадии 21 перцепционного декодирования или восстановления. Результирующие перцепционно восстановленные сигналы временной области повторно коррелируются на этапе или стадии 22 повторной корреляции, чтобы обеспечивать представление HOA остаточной компоненты порядка . Необязательно, повторная корреляция может выполняться обратным способом, как описано для упомянутых двух альтернативных обработок, описанных для этапа/стадии 14, с использованием переданных или сохраненных параметров в зависимости от способа декоррелирования, который использовался. После этого, из оценивается соответствующее представление HOA порядка на этапе или стадии 23 увеличения порядка посредством увеличения порядка. Увеличение порядка достигается посредством добавления соответствующих строк 'нулевых значений' к , тем самым предполагается, что коэффициенты HOA по отношению к более высоким порядкам имеют нулевые значения.

На фиг. 2b полное представление HOA реконструируется на этапе или стадии 24 конструирования из восстановленных доминирующих направленных сигналов вместе с соответствующими направлениями и параметрами предсказания , также как из остаточной окружающей компоненты HOA , что дает результатом восстановленный и реконструированный кадр коэффициентов HOA.

В случае, когда перцепционное сжатие всех сигналов временной области и выполняется совместно, чтобы улучшать эффективность кодирования, перцепционное восстановление сжатых направленных сигналов и сжатых сигналов временной области также выполняется совместно соответствующим способом.

Подробное описание реконструкции обеспечивается в разделе Реконструкция HOA.

Разложение HOA

Блок-схема, иллюстрирующая операции, выполняемые для разложения HOA, дана на фиг. 3. Краткое описание операции: Во-первых, сглаженные доминирующие направленные сигналы вычисляются и выводятся для перцепционного сжатия. Далее, остаток между представлением HOA доминирующих направленных сигналов и исходным представлением HOA представляется посредством некоторого количества направленных сигналов , которые могут рассматриваться как общие плоские волны из равномерно распределенных направлений. Эти направленные сигналы предсказываются из доминирующих направленных сигналов , где выводятся параметры предсказания . В заключение, вычисляется и выводится остаток между исходным представлением HOA и представлением HOA доминирующих направленных сигналов вместе с представлением HOA предсказанных направленных сигналов из равномерно распределенных направлений.

Перед тем, как углубляться в подробности, следует упомянуть, что изменения направлений между последовательными кадрами может вести к нарушению непрерывности всех вычисленных сигналов в течение конструирования. Следовательно, мгновенные оценки соответствующих сигналов для перекрывающихся кадров вычисляются первыми, которые имеют длину 2B. Во-вторых, результаты последовательных перекрывающихся кадров сглаживаются с использованием соответствующей оконной функции. Каждое сглаживание, однако, вводит задержку одиночного кадра.

Вычисление мгновенных доминирующих направленных сигналов

Вычисление мгновенных доминирующих направленных сигналов на этапе или стадии 30 из оцененных направлений источников звука в для текущего кадра последовательностей коэффициентов HOA основывается на сопоставлении режимов, как описано в M.A. Poletti, "Three-Dimensional Surround Sound Systems Based on Spherical Harmonics", J. Audio Eng. Soc., 53(11), страницы 1004-1025, 2005. В частности, ищутся те направленные сигналы, чье представление HOA дает результатом наилучшее приближение заданного сигнала HOA.

Дополнительно, без потери общности, предполагается, что каждая оценка направления активного доминирующего источника звука может однозначно определяться посредством вектора, имеющего угол наклона и азимутальный угол (см. фиг. 5 для иллюстрации) согласно

. (3)

Во-первых, матрица режимов на основе оценок направлений активных источников звука вычисляется согласно

(4)

,

где

(5)

.

В уравнении (4), обозначает количество активных направлений для k-ого кадра и , показывает их индексы. обозначает вещественозначные сферические гармоники, которые определены в разделе Определение вещественозначных сферических гармоник.

Во-вторых, вычисляется матрица , содержащая мгновенные оценки всех доминирующих направленных сигналов для (k-1)-го и k-го кадров, определенная как

, (6)

где

, . (7)

Это выполняется на двух этапах. На первом этапе, выборки направленного сигнала в строках, соответствующих неактивным направлениям, устанавливаются на нуль, т.е.

, если , (8)

где показывает набор активных направлений. На втором этапе, выборки направленного сигнала, соответствующие активным направлениям, получаются посредством сначала расположения их в матрице согласно

. (9)

Эта матрица затем вычисляется, чтобы минимизировать евклидову норму ошибки

. (10)

Решение дается посредством

. (11)

Временное сглаживание

Для этапа или стадии 31, сглаживание описывается только для направленных сигналов , так как сглаживание других типов сигналов может выполняться полностью аналогичным способом. Оценки направленных сигналов , , чьи выборки содержатся в матрице согласно уравнению (6), подвергаются оконной обработке посредством соответствующей оконной функции :

. (12)

Эта оконная функция должна удовлетворять условию, что получается '1' при ее сложении с ее сдвинутой версией (предполагается сдвиг B выборок) в области перекрытия:

. (13)

Пример для такой оконной функции дается посредством периодического окна Хэнна, определенного посредством

для . (14)

Сглаженные направленные сигналы для (k-1)-го кадра вычисляются посредством соответствующей суперпозиции подвергнутых оконной обработке мгновенных оценок согласно

. (15)

Выборки всех сглаженных направленных сигналов для (k-1)-ого кадра располагаются в матрице

(16)

,

где

. (17)

Предполагается, что сглаженные доминирующие направленные сигналы являются непрерывными сигналами, которые последовательно вводятся в перцепционные кодеры.

Вычисление представления HOA сглаженных доминирующих направленных сигналов

Из и , вычисляется представление HOA сглаженных доминирующих направленных сигналов на этапе или стадии 32 в зависимости от непрерывных сигналов , чтобы имитировать такие же операции, как должны выполняться для конструирования HOA. Так как изменения оценок направлений между последовательными кадрами могут вести к нарушению непрерывности, как только снова вычисляются мгновенные представления HOA перекрывающихся кадров длины и результаты последовательных перекрывающихся кадров сглаживаются посредством использования соответствующей оконной функции. Следовательно, представление HOA получается посредством

, (18)

где

(19)

и

(20)