Оценка направления прихода сигнала с использованием аудиосигналов с водяными знаками и массива микрофонов

Оценка направления прихода сигнала с использованием аудиосигналов с водяными знаками и массива микрофонов

Иллюстрации

Показать все

Реферат

Настоящее изобретение относится к определению направления прихода сигнала от источника звука, такого как, например, громкоговоритель, и к устройству и к способу оценки пространственной позиции.

Извлечение информации о геометрической конфигурации звуковой сцены, такой как, например, оценка локализации и оценка направления прихода входящих сигналов, становится все более и более важной, поскольку эта информация является ценной во множестве областей применения, таких как, например, регулирование акустического эхо-сигнала, анализ сцен, формирование диаграммы направленности и обработка сигналов для распределенных акустических датчиков.

Например, существуют способы, в которых анализируют записанный аудиосигнал, в который не внедрен какой-либо сигнал водяного знака (WM), если одиночный громкоговоритель воспроизводит аудиоэлемент, и имеется массив микрофонов для записи. Если отсутствует какой-либо другой источник звука, например, говорящий человек или иной источник помех, то можно оценить направление прихода сигнала, например, посредством направленного аудиокодирования (Directional Audio Coding). Приведена ссылка на документ Jukka Ahonen, Giovanni Del Galdo, Markus Kallinger, Fabian Küch, Ville Pulkki, и Richard Schultz-Amling, “Planar microphone array processing for the analysis and reproduction of spatial audio using directional audio coding”, in Audio Engineering Society Convention 124, 5, 2008. Как только другой источник излучает звук в тот же самый момент времени, направление прихода которого является нежелательным, это препятствует определению правильного угла падения. Получают две различные оценки направления прихода, если присутствующие сигналы исходят из различных пространственных позиций. В этом случае необходима дополнительная информация о предпочтительном звуковом сигнале.

В сценарии, когда система воспроизведения имеет более одного громкоговорителя, если воспроизведенные сигналы являются различными, направление прихода сигнала можно оценить посредством использования ранее объясненных подходов. Однако, если воспроизводят сходные аудиоэлементы, то есть на стереофонической установке, то возникает известное явление, а именно, источник ложного сигнала. Это означает, что звук воспринимают так, как будто бы он был воспроизведен виртуальным источником, расположенным между громкоговорителями. В этом случае оценка углов падения оказывается неуспешной.

Для особого применения, включающего в себя калибровку системы воспроизведения, существуют другие известные способы, например, воспроизведение сигналов MLS или сигналов с качающейся частотой, которые используются для определения угла падения воспроизводимого звука. Приведена ссылка на документ Giovanni Del Galdo, Matthias Lang, Jose Angel Pineda Pardo, Andreas Silzle, и Oliver Thiergart, “Acoustic measurement system for 3-D loudspeaker set-ups”, в Audio Engineering Society Conference: Spatial Audio: Sense the Sound of Space, 10 2010. Однако эти сигналы являются слышимыми и часто раздражающими. Кроме того, перед тем, как может использоваться система воспроизведения, необходимо выполнять калибровку. Следовательно, предпочтительным является использование аудиосигналов с водяными знаками, имея в виду, что калибровка может быть выполнена во время работы системы.

Часто используемым способом определения направления или позиции датчика является использование радиочастотных сигналов и различных датчиков. Способы, основанные на этой технологии, обеспечивают хорошие оценки, но они неприменимы в тех областях, где радиочастотные сигналы запрещены или их сложно использовать. Кроме того, в таких сценариях должны быть установлены радиочастотные датчики.

Другой способ, в котором также используют сигналы с водяными знаками, представлен в документе Ryuki Tachibana, Shuichi Shimizu, Seiji Kobayashi, и Taiga Nakamura, “An audio watermarking method using a two-dimensional pseudo-random array”, Обработка сигналов, том 82, страницы 1455-1469, Октябрь 2002. Здесь позицию записи оценивают посредством использования лишь одного микрофона и путем измерения временной задержки прихода нескольких излученных аудиосигналов с водяными знаками. В этом сценарии какая-либо информация направления недоступна, и система ограничена использованием минимального количества громкоговорителей.

Как было описано выше, на предшествующем уровне техники выявляются несколько проблем. Согласно некоторым способам из предшествующего уровня техники, может быть определено местоположение фантомного источника, который не соответствует желательному громкоговорителю. В других способах из предшествующего уровня техники выявляется проблема, состоящая в том, что они определяют местоположение иных источников в комнате или, что для них необходимы специальные измерительные сигналы, которые не могут быть воспроизведены в реальной ситуации, где фактически используются громкоговорители. Задачей настоящего изобретения является создание усовершенствованных концепций для определения направления прихода сигнала передачи. Согласно другому аспекту настоящего изобретения, предложены улучшенные концепции для оценки пространственной позиции. Задача настоящего изобретения решена посредством устройства для предоставления информации направления по п.1, способа предоставления информации направления по п.12, компьютерной программы для предоставления информации направления по п.13, устройства для оценки пространственной позиции по п.14, способа оценки пространственной позиции по п.15 и компьютерной программы для оценки пространственной позиции по п.16.

Предложено устройство для предоставления информации направления на основании воспроизведенного аудиосигнала с внедренным водяным знаком. Это устройство содержит процессор сигналов, приспособленный для обработки по меньшей мере двух принятых аудиосигналов с водяными знаками, записанных по меньшей мере двумя аудиоприемниками в различных пространственных позициях. Аудиоприемники приспособлены для записи звуковых волн воспроизведенного аудиосигнала для получения принятых аудиосигналов с водяными знаками. Каждый принятый аудиосигнал с водяными знаками содержит внедренный водяной знак. Процессор сигналов приспособлен для обработки принятых аудиосигналов с водяными знаками для получения специфичной для приемника информации для каждого принятого аудиосигнала с водяными знаками. Кроме того, специфичная для приемника информация зависит от внедренных водяных знаков, внедренных в принятые аудиосигналы с водяными знаками. Кроме того, это устройство содержит средство предоставления информации направления для предоставления информации направления на основании специфичной для приемника информации для каждого принятого аудиосигнала с водяными знаками.

В одном из вариантов осуществления изобретения описан способ, используемый для определения информации направления, например, направления прихода (DoA) аудиосигнала, воспроизведенного громкоговорителем. Сигнал действует в качестве несущей для неслышимого сигнала водяного знака, который был сгенерирован в частотно-временной области. Его записывают массивом микрофонов, содержащим по меньшей мере два микрофона. После этого записи подвергают дополнительной обработке с целью обнаружения внедренного сигнала водяного знака. После того, как водяной знак восстановлен, он может использоваться для оценки направления источника звука относительно ориентации массива. В зависимости от применения, эта концепция может быть дополнительно приспособлена и применена для компоновки, содержащей произвольное количество громкоговорителей.

В одном из вариантов осуществления изобретения процессор сигналов содержит модуль анализа для преобразования принятых аудиосигналов с водяными знаками из временной области в частотно-временную область для получения сигнала передачи частотно-временной области, содержащего множество сигналов поддиапазона. В одном из вариантов осуществления изобретения процессор сигналов может быть приспособлен для определения комплексного числа в качестве специфичной для приемника информации. Например, это комплексное число может указывать значение комплексного коэффициента или усредненного комплексного коэффициента аудиосигнала с водяными знаками, записанного одним из аудиоприемников. В еще одном варианте осуществления изобретения процессор сигналов может быть приспособлен для определения информации фазы, в качестве специфичной для приемника информации. Например, этой информацией фазы может являться значение фазы или усредненное значение фазы аудиосигнала с водяными знаками, записанного одним из аудиоприемников. В еще одном варианте осуществления изобретения процессор сигналов может быть приспособлен для определения значения амплитуды или усредненного значения амплитуды аудиосигнала с водяными знаками, записанного одним из аудиоприемников, в качестве специфичной для приемника информации.

Согласно одному из вариантов осуществления изобретения, процессор сигналов приспособлен для определения усредненного значения фазы в качестве информации фазы, на основании определенного усредненного комплексного коэффициента. Процессор сигналов может быть приспособлен для генерации усредненного комплексного коэффициента посредством определения усредненного периодического блока, содержащего обработанные комплексные коэффициенты сигнала поддиапазона.

В одном из вариантов осуществления изобретения процессор сигналов приспособлен для определения усредненных комплексных коэффициентов посредством объединения по меньшей мере двух обработанных комплексных коэффициентов сигнала поддиапазона, при этом обработанные комплексные коэффициенты имеют равные значения фазы или значения фазы, которые отличаются не более, чем на 0,5 радиана. Кроме того, процессор сигналов может быть приспособлен для генерации обработанных комплексных коэффициентов посредством изменения значения фазы комплексного коэффициента на предопределенное число, например, на 180°, когда в качестве схемы модуляции используется диаметрально противоположная двоичная фазовая манипуляция (BPSK), или на надлежащее значение фазы в зависимости от используемой схемы модуляции и от известной внедренной последовательности.

Согласно одному из вариантов осуществления изобретения, процессор сигналов приспособлен для определения позиции попадания в синхронизацию, которая указывает позицию комплексного коэффициента, кодирующего первый бит сигнатуры водяного знака.

Средство предоставления информации направления может быть приспособлено для использования значений фазы для определения и предоставления информации направления. Кроме того средство предоставления информации направления может быть приспособленным для предоставления вектора направления прихода в качестве информации направления.

Кроме того, предложен способ предоставления информации направления. Этот способ содержит этапы, на которых принимают аудиосигналы с водяными знаками, причем каждый принятый аудиосигнал с водяными знаками содержит внедренный водяной знак, обрабатывают по меньшей мере два принятых аудиосигнала с водяными знаками, записанных по меньшей мере двумя аудиоприемниками в различных пространственных позициях, для определения специфичной для приемника информации для каждого принятого аудиосигнала с водяными знаками, при этом специфичная для приемника информация зависит от внедренных водяных знаков, внедренных в принятые аудиосигналы с водяными знаками, и предоставляют информацию направления на основании специфичной для приемника информации для каждого принятого аудиосигнала с водяными знаками.

Кроме того, предложено устройство для оценки пространственной позиции. Это устройство содержит устройство для предоставления информации направления согласно одному из вариантов осуществления изобретения и средство оценки позиции для оценки позиции устройства для оценки пространственной позиции, при этом средство оценки позиции приспособлено для оценки позиции устройства для оценки пространственной позиции на основании информации направления, предоставленной устройством для предоставления информации направления.

Концепция оценки пространственной позиции основана на определении позиции массива микрофонов в пространстве при записи при условии, что имеется достаточное количество громкоговорителей, и что их пространственные позиции являются известными. Например, для определения позиции массива микрофонов в общей плоскости могут использоваться три громкоговорителя. Следует упомянуть, что предложенная концепция не ограничена определением азимута. В дополнение к этому, может быть произведена оценка возвышения в зависимости от используемого способа оценки направления.

Кроме того, предложен способ оценки пространственной позиции. Этот способ содержит этапы, на которых принимают аудиосигналы с водяными знаками посредством использования массива из по меньшей мере двух аудиоприемников, причем каждый принятый аудиосигнал с водяными знаками содержит внедренный водяной знак; обрабатывают по меньшей мере два принятых аудиосигнала с водяными знаками, записанных по меньшей мере двумя аудиоприемниками в различных пространственных позициях, для определения специфичной для приемника информации для каждого принятого аудиосигнала с водяными знаками, при этом специфичная для приемника информация зависит от внедренных водяных знаков, внедренных в принятые аудиосигналы с водяными знаками; предоставляют информацию направления на основании специфичной для приемника информации для каждого принятого аудиосигнала с водяными знаками; и оценивают позицию массива из по меньшей мере двух аудиоприемников, при этом позицию определяют на основании информации направления.

Примерами возможных областей применения являются, например, игрушки, которые могут реагировать на воспроизведение некоторого аудиосигнала, например, двигающаяся кукла может двигать своей головой по направлению к телевизору при показе некоторого телевизионного сериала.

Еще одним примером применения является калибровка системы воспроизведения: настоящее изобретение может использоваться для автоматической калибровки системы воспроизведения, например, установки для организации телеконференций или системы домашнего кинотеатра, во время уже проходящего сеанса конференц-связи или во время воспроизведения аудиоэлемента. В этом случае отсутствует необходимость в предыдущей калибровке.

Кроме того, каналы аудиосигнала могут быть регулированы либо для усиления, либо для ослабления звука из некоторых громкоговорителей, расположенных в некоторых позициях, в зависимости от предоставленной информации направления. Кроме того, система может проинструктировать пользователя о том, как следует оптимально разместить громкоговорители акустической системы в зависимости от предоставленной информации направления.

Еще одним примером применения является вышеописанное устройство для оценки пространственной позиции.

Предпочтительные варианты осуществления изобретения будут объяснены со ссылкой на чертежи, на которых изображено следующее:

на Фиг.1 показана принципиальная блок-схема устройства для предоставления информации направления согласно одному из вариантов осуществления изобретения,

на Фиг.2 проиллюстрировано устройство для предоставления информации направления в сценарии применения согласно одному из вариантов осуществления изобретения,

на Фиг.3a-3c проиллюстрирован водяной знак с растяжением по частоте и с растяжением по времени,

на Фиг.4 показан модулятор для генерации сигнала водяного знака,

на Фиг.5 изображено устройство генерации сигнала с водяными знаками,

на Фиг.6a-6b проиллюстрировано устройство для предоставления информации направления в дополнительных сценариях применения согласно вариантам осуществления изобретения,

на Фиг.7 проиллюстрированы компоненты устройства для предоставления информации направления согласно одному из вариантов осуществления изобретения,

на Фиг.8a приведен пример общего представления о местоположении коэффициентов на частотно-временной плоскости в случае использования избыточной дискретизации согласно одному из вариантов осуществления изобретения,

на Фиг.8b проиллюстрирован сигнал поддиапазона частотно-временной области, содержащий внедренные водяные знаки,

на Фиг.9a-9d изображены сигнатуры водяных знаков, блоки синхронизации, периодические блоки и усредненный блок синхронизации согласно одному из вариантов осуществления изобретения,

на Фиг.10 проиллюстрированы мультиплексированные водяные знаки согласно одному из вариантов осуществления изобретения,

на Фиг.11a-11b показаны принципиальные блок-схемы альтернативных вариантов реализации узла поддержки синхронизации,

на Фиг.11c показана принципиальная блок-схема коррелятора сигнатуры синхронизации,

на Фиг.12a показано графическое представление задачи нахождения совмещения по времени водяного знака,

на Фиг.12b показано графическое представление задачи идентификации начала сообщения,

на Фиг.12c показано графическое представление данных, используемых для синхронизации,

на Фиг.12d показано графическое представление концепции идентификации попадания в синхронизацию,

на Фиг.13a показано графическое представление примера сжатия по времени,

на Фиг.13b показано графическое представление примера поэлементного перемножения битов и последовательностей растяжения,

на Фиг.13c показано графическое представление выходного сигнала коррелятора сигнатуры синхронизации после усреднения по времени,

на Фиг.13d показано графическое представление выходного сигнала коррелятора сигнатуры синхронизации, отфильтрованного посредством автокорреляционной функции сигнатуры синхронизации,

на Фиг.14 проиллюстрировано соотношение периодических блоков, содержащих дифференциально декодированные биты, и периодических блоков, содержащих комплексные коэффициенты,

на Фиг.15a изображены комплексные векторы части аудиосигнала, и части сигнала водяного знака,

на Фиг.15b изображен усредненный комплексный вектор частей аудиосигнала, и усредненный комплексный вектор частей сигнала водяного знака,

на Фиг.15c проиллюстрировано интегрирование выборок на различных этапах,

на Фиг.15d проиллюстрированы два проинтегрированных вектора комплексных коэффициентов различных поддиапазонов,

на Фиг.16 проиллюстрированы шесть микрофонов, расположенных вдоль осей декартовой системы координат,

на Фиг.17 показано определение азимута в плоскости xy согласно одному из вариантов осуществления изобретения,

на Фиг.18a-18d изображены векторы направления прихода, определенные согласно одному из вариантов осуществления изобретения,

на Фиг.19 проиллюстрирована оценка позиции согласно одному из вариантов осуществления изобретения,

на Фиг.20a-20b изображены задачи оценки позиции и их решения,

на Фиг.21 проиллюстрировано устройство для оценки позиции согласно одному из вариантов осуществления изобретения, и

на Фиг.22 проиллюстрировано устройство для оценки пространственной позиции согласно одному из вариантов осуществления изобретения.

1. Устройство для предоставления информации направления согласно Фиг.1

На Фиг.1 проиллюстрировано устройство 100 для предоставления информации направления на основании воспроизведенного аудиосигнала с внедренным водяным знаком согласно одному из вариантов осуществления изобретения. Устройство 100 содержит процессор 110 сигналов. Процессор 110 сигналов приспособлен для обработки по меньшей мере двух принятых аудиосигналов rx1, rx2 с водяными знаками, записанных по меньшей мере двумя аудиоприемниками в различных пространственных позициях. Эти по меньшей мере два аудиоприемника приспособлены для записи звуковых волн воспроизведенного аудиосигнала для получения по меньшей мере двух принятых аудиосигналов с водяными знаками. Каждый принятый аудиосигнал rx1, rx2 с водяными знаками содержит внедренный водяной знак. Кроме того, процессор 110 сигналов приспособлен для обработки принятых аудиосигналов с водяными знаками для получения специфичной для приемника информации rsi1, rsi2 для каждого принятого аудиосигнала rx1, rx2. Специфичная для приемника информация rsi1, rsi2 зависит от водяных знаков, внедренных в принятые аудиосигналы rx1, rx2 с водяными знаками. Кроме того, устройство 100 для предоставления информации направления содержит средство 120 предоставления информации направления. Средство предоставления информации направления приспособлено для предоставления информации di направления на основании специфичной для приемника информации rsi1, rsi2 для каждого принятого аудиосигнала rx1, rx2.

2. Сценарий применения согласно Фиг.2:

На Фиг.2 проиллюстрирован сценарий, в котором устройство 100 для предоставления информации направления принимает два аудиосигнала rx1, rx2 с водяными знаками из двух аудиоприемников 221, 222. На Фиг.2 аудиосигнал awm, содержащий водяной знак, воспроизводится громкоговорителем 210 в виде звуковых волн sw. Звуковые волны sw записываются по меньшей мере двумя аудиоприемниками 221, 222, например, двумя микрофонами, для получения по меньшей мере двух принятых аудиосигналов rx1, rx2. Каждый принятый аудиосигнал rx1, rx2 содержит внедренный водяной знак.

Принятые аудиосигналы rx1, rx2 с водяными знаками затем вводят в процессор 110 сигналов устройства 100 для предоставления информации направления. Процессор 110 сигналов приспособлен для обработки принятых аудиосигналов rx1, rx2 с водяными знаками для получения специфичной для приемника информации rsi1, rsi2 для каждого принятого аудиосигнала rx1, rx2 с водяными знаками. Специфичной для приемника информацией может являться информация фазы, зависящая от водяного знака, содержащегося в принятых аудиосигналах с водяными знаками. Кроме того, информация фазы зависит от пространственной позиции аудиоприемников. Например, звуковая волна воспроизведенного аудиосигнала, содержащего водяной знак, может поступать в первый аудиоприемник 221 немного ранее, чем во второй аудиоприемник 222. Следовательно, водяной знак в первом принятом сигнале rx1 принимают немного раньше, чем во втором принятом сигнале rx2. В общем, оба принятых сигнала rx1, rx2 являются весьма схожими. Однако, поскольку оба сигнала являются немного смещенными по времени друг относительно друга, то преобразование обоих принятых сигналов rx1, rx2 из временной области в частотно-временную область приводит, как правило, к различным значениям фазы обоих сигналов частотной области для одного и того же поддиапазона частот и индекса времени.

Процессор 110 сигналов подает специфичную для приемника информацию rsi1, rsi2 средству 120 предоставления информации направления. Средство 120 предоставления информации направления приспособлено для предоставления информации di направления на основании специфичной для приемника информации rsi1, rsi2 для каждого принятого аудиосигнала rx1, rx2. Например, информация di направления может быть предоставлена на основании информации фазы. Значение первой фазы первого принятого сигнала rx1 и значение второй фазы второго принятого сигнала rx2 могут быть обработаны, например, путем вычисления разности фаз. На основании вычисленной разности фаз средство 120 предоставления информации направления может определять информацию di направления. Например, могут быть определены возможные направления, откуда могут исходить звуковые волны воспроизведенного аудиосигнала.

3. Генерация водяного знака:

Ниже, для предоставления информации уровня техники о водяных знаках, генерация водяного знака в кодере объяснена со ссылкой на чертежи, изображенные на Фиг.3a-5. Способы обеспечения водяных знаков, генерирующие водяной знак в частотно-временной области, представлены в заявках на европейские патенты, номера заявок № 10154953.3, № 10154960.8, № 10154964.0, № 10154948.3, № 10154956.6 и № 10154951.7, которые включены в данный документ путем ссылки.

По существу, водяной знак представляет собой закодированную битовую сигнатуру, которая скрыта в другом сигнале, например, аудиосигнале. Эта битовая сигнатура может быть закодирована посредством использования множества диапазонов (полос) частот (поддиапазонов).

На Фиг.3a-3c проиллюстрированы двоичные значения сигнатуры водяного знака, которые должны быть кодированы в различных диапазонах частот. Несмотря на то, что водяной знак может использоваться для передачи информации, основное внимание в приведенном ниже описании будет сосредоточено на аспекте использования водяного знака для передачи сигнатуры водяного знака.

В общем, сигнатура водяного знака может представлять собой произвольную последовательность битов, например, следующую последовательность битов: [1, 1, -1, 1, -1, -1]. Соответствующая сигнатура 310 водяного знака проиллюстрирована на Фиг.3a.

Последовательность битов водяного знака расширяется по частоте посредством использования последовательности растяжения. Например, для растяжения сигнатуры водяного знака до m диапазонов частот может использоваться вектор растяжения, содержащий m значений. В простейшем случае может использоваться вектор растяжения, содержащий только лишь единицы, например, [1, 1, 1], а это приводит к тому, что сигнатура водяного знака копируется для каждого соответствующего диапазона частот. В более сложном варианте осуществления вектор растяжения может также содержать "минус единицы", например, [1, -1, 1], а это приводит к тому, что сигнатуру водяного знака инвертируют перед копированием для ее кодирования в соответствующем диапазона частот для соответствующих битов "-1". На Фиг.3b проиллюстрирована вышеупомянутая сигнатура водяного знака с растяжением по частоте посредством использования вектора растяжения [1, -1, 1, -1], для получения водяного знака 320 с растяжением по частоте.

Растяжение водяного знака с растяжением по частоте также может быть выполнено во временной области посредством использования вектора растяжения. Например, посредством использования вектора [1, -1] для растяжения во времени каждая из сигнатур водяных знаков с растяжением по частоте сначала может быть закодирована в ее исходном виде, а затем может быть инвертирована для ее кодирования. На Фиг.3c проиллюстрирована сигнатура 330 водяного знака с растяжением по частоте и с растяжением по времени, в которой растяжение во времени было выполнено посредством использования вектора растяжения [1, -1].

После растяжения по частоте и, возможно, по времени сигнатура водяного знака может быть повторно закодирована.

Различные последовательности битов могут быть дифференциально закодированы. Дифференциальный кодер может выполнять дифференциальное кодирование битов. Этот этап дает системе дополнительную устойчивость к сдвигам фазы вследствие перемещения или рассогласований гетеродина. Если b(i;j) представляет собой бит для i-того диапазона частот и j-того временного интервала, то выходной бит b_diff(i;j) равен

b_diff(i,j) = b_diff(i,j-1)·b(i,j).

В начале потока, то есть для j=0, b_diff(i,j-1) установлен в 1.

Модулятор 307 выполняет реальную модуляцию, то есть генерацию формы сигнала водяного знака в зависимости от двоичной информации, заданной на его входе. Более подробная схема соответствующего модулятора приведена на Фиг.4. N_f параллельных вводов 401-40N_f содержат потоки битов для различных поддиапазонов. Каждый бит потока каждого поддиапазона подвергают обработке блоком (411-41N_f) формирования битов. Выходными сигналами блоков формирования битов являются формы волны во временной области. Форма волны, генерируемая для j-того временного интервала и i-того поддиапазона, обозначенная как s_i;j(t), вычисляют на основании входного бита b_diff(i,j) следующим образом:

s_i,j(t) = b_diff(i,j)γ(i,j)·g_i(t-j·T_b),

где γ(i;j) - весовой коэффициент, предоставленный узлом психоакустической обработки, T_b - интервал времени прохождения бита, а g_i(t) - формирующая биты функция для i-того поддиапазона. Формирующую биты функцию получают из функции g_i ^T(t) полосы частот модулирующих сигналов, модулированной по частоте косинусом

g_i(t)=g_i ^T(t)·cos(2πf_it),

где f_i - центральная частота i-того поддиапазона, и надстрочный индекс T означает передатчик. Функции полосы частот модулирующих сигналов могут быть различными для каждого поддиапазона. Если они выбраны идентичными, то возможен более эффективный вариант реализации в декодере.

Описанный выше процесс внедрения относится к схеме модуляции диаметрально противоположной BPSK, то есть, где закодированный бит информации просто изменяет знак формирующей биты функции. В альтернативном варианте два или более битов могут быть сгруппированы, и может использоваться созвездие модуляции более высокого порядка (например, квадратурная амплитудная модуляция (QAM) или М-позиционная фазовая манипуляция (M-PSK)). По-прежнему может применяться дифференциальное кодирование, как обычно делают, например, при квадратурной фазовой манипуляции (QPSK) с дифференциальным кодированием.

Формирование бита для каждого бита повторяют итерационным процессом, управляемым модулем 102 психоакустической обработки. Итерации могут быть необходимыми для точной настройки весов γ(i,j) для назначения водяному знаку как можно большего количества энергии, сохраняя его неслышимым.

Полный сигнал на выходе i-того фильтра 41i формирования битов равен

Формирующая биты функция g_i ^T(t) полосы частот модулирующих сигналов обычно является ненулевой для промежутка времени, намного большего, чем T_b, хотя основная энергия сконцентрирована в пределах межбитового интервала. Пример можно видеть на Фиг.9a, где изображен график аналогичной формирующей биты функции полосы частот модулирующих сигналов для двух смежных битов. На Фиг.9a T_b=40 мс. Выбор T_b, а также форма функции, оказывают существенное влияние на систему. Фактически, более длинные символы обеспечивают более узкие частотные характеристики. Это является особенно полезным в реверберационных средах. Фактически, в таких сценариях сигнал с водяными знаками достигает микрофона по нескольким траекториям распространения, каждая их которых характеризуется различным временем распространения. Полученный в результате этого канал имеет сильную избирательность по частоте. При интерпретации во временной области полезными являются более длинные символы, поскольку эхо-сигналы с задержкой, сопоставимой с межбитовым интервалом, приводят к усиливающей интерференции, а это означает, что они увеличивают энергию принятого сигнала. Несмотря на это, более длинные символы также приводят к некоторым недостаткам; большие наложения могут приводить к межсимвольным помехам (ISI), и наверняка их труднее скрыть в аудиосигнале, вследствие чего модуль психоакустической обработки предоставляет меньше энергии, чем для более коротких символов.

Сигнал водяного знака получают путем суммирования всех выводов фильтров формирования битов

На Фиг.5 показана принципиальная блок-схема средства 500 вставки водяного знака. На стороне кодера в блоке 501 обработки (также обозначенном как генератор водяных знаков) генерируют сигнал 501b водяного знака из двоичных данных 501a и на основании информации 504, 505, обмен которой произведен с модулем 502 психоакустической обработки. Информация, предоставленная из блока 502, обычно гарантирует, что водяной знак является неслышимым. Водяной знак, сгенерированный генератором 501 водяных знаков, добавляют к аудиосигналу 506.

Как уже упомянуто выше, весовые коэффициенты γ(i,j) необходимы для вычисления форм волны s_i;j(t) для каждого поддиапазона. Весовые коэффициенты γ(i, j) предназначены для скрытия водяного знака, неслышимого в результирующем сигнале 507 с водяными знаками. Весовые коэффициенты γ(i,j) предоставляет модуль 502 психоакустической обработки, который содержит 3 части. Первой частью является модуль анализа, который преобразовывает аудиосигнал времени в частотно-временную область. Этот модуль анализа может выполнить параллельные процедуры анализа с различной разрешающей способностью по времени/частоте. После модуля анализа данные о времени/частоте передают в психоакустическую модель (PAM), в которой вычисляют пороги маскирования для сигнала водяного знака, исходя из психоакустических соображений. Пороги маскирования указывают количество энергии, которое может быть скрыто в аудиосигнале для каждого поддиапазона и временного интервала. Последним блоком в модуле 502 психоакустической обработки является модуль вычисления амплитуды. Этот модуль определяет усиления по амплитуде, которые должны быть использованы при генерации сигнала водяного знака для удовлетворения порогов маскирования, то есть, чтобы внедренная энергия была меньшей или равной энергии, определяемой порогами маскирования.

На Фиг.6a для воспроизведения аудиосигнала awm с водяными знаками используется одиночный громкоговоритель 610. В качестве первого этапа, сигнал wm водяного знака объединяется с аудиосигналом a посредством узла 605 объединения для получения аудиосигнала awm с водяными знаками. Сигнал wm водяного знака мог быть создан так, как описано со ссылкой на Фиг.3a-4. Сигнал awm с водяными знаками мог быть сгенерирован генератором водяных знаков так, как описано со ссылкой на Фиг.5. Например, сигнал wm водяного знака мог быть добавлен к аудиосигналу a.

Аудиосигнал awm с водяными знаками, полученный в результате объединения, выполненного узлом 605 объединения, затем воспроизводят при помощи громкоговорителя 610 и записывают датчиками 621, 622,..., 62N, например, N микрофонами из массива микрофонов, получая N сигналов s₁, s₂,..., s_N. Записанные сигналы s₁, s₂,..., s_N не только содержат сигналы с водяными знаками из громкоговорителя, но также содержат и создающий помехи шум, например, от говорящих людей в комнате и вследствие эффектов, вызванных реверберацией. Записанные сигналы s₁, s₂,..., s_N затем вводят в устройство 100 для предоставления информации направления согласно варианту осуществления. Устройство 100 определяет и выводит информацию направления, например, оно может определять и выводить направление прихода (DoA).

Однако в других конфигурациях множественные громкоговорители 611, 612,..., 61N могут быть приспособлены для вывода множественных сигналов awm₁, awm₂,..., awm_M с водяными знаками. Это проиллюстрировано на Фиг.6b. Различные сигналы wm₁, wm₂,..., wm_M водяных знаков добавляют к аудиосигналам a₁, a₂,..., a_M, например, панорамируемые каналы аудиоэлемента используют для воспроизведения в системе домашнего кинотеатра. Обработка для данного сценария является аналогичной той ситуации, когда сигнал с водяными знаками воспроизводит только один громкоговоритель.

4. Устройство для предоставления информации направления согласно Фиг.7:

На Фиг.7 проиллюстрировано устройство 100 для предоставления информации направления согласно варианту осуществления. Проиллюстрировано множество принимаемых аудиосигналов s₁, s₂,..., s_N с водяными знаками, например, сигналов, которые могли быть записаны микрофонами 621, 622..., 62N, изображенными на Фиг.6. Принятые сигналы s₁, s₂,..., s_N с водяными знаками, которые представлены во временной области, вводят в модули 711, 712,..., 71N анализа для преобразования в частотно-временную область и для нормализации.

4.1 Модули 711, 712,..., 71N анализа:

Для объяснения модулей 711, 712,..., 71N анализа рассмотрен один из принятых аудиосигналов с водяными знаками. Один из модулей анализа преобразовывает аудиосигнал с водяными знаками из временной области в частотно-временную область посредством использования блока фильтров для разложения сигнала. Вводом блока фильтров является соответствующий аудиосигнал с водяными знаками. Его выводом являются комплексные коэффициенты b_i ^AFB(j) для i-той ветви или поддиапазона в момент j времени. Эти значения содержат информацию об амплитуде и фазе сигнала на центральной частоте f_i и во время j·T_b.

Блок фильтров содержит N_f ветвей, по одной для каждого спектрального поддиапазона i. Каждая ветвь разд