Формирование сигнала водяного знака и встраивание водяного знака

Формирование сигнала водяного знака и встраивание водяного знака

Иллюстрации

Показать все

Реферат

Область техники

Заявляемое изобретение относится к устройству формирования (провайдеру) сигнала водяного знака, предназначенному для предоставления сигнала водяного знака и для встраивания водяного знака с помощью сигнала водяного знака.

Предшествующий уровень техники

Во многих технических приложениях существует необходимость введения дополнительной информации в данные или в сигнал, представляющий полезные данные, или „основные данные", такие как, например, аудиосигнал, видеосигнал, графика, показания измерений и тому подобное. Часто требуется, чтобы подобного рода дополнительная информация, привязываемая к основным данным (в частности, к аудиоданным, видеоданным, к данным изображения, данным измерений, к текстовой информации и прочее), вводилась таким образом, чтобы она была незаметной для пользователя этими данными. Более того, в ряде случаев желательно, чтобы присоединенная информация не могла быть удалена из основных данных (тех же аудиоданных, видеоданных, данных изображения, данных измерения и так далее).

В особенности это относится к приложениям, где необходима электронная защита авторских прав. Более того, иногда введение в полезные данные важной дополнительной, не воспринимаемой органами чувств, сопутствующей информации просто необходимо. Таким случаем является, например, включение в аудиоконтент служебной информации, содержащей сведения о источнике предлагаемой фонограммы, ее содержимом, о правах, которыми обременен данный аудиоконтент и т.п.

Концепция внедрения дополнительных сведений в полезные данные или в „основные данные" получила название „watermarking", то есть, буквально - „нанесение водяных знаков" (маркировка водяными знаками / введение водяного знака). Обсуждение в специализированной литературе методик защиты водяными знаками затрагивает большое число видов полезной информации, как то - фонограммы, видеоматериалы, изображения, тексты и тому подобное.

Дальше дан ряд ссылок на публикации концепций применения цифровых водяных знаков. Сюда относится также широкий спектр пособий, руководств и иных изданий, подробно рассматривающих вопросы электронной защиты водяными знаками.

DE 19640814 C2 описывает метод кодирования, при котором в аудиосигнал вводят незвуковой сигнал данных, и метод декодирования сигнала данных, сопутствующего аудиосигналу в незвуковой форме. Метод кодирования для введения незвукового сигнала данных в звуковой сигнал состоит в преобразовании звукового сигнала в спектральное представление. Данный метод кодирования также включает в себя определение порога маскирования аудиосигнала и подачу псевдошумового сигнала. Этот метод кодирования, кроме того, включает в себя введение сигнала данных и умножение псевдошумового сигнала на сигнал данных с получением сигнала данных с частотным расширением. Метод кодирования наряду с этим включает в себя взвешивание сигнала данных расширения с порогом маскирования и перекрыванием аудиосигнала и сигнал взвешенных данных.

В дополнение к этому, в WO 93/07689 описаны способ и устройство автоматической идентификации программы, передаваемой радиостанцией или телевизионным каналом или записанной на носителе, путем добавления к звуковому сигналу программы неслышимого кодированного сообщения, идентифицирующего канал телевещания или радиостанцию, программу и/или точную дату. При реализации согласно указанному документу звуковой сигнал передают через аналого-цифровой преобразователь на процессор, предусматривающий возможность дробления частотных составляющих и изменения энергии некоторых частотных составляющих на расчетную величину с формированием кодированного сигнала идентификации. Выход процессора соединен через цифроаналоговый преобразователь со звуковым выходом для передачи звукового сигнала в эфир или для записи фонограммы. В другом варианте решения по рассматриваемому документу применяют аналоговую полосу пропускания для выделения частотной полосы звукового сигнала, в которой энергия может быть изменена для кодирования звукового сигнала.

В US 5450490 описаны устройство и способы введения кода, имеющего, по меньшей мере, одну кодовую частотную составляющую в аудиосигнале. Разные частотные составляющие аудиосигнала оцениваются на возможность маскировать кодовую частотную составляющую для человеческого слуха, и на основании этих оценок задается амплитуда кодовой частотной составляющей. Также дано описание способов и устройства распознавания кода в закодированном аудиосигнале. Кодовую частотную составляющую кодированного аудиосигнала распознают, основываясь на ожидаемой кодовой амплитуде или на амплитуде помехи в диапазоне звуковых частот, включающем в себя частоту кодирующей составляющей.

В WO 94/11989 рассмотрены способ и устройство кодирования/декодирования транслируемых или записанных звуковых фрагментов и мониторинга расположения их слушателей. Описаны способы и устройство кодирования и декодирования информации в составе радиопередач или в составе записанных сигналов звукового фрагмента. В схемотехнической версии, описанной в документе, система мониторирования аудитории кодирует идентифицирующую информацию как составляющую аудиосигнала радиопередачи или фрагмента фонограммы с использованием кодирования расширенного спектра (широкополосное кодирование). Устройство мониторинга принимает акустически воспроизведенную версию радиопередачи или записанного сигнала через микрофон, декодирует идентифицирующую информацию составляющей аудиосигнала независимо от наличия окружающего фонового шума и вносит эту информацию в память, автоматически ведя на данного участника аудитории дневник (журнал), который позже загружается в централизованное системное устройство. Другое устройство мониторинга декодирует дополнительную информацию сигнала радиопередачи, соотнесенную со сведениями дневника аудитории в центральном системном устройстве. Этот монитор может одновременно отправлять данные на централизованное системное устройство, используя телефонную линию модемной связи, и принимать данные от централизованного системного устройства через сигнал, закодированный с использованием технологии расширенного спектра и модулированный по сигналу радиопередачи от третьего лица.

WO 95/27349 раскрывает устройство и способы введения кодов в аудиосигналы и декодирования. Описаны устройство и способы введения кода, имеющего, по меньшей мере, одну кодирующую частотную составляющую в аудиосигнале. Выполняется оценивание способности разных частотных составляющих аудиосигнала маскировать кодовую частотную составляющую для слуха человека, и на базе результатов такого оценивания каждой из кодирующих частотных составляющих присваивается амплитуда. Также дано описание способов и устройства распознавания кода в закодированном аудиосигнале. Кодовую частотную составляющую кодированного аудиосигнала распознают, основываясь на ожидаемой кодовой амплитуде или на амплитуде помехи в диапазоне звуковых частот, включающем в себя частоту кодирующей составляющей.

Тем не менее, при введении информации водяного знака во время-частотную спектрограмму акустического сигнала такую информацию трудно скрыть порогом маскирования или найти оптимальное соотношение между максимально допустимой энергией встроенных данных водяного знака, необходимой для обеспечения их экстрагируемое™ на стороне декодера, и сохранением их за пределами слышимости при воспроизведении аудиосигнала, маркированного водяным знаком.

Краткое описание изобретения

В сложившейся ситуации цель настоящего изобретения - предложить схему формирования сигнала водяного знака и механизм встраивания водяного знака с использованием сигнала водяного знака, что позволило бы оптимально сбалансировать возможность вычленения сигнала водяного знака и отсутствие его воздействия на слух.

Поставленная цель достигается за счет применения формирователя сигнала водяного знака по пункту 1 формулы изобретения, устройства маркировки водяным знаком по пункту 8, способов по п. 9 или 10 и компьютерной программы по п. 11.

В данном изобретении реализован формирователь сигнала водяного знака, предназначенный для формирования сигнала водяного знака, скрытно вводимого в аудиосигнал и несущего данные водяного знака; конструктивно включающий в себя психоакустический процессор, который оценивает порог маскирования аудиосигнала; и модулятор, который генерирует сигнал водяного знака, исходя из суперпозиции функций, формирующих отсчеты, отстоящих друг от друга на величину временного отсчета дискретно-временного представления данных водяного знака, при этом амплитуда каждой формирующей отсчет функции взвешена путем умножения соответствующего отсчета дискретно-временного представления на соответствующий вес амплитуды в зависимости от порога маскирования; причем модулятор характеризуется тем, что величина отсчета времени - короче временного расширения функций формирования отсчетов; а соответствующий амплитудный вес зависит также от отсчетов дискретно-временного представления, граничащих с соответствующим отсчетом по времени.

Идея данного изобретения состоит в том, что оптимальное соотношение между экстрагируемостью и отсутствием воздействия на слух сигнала водяного знака может быть достигнуто путем подбора амплитудных весов для функций формирования отсчетов, составляющих в суперпозиции сигнал водяного знака, не только в зависимости от порога маскирования, но и в зависимости от отсчетов дискретно-временного представления данных водяного знака, смежных с соответствующим отсчетом. В силу этого функции формирования смежных отсчетов могут перекрывать друг друга, то есть дискрет времени может быть короче временного расширения функции, формирующей отсчет, поскольку, несмотря на это, взаимное влияние таких граничащих между собой формирующих отсчеты функций может быть компенсировано за счет дискретов дискретно-временного представления, соседних с взвешиваемым в текущий момент отсчетом, при задании веса амплитуды. Более того, поскольку функции формирования отсчетов допускают большее расширение по времени, их частотные характеристики могут быть сужены, благодаря чему экстрагируемость сигнала водяного знака может регулироваться по интенсивности в зависимости от реверберации, то есть когда маркированный водяным знаком аудиосигнал воспроизводят в реверберирующей среде. Другими словами, зависимость индивидуального амплитудного веса не только от порога маскирования, но и от отсчетов дискретно-временного представления данных водяного знака, примыкающих к соответствующему отсчету, позволяет компенсировать слышимую интерференцию смежных функций формирования отсчетов, которая в противном случае могла бы привести к нарушению порога маскирования.

Краткое описание чертежей

Далее, варианты технических решений в соответствии с предлагаемым изобретением будут описаны со ссылкой на прилагаемые чертежи, где на фиг.1 дана принципиальная блочная схема устройства ввода водяного знака согласно изобретению; на фиг.2 дана принципиальная блочная схема декодера водяных знаков согласно изобретению; на фиг.3 дана более подробная принципиальная блочная схема генератора водяных знаков согласно изобретению; на фиг.4 дана подробная принципиальная блочная схема модулятора как элемента схемотехники изобретения; на фиг.5 дана блок-схема рабочего цикла психоакустического процессора как элемента схемотехники изобретения; на фиг.6 дана блок-схема рабочего цикла процессора психоакустической модели как элемента схемотехники изобретения; на фиг.7 отображен график зависимости спектральной плотности мощности аудиосигнала на выходе блока 801 от частоты; на фиг.8 отображен график зависимости спектральной плотности мощности аудиосигнала на выходе блока 802 от частоты; на фиг.9 дана блок-схема расчета амплитуды; на фиг.10а показана принципиальная схема модулятора; на фиг.10b графически представлен пример распределения коэффициентов на время-частотной плоскости; на фиг.11а и 11b в принципиальных блочных схемах представлено альтернативное конструктивное решение модуля синхронизацищфиг.12а графически отображает задачу временного выравнивания водяного знака; фиг.12b графически отображает задачу идентификации начала сообщения;фиг.12 с графически иллюстрирует построение временного соответствия последовательностей синхронизации в режиме синхронизации полного сообщения; фиг.12d графически иллюстрирует построение временного соответствия последовательностей синхронизации в режиме синхронизации неполного сообщения; на фиг.12е графически представлены входные данные модуля синхронизации; на фиг.12f графически представлена концепция идентификации точки синхронности; на фиг.12g дана принципиальная блочная схема коррелятора сигнатуры синхронизации (маркировки совпадения); фиг. 13а графически иллюстрирует пример временной свертки; фиг.13b графически иллюстрирует пример поэлементного перемножения битов и последовательностей расширения; на фиг.13 с представлен график сигнала на выходе коррелятора сигнатуры синхронизации после усреднения по времени; на фиг.13d представлен график сигнала на выходе коррелятора сигнатуры синхронизации после фильтрации с использованием функции автокорреляции сигнатуры синхронизации; на фиг.14 дана принципиальная блочная схема конструктивного решения экстрактора водяного знака в соответствии с изобретением;фиг.15 схематически отображает выбор части представления во время-частотной области в качестве кандидатного сообщения; на фиг.16 показана принципиальная блочная схема модуля анализа; на фиг. Показана спектрограмма выходного сигнала коррелятора синхронизации; на фиг.17b схематически отображены декодированные сообщения; на фиг.17 с графически отображено положение синхронизации, выделенное из сигнала с водяным знаком; на фиг.18а графически представлены полезная информация, полезная информация с конечной последовательностью Витерби, полезная информация в кодировке по Витерби и полезная нагрузка в кодировке по Витерби в закодированной с повторениями версии; на фиг.18b графически отображены поднесущие частоты, используемые для введения маркированного водяным знаком сигнала; на фиг.19 графически представлены некодированное сообщение, кодированное сообщение, сообщения синхронизации и сигнал водяного знака, в котором к сообщениям применена последовательность синхронизации; на фиг.20 схематически отображен первый шаг алгоритма так называемой „АВС-синхронизации"; на фиг.21 графически отображен второй шаг алгоритма так называемой „АВС-синхронизации"; на фиг.22 графически отображен третий шаг алгоритма так называемой „АВС-синхронизации"; на фиг.23 показана схема сообщения, содержащего полезную информацию и составляющую CRC; на фиг.24 дана принципиальная блочная схема реализации питателя сигнала водяного знака согласно изобретению; и на фиг.25 дана принципиальная блочная схема реализации устройства маркировки водяным знаком согласно данному изобретению.

Подробное техническое описание

1. Формирование сигнала водяного знака

Далее, дано описание питателя сигнала водяного знака 2400 со ссылкой на фиг.24. В схему питателя сигнала водяного знака 2400 включены психоакустический процессор 2410 и модулятор 2420. Психоакустический процессор 2410 предусматривает прием аудиосигнала 2430, для которого формирователь сигнала водяного знака 2400 должен сформировать сигнал водяного знака 2440. Модулятор 2420, в свою очередь, предусматривает использование порога маскирования, выведенного психоакустическим процессором 2410, для генерации сигнала водяного знака 2440. Модулятор 2420 характеризуется тем, что генерирует сигнал водяного знака 2440 на основе суперпозиции функций формирования отсчетов, отстоящих одна от другой на величину временного отсчета дискретно-временного представления данных водяного знака 2450, отображаемых в сигнале водяного знака 2440. В частности, при генерации сигнала водяного знака 2440 модулятор 2420 использует порог маскирования таким образом, чтобы сигнал водяного знака 2440 при введении его в акустический сигнал 2430 мог быть скрыт в выходном аудиосигнале, маркированном водяным знаком.

Согласно более детальной характеристике, данной ниже, дискретно-временное представление данных водяного знака, фактически, может быть дискретным время-частотным представлением, производным от данных водяного знака 2450 с применением расширения во временной области и/или частотной области. Временная или частотно-временная сетка с координатами отсчетов дискретного временного представления, может быть задана по времени и, что особенно важно, независимо от аудиосигнала 2430. В свою очередь, суперпозиция может быть интерпретирована как свертка дискретного временного представления, отсчеты которого упорядочены на вышеназванной координатной сетке и имеют взвешенные амплитуды, которые, в свою очередь, зависят не только от порога маскирования, но и от соседних по времени отсчетов дискретно-временного представления.

Зависимость амплитудных весов от порога маскирования может быть следующей: амплитудный вес, который подлежит умножению на определенный отсчет дискретно-временного представления в определенном временном блоке, выводят из соответствующего временного блока порога маскирования, который, в свою очередь, сам находится в частотно-временной зависимости. Таким образом, при дискретном время-частотном представлении данных водяного знака каждый отсчет умножают на вес амплитуды, который соответствует порогу маскирования, выбранному в соответствующей позиции частотно-временной решетки этого отсчета в структуре представления водяного знака. В дополнение можно использовать дифференциально-временное кодирование (кодирование по разности во времени), что позволяет выделить дискретное временное представление из данных водяного знака 2450. Более подробно особенности конструктивных решений рассмотрены дальше.

Модулятор 2420 характеризуется способностью генерировать сигнал водяного знака 2440 на основе суперпозиции функций, формирующих отсчеты, таким образом, что амплитуда каждой формирующей отсчет функции взвешивается посредством умножения соответствующего отсчета дискретно-временного представления на соответствующий амплитудный вес в зависимости от порога маскирования, определенного психоакустическим процессором 2410. В частности, модулятор 2420 характеризуется тем, что величина дискрета времени короче временного расширения функции формирования отсчета, и тем, что соответствующий амплитудный вес зависит также от соседних с данным дискретом отсчетов дискретно-временного представления.

Как более подробно изложено ниже, в результате того, что временной отсчет короче, чем временное расширение формирующих отсчет функций, между смежными функциями формирования отсчетов возникает интерференция, увеличивающая вероятность спонтанного преодоления порога маскирования. Тем не менее, такое нарушение порога маскирования компенсируется за счет одновременной зависимости амплитудных весов от смежных с рассматриваемым отсчетов дискретно-временного представления.

Ниже рассмотрено конструктивное решение системы „нанесения" электронных водяных знаков, где вышеупомянутая зависимость реализована через итеративное регулирование амплитудных весов. Для этого психоакустический процессор 2410 выполнен с возможностью устанавливать порог маскирования независимо от данных водяного знака, в то время как модулятор 2420 выполнен с возможностью итеративно регулировать амплитудные веса, предварительно задав амплитудные веса, исходя из порога маскирования, независимо от данных водяного знака. В таком случае модулятор 2420 предусматривает контроль за тем, нарушается ли порог маскирования суперпозицией формирующих отсчеты функций, имеющих амплитуду, взвешенную посредством умножения отсчетов представления водяного знака на предварительно заданные амплитудные веса. Если нарушается, модулятор 2420 предусматривает варьирование предварительно заданных амплитудных весов с формированием другой суперпозиции. Модулятор 2420 предусматривает многократное итерирование с контролем, варьированием и обновлением суперпозиции до достижения определенных условий останова, таких как задание граничных значений итерируемых переменных весов амплитуд. В силу того, что при указанном выше контроле соседние отсчеты дискретного временного представления взаимно влияют/интерферируют вследствие суперпозиции и временного расширения функций формирования отсчетов, выходящего за пределы временного отсчета, весь итеративный процесс в ходе генерирования зависит от этих соседних отсчетов представления данных водяного знака.

Обратим внимание на то, что в конструктивных решениях, рассмотренных далее, применено расширение данных водяного знака во временной области для выделения обозначенного выше дискретного временного представления. В то же время, такое временное расширение может быть опущено. То же относится к расширению по частоте, также применяемому в реализациях, обсуждаемых ниже.

2. Устройство маркировки водяным знаком

На фиг.25 представлено устройство маркировки водяным знаком, которое использует выходные данные питателя сигнала водяного знака 2400 на фиг.24. Устройство маркировки водяным знаком 2500 на фиг.25 включает в свою схему, кроме питателя сигнала водяного знака 2400, сумматор 2510 для сведения сигнала водяного знака 2440, поступающего от питателя сигнала водяного знака 2400, и аудиосигнала 2430 с формированием на выходе аудиосигнала, маркированного водяным знаком 2530.

3. Описание системы

Далее, будет описана система передачи водяного знака, которая включает в себя блок ввода водяного знака и декодер водяных знаков. Безусловно, блок ввода водяного знака и декодер водяных знаков могут использоваться независимо друг от друга.

Для описания системы выбран принцип „от сложного к простому". Сначала проведена дифференциация между кодером и декодером. Затем, в разделах с 3.1 по 3.5 подробно описан каждый рабочий блок в отдельности.

Базовая структура системы представлена на фигурах 1 и 2, где отображены, соответственно, сторона кодера и сторона декодера. На фиг.1 показана принципиальная блочная схема блока ввода водяного знака 100. На стороне кодера блоком обработки 101 (обозначенный как генератор водяных знаков) генерирует сигнал водяного знака 101b из двоичных данных 101а и из данных 104, 105 обмена информацией с психоакустическим процессором 102. Информация, полученная от блока 102, призвана гарантировать неслышность водяного знака. Затем, водяной знак, сгенерированный генератором водяных знаков 101, суммируют с аудиосигналом 106. После этого сигнал с водяным знаком 107 может быть ретранслирован, сохранен или передан для дальнейшей обработки. Мультимедийные файлы, например, аудио- и видеофайлы, требуют введения значительной задержки в видеопоток во избежание потери аудио- и видеосинхронизации. В случае многоканального аудиосигнала каждый канал обрабатывается отдельно, согласно пояснению, данному в этом документе. Блоки обработки 101 (генератор водяных знаков) и 102 (психоакустический процессор) детально рассмотрены в разделах 3.1 и 3.2, соответственно.

На фигуре 2 в виде принципиальной блочной схемы детектора водяного знака 200 отображена сторона декодера. В систему 200 поступает маркированный водяным знаком аудиосигнал 200а, например, от микрофона. Первый блок 203, обозначенный как модуль анализа, демодулирует и трансформирует данные (например, аудиосигнал с водяным знаком) во временной/частотной области (формируя посредством этого время-частотное представление 204 аудиосигнала с водяным знаком 200а), пересылая их на модуль синхронизации 201, который анализирует входной сигнал 204 и выполняет синхронизацию, в частности, рассчитывает временное выравнивание кодированных данных (например, кодированных данных водяного знака относительно представления во время-частотной области). Эта информация (например, результирующие данные синхронизации 205) поступают на экстрактор водяного знака 202, который декодирует полученные данные (формируя соответствующие двоичные данные 202а, которые представляют содержимое данных маркированного водяным знаком аудиосигнала 200а).

3.1 Генератор водяных знаков 101

Подробная схема генератора водяных знаков 101 представлена на фигуре 3. Двоичные данные (выраженные как ±1), которые должны быть скрыты в аудиосигнале 106, вводят в генератор водяных знаков 101. Блок 301 упорядочивает принятые данные 101а в пакеты одинаковой длины M_p. К каждому пакету в качестве сигнальных добавляют служебные биты (например, в виде постфикса). Пусть M_s обозначает их количество. Более подробно их использование будет объяснено в разделе 3.5. В дальнейшем каждый пакет битов полезной информации вместе с присоединенными служебными сигнальными битами будет называться сообщением.

Каждое сообщение 301а длиной N_m=M_s+М_р пересылают в кодер канала, блок обработки 302, который отвечает за кодирование битов для защиты от ошибок. Возможно конструктивное решение этого модуля, при котором он состоит из сверточного кодера в сочетании с устройством временного уплотнения импульсных сигналов. Коэффициент преобразования сверточного кодера оказывает большое влияние на общую степень защиты от ошибок системы цифровой маркировки водяными знаками. С другой стороны, устройство временного уплотнения импульсных сигналов обеспечивает защиту от всплесков шумов. Рабочий диапазон устройства временного уплотнения импульсных сигналов может быть ограничен одним сообщением, однако он может быть расширен до большего числа сообщений. Обозначим коэффициент кодирования, например, 1/4, как R_c. Количество закодированных битов для каждого сообщения составит N_m/R_c. Кодер каналов 302 генерирует на выходе, например, кодированное двоичное сообщение 302а.

Следующий блок обработки 303 выполняет расширение в частотной области. Для обеспечения удовлетворительного соотношения сигнал-шум информацию (например, двоичного сообщения 302а) расширяют и передают по N_f тщательно подобранным подполосам. Их точное частотное позиционирование определяют априорно и задают как для кодера, так и для декодера. Подробности подбора этого важного системного параметра даны в разделе 3.2.2. Расширение по частоте определяется последовательностью расширения c_f размерностью N_f×l. Выходной сигнал 303а блока 303 состоит из N_f двоичных потоков - по одному на каждую подполосу. Двоичный поток (битстрим) i рассчитывают, умножая входной бит на компонент i последовательности расширения c_f. Простейшее расширение состоит в копировании битстрима в каждый выходной поток, в частности, использовать последовательность расширения из единиц.

Блок 304, обозначенный как устройство введения схемы синхронизации, добавляет к битстриму сигнал синхронизации. Надежная синхронизация важна, поскольку в декодере отсутствуют параметры временного выравнивания как битов, так и структуры данных, то есть данные о начале каждого сообщения. Синхросигнал состоит из N_s последовательностей N_f по N_f битов в каждой. Последовательности поэлементно и периодически перемножают на поток (или потоки) битов 303а. Допустим, a, b, и c составляют Ns=3 последовательности синхронизации (обозначенные как последовательности синхронизирующего расширения).

Блок 304 умножает а на первый бит распространения, b - на второй бит расширения и с - на третий бит расширения. Для последующих битов применяется итерация, а именно, а умножается на четвертый бит, b - на пятый и так далее. Соответствующим образом формируется объединенная информация о данных синхронизации 304а. Последовательности синхронизации (обозначенные как синхронизирующие последовательности расширения) тщательно подбирают для минимизации риска ложной синхронизации. Дальнейшие подробности представлены в разделе 3.4. Кроме того, следует учитывать, что последовательность a, b, c,… можно рассматривать как последовательность синхронизирующих последовательностей расширения.

Блок 305 выполняет расширение во временной области. Каждый бит расширения на входе, в частности, вектор длины N_f, повторяется во временной области N_t раз. Аналогично расширению по частоте мы рассчитываем последовательность расширения c_t размерностью Nt×1. Повторение i времени умножают на i-й компонент c_t.

Математически операции блоков 302-305 могут быть выражены следующим образом. Пусть m размерностью 1×N_m=R_c будет закодированным сообщением на выходе блока 302.

Тогда на выходе блока 303 сигнал 303а (который можно рассматривать как представление данных расширения R) будет иметь вид

,

на выходе блока 304 сигнал 304а, который можно рассматривать как объединенное представление синхронизации данных c, имеет вид

,

где ° обозначает поэлементное произведение Шура, и

.

Выходной сигнал 305a блока 305 представляет собой

,

где ◊ и ^T обозначают Кронекерово умножение и транспозицию, соответственно. Следует помнить, что двоичные данные выражены как ±1.

Блок 306 выполняет дифференциальное кодирование битов. Этот шаг дает системе дополнительную устойчивость против фазовых сдвигов, обусловленных движением или рассогласованием гетеродина. Более детально этот вопрос рассмотрен в разделе 3.3. Если b(i; j) - бит для полосы частот i и временного блока j на входе блока 306, выходной бит b_diff (i; j) будет

.

В начале потока, то есть для j=0,b_diff(i,j-1) задается как 1.

Блок 307 выполняет действительную модуляцию, то есть - генерацию формы волны сигнала водяного знака в зависимости от двоичных данных 306а на входе. Детализация схемного решения [модулятора 307] дана на фигуре 4. N_f параллельных вводов с 401 по 40 N_f содержат битстримы для разных подполос. Каждый бит каждого подполосового потока обрабатывается блоком формирования бита (411-41N_f). Выходом блоков формирования бита являются формы волны во временной области. Форму волны, генерируемую для временного блока j и подполосы i, обозначенную как S_i;j(t), на основе входного бита b_diff(i, j) вычисляют следующим образом

где у (i; j) - весовой коэффициент, рассчитанный психоакустическим процессором 102, T_b - битовый интервал, и g_i(t) - функция, формирующая бит для подполосы i. Формирующую бит функцию выводят из основополосной функции , косинусно модулированной по частоте

,

где f_i - средняя частота подполосы i, а верхний индекс T обозначает передатчик. Основополосные функции могут быть разными для каждого поддиапазона. При из идентичности на стороне декодера возможно более эффективное осуществление. Более подробное описание см. в разделе 3.3.

Каждый бит формируется в итеративном режиме, управляемом психоакустическим процессором (102). Итерации необходимы для тонкой юстировки весов γ(i, j) для наделения водяного знака максимально возможной энергией при сохранении его неопытности. Дальнейшие подробности представлены в разделе 3.2.

Полная форма волны на выходе i-го фильтра формирования бита 41i -

.

Формирующая бит основополосная функция обычно не равна нулю для интервала времени, намного превышающего T_b, притом, что основная энергия сконцентрирована в интервале бита. В качестве примера можно привести график на фигуре 12а, где одна и та же формирующая бит основополосная функция применена для двух смежных битов. На фигуре T_b=40 мс. Выбор T_b, как и форма функции значительно влияет на систему. Фактически, большее количество символов дает более узкие частотные характеристики. Это особенно благоприятно для реверберирующих сред. Действительно, при подобных сценариях сигнал с водяным знаком попадает в микрофон по нескольким путям распространения, каждый из которых характеризуется отличным от других временем прохождения. Результирующий канал характеризуется значительной частотной избирательностью. При интерпретации во временной области более длинные символы имеют то преимущество, что они как эхо имеют задержку, сопоставимую с усиливающей интерференцией, результирующей из битового интервала, что означает, что они наращивают энергию принимаемого сигнала. Несмотря на это, более длинные символы имеют ряд недостатков: большее перекрывание может вызывать межсимвольную интерференцию (ISI), и его гораздо труднее скрыть в аудиосигнале таким образом, чтобы психоакустический процессор пропускал меньшую энергию, чем для более коротких символов.

Сигнал водяного знака выводят как суммарный выходной сигнал всех фильтров формирования бита

.

3.2 Психоакустический процессор 102

Как видно на фигуре 5, психоакустический процессор 102 состоит из 3 элементов. Первый элемент - модуль анализа 501, который преобразует временной аудиосигнал во время/частотную область. Этот модуль анализа может выполнять анализ параллельно с разной разрешающей способностью по времени/частоте. Из модуля анализа время/частотные данные [504] поступают в блок психоакустического моделирования (РАМ) 502,который рассчитывает пороги маскирования для водяного знака по психоакустическим параметрам (см. E.ZwickerH. Fasti, „PsychoacousticsFactsandModels"). Пороги маскирования служат показателем количества энергии, которая может быть скрыта в аудиосигнале для каждой подполосы и временного блока. Последним элементом психоакустического процессора 102 является модуль расчета амплитуды 503. Этот модуль рассчитывает уровни усиления по амплитуде, которые должны быть применены при генерации сигнала водяного знака с соблюдением порогов маскирования, то есть задействованная энергия должна быть меньше или равна энергии, заданной порогами маскирования.

3.2.1 Время/частотный анализ 501

Блок 501 выполняет время/частотное преобразование аудиосигнала путем преобразования с перекрытием. Наилучшее качество звука может быть достигнуто при условии использования многоуровневой разрешающей способности по времени/частоте. Эффективным преобразованием с перекрытием является короткое (/оконное) преобразование Фурье (КПФ) (ЮПФ), основанное на быстрых преобразованиях Фурье (БПФ) оконно-взвешенных временных блоков. Длина окна определяет частотно-временную разрешающую способность таким образом, что более длинные окна характеризуются большей продолжительностью по времени и более высоким разрешением по частоте, а короткие окна - наоборот. Вместе с тем, форма окна, среди прочего, определяет утечку по частоте.

В предложенной системе мы добиваемся неслышного водяного знака, анализируя данные посредством двух разных уровней разрешения. Первый банк фильтров характеризуется величиной шага T_b, т.е. - длиной бита. Величина шага - это временной интервал между двумя соседними временными блоками. Длина окна приблизительно равна T_b. Следует принимать во внимание, что форма окна не обязательно должна повторять форму окна, примененную для формирования бита, а должна в целом имитировать слуховой аппарат человека. Изучению этой проблемы посвящено множество публикаций.

Во втором банке фильтров используется более короткое окно. Высокое временное разрешение особенно важно при маркировке водяными знаками речи, поскольку ее временная структура, как правило, тоньше, чем T_b.

Частота дискретизации входного аудиосигнала не важна, поскольку она до