Декодер водяного знака и способ формирования данных двоичного сообщения

Декодер водяного знака и способ формирования данных двоичного сообщения

Иллюстрации

Показать все

Реферат

Варианты реализации заявляемого изобретения относятся к системам маркировки фонограмм цифровыми водяными знаками и, в частности, к декодеру водяного знака для формирования данных двоичного сообщения, и к способу формирования данных двоичного сообщения.

Предшествующий уровень техники

Во многих технических приложениях существует необходимость введения дополнительной информации в данные или в сигнал, представляющий полезные данные, или “основные данные”, такие как, например, аудиосигнал, видеосигнал, графика, показания измерений и тому подобное. Часто требуется, чтобы подобного рода дополнительная информация, привязываемая к основным данным (в частности, к аудиоданным, видеоданным, к данным изображения, данным измерений, к текстовой информации и прочее), вводилась таким образом, чтобы она была незаметной для пользователя этими данными. Более того, в ряде случаев желательно, чтобы присоединенная информация не могла быть удалена из основных данных (тех же аудиоданных, видеоданных, данных изображения, данных измерения и так далее).

В особенности это относится к приложениям, где необходима электронная защита авторских прав. Более того, иногда введение в полезные данные важной дополнительной, не воспринимаемой органами чувств, сопутствующей информации просто необходимо. Таким случаем является, например, включение в аудиоконтент служебной информации, содержащей сведения о источнике предлагаемой фонограммы, ее содержимом, о правах, которыми обременен данный аудиоконтент и т.п.

Концепция внедрения дополнительных сведений в полезные данные или в “основные данные” получила название “watermarking”, то есть буквально - “нанесение водяных знаков” (маркировка водяными знаками / введение водяного знака). Обсуждение в специализированной литературе методик защиты водяными знаками затрагивает большое число видов полезной информации, как то - фонограммы, видеоматериалы, изображения, тексты и тому подобное.

Дальше дан ряд ссылок на публикации концепций применения цифровых водяных знаков. Сюда относится также широкий спектр пособий, руководств и иных изданий, подробно рассматривающих вопросы электронной защиты водяными знаками.

DE 196 40 814 С2 описывает метод кодирования, при котором в аудиосигнал вводят незвуковой сигнал данных, и метод декодирования сигнала данных, сопутствующего аудиосигналу в незвуковой форме. Метод кодирования для введения незвукового сигнала данных в звуковой сигнал состоит в преобразовании звукового сигнала в спектральное представление. Данный метод кодирования также включает в себя определение порога маскирования аудиосигнала и подачу псевдошумового сигнала. Этот метод кодирования, кроме того, включает в себя введение сигнала данных и умножение псевдошумового сигнала на сигнал данных с получением сигнала данных с частотным расширением. Метод кодирования наряду с этим включает в себя взвешивание сигнала данных расширения с порогом маскирования и перекрыванием аудиосигнала и сигнал взвешенных данных.

В дополнение к этому в WO 93/07689 описан способ и устройство автоматической идентификации программы, передаваемой радиостанцией или телевизионным каналом или записанной на носителе, путем добавления к звуковому сигналу программы неслышимого кодированного сообщения, идентифицирующего канал телевещания или радиостанцию, программу и/или точную дату. При реализации согласно указанному документу звуковой сигнал передают через аналого-цифровой преобразователь на процессор, предусматривающий возможность дробления частотных составляющих и изменения энергии некоторых частотных составляющих на расчетную величину с формированием кодированного сигнала идентификации. Выход процессора соединен через цифроаналоговый преобразователь со звуковым выходом для передачи звукового сигнала в эфир или для записи фонограммы. В другом варианте решения по рассматриваемому документу применяют аналоговую полосу пропускания для выделения частотной полосы звукового сигнала, в которой энергия может быть изменена для кодирования звукового сигнала.

В US 5450490 описано устройство и способы введения кода, имеющего, по меньшей мере, одну кодовую частотную составляющую в аудиосигнале. Разные частотные составляющие аудиосигнала оцениваются на возможность маскировать кодовую частотную составляющую для человеческого слуха, и на основании этих оценок задается амплитуда кодовой частотной составляющей. Также дано описание способов и устройства распознавания кода в закодированном аудиосигнале. Кодовую частотную составляющую кодированного аудиосигнала распознают, основываясь на ожидаемой кодовой амплитуде или на амплитуде помехи в диапазоне звуковых частот, включающем в себя частоту кодирующей составляющей.

В WO 94/11989 рассмотрен способ и устройство кодирования/декодирования транслируемых или записанных звуковых фрагментов и мониторинга расположения их слушателей. Описаны способы и устройство кодирования и декодирования информации в составе радиопередач или в составе записанных сигналов звукового фрагмента. В схемотехнической версии, описанной в документе, система мониторирования аудитории кодирует идентифицирующую информацию как составляющую аудиосигнала радиопередачи или фрагмента фонограммы с использованием кодирования расширенного спектра (широкополосное кодирование). Устройство мониторинга принимает акустически воспроизведенную версию радиопередачи или записанного сигнала через микрофон, декодирует идентифицирующую информацию составляющей аудиосигнала независимо от наличия окружающего фонового шума и вносит эту информацию в память, автоматически ведя на данного участника аудитории дневник (журнал), который позже загружается в централизованное системное устройство. Другое устройство мониторинга декодирует дополнительную информацию сигнала радиопередачи, соотнесенный со сведениями дневника аудитории в центральном системном устройстве. Этот монитор может одновременно отправлять данные на централизованное системное устройство, используя телефонную линию модемной связи, и принимать данные от централизованного системного устройства через сигнал, закодированный с использованием технологии расширенного спектра и модулированный по сигналу радиопередачи от третьего лица.

WO 95/27349 раскрывает устройство и способы введения кодов в аудиосигналы и декодирования. Описаны устройство и способы введения кода, имеющего, по меньшей мере, одну кодирующую частотную составляющую в аудиосигнале. Выполняется оценивание способности разных частотных составляющих аудиосигнала маскировать кодовую частотную составляющую для слуха человека, и на базе результатов такого оценивания каждой из кодирующих частотных составляющих присваивается амплитуда. Также дано описание способов и устройства распознавания кода в закодированном аудиосигнале. Кодовую частотную составляющую кодированного аудиосигнала распознают, основываясь на ожидаемой кодовой амплитуде или на амплитуде помехи в диапазоне звуковых частот, включающем в себя частоту кодирующей составляющей.

Между тем, зачастую затруднения при реализации известных систем ″нанесения” цифровых водяных знаков вызывает короткая продолжительность аудиосигнала. Например, пользователь может быстро переключать радиостанции или громкоговоритель, воспроизводящий аудиосигнал, может находиться далеко, и аудиосигнал будет восприниматься очень слабо. Также, акустический сигнал может быть вообще очень коротким, как, например, аудиосигналы в радиорекламе. Вдобавок, сигнал водяного знака, как правило, обладает низкой скоростью передачи в битах. В силу этого общий объем прохождения данных водяного знака обычно очень низок.

В контексте сложившейся ситуации данным изобретением ставится цель создать концепцию оптимизации формирования данных двоичного сообщения в зависимости от сигнала, маркированного водяным знаком, который позволил бы увеличить объем данных двоичного сообщения, получаемых с сигналом с водяным знаком.

Краткое описание изобретения

Поставленная цель достигается с применением детектора водяного знака по пункту 1 формулы изобретения или способа по пункту 9.

Заявляемое изобретение предлагает техническое решение декодера водяного знака, реконструирующего данные двоичного сообщения на основе сигнала, маркированного цифровым водяным знаком. Декодер водяного знака включает в свою конструкцию блок формирования время-частотного представления, запоминающее устройство, детектор синхронизации и экстрактор водяного знака. Блок формирования время-частотного представления предназначен для создания представления сигнала с водяным знаком в частотной области для множества временных дискретов. Запоминающее устройство (ЗУ) предназначено для хранения в памяти представления в частотной области (частотного представления) сигнала с водяным знаком для множества дискретов времени (временных блоков). Детектор синхронизации предназначен для идентификации временного блока совмещения (дискрета синхронизации), исходя из частотного представления сигнала с водяным знаком во множестве дискретов времени. Экстрактор водяного знака предназначен для извлечения данных двоичного сообщения из хранящихся в памяти представлений сигнала с водяным знаком в частотной области для временных блоков (дискретов), предшествующих идентифицируемому временному блоку совмещения (дискрету синхронизации), с учетом отстояния от идентифицируемого временного блока совмещения.

Ключевой идеей данного изобретения является внесение в память представления маркированного водяным знаком сигнала в частотной области и использование данных синхронизации (распознанного временного блока совмещения) для восстановления данных двоичного сообщения также из предшествующих по времени сообщений. За счет этого может быть значительно увеличен объем получаемых данных двоичного сообщения или информации о водяном знаке, содержащихся в сигнале с водяным знаком, поскольку параллельно для извлечения данных двоичного сообщения могут быть использованы данные временных блоков, принятых до того, как стала доступной информация о синхронизации.

Следовательно, шанс получить полную информацию о водяном знаке, содержащуюся в аудиосигнале, может быть повышен, особенно в случаях быстрой смены различных аудиосигналов.

Некоторые конструктивные решения по настоящему изобретению относятся к декодеру водяного знака, в схему которого включен декодер избыточности, предусматривающий восстановление данных неполного двоичного сообщения в сигнале с водяным знаком, предшествующем сообщению, содержащему распознанный временной блок совмещения, за счет использования избыточных данных неполного сообщения. Подобным же образом возможна реконструкция информации водяного знака из фрагментарных сообщений.

Другие аппаратные версии изобретения относятся к декодеру водяного знака, в конструкцию которого введен детектор синхронизации, предназначенный для выявления временного блока совмещения (дискрета синхронизации) в массиве предварительно заданных последовательностей синхронизации и на основе данных двоичного сообщения в сигнале, маркированном водяным знаком. Выполнение такой операции возможно, когда количество временных блоков в составе сообщения в сигнале с водяным знаком превышает количество различных предварительно заданных последовательностей синхронизации, содержавшихся в массиве предварительно заданных последовательностей синхронизации. Если сообщение содержит временные блоки в количестве, превышающем количество расчетных последовательностей синхронизации, детектор синхронизации может идентифицировать более одного временного блока совмещения в составе одного сообщения. Для того чтобы определить, какой из идентифицированных временных блоков совмещения является подлинным (например, обозначающим начало сообщения), данные двоичного сообщения, содержащие идентифицированные временные блоки совмещения, могут быть проанализированы с расчетом корректной синхронизации.

Схемотехническое исполнение изобретения может относиться к декодеру водяного знака, оснащенному экстрактором водяного знака, предназначенным для дальнейшего извлечения данных двоичного сообщения из представления сигнала с водяным знаком в частотной области во временных блоках, следующих за идентифицированным временным блоком совмещения, с учетом удаленности от этого идентифицированного временного блока совмещения. Другими словами, может быть достаточно один раз распознать один временной блок совмещения (как дискрет синхронизации) и использовать эту синхронизацию для следующих по времени сообщений. Такая синхронизация (в виде идентификации временного блока совмещения) может повторяться через заданный промежуток времени.

Дальнейшие технические реализации настоящего изобретения относятся к декодеру водяного знака, который включает в свою компоновку декодер избыточности и экстрактор водяного знака для формирования данных двоичного сообщения на базе частотного представления сигнала с водяным знаком во временных блоках, следующих за или предшествующих распознанному временному блоку совмещения с учетом временной удаленности от распознанного временного блока совмещения и с использованием избыточных данных неполного сообщения. Благодаря этому также может быть восстановлена информация водяного знака из неполных (фрагментарных) сообщений, когда недостающая информация водяного знака или предшествует, или следует за идентифицированным временным блоком совмещения. Это применимо в случае переключения с одного источника аудиосигнала с водяным знаком на другой источник аудиосигнала с водяным знаком “в середине” сообщения, маркированного водяным знаком. В подобной ситуации может быть реконструирована информация водяных знаков обоих источников аудиосигнала в момент переключения, даже если оба сообщения отрывочны, то есть, если время передачи обоих сообщений с водяными знаками идет с наложением.

Одной из форм осуществления заявляемого изобретения является также способ формирования данных двоичного сообщения. Этот способ базируется на тех же заключениях, что и описанное выше устройство.

Краткое описание фигур

Далее, варианты технических решений в соответствии с предлагаемым изобретением будут описаны со ссылкой на прилагаемые фигуры, где на фиг.1 дана принципиальная блочная схема устройства ввода водяного знака согласно изобретению; на фиг.2 дана принципиальная блочная схема декодера водяных знаков согласно изобретению; на фиг.3 дана более подробная принципиальная блочная схема генератора водяных знаков согласно изобретению; на фиг.4 дана подробная принципиальная блочная схема модулятора как элемента схемотехники изобретения; на фиг.5 дана блок-схема рабочего цикла психоакустического процессора как элемента схемотехники изобретения; на фиг.6 дана блок-схема рабочего цикла процессора психоакустической модели как элемента схемотехники изобретения; на фиг.7 отображен график зависимости спектральной плотности мощности аудиосигнала на выходе блока 801 от частоты; на фиг.8 отображен график зависимости спектральной плотности мощности аудиосигнала на выходе блока 802 от частоты; на фиг.9 дана блок-схема расчета амплитуды; на фиг.10А показана принципиальная схема модулятора; на фиг.10В графически представлен пример распределения коэффициентов на время-частотной плоскости; на фиг.11А и 11В в принципиальных блочных схемах представлено альтернативное конструктивное решение модуля синхронизации; фиг.12А графически отображает задачу временного выравнивания водяного знака; фиг.12В графически отображает задачу идентификации начала сообщения; фиг.12С графически иллюстрирует построение временного соответствия последовательностей синхронизации в режиме синхронизации полного сообщения; фиг.12D графически иллюстрирует построение временного соответствия последовательностей синхронизации в режиме синхронизации неполного сообщения; на фиг.12E графически представлены входные данные модуля синхронизации; на фиг.12F графически представлена концепция идентификации точки синхронности; на фиг.12G дана принципиальная блочная схема коррелятора сигнатуры синхронизации (маркировки совпадения); фиг.13А графически иллюстрирует пример временной свертки; фиг.13В графически иллюстрирует пример поэлементного перемножения битов и последовательностей расширения; на фиг.13С представлен график сигнала на выходе коррелятора сигнатуры синхронизации после усреднения по времени; на фиг.13D представлен график сигнала на выходе коррелятора сигнатуры синхронизации после фильтрации с использованием функции автокорреляции сигнатуры синхронизации; на фиг.14 дана принципиальная блочная схема конструктивного решения экстрактора водяного знака в соответствии с изобретением; фиг.15 схематически отображает выбор части представления во время-частотной области в качестве кандидатного сообщения; на фиг.16 показана принципиальная блочная схема модуля анализа; на фиг.17А показана спектрограмма выходного сигнала коррелятора синхронизации; на фиг.17В схематически отображены декодированные сообщения; на фиг.17С графически отображено положение синхронизации, выделенное из сигнала с водяным знаком; на фиг.18А графически представлены полезная информация, полезная информация с конечной последовательностью Витерби, полезная информация в кодировке по Витерби и полезная нагрузка в кодировке по Витерби в закодированной с повторениями версии; на фиг.18В графически отображены поднесущие частоты, используемые для введения маркированного водяным знаком сигнала; на фиг.19 графически представлены некодированное сообщение, кодированное сообщение, сообщения синхронизации и сигнал водяного знака, в котором к сообщениям применена последовательность синхронизации; на фиг.20 схематически отображен первый шаг алгоритма так называемой “АВС-синхронизации”; на фиг.21 графически отображен второй шаг алгоритма так называемой “АВС-синхронизации”; на фиг.22 графически отображен третий шаг алгоритма так называемой “ABC-синхронизации”; на фиг.23 показана схема сообщения, содержащего полезную информацию и составляющую CRC; на фиг.24 дана принципиальная блочная схема реализации декодера водяного знака в соответствии с изобретением; и на фиг.25 дана блок-схема способа формирования данных двоичного сообщения в соответствии с изобретением.

Подробное техническое описание

1. Декодер водяного знака

На фиг.24 показана принципиальная блочная схема реализации декодера водяного знака 2400, предназначенного для формирования данных двоичного сообщения 2442 на основе сигнала с водяным знаком 2402, согласно данному изобретению. В компоновку декодера водяного знака 2400 включены блок формирования время-частотного представления 2410, блок памяти 2420, детектор синхронизации 2430 и экстрактор водяного знака 2440. Блок формирования время-частотного представления 2410 сопряжен с детектором синхронизации 2430 и блоком памяти 2420. Далее по схеме детектор синхронизации 2430 и блок памяти 2420 сопряжены с экстрактором водяного знака 2440. Блок формирования время-частотного представления 2410 вырабатывает представление в частотной области 2412 сигнала с водяным знаком 2402 для множества дискретов времени (временных блоков). Блок памяти 2420 сохраняет частотное представление 2412 сигнала с водяным знаком 2402 для множества временных блоков. Далее, детектор синхронизации 2430 распознает временной блок совмещения 2432 на основе частотного представления 2412 сигнала с водяным знаком 2402 во множестве временных блоков. Экстрактор водяного знака 2440 извлекает данные двоичного сообщения 2442 из хранящихся в памяти частотных представлений 2422 сигнала с водяным знаком 2402 во временных блоках (дискретах времени), предшествующих временному блоку совмещения (дискрету синхронизации) 2432, с учетом удаленности от распознанного временного блока совмещения 2432.

Благодаря применению такого алгоритма “с возвратом” могут быть использованы также данные двоичных сообщений, полученных до выполнения синхронизации путем распознавания дискрета синхронизации (временного блока совмещения) 2432. Следовательно, объем получаемых данных двоичного сообщения, содержавшихся в принимаемом сигнале с водяным знаком, может быть значительно увеличен.

При этом, как сказано, должна учитываться удаленность дискрета времени от идентифицированного дискрета синхронизации 2432, например, если для генерации данных двоичного сообщения 2442 используется хранящееся в памяти частотное представление. Такая удаленность может учитываться, например, по времени (допустим, блок формирования время-частотного представления выдает предшествующий дискрет времени за x секунд до того, как он выдал идентифицированный дискрет синхронизации), или по числу дискретов времени между предыдущим дискретом времени и идентифицированным дискретом синхронизации 2432. Рассчитав удаленность от идентифицированного временного блока совмещения 2432, можно точно соотнести количество временных блоков, предшествующих временному блоку совмещения 2432, с конкретным сообщением таким образом, что данные этого более раннего двоичного сообщения могут быть восстановлены и выданы экстрактором водяного знака 2440. Временной блок совмещения (дискрет синхронизации) 2432 может быть, в частности, первым временным блоком (дискретом) сообщения, последним временным блоком сообщения или рассчитанным временным блоком внутри сообщения, дающим возможность определить начало сообщения. Сообщение может представлять собой пакет данных, состоящий из массива взаимосвязанных временных блоков.

Представление сигнала с водяным знаком в частотной области для множества временных блоков также может называться представлением сигнала с водяным знаком во время-частотной области (время-частотным представлением).

В качестве опции декодер водяного знака 2440 может включать в себя декодер избыточности, предусматривающий возможность восстановления данных двоичного сообщения 2442 в случае его фрагментарности в составе сигнала с водяным знаком, предшествующего сообщению, содержащему идентифицированный временной блок совмещения 2432, за счет избыточных данных такого неполного сообщения. Благодаря этому могут быть использованы сообщения, фрагментированные, например, в результате низкого качества сигнала с водяным знаком или в начале сигнала с водяным знаком.

Кроме того, детектор синхронизации 2430 может выявить временной блок совмещения 2432, исходя из множества предварительно заданных последовательностей синхронизации и исходя из данных двоичного сообщения сигнала с водяным знаком. В этом примере количество временных блоков в сообщении сигнала с водяным знаком превышает количество различных предварительно заданных последовательностей синхронизации из множества предварительно заданных последовательностей синхронизации. В этом случае корректная синхронизация также возможна, если в сообщении будет идентифицировано более одного временного блока совмещения. Иначе говоря, для правильной синхронизации (для распознавания надлежащего временного блока совмещения) содержимое сообщения может быть разложено на составляющие.

Последовательность синхронизации может содержать бит синхронизации для каждого коэффициента полосы частот частотного представления сигнала с водяным знаком. Частотное представление 2432 может состоять из коэффициентов для каждой полосы частотной области.

Выходные данные двоичного сообщения 2442 могут отображать содержание сообщения сигнала с водяным знаком 2402, более раннего, чем сообщение, содержащее распознанный дискрет синхронизации 2432.

Дополнительно экстрактор водяного знака 2440 может выполнять дальнейшую выборку данных двоичного сообщения из частотного представления 2412 сигнала с водяным знаком 2402 по дискретам времени, более поздним, чем распознанный дискрет синхронизации 2432, с учетом удаленности от него. Это можно назвать алгоритмом “с упреждением”, который позволяет формировать данные двоичных сообщений, следующих после сообщения, содержащего идентифицированный временной блок совмещения 2432, без последующей синхронизации. В силу этого может быть достаточно всего одной синхронизации. В ином случае временной блок совмещения (дискрет синхронизации) может быть идентифицирован периодически (допустим, в каждом 4-ом, 8-ом или 16-ом сообщении).

Дальнейшие технические реализации настоящего изобретения относятся к декодеру водяного знака, который включает в свою компоновку декодер избыточности и экстрактор водяного знака для формирования данных двоичного сообщения на базе частотного представления сигнала с водяным знаком во временных блоках, следующих за или предшествующих распознанному временному блоку совмещения с учетом временной удаленности от распознанного временного блока совмещения и с использованием избыточных данных неполного сообщения. Благодаря этому также может быть восстановлена информация водяного знака из неполных (фрагментарных) сообщений, когда недостающая информация водяного знака или предшествует, или следует за идентифицированным временным блоком совмещения. Это применимо в случае переключения с одного источника аудиосигнала с водяным знаком на другой источник аудиосигнала с водяным знаком “в середине” сообщения, маркированного водяным знаком. В подобной ситуации может быть реконструирована информация водяных знаков обоих источников аудиосигнала в момент переключения, даже если оба сообщения отрывочны, то есть, если время передачи обоих сообщений с водяными знаками взаимно накладывается.

Формулируя иначе, обеспечивается возможность переключения аудиоисточников (сообщений) с водяными знаками “в середине” (или в любом месте внутри сообщения) водяного знака (сообщения). Благодаря применению декодера избыточности и механизма “возврата” оба сообщения с водяными знаками могут быть реконструированы несмотря на возможное наложение по времени.

Блок памяти 2420 выполнен с возможностью очистки через заданный промежуток времени хранения пространства памяти, занятого частотным представлением 2422 сигнала с водяным знаком 2402, путем стирания или перезаписи. Таким образом объем используемой памяти можно поддерживать на низком уровне путем кратковременного хранения частотных представлений 2412 и дальнейшего многократного использования пространства памяти для последующих частотных представлений 2412, поступающих от блока формирования время-частотного представления 2410. Дополнительно или альтернативно, блок памяти 2420 может высвобождать пространство памяти, хранящее частотное представление 2422 сигнала с водяным знаком 2402, для стирания или перезаписи после того, как из него экстрактором водяного знака 2440 извлечены данные двоичного сообщения 2442. За счет этого занятый объем памяти также может быть уменьшен.

2. Способ формирования данных двоичного сообщения

На фиг.25 представлена блок-схема способа 2500 формирования данных двоичного сообщения на основе сигнала с водяным знаком в соответствии с изобретением. Способ 2500 включает в себя формирование 2510 представления сигнала с водяным знаком в частотной области для множества временных блоков и сохранение 2520 частотного представления сигнала с водяным знаком для множества временных блоков. Далее, способ 2500 включает в себя идентификацию 2530 временного блока совмещения на основе частотного представления сигнала с водяным знаком для множества временных блоков и формирование 2540 данных двоичного сообщения на основе хранящихся в памяти частотных представлений сигнала с водяным знаком для временных блоков, предшествующих идентифицированному временному блоку совмещения, с учетом удаленности от идентифицированного временного блока совмещения.

Дополнительно заявляемый способ может включать в себя операции, соответствующие существенным признакам устройства, описанного выше.

Далее, будет описана система передачи водяного знака, которая включает в себя блок ввода водяного знака и декодер водяных знаков. Безусловно, блок ввода водяного знака и декодер водяных знаков могут использоваться независимо друг от друга.

Для описания системы выбран принцип “от сложного к простому”. Сначала проведена дифференциация между кодером и декодером. Затем, в разделах с 3.1 по 3.5 подробно описан каждый рабочий блок в отдельности.

Базовая структура системы представлена на фигурах 1 и 2, где отображены, соответственно, сторона кодера и сторона декодера. На фиг.1 показана принципиальная блочная схема блока ввода водяного знака 100. На стороне кодера блоком обработки 101 (обозначенный как генератор водяных знаков) генерирует сигнал водяного знака 101b из двоичных данных 101а и из данных 104, 105 обмена информацией с психоакустическим процессором 102. Информация, полученная от блока 102, призвана гарантировать неслышность водяного знака. Затем, водяной знак, сгенерированный генератором водяных знаков 101, суммируют с аудиосигналом 106. После этого сигнал с водяным знаком 107 может быть ретранслирован, сохранен или передан для дальнейшей обработки. Мультимедийные файлы, например аудио- и видеофайлы, требуют введения значительной задержки в видеопоток во избежание потери аудио- и видеосинхронизации. В случае многоканального аудиосигнала каждый канал обрабатывается отдельно, согласно пояснению, данному в этом документе. Блоки обработки 101 (генератор водяных знаков) и 102 (психоакустический процессор) детально рассмотрены в разделах 3.1 и 3.2, соответственно.

На фигуре 2 в виде принципиальной блочной схемы детектора водяного знака 200 отображена сторона декодера. В систему 200 поступает маркированный водяным знаком аудиосигнал 200а, например, от микрофона. Первый блок 203, обозначенный как модуль анализа, демодулирует и трансформирует данные (например, аудиосигнал с водяным знаком) во временной/частотной области (формируя посредством этого время-частотное представление 204 аудиосигнала с водяным знаком 200а), пересылая их на модуль синхронизации 201, который анализирует входной сигнал 204 и выполняет синхронизацию, в частности, рассчитывает временное выравнивание кодированных данных (например, кодированных данных водяного знака относительно представления вовремя-частотной области). Эта информация (например, результирующие данные синхронизации 205) поступают на экстрактор водяного знака 202, который декодирует полученные данные (формируя соответствующие двоичные данные 202а, которые представляют содержимое данных маркированного водяным знаком аудиосигнала 200а).

3.1 Генератор водяных знаков 101

Подробная схема генератора водяных знаков 101 представлена на фигуре 3. Двоичные данные (выраженные как ±1), которые должны быть скрыты в аудиосигнале 106, вводят в генератор водяных знаков 101. Блок 301 упорядочивает принятые данные 101а в пакеты одинаковой длины M_P. К каждому пакету в качестве сигнальных добавляют служебные биты (например, в виде постфикса). Пусть M_s обозначает их количество. Более подробно их использование будет объяснено в разделе 3.5. В дальнейшем каждый пакет битов полезной информации вместе с присоединенными служебными сигнальными битами будет называться сообщением.

Каждое сообщение 301а длиной N_m=M_s+M_p пересылают в кодер канала, блок обработки 302, который отвечает за кодирование битов для защиты от ошибок. Возможно конструктивное решение этого модуля, при котором он состоит из сверточного кодера в сочетании с устройством временного уплотнения импульсных сигналов. Коэффициент преобразования сверточного кодера оказывает большое влияние на общую степень защиты от ошибок системы цифровой маркировки водяными знаками. С другой стороны, устройство временного уплотнения импульсных сигналов обеспечивает защиту от всплесков шумов. Рабочий диапазон устройства временного уплотнения импульсных сигналов может быть ограничен одним сообщением, однако он может быть расширен до большего числа сообщений. Обозначим коэффициент кодирования, например, 1/4, как R_c. Количество закодированных битов для каждого сообщения составит N_m/R_c. Кодер каналов 302 генерирует на выходе, например, кодированное двоичное сообщение 302а.

Следующий блок обработки 303 выполняет расширение в частотной области. Для обеспечения удовлетворительного соотношения сигнал-шум информацию (например, двоичного сообщения 302а) расширяют и передают по N_f тщательно подобранным подполосам. Их точное частотное позиционирование определяют априорно и задают как для кодера, так и для декодера. Подробности подбора этого важного системного параметра даны в разделе 3.2.2. Расширение по частоте определяется последовательностью расширения c_f размерностью N_f×1. Выходной сигнал 303а блока 303 состоит из N_f двоичных потоков - по одному на каждую подполосу. Двоичный поток (битстрим)i рассчитывают, умножая входной бит на компонент i последовательности расширения c_f. Простейшее расширение состоит в копировании битстрима в каждый выходной поток, в частности, использовать последовательность расширения из единиц.

Блок 304, обозначенный как устройство введения схемы синхронизации, добавляет к битстриму сигнал синхронизации. Надежная синхронизация важна, поскольку в декодере отсутствуют параметры временного выравнивания как битов, так и структуры данных, то есть данные о начале каждого сообщения. Синхросигнал состоит из N_s последовательностей N_f по N_f битов в каждой. Последовательности поэлементно и периодически перемножают на поток (или потоки) битов 303а. Допустим, a, b и c составляют Ns = 3 последовательности синхронизации (обозначенные как последовательности синхронизирующего расширения).

Блок 304 умножает а на первый бит распространения, b - на второй бит расширения и c - на третий бит расширения. Для последующих битов применяется итерация, а именно, а умножается на четвертый бит, b - на пятый и так далее. Соответствующим образом формируется объединенная информация о данных синхронизации 304а. Последовательности синхронизации (обозначенные как синхронизирующие последовательности расширения) тщательно подбирают для минимизации риска ложной синхронизации. Дальнейшие подробности представлены в разделе 3.4. Кроме того, следует учитывать, что последовательность a, b, c, … можно рассматривать как последовательность синхронизирующих последовательностей расширения.

Блок 305 выполняет расширение во временной области. Каждый бит расширения на входе, в частности, вектор длины N_f, повторяется во временной области N_t раз. Аналогично расширению по частоте мы рассчитываем последовательность расширения c_t размерностью N_t×1. Повторение i времени умножают на i-й компонент c_t.

Математически операции блоков 302 - 305 могут быть выражены следующим образом. Пусть m размерностью 1×N_m=R_c будет закодированным сообщением на выходе блока 302.

Тогда на выходе блока 303 сигнал 303а (который можно рассматривать как представление данных расширения R) будет иметь вид

c f ⋅ m   o f   s i z e   N f × N m / R c         ( 1 ) ,

на выходе блока 304 сигнал 304а, который можно рассматривать как объединенное представление синхронизации данных С, имеет вид

S ∘ ( c f ⋅ m )   o f   s i z e   N f × N m / R c         ( 2 ) ,

где ° обозначает поэлементное произведение Шура, и

S = [ …     a   b   c   …