Способ и устройство для обработки звукового сигнала

Способ и устройство для обработки звукового сигнала

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Изобретение относится к устройству для обработки звукового сигнала и к способу для этого. Хотя настоящее изобретение подходит для широкого круга приложений, особенно оно подходит для обработки сигнала с потерями звукового сигнала.

УРОВЕНЬ ТЕХНИКИ

Как правило, маскирующий эффект основывается на психоакустической теории. Поскольку слабые сигналы, соседствующие с сильным сигналом, блокируются этим сильным сигналом, маскирующий эффект задействует такую особенность человеческой слуховой системы, что она их плохо распознает. Поскольку используется маскирующий эффект, данные могут быть частично потеряны при кодировании звукового сигнала.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

ТЕХНИЧЕСКАЯ ЗАДАЧА

Тем не менее, для декодирующего устройства связанной области техники недостаточно компенсировать сигнал с потерями, обусловленный маскировкой и квантованием.

ТЕХНИЧЕСКОЕ РЕШЕНИЕ

Соответственно, настоящее изобретение направлено на устройство для обработки звукового сигнала и способ для этого, которые в значительной степени устраняют одну или более проблем, вызванных ограничениями и недостатками связанной области техники.

Задача настоящего изобретения состоит в предоставлении устройства для обработки звукового сигнала и способа для этого, посредством которых сигнал, потерянный в ходе маскировки и квантования, может компенсироваться за счет использования относительно небольшой битовой информации.

Другая задача настоящего изобретения состоит в предоставлении устройства для обработки звукового сигнала и способа для этого, посредством которых маскировка может выполняться так, чтобы надлежащим образом комбинировать различные схемы, в том числе маскировку в частотной области, маскировку во временной области и т.п.

Дополнительная задача настоящего изобретения состоит в предоставлении устройства для обработки звукового сигнала и способа для этого, посредством которых скорость передачи битов может быть минимизирована, несмотря на это, такие отличающиеся по характеристикам сигналы, как речевой сигнал, звуковой сигнал и т.п., обрабатываются в соответствии с собственными схемами согласно своим характеристикам.

ПОЛЕЗНЫЕ ЭФФЕКТЫ

Соответственно, настоящее изобретение обеспечивает следующие эффекты или преимущества.

Прежде всего, настоящее изобретение способно компенсировать сигнал, потерянный в ходе маскировки и квантования, в результате процесса декодирования, тем самым повышая качество звука.

Во-вторых, настоящее изобретение нуждается в существенно меньшей битовой информации для компенсации сигнала с потерями, тем самым значительно уменьшая количество битов.

В-третьих, настоящее изобретение компенсирует сигнал с потерями вследствие маскировки в соответствии с пользовательским выбором, несмотря на это, уменьшение битов вследствие маскировки достигает максимума, благодаря выполнению схем маскировки, включающих в себя маскировку в частотной области, маскировку во временной области и т.п., таким образом, минимизируя потерю качества звука.

В-четвертых, настоящее изобретение декодирует сигнал, обладающий характеристикой речевого сигнала, в соответствии со схемой кодирования речи, и декодирует сигнал, обладающий характеристикой звукового сигнала, в соответствии со схемой кодирования звука, таким образом, давая возможность адаптивно выбирать схему декодирования, чтобы соответствовать каждой из сигнальных характеристик.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Прилагаемые чертежи, которые привносятся для обеспечения дополнительного понимания настоящего изобретения и вводятся в состав данного описания изобретения и являются его частью, иллюстрируют варианты осуществления настоящего изобретения и, совместно с описанием, служат для разъяснения принципов настоящего изобретения.

На чертежах:

Фиг.1 является блок-схемой анализатора сигнала с потерями согласно варианту осуществления настоящего изобретения.

Фиг.2 является блок-схемой последовательности операций способа анализа сигнала с потерями согласно варианту осуществления настоящего изобретения.

Фиг.3 является схемой для пояснения масштабного коэффициента и спектральных данных.

Фиг.4 является схемой для пояснения примеров области применения масштабного коэффициента.

Фиг.5 является подробной блок-схемой модуля маскировки/квантования, показанного на Фиг.1.

Фиг.6 является схемой для пояснения технологического процесса маскировки согласно варианту осуществления настоящего изобретения.

Фиг.7 является схемой для первого примера устройства кодирования звукового сигнала с применяемым на нем анализатором сигнала с потерями согласно варианту осуществления настоящего изобретения.

Фиг.8 является схемой для второго примера устройства кодирования звукового сигнала с применяемым на нем анализатором сигнала с потерями согласно варианту осуществления настоящего изобретения.

Фиг.9 является блок-схемой устройства компенсации сигнала с потерями согласно варианту осуществления настоящего изобретения.

Фиг.10 является блок-схемой последовательности операций для способа компенсации сигнала с потерями согласно варианту осуществления настоящего изобретения.

Фиг.11 является схемой для пояснения технологического процесса генерирования первых компенсационных данных согласно варианту осуществления настоящего изобретения.

Фиг.12 является схемой для первого примера устройства декодирования звукового сигнала с применяемым на нем элементом компенсации сигнала с потерями согласно варианту осуществления настоящего изобретения.

Фиг.13 является схемой для второго примера устройства декодирования звукового сигнала с применяемым на нем элементом компенсации сигнала с потерями согласно варианту осуществления настоящего изобретения.

НАИЛУЧШИЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

Дополнительные признаки и преимущества настоящего изобретения будут изложены в последующем описании, и частично будут видны из описания, или могут быть изучены при практическом использовании настоящего изобретения. Задачи и другие преимущества настоящего изобретения будут реализованы и достигнуты благодаря структуре, конкретно показанной в письменном описании и в формуле изобретения для нее, а также на прилагаемых чертежах.

Для достижения этих и других преимуществ и в соответствии с целью настоящего изобретения, которое осуществлено и всесторонне описано, способ обработки звукового сигнала включает в себя этапы, на которых получают спектральные данные и параметр компенсации сигнала с потерями, обнаруживают сигнал с потерями на основании спектральных данных, генерируют первые компенсационные данные, соответствующие сигналу с потерями, используя случайный сигнал, на основании параметра компенсации сигнала с потерями, и генерируют масштабный коэффициент, соответствующий первым компенсационным данным, и генерируют вторые компенсационные данные, применяя масштабный коэффициент к первым компенсационным данным.

Предпочтительно, чтобы сигнал с потерями соответствовал сигналу, имеющему спектральные данные, равные или меньшие контрольного значения.

Предпочтительно, чтобы параметр компенсации сигнала с потерями включал в себя информацию уровня компенсации, и чтобы уровень первых компенсационных данных определялся на основании информации уровня компенсации.

Предпочтительно, чтобы масштабный коэффициент генерировался с использованием контрольного значения масштабного коэффициента и значения расхождения масштабного коэффициента, и чтобы контрольное значение масштабного коэффициента входило в состав параметра компенсации сигнала с потерями.

Предпочтительно, чтобы вторые компенсационные данные соответствовали спектральному коэффициенту.

Для дальнейшего достижения этих и других преимуществ и в соответствии с целью настоящего изобретения, устройство для обработки звукового сигнала включает в себя устройство разуплотнения, получающее спектральные данные и параметр компенсации сигнала с потерями, модуль обнаружения сигнала с потерями, обнаруживающий сигнал с потерями на основании спектральных данных, модуль генерирования компенсационных данных, генерирующий первые компенсационные данные, соответствующие сигналу с потерями, используя случайный сигнал, на основании параметра компенсации сигнала с потерями, и модуль изменения масштаба, генерирующий масштабный коэффициент, соответствующий первым компенсационным данным, причем модуль изменения масштаба генерирует вторые компенсационные данные, применяя масштабный коэффициент к первым компенсационным данным.

Для дальнейшего достижения этих и других преимуществ и в соответствии с целью настоящего изобретения, способ обработки звукового сигнала включает в себя этапы, на которых генерируют масштабный коэффициент и спектральные данные способом квантования спектрального коэффициента входного сигнала с применением маскирующего эффекта на основании порога маскировки, определяют сигнал с потерями, используя спектральный коэффициент входного сигнала, масштабный коэффициент и спектральные данные, и генерируют параметр компенсации сигнала с потерями, чтобы компенсировать сигнал с потерями.

Предпочтительно, чтобы параметр компенсации сигнала с потерями включал в себя информацию уровня компенсации и контрольное значение масштабного коэффициента, чтобы информация уровня компенсации соответствовала информации, имеющей отношение к уровню сигнала с потерями, и чтобы контрольное значение масштабного коэффициента соответствовало информации, имеющей отношение к масштабированию сигнала с потерями.

Для дальнейшего достижения этих и других преимуществ и в соответствии с целью настоящего изобретения, устройство для обработки звукового сигнала включает в себя модуль квантования, генерирующий масштабный коэффициент и спектральные данные способом квантования спектрального коэффициента входного сигнала с применением маскирующего эффекта на основании порога маскировки, и модуль предсказания сигнала с потерями, определяющий сигнал с потерями, используя спектральный коэффициент входного сигнала, масштабный коэффициент и спектральные данные, причем модуль предсказания сигнала с потерями генерирует параметр компенсации сигнала с потерями, чтобы компенсировать сигнал с потерями.

Предпочтительно, чтобы параметр компенсации включал в себя информацию уровня компенсации и контрольное значение масштабного коэффициента, чтобы информация уровня компенсации соответствовала информации, имеющей отношение к уровню сигнала с потерями, и чтобы контрольное значение масштабного коэффициента соответствовало информации, имеющей отношение к масштабированию сигнала с потерями.

Для дальнейшего достижения этих и других преимуществ и в соответствии с целью настоящего изобретения, машиночитаемый носитель данных включает в себя сохраненные на нем цифровые звуковые данные, причем цифровые звуковые данные включают в себя спектральные данные, масштабный коэффициент и параметр компенсации сигнала с потерями, при этом параметр компенсации сигнала с потерями включает в себя информацию уровня компенсации в качестве информации для компенсации сигнала с потерями, обусловленного квантованием, и информация уровня компенсации соответствует информации, имеющей отношение к уровню сигнала с потерями.

Следует понимать, что как предшествующее общее описание, так и последующее подробное описание, являются иллюстративными и пояснительными и предназначаются для обеспечения дополнительного разъяснения настоящего заявляемого изобретения.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Теперь будет дано подробное рассмотрение предпочтительных вариантов осуществления настоящего изобретения, примеры которых проиллюстрированы на прилагаемых чертежах.

Прежде всего, термины, применяемые в настоящем изобретении, могут рассматриваться далее справочно. Кроме того, термины, не раскрытые в данном описании изобретения, могут рассматриваться далее как значения и понятия, согласующиеся с технической идеей настоящего изобретения. Понятно, что «кодирование» может толковаться как кодирование или шифрование в каждом конкретном случае. «Информация» в данном раскрытии изобретения является термином, который, в общем случае, включает в себя значения, параметры, коэффициенты, элементы и тому подобное, и ее смысл иногда может толковаться по-разному, что не ограничивает настоящее изобретение.

В данном раскрытии изобретения, звуковой сигнал концептуально отличается от видеосигнала в широком смысле и может интерпретироваться как сигнал, выявляемый на слух при воспроизведении. Звуковой сигнал концептуально отличается от речевого сигнала в узком смысле и может интерпретироваться как сигнал, не имеющий речевых характеристик или имеющий небольшую речевую характеристику.

Способ и устройство обработки звукового сигнала согласно настоящему изобретению может становиться устройством и способом анализа потерянного сигнала или устройством и способом компенсации сигнала с потерями, а дополнительно может становиться способом и устройством кодирования звукового сигнала при наличии применяемого в нем вышеупомянутого устройства и способа, или способом и устройством декодирования звукового сигнала при наличии применяемого в нем вышеупомянутого устройства и способа. В последующем описании раскрываются устройство и способ анализа/компенсации сигнала с потерями, а затем раскрывается способ кодирования/декодирования звукового сигнала, выполняемый устройством кодирования/декодирования звукового сигнала.

Фиг.1 является блок-схемой устройства кодирования звукового сигнала согласно варианту осуществления настоящего изобретения, а Фиг.2 является блок-схемой последовательности операций способа кодирования звукового сигнала согласно варианту осуществления настоящего изобретения.

Во-первых, как показано на Фиг.1, анализатор 100 сигнала с потерями включает в себя модуль 120 предсказания сигнала с потерями и может дополнительно включать в себя модуль 110 маскировки/квантования. При этом модуль 120 предсказания сигнала с потерями может включать в себя модуль 122 определения сигнала с потерями и модуль 124 кодирования масштабного коэффициента. Последующее описание дается со ссылкой на Фиг.1 и Фиг.2.

Прежде всего, модуль 110 маскировки/квантования генерирует порог маскировки на основании спектральных данных, используя психоакустическую модель. Модуль 110 маскировки/квантования получает масштабный коэффициент и спектральные данные посредством квантования спектрального коэффициента, соответствующего понижающему микшированию, с использованием порога маскировки [этап S110]. При этом спектральный коэффициент может включать в себя коэффициент MDCT, полученный при преобразовании MDCT (модифицированное дискретное преобразование), чем не ограничивается настоящее изобретение. Порог маскировки предусматривается для применения маскирующего эффекта.

Как упоминалось в предшествующем описании, маскирующий эффект основывается на психоакустической теории. Поскольку слабые сигналы, соседствующие с сильным сигналом, блокируются этим сильным сигналом, маскирующий эффект задействует такую особенность человеческой слуховой системы, что она их плохо распознает.

Например, наибольший сигнал, имеющийся среди данных, соответствующих диапазону частот, выводится посередине, а несколько значительно меньших сигналов, чем наибольший сигнал, могут присутствовать по соседству с наибольшим сигналом. В этом случае, наибольший сигнал становится маскирующим компонентом, и маскирующая кривая может проводиться с учетом этого маскирующего компонента. Малый сигнал, блокируемый маскирующей кривой, становится маскируемым сигналом или маскируемым компонентом. Таким образом, если маскируемый сигнал исключается, а остальные сигналы остаются действующими сигналами, это и называется маскировкой. При этом сигналы с потерями, устраняемые маскирующим эффектом, в основном получают нулевое значение и могут иногда реконструироваться декодирующим устройством. Это будет раскрыто ниже, вместе с описанием способа и устройства компенсации сигнала с потерями согласно настоящему изобретению.

Между тем, существуют различные варианты осуществления для схемы маскировки согласно настоящему изобретению. Их детали будут разъясняться ниже, со ссылкой на Фиг.5 и Фиг.6.

Для применения маскирующего эффекта, как упоминалось в предшествующем описании, используется порог маскировки. Технологический процесс использования порога маскировки раскрывается следующим образом.

Прежде всего, каждый спектральный коэффициент может быть разделен на единицу диапазона масштабного коэффициента. Энергия E_n может быть обнаружена в диапазоне масштабного коэффициента. Схема маскировки, базирующаяся на теории психоакустической модели, применима к полученным значениям энергии. Маскирующая кривая может быть получена исходя из каждого маскирующего компонента, который является значением энергии единицы масштабного коэффициента. Затем можно получить суммарную маскирующую кривую, соединяя соответствующие маскирующие кривые. Наконец, обращаясь к маскирующей кривой, можно получить порог E_th маскировки, который является базой квантования в диапазоне масштабного коэффициента.

Модуль 110 маскировки/квантования получает масштабный коэффициент и спектральные данные из спектрального коэффициента, выполняя маскировку и квантование с использованием порога маскировки. Прежде всего, спектральный коэффициент аналогично может быть представлен с использованием масштабного коэффициента и спектральных данных, которые являются целыми числами, как выражено в Формуле 1. Таким образом, выражение с двумя целочисленными коэффициентами описывает технологический процесс квантования.

[Формула 1]

В Формуле 1 «X» является спектральным коэффициентом, «масштабный_коэффициент» является масштабным коэффициентом, и «спектральные_данные» являются спектральными данными.

Обращаясь к Формуле 1, можно заметить, что не используется знак равенства. Так как и масштабный коэффициент, и спектральные данные имеют только целые значения, невозможно полностью выразить случайный X разложением на значения. Поэтому не устанавливается равенство. Правая часть Формулы 1 может быть представлена как X' в Формуле 2.

[Формула 2]

Фиг.3 является схемой для пояснения технологического процесса квантования согласно варианту осуществления настоящего изобретения, и Фиг.4 является схемой для пояснения примеров области применения масштабного коэффициента.

Обратимся к Фиг.3, проиллюстрирован принцип технологического процесса для выражения спектрального коэффициента (например, a, b, c и т.д.) через масштабный коэффициент (например, А, B, C и т.д.) и спектральные данные (например, a', b', c' и т.д.). Масштабный коэффициент (например, A, B, C и т.д.) является коэффициентом, применяемым к группе (например, конкретный диапазон, конкретный интервал и т.д.). Таким образом, можно повысить эффективность кодирования, обобщенно преобразуя величины коэффициентов, принадлежащих к заданной группе, используя масштабный коэффициент, представляющий заданную группу (например, диапазон масштабного коэффициента).

Между тем, в ходе квантования спектрального коэффициента может порождаться погрешность (Error). Кроме того, соответствующий сигнал погрешности может рассматриваться как разность между исходным коэффициентом X и значением X' согласно квантованию, что представлено в виде Формулы 3.

[Формула 3]

Error=X-X'

В Формуле 3 «X» соответствует выражению, показанному в Формуле 1, а «X'» соответствует выражению, показанному в Формуле 2.

Энергия, соответствующая сигналу погрешности (Error), является погрешностью квантования (E_error).

Используя полученные ранее порог маскировки (E_th) и погрешность квантования (E_error), находят масштабный коэффициент и спектральные данные, чтобы удовлетворять условию, представленному в виде Формулы 4.

[Формула 4]

E_th>E_error

В Формуле 4 «E_th» обозначает порог маскировки, а «E_error» обозначает погрешность квантования.

То есть, если вышеуказанное условие выполняется, погрешность квантования становится меньше порога маскировки. Следовательно, это означает, что энергия шума квантования блокируется маскирующим эффектом. Так сказать, шум вследствие квантования не может быть услышан слушателем.

Таким образом, если масштабный коэффициент и спектральные данные генерируются так, чтобы удовлетворять условию, и затем передаются, декодирующее устройство способно сгенерировать сигнал, почти равный исходному звуковому сигналу, используя масштабный коэффициент и спектральные данные.

Однако, если вышеупомянутое условие не выполняется, потому что разрядность квантования является недостаточной из-за недостатка скорости передачи битов, может произойти ухудшение качества звука. В частности, если все спектральные данные, существующие в пределах всего диапазона масштабного коэффициента, становятся 0, может значительно ощущаться ухудшение качества звука. Более того, даже если выполняется вышеупомянутое условие в соответствии с психоакустической моделью, конкретный человек может чувствовать ухудшение качества звука. Таким образом, сигнал, преобразованный в 0 в интервале, в котором спектральные данные предполагаются неравными 0, или что-то подобное, становится сигналом, потерянным из исходного сигнала.

Фиг.4 демонстрирует различные примеры для объекта, к которому применяется масштабный коэффициент.

Обращаясь к части (A) на Фиг.4, когда существуют k спектральных данных, принадлежащих конкретному кадру (frame_N), можно заметить, что масштабный коэффициент (scf) представляет собой коэффициент, соответствующий одним спектральным данным. Обращаясь к части (B) на Фиг.4, можно заметить, что диапазон масштабного коэффициента (sfb) находится в пределах одного кадра. Кроме того, можно заметить, что объект, к которому применяется масштабный коэффициент, включает в себя спектральные данные, находящиеся в рамках конкретного масштабного коэффициента. Обращаясь к части (C) на Фиг.4, можно заметить, что объект, к которому применяется масштабный коэффициент, включает в себя все спектральные данные, находящиеся в пределах конкретного кадра. Другими словами, могут иметь место различные объекты для масштабного коэффициента. Например, объект, к которому применяется масштабный коэффициент, может включать в себя одни спектральные данные, несколько спектральных данных, находящихся в пределах одного диапазона масштабного коэффициента, несколько спектральных данных, находящихся в пределах одного кадра, или тому подобное.

Следовательно, модуль маскировки/квантования получает масштабный коэффициент и спектральные данные, применяя маскирующий эффект описанным выше способом.

Обратимся теперь к Фиг.1 и Фиг.2, модуль 122 определения сигнала с потерями в модуле 120 предсказания сигнала с потерями определяет сигнал с потерями, анализируя исходное понижающее микширование (спектральный коэффициент) и проквантованный звуковой сигнал (масштабный коэффициент и спектральные данные) [этап S120].

В частности, спектральный коэффициент реконструируется с помощью масштабного коэффициента и спектральных данных. Сигнал погрешности (Error), как отражено в Формуле 3, тогда получается благодаря нахождению разности между реконструированным коэффициентом и исходным спектральным коэффициентом. В условиях Формулы 4, определяются масштабный коэффициент и спектральные данные. А именно, выводятся скорректированный масштабный коэффициент и скорректированные спектральные данные. Иногда (например, если скорость передачи битов низка), условие Формулы 4 может не выполняться.

После подтверждения масштабного коэффициента и спектральных данных, определяется соответствующий сигнал с потерями. При этом сигнал с потерями может быть сигналом, который становится равным или меньшим контрольного значения, в соответствии с условием. В качестве альтернативы, сигнал с потерями может быть сигналом, который случайно принимает контрольное значение, несмотря на отклонение от условия. В этом случае, контрольное значение может быть 0, чем настоящее изобретение не ограничивается.

Определив сигнал с потерями описанным выше способом, модуль 122 определения сигнала с потерями генерирует информацию уровня компенсации, соответствующую сигналу с потерями. При этом информация уровня компенсации представляет собой информацию, соответствующую уровню сигнала с потерями. В случае если декодирующее устройство компенсирует сигнал с потерями, используя информацию уровня компенсации, компенсация может вноситься в сигнал с потерями с абсолютным значением меньшим, чем значение, соответствующее информации уровня компенсации.

Модуль 124 кодирования масштабного коэффициента принимает масштабный коэффициент, а затем генерирует контрольное значение масштабного коэффициента и значение расхождения масштабного коэффициента для масштабного коэффициента, соответствующего конкретной области [этап S140]. В этом случае, эта конкретная область может включать в себя область, соответствующую части области, в которой находится сигнал с потерями. Например, вся информация, принадлежащая конкретному диапазону, может соответствовать области, соответствующей сигналу с потерями, чем настоящее изобретение не ограничивается.

Между тем, контрольное значение масштабного коэффициента может быть значением, определяемым для каждого кадра. Кроме того, значение расхождения масштабного коэффициента является значением, являющимся результатом вычитания контрольного значения масштабного коэффициента из масштабного коэффициента, и может быть значением, определяемым для каждого объекта, к которому применяется масштабный коэффициент (например, кадр, диапазон масштабного коэффициента, выборка и т.д.), чем настоящее изобретение не ограничивается.

Информация уровня компенсации, генерируемая на этапе S130, и контрольное значение масштабного коэффициента, генерируемое на этапе S140, передаются на декодирующее устройство в качестве параметров компенсации сигнала с потерями, а значение расхождения масштабного коэффициента и спектральные данные передаются на декодирующее устройство в качестве исходной схемы.

До сих пор разъяснялся технологический процесс для предсказания сигнала с потерями. В последующем описании, как упоминалось в предшествующем описании, подробно разъясняется схема маскировки согласно варианту осуществления настоящего изобретения, со ссылкой на Фиг.5 и Фиг.6.

РАЗЛИЧНЫЕ ВАРИАНТЫ ОСУЩЕСТВЛЕНИЯ ДЛЯ СХЕМЫ МАСКИРОВКИ

Обратимся к Фиг.5, модуль 110 маскировки/квантования может включать в себя модуль 112 частотной маскировки, модуль 114 временной маскировки, модуль 116 определения маскирующего компонента и модуль 118 квантования.

Модуль 112 частотной маскировки вычисляет порог маскировки, обрабатывая маскировку в частотной области. Модуль 114 временной маскировки вычисляет порог маскировки, обрабатывая маскировку во временной области. Модуль 116 определения маскирующего компонента играет некоторую роль при определении маскирующего компонента в частотной или временной области. Кроме того, модуль 118 квантования квантует спектральный коэффициент, используя порог маскировки, вычисленный модулем 112 частотной маскировки или модулем 114 временной маскировки.

Обращаясь к части (A) на Фиг.6, можно заметить, что существует звуковой сигнал во временной области. Звуковой сигнал обрабатывается по кадровым блокам, состоящим из группы определенного числа выборок. Кроме того, результат выполнения частотного преобразования на данных каждого кадра демонстрируется в части (B) на Фиг.6.

Обращаясь к части (B) на Фиг.6, данные, соответствующие одному кадру, представлены в виде одной полосы, а вертикальная ось является частотной осью. В пределах одного кадра, данные, соответствующие каждому диапазону, могут быть результатом выполнения обработки маскировки в частотной области по диапазонам. В частности, обработка маскировки в частотной области может выполняться модулем 112 частотной маскировки, показанным на Фиг.5.

Между тем, в этом случае, диапазон может включать в себя критический диапазон. Кроме того, критический диапазон означает блок интервалов для независимого приема стимулирующего воздействия по всей частотной области в человеческом органе слуха. Поскольку в пределах случайного критического диапазона присутствует конкретный маскирующий компонент, обработка маскировки может выполняться в пределах диапазона. Эта обработка маскировки не влияет на сигнал в пределах соседнего критического диапазона.

В части (C) на Фиг.6, размер данных, соответствующих конкретному диапазону, среди данных, присутствующих в диапазоне, представлен в виде вертикальной оси для упрощения визуализации размера данных.

Как показано в части (C) на Фиг.6, горизонтальная ось является временной осью, и размер данных указывается для каждого кадра (F_n-1, F_n, F_n+1) в направлении вертикальной оси. Эти покадровые данные независимо исполняют роль маскирующего компонента. С учетом этого маскирующего компонента может быть проведена маскирующая кривая. Кроме того, с учетом этой маскирующей кривой, может выполняться обработка маскировки во времени. При этом маскировка во временной области может выполняться модулем 114 временной маскировки, показанным на Фиг.5.

В последующем описании будут разъясняться различные схемы для каждого из элементов, показанных на Фиг.5, для выполнения соответствующей функции.

1. Направление обработки маскировки

В части (C) на Фиг.6, в отношении маскирующего компонента показано только направление вправо. Тем не менее, модуль 114 временной маскировки может выполнять как обработку маскировки обратно во времени, так и обработку маскировки вперед во времени. Если большой сигнал присутствует в ближайшем будущем на временной оси, малый сигнал из числа текущих сигналов, которые немного опережают большой сигнал во времени, не может воздействовать на человеческий орган слуха. В частности, еще до того, как малый сигнал распознан, он может быть скрыт в большом сигнале в ближайшем будущем. Конечно, период времени для генерирования маскирующего эффекта в обратном направлении может быть короче, чем в прямом направлении.

2. Образец вычисления маскирующего компонента

Модуль 116 определения маскирующего компонента при определении маскирующего компонента может определять в качестве маскирующего компонента наибольший сигнал. Кроме того, модуль 116 определения маскирующего компонента может определять размер маскирующего компонента на основании сигналов, принадлежащих соответствующему критическому диапазону. Например, размер маскирующего компонента может определяться посредством нахождения среднего значения по всем сигналам критического диапазона, нахождения среднего абсолютного значения или нахождения средней энергии.

В качестве альтернативы, в качестве маскирующего компонента может использоваться другое характерное значение.

3. Модуль обработки маскировки

При выполнении маскировки на результате частотного преобразования, модуль 112 частотной маскировки может изменять модуль обработки маскировки. В частности, множество сигналов, которые являются последовательными во времени, может генерироваться в пределах одного и того же кадра в результате частотного преобразования. Например, в случае такого частотного преобразования, как волновое преобразование пакета (WPT), модуляционное преобразование с перекрытием с изменением частоты (FV-MLT) и т.п., множество последовательных во времени сигналов может генерироваться из одной и той же частотной области в пределах одного кадра. В случае этого частотного преобразования, сигналы, присутствовавшие в кадровом модуле, показанной на Фиг.6, присутствуют в меньшем модуле, и обработка маскировки выполняется среди сигналов этого малого модуля.

4. Условия для выполнения обработки маскировки

При определении маскирующего компонента, модуль 116 определения маскирующего компонента может задавать порог маскирующего компонента или может определять тип маскирующей кривой.

Если выполняется частотное преобразование, значения сигналов в целом, как правило, постепенно уменьшаются в сторону высоких частот. Такие малые сигналы могут становиться нулевыми в ходе процесса квантования без выполнения обработки маскировки. Поскольку величины сигналов малы, размер маскирующего компонента тоже мал. Следовательно, маскирующий эффект может стать бессмысленным, так как отсутствует эффект устранения сигналов благодаря маскирующему компоненту.

Таким образом, поскольку имеет место случай, когда обработка маскировки становится бессмысленной, можно выполнять обработку маскировки, задавая порог маскирующего компонента, только при маскирующем компоненте приемлемого размера или больше. Этот порог может быть одинаков для всех частотных диапазонов. С учетом той особенности, что величина сигнала постепенно уменьшается в сторону высоких частот, этот порог может задаваться так, чтобы уменьшаться в размере в сторону высоких частот.

Более того, форма маскирующей кривой может объясняться наличием медленного или быстрого отклонения в зависимости от частоты.

Помимо того, поскольку маскирующий эффект становится более значительным в части, где величина сигнала носит неравномерный характер, т.е. когда имеет место переменный сигнал, можно задавать порог маскирующего компонента, исходя из характеристики, указывающей, является сигнал переменным или стабильным. Кроме того, на основании этой характеристики, можно также определить и тип кривой маскирующего компонента.

5. Порядок обработки маскировки

Как упоминалось в предшествующем описании, обработка маскировки может быть разделена на обработку в частотной области модулем 112 частотной маскировки и обработку во временной области модулем 114 временной маскировки. В случае использования обоих видов обработки одновременно, они могут проводиться в следующем порядке:

i) сначала проводится маскировка в частотной области, а затем применяется маскировка во временной области;

ii) сначала маскировка применяется к сигналам, упорядоченным во времени в порядке частотного преобразования, а затем маскировка проводится по частотной оси;

iii) метод маскировки по частотной оси и метод маскировки по временной оси одновременно применяются к сигналу, полученному в результате частотного преобразования, а затем применяется маскировка с использованием значения, полученного на основании кривой, полученной в результате этих двух способов; или

iv) три вышеуказанных способа комбинируются для использования.

В последующем описании, со ссылкой на Фиг.7, будет разъясняться первый пример устройства и способа кодирования звукового сигнала, для которых применяется анализатор сигнала с потерями согласно варианту осуществления настоящего изобретения, описанный со ссылкой на Фиг.1 и Фиг.2.

Как показано на Фиг.7, устройство 200 кодирования звукового сигнала включает в себя многоканальное кодирующее устройство 210, кодирующее устройство 220 звукового сигнала, кодирующее устройство 230 речевого сигнала, анализатор 240 сигнала с потерями и устройство 250 уплотнения.

Многоканальное кодирующее устройство 210 генерирует монофонический или стереофонический сигнал с понижающим микшированием, принимая множество канальных сигналов (по меньшей мере, два канальных сигнала, в дальнейшем именуемые многоканальным сигналом), а затем выполняя понижающее микширование. Кроме того, многоканальное кодирующее устройство 210 генерирует пространственную информацию, необходимую для повышающего микширования в многоканальный сигнал сигна