Устройство объединения потоков, модуль и способ декодирования

Устройство объединения потоков, модуль и способ декодирования

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее изобретение относится к системам многоточечной телеконференц-связи, использующим метод аудиокодирования для установления коммуникаций, и, в частности, к модулю многоточечного соединения.

Уровень техники

В последние годы появились системы телеконференц-связи для установления соединения между несколькими точками через IP (Интернет-протокол). Традиционная система конференц-связи использует метод кодирования речи, включающий G. 726, чтобы устанавливать соединения между каждой из точек на основании "один-к-одному".

В предоставлении монофонического акустического сигнала на основании метода монофонического кодирования речи, включающего G. 726, описанного в непатентном документе 1, отсутствует создание реалистичной атмосферы в каждой из точек. Таким образом, для слушателей трудно точно определять говорящего, когда несколько человек одновременно говорят в каждой из точек. Это вытекает из ухудшения характеристик разделения звука.

Таким образом, введение метода многоканального кодирования, такого как метод MPEG-AAC, описанный в непатентном документе 2, позволяет улучшать характеристики разделения. Хотя метод MPEG-AAC и предоставляет реалистичную атмосферу в каждой из точек, он приводит к перегрузке сети вследствие увеличения объема передачи (скорости передачи битов). По сравнению с методом кодирования речи типичный метод многоканального кодирования испытывает приблизительно 100-кратное увеличение скорости передачи битов.

По сравнению с методом MPEG-AAC метод MPEG-Surround, описанный в непатентном документе 3, использует метод многоканального кодирования с низкой скоростью передачи битов, чтобы не допускать увеличения скорости передачи битов.

Непатентный документ 1. Стандарт ITU-T G.726.

Непатентный документ 2. Стандарт MPEG-AAC ISO/IEC 13818-3.

Непатентный документ 3. Стандарт MPEG-Surround ISO/IEC 23003-3.

Непатентный документ 4. <URL:http://winnie.kuis.kyoto-u.ac.jp/~ogata/le4-pr/node2.html>, найден в Интернете 15 июля 2007 года.

Непатентный документ 5. 2000. том J83-A. "Scalable Audio Coding Based on Hierarchical Transform Coding Modules", IEICE The Transactions of the Institute of Electronics, Information and Communication Engineers. A. no. 3 (20000325), стр. 241-252.

Непатентный документ 6.

<URL:http://www.murata.elec.waseda.ac.jp/~mura/Research/ICA/ieice99/mld.m>, найден в Интернете 15 июля 2007 года.

Раскрытие изобретения

Проблемы для разрешения изобретением

Метод MPEG-Surround имеет значительные проблемы при использовании в качестве системы конференц-связи.

Как показано на фиг.1 и 2, ячеистая сеть (фиг.1) и сеть со структурой типа "звезда" (фиг.2) используются для того, чтобы устанавливать сеть в системе телеконференц-связи. Когда несколько точек соединены в ячеистой сети (фиг.1), увеличение подключенных точек означает значительный объем одновременной обработки кодирования в терминальном устройстве приема-передачи в каждой из точек. Когда есть n точек, терминал в каждой точке должен выполнять n раз обработку декодирования. В случае кодирования и декодирования по методу многоканального кодирования, такому как метод MPEG-Surround, требуется значительный объем вычислений. Таким образом, выполнение одновременных и нескольких обработок декодирования, как описано выше, требует высокой производительности вычисления для процессора кодирования и декодирования, т.е. требует высокопроизводительного процессора. К сожалению, типичный процессор обработки для одновременной обработки декодирования, как описано выше, зачастую является дорогим и интенсивно использует ресурсы. Дополнительно, проектирование арифметического запоминающего устройства, имеющего запас по емкости, приводит к дополнительному увеличению потребления ресурсов. Эта проблема является критической для портативных терминалов, поскольку портативные терминалы должны экономить электричество.

Между тем, сеть со структурой типа "звезда" (фиг.2), устанавливающая соединение через модуль 403 многоточечного соединения (MCU), также имеет проблемы. Терминальное устройство приема-передачи в каждой из точек просто выполняет обработку приема-передачи между MCU и устройством, что не требует чрезмерной производительности обработки или объема арифметического запоминающего устройства. Модуль многоточечного соединения (MCU), тем не менее, должен иметь значительную производительность вычислений. Фиг.3 иллюстрирует три точки, устанавливающие соединения через модуль 403 многоточечного соединения и обменивающиеся данными друг с другом посредством традиционного метода многоканального кодирования, такого как MPEG-Surround. Фиг.3 иллюстрирует каждую точку, выполняющую трехканальный обмен данными. Модуль 403 многоточечного соединения: выполняет многоканальное декодирование кодированной информации 401 и кодированной информации 402, принимаемой от точек 1 и 2 соответственно; выполняет понижающее микширование каждого из каналов; и обеспечивает, для передачи в точку 3, повторное трехканальное кодирование микшированных с понижением каналов. Другими словами, когда n точек соединено с модулем многоточечного соединения (MCU), модуль многоточечного соединения должен одновременно выполнять n раз обработку кодирования и n раз обработку декодирования, чтобы один раз декодировать кодированные потоки, каждый из которых принимается из связанной точки, и объединять кодированные потоки в один сигнал. Соответственно, проблема, возникающая в терминальном устройстве приема-передачи в ячеистой сети, также возникает в модуле многоточечного соединения.

Настоящее изобретение создано ввиду вышеописанных традиционных проблем.

Средство для решения проблемы

Чтобы разрешить вышеописанные проблемы, первое устройство объединения потоков в настоящем изобретении включает в себя модуль ввода, который вводит, по меньшей мере, два кодированных сигнала, каждый из которых включает в себя первый акустический сигнал понижающего микширования и расширенный сигнал, причем каждый из первых акустических сигналов понижающего микширования получается посредством кодирования акустического сигнала, в который, по меньшей мере, два звуковых сигнала микшированы с понижением, а расширенный сигнал служит для получения этих, по меньшей мере, двух звуковых сигналов из первого акустического сигнала понижающего микширования; модуль формирования кодированных сигналов, который формирует второй акустический сигнал понижающего микширования и расширенный сигнал на основании каждого из кодированных сигналов, вводимых посредством модуля ввода, при этом второй акустический сигнал понижающего микширования служит для получения каждого из первых акустических сигналов понижающего микширования, а сформированный расширенный сигнал служит для получения каждого из первых акустических сигналов понижающего микширования из второго акустического сигнала понижающего микширования; и формирует кодированный сигнал, включающий в себя сформированный второй акустический сигнал понижающего микширования, сформированный расширенный сигнал и каждый из расширенных сигналов, включенных в соответствующий вводимый кодированный сигнал; и модуль вывода, который выводит сформированный кодированный сигнал.

Устройство декодирования включает в себя модуль ввода, который вводит кодированный сигнал, включающий в себя акустический сигнал понижающего микширования и расширенный сигнал, причем акустический сигнал понижающего микширования предоставляется из кодированного акустического сигнала, в который, по меньшей мере, два звуковых сигнала микшированы с понижением, а расширенный сигнал служит для получения этих, по меньшей мере, двух звуковых сигналов из акустического сигнала понижающего микширования, при этом акустический сигнал понижающего микширования в кодированном сигнале, который должен быть введен, является вторым акустическим сигналом понижающего микширования для получения каждого из акустических сигналов понижающего микширования в предварительно определенных, по меньшей мере, двух кодированных сигналах, расширенный сигнал в кодированном сигнале, который должен быть введен, является расширенным сигналом для получения каждого из первых акустических сигналов понижающего микширования из второго акустического сигнала понижающего микширования, и модуль декодирования включает в себя субмодуль декодирования, который формирует, по меньшей мере, два промежуточных сигнала на основании, по меньшей мере, интераурального коэффициента корреляции (ICC) и интерауральной разности уровней частот (ILD), включенных в расширенный сигнал, и умножает сформированные, по меньшей мере, два промежуточных сигнала на интерауральную разность уровней частот (ILD), причем эти, по меньшей мере, два промежуточных сигнала декоррелируются из декодированного сигнала, полученного из второго акустического сигнала понижающего микширования, с использованием интераурального коэффициента корреляции (ICC). Следует отметить, что модуль декодирования формирует каждый из промежуточных сигналов на основании, по меньшей мере, интераурального коэффициента корреляции (ICC) и интерауральной разности уровней частот (ILD). Модуль декодирования может формировать каждый из промежуточных сигналов на основании фрагмента данных, отличного от интераурального коэффициента корреляции (ICC), интерауральной разности уровней частот (ILD) или обоих из интераурального коэффициента корреляции (ICC) и интерауральной разности уровней частот (ILD).

Второй модуль объединения потоков использует кодированный сигнал в качестве своего входного и выходного сигнала, при этом кодированный сигнал включает в себя: акустический сигнал понижающего микширования, предоставляемый из кодированного акустического сигнала, в который микшируется с понижением не менее одного монофонического сигнала; и расширенный сигнал для декодирования акустического сигнала понижающего микширования не менее чем в один монофонический сигнал. Второй модуль объединения потоков выполнен с возможностью принимать не менее двух кодированных сигналов, чтобы формировать: часть акустического сигнала понижающего микширования не менее чем в одном кодированном сигнале в один акустический сигнал понижающего микширования; и акустический сигнал понижающего микширования в расширенный сигнал для декодирования не менее одного монофонического сигнала.

Третий модуль объединения потоков использует кодированный сигнал в качестве своего входного и выходного сигнала, при этом кодированный сигнал включает в себя: акустический сигнал понижающего микширования, предоставляемый из кодированного акустического сигнала, в который микшируется с понижением не менее одного монофонического сигнала; и расширенный сигнал для декодирования акустического сигнала понижающего микширования не менее чем в один монофонический сигнал. Третий модуль объединения потоков выполнен с возможностью: принимать не менее двух из кодированных сигналов, включающих в себя кодированный сигнал, и передавать один из кодированных сигналов; и объединять расширенные сигналы, имеющие расширенный сигнал, включенный в принятые кодированные сигналы, в один кодированный сигнал.

Четвертый модуль объединения потоков использует кодированный сигнал в качестве своего входного и выходного сигнала, при этом кодированный сигнал включает в себя: акустический сигнал понижающего микширования, предоставляемый из кодированного акустического сигнала, в который микшируется с понижением не менее одного монофонического сигнала; и расширенный сигнал для декодирования акустического сигнала понижающего микширования не менее чем в один монофонический сигнал. Четвертый модуль объединения потоков выполнен с возможностью объединять в сигнал, включающий в себя информацию, указывающую источники передачи, не менее двух из кодированных сигналов.

Первый модуль декодирования принимает кодированный сигнал в качестве своего входного сигнала, при этом кодированный сигнал включает в себя: акустический сигнал понижающего микширования, предоставляемый из кодированного акустического сигнала, в который микшируется с понижением не менее одного монофонического сигнала; и расширенный сигнал для декодирования акустического сигнала понижающего микширования не менее чем в один монофонический сигнал. Первый модуль декодирования принимает сигнал, сформированный в расширенный сигнал для декодирования, из не менее чем двух кодированных сигналов, части акустического сигнала понижающего микширования в не менее чем одном кодированном сигнале в один сигнал понижающего микширования и акустического сигнала понижающего микширования не менее чем в один монофонический сигнал. Расширенный сигнал включает в себя соотношение мощностей частот (ILD) не менее чем одного монофонического сигнала и интерауральный коэффициент корреляции (ICC) не менее чем одного монофонического сигнала. Первый модуль декодирования декоррелирует сигнал с помощью микшированного с понижением акустического сигнала, декодированного с использованием интерауральных коэффициентов корреляции (ICC), и формирует не менее двух промежуточных сигналов. Затем первый модуль декодирования умножает не менее двух промежуточных сигналов на соотношение мощностей частот (ILD).

Второй модуль декодирования принимает кодированный сигнал в качестве своего входного сигнала, при этом кодированный сигнал включает в себя: акустический сигнал понижающего микширования, предоставляемый из кодированного акустического сигнала, в который микшируется с понижением не менее одного монофонического сигнала; и расширенный сигнал для декодирования акустического сигнала понижающего микширования не менее чем в один монофонический сигнал. Второй модуль декодирования принимает сигнал, сформированный в расширенный сигнал для декодирования, из не менее двух кодированных сигналов, части акустического сигнала понижающего микширования не менее чем в одном кодированном сигнале в один сигнал понижающего микширования и акустического сигнала понижающего микширования не менее чем в один монофонический сигнал. Расширенный сигнал включает в себя соотношение мощностей между мощностями частоты и возведенным в квадрат монофоническим сигналом не менее одного монофонического сигнала. Второй модуль декодирования выполнен с возможностью приостанавливать декодирование, когда соотношение мощностей между мощностями частоты и возведенного в квадрат монофонического сигнала больше предварительно определенного порогового значения.

Пятый модуль объединения потоков использует кодированный сигнал в качестве своего входного и выходного сигнала, при этом кодированный сигнал включает в себя: акустический сигнал понижающего микширования, предоставляемый из кодированного акустического сигнала, в который микшируется с понижением не менее одного монофонического сигнала; и расширенный сигнал для декодирования акустического сигнала понижающего микширования не менее чем в один монофонический сигнал. Пятый модуль объединения потоков выполнен с возможностью принимать не менее двух кодированных сигналов, чтобы формировать: часть акустического сигнала понижающего микширования не менее чем в одном кодированном сигнале в один акустический сигнал понижающего микширования; и акустический сигнал понижающего микширования в расширенный сигнал для декодирования не менее одного монофонического сигнала.

При использовании метода монофонического кодирования речи, включающей G. 726, пятый модуль объединения потоков может предоставлять решение проблем ухудшения звука вследствие монофонических акустических сигналов, когда несколько человек одновременно говорят в каждой точке, и, таким образом, для слушателей трудно определить говорящего.

Преимущества изобретения

Вышеописанный модуль объединения потоков может предоставлять улучшенную реалистичную атмосферу при многоточечном соединении и также снижать вычислительную нагрузку в модуле многоточечного соединения.

Краткое описание чертежей

Фиг.1 иллюстрирует тип тракта связи.

Фиг.2 иллюстрирует тип тракта связи.

Фиг.3 показывает проблему в многоканальной многоточечной связи.

Фиг.4 иллюстрирует модуль объединения потоков в первом варианте осуществления настоящего изобретения.

Фиг.5 иллюстрирует многоточечное соединение в первом варианте осуществления настоящего изобретения.

Фиг.6 показывает схему формирования с понижающим микшированием в первом варианте осуществления настоящего изобретения.

Фиг.7 показывает модуль декодирования в первом варианте осуществления настоящего изобретения.

Фиг.8 показывает разделяющую схему в первом варианте осуществления настоящего изобретения.

Фиг.9 иллюстрирует многоточечное соединение во втором варианте осуществления настоящего изобретения.

Фиг.10 иллюстрирует кодированный поток во втором варианте осуществления настоящего изобретения.

Фиг.11 показывает схему формирования с понижающим микшированием в третьем варианте осуществления настоящего изобретения.

Фиг.12 иллюстрирует многоточечное соединение в четвертом варианте осуществления настоящего изобретения.

Фиг.13 иллюстрирует кодированный поток в четвертом варианте осуществления настоящего изобретения.

Фиг.14 иллюстрирует многоточечное соединение в первом варианте осуществления настоящего изобретения.

Фиг.15 иллюстрирует другое многоточечное соединение в первом варианте осуществления настоящего изобретения.

Фиг.16 является блок-схемой последовательности операций способа, показывающей, как модуль объединения потоков обнаруживает число точек приема.

Фиг.17 является блок-схемой последовательности операций способа, показывающей, как модуль объединения потоков вычисляет коэффициент разделения понижающего микширования.

Фиг.18 является другой блок-схемой последовательности операций способа, показывающей, как вычислять коэффициент разделения понижающего микширования.

Фиг.19 иллюстрирует кодированный поток в первом варианте осуществления настоящего изобретения.

Фиг.20 иллюстрирует информацию расщепленного дерева, хранимую в кодированном потоке.

Фиг.21 является блок-схемой последовательности операций способа, показывающей процесс вычисления приоритета в модуле объединения потоков.

Фиг.22 является схемой, показывающей процесс модуля объединения потоков, передающего каждый фрагмент кодированной информации в связанную точку.

Ссылочные позиции

100 - Устройство объединения потоков

101, 102 и 107 - Кодированная информация

103 - Разделяющая схема

104 - Схема формирования с понижающим микшированием

105 - Схема вычисления расширенной информации

106 - Схема мультиплексирования

201 и 204 - Кодированный сигнал понижающего микширования

202, 203, 205 и 206 - Расширенная информация

207 - Кодированный сигнал понижающего микширования

208 - Разделяющая информация понижающего микширования

401, 402 и 407 - Кодированная информация

501 и 502 - Схема декодирования

503 - Схема понижающего микширования

504 - Схема декодирования

601 - Кодированный сигнал понижающего микширования

602 - Расширенная информация

603 и 604 - Разделяющая схема

701 - Входной сигнал

702 - Разделяющая информация (значение корреляции)

703 - Разделяющая информация (интерауральная разность уровней)

704 - Схема декорреляции

705 и 706 - Схема управления усилением

707 - Отделенный первый сигнал

708 - Отделенный второй сигнал

801 - Кодированный сигнал понижающего микширования точки 1

802 и 803 - Расширенная информация точки 1

804 - Кодированный сигнал понижающего микширования точки 2

805, 806 и 807 - Расширенная информация точки 2

808 - Кодированный сигнал понижающего микширования точки 3

809 - Разделяющая информация понижающего микширования точки 3

901 - Информация дерева

902 - Кодированный сигнал понижающего микширования точки 3

903 - Разделяющая информация понижающего микширования точки 3

904, 905 и 906 - Расширенная информация

907 - Информация определения

908 - Информация о точке

909 - Число сигналов

910 - Информация глубины дерева

911 - Коэффициент дерева сигнала 1

912 - Коэффициент дерева сигнала 2

913 - Коэффициент дерева сигнала 3

914 - Информация по концевому узлу

1001 - Модуль обратного квантования

1101 - Сигнал понижающего микширования

1102, 1103, 1104 - Расширенная информация

1105 - Сигнал понижающего микширования

1106, 1107, 1108 и 1109 - Расширенная информация

1110 - Сигнал понижающего микширования

1111 - Разделяющая информация понижающего микширования

1112 и 1113 - Расширенная информация

1114, 1115 и 1116 - Кодированная информация

1301 - Число входных сигналов

1401 - Информация приоритета

1402 - Расширенный сигнал входного сигнала 1 точки 1 (максимальный приоритет)

1403 - Расширенный сигнал входного сигнала 2 точки 2 (минимальный приоритет)

Осуществление изобретения

Далее описаны варианты осуществления настоящего изобретения со ссылками на чертежи.

(Первый вариант осуществления)

Фиг.4 является структурной схемой модуля 100 объединения потоков в настоящем изобретении. Дополнительно, фиг.5 иллюстрирует точки 1, 2 и 3, устанавливающие соединения друг с другом через модуль 100 объединения потоков (модуль многоточечного соединения) в настоящем изобретении. Далее система многоточечной телеконференц-связи, включающая в себя точки 1-3 и модуль 100 объединения потоков, упоминается как система 1 (фиг.5). Сначала фиг.5 показывает краткий обзор системы 1.

Фиг.5 является блок-схемой системы 1.

Каждая из точек снимает два или больше независимых акустических сигнала на микрофоне, чтобы получать многоканальный PCM-сигнал (импульсно-кодовой модуляции). На фиг.5 точка 1 снимает сигналы 1-3, а точка 2 снимает сигналы 4-6. Выражение 1 предоставляет стереофонический или монофонический PCM-сигнал понижающего микширования из полученного PCM-сигнала.

(Выражение 1) DMX (n) = ∑a (i, n)·Input(i) n = 1 или 2,

где (i, n) - это коэффициент понижающего микширования каждого из входных сигналов. Когда пять сигналов снимаются, используется коэффициент понижающего микширования, раскрытый в стандарте ITU-R BS 775-1. Следует отметить, что "∑" представляет полную сумму последовательности. Другими словами, "∑" означает "∑" в математике.

Здесь несколько независимых акустических сигналов выступают в качестве обычного многоканального сигнала.

Затем монофонический или стереофонический сигнал понижающего микширования, вычисленный, как описано выше, принимает обработку монофонического или стереофонического акустического кодирования соответственно. Стереофонический сигнал понижающего микширования принимает обработку акустического кодирования посредством метода MPEG AAC, описанного в непатентном документе 2. Монофонический сигнал понижающего микширования принимает обработку акустического кодирования посредством метода G.726 и монофонического кодирования методом MPEG-AAC, описанном в непатентном документе 1. Следует отметить, что метод для кодирования сигнала понижающего микширования не ограничен MPEG-AAC и G.726. Вместо них также могут быть использованы методы Dolby Digital (AC-3), метод MPEG-Layer 3 и метод TwinVQ.

Фиг.5 показывает сигналы, предоставляемые посредством кодирования PCM-сигналов понижающего микширования, как DMX-сигнала 201 и DMX-сигнала 204. Они, в общем, упоминаются как кодированные сигналы понижающего микширования.

Для удобства, эта заявка упоминает всю обработку как кодирование с понижающим микшированием, при этом вся обработка содержит понижающее микширование множества исходных сигналов, например множества акустических сигналов, и кодирование микшированных с понижением PCM-сигналов понижающего микширования в DMX-сигнал. Здесь кодирование с понижающим микшированием упоминается просто как "кодирование" при необходимости. В отличие от этого обработка для формирования множества исходных сигналов из DMX-сигналов упоминается как декодирование с понижающим микшированием. Здесь декодирование с понижающим микшированием упоминается просто как "декодирование" при необходимости.

Затем определяется сигнал, упоминаемый как расширенный сигнал. Этот сигнал включает в себя информацию для декодирования сигналов понижающего микширования (таких, как DMX-сигнал 201 и DMX-сигнал 204) в нескольких независимых сигналах. Точка 1 иллюстрирует вычисление расширенного сигнала. Во-первых, интерауральная разность уровней (ILD) и интерауральный коэффициент корреляции (ICC) извлекаются из входных сигналов (в случае, если сигнал 1 и сигнал 2 являются монофоническими сигналами) на основании кадров следующим образом:

(Выражение 2) Gain(n) = 10·log(Input1(n)/Input2(n)).

(Выражение 3) Cor(n) = ∑(Input1(n)·Input2(n)/Input2(i)^2),

где сигнал 1 - это Input1(n), сигнал 2 - это Input2(n).

Следует отметить, что символ "^" обозначает экспоненциальное вычисление в этой заявке. В частности, "А^B", включающее в себя символ "^", означает А в степени В.

Интерауральная разность уровней (ILD) и интерауральный коэффициент корреляции (ICC) квантуются и кодируются по методу Хаффмана, чтобы формировать расширенную информацию 203. ОТТ-схема (схема, формирующая вышеупомянутый расширенный сигнал из двух входных сигналов), используемая для кодирования MPEG-Surround, описанного в непатентном документе 3, должна предоставлять подробный процесс вычисления. Следует отметить, что интерауральная разность уровней (ILD) и интерауральный коэффициент корреляции (ICC) иллюстрируются как расширенная информация; тем не менее, расширенная информация не должна ограничиваться ими. Дополнительно, вышеприведенное вычисление иллюстрирует то, как сформировать расширенную информацию из двух независимых сигналов. Также может быть использован другой метод при получении расширенной информации из трех сигналов. ТТТ-схема, используемая для кодирования MPEG-Surround, описанного в непатентном документе 3, представит подробности метода. В случае четырех или более независимых сигналов последовательно подключенные ОТТ-схемы, каждая из которых является сигнальным устройством, принимающим два входных сигнала, вычисляет расширенный сигнал. Например, две ОТТ-схемы используются для приема четырех независимых сигналов и формирования двух пар сигналов понижающего микширования, чтобы получать один сигнал понижающего микширования через ОТТ-схему. Другими словами, используются три ОТТ-схемы.

Следует отметить, что расширенная информация может включать в себя информацию о разности фаз (IPD), а также интерауральную разность уровней (ILD) и интерауральный коэффициент корреляции (ICC).

Далее сигналы 1 и 2 микшируются с понижением для преобразования в монофонический сигнал. Интерауральная разность уровней (ILD) и интерауральный коэффициент корреляции (ICC) вычисляются с помощью выражений 2 и 3 из монофонического сигнала и сигнала 3 и квантуются и кодируются по методу Хаффмана для создания расширенной информации 202. Кодированная информация 101 включает в себя кодированный сигнал 201 понижающего микширования, расширенную информацию 202 и расширенную информацию 203. Здесь расширенная информация 202 разделяет сигнал 3 и объединенный сигнал, включающий в себя сигналы 1 и 2, из кодированного сигнала 201 понижающего микширования. Расширенная информация 203 разделяет объединенный сигнал, включающий в себя сигналы 1 и 2, и разделенный посредством расширенной информации 202 на сигнал 1 и сигнал 2. Дерево 209 сигналов на фиг.5 схематично иллюстрирует вышеописанное.

Аналогично точке 1 точка 2 вычисляет расширенную информацию 206 из сигналов 4 и 5 и расширенную информацию 205 из сигнала 6 и объединенного сигнала с микшированными с понижением сигналами 4 и 5.

Кодированные сигналы понижающего микширования и фрагменты расширенной информации, как описано выше, объединяются на точечной основе и предоставляются в модуль 100 объединения потоков через тракт связи, включающий в себя Интернет.

Фиг.4 подробно иллюстрирует модуль 100 объединения потоков настоящего изобретения. Модуль 100 объединения потоков выполняет следующее вычисление.

Во-первых, разделяющая схема 103 разделяет кодированные сигналы понижающего микширования и фрагменты расширенной информации из кодированной информации 101 в точке 1 и кодированной информации 102 в точке 2 соответственно. При разделении фрагмент информации, чтобы различать сигналы понижающего микширования и фрагменты расширенной информации, назначается каждой начальной точке фрагмента расширенной информации. Разделяющая схема 103 выполняет вышеупомянутое разделение в соответствии с фрагментом информации.

Фиг.6 иллюстрирует структуру схемы 104 формирования с понижающим микшированием (фиг.4).

В схеме 104 формирования с понижающим микшированием разделенные кодированные сигналы понижающего микширования во временном отношении декодируются в PCM-сигналы посредством схем 501 и 502 декодирования, включенных в схему 104 формирования с понижающим микшированием, следуя предварительно определенному процессу. Следует отметить, что когда кодированные сигналы понижающего микширования кодированы методом MPEG-AAC, метод декодирования, описанный в непатентном документе 2, приспосабливается для декодирования сигналов понижающего микширования для получения PCM-сигналов. PCM-сигналы, полученные, как описано выше, упоминаются как PCM 1 и PCM 2.

Схема 104 формирования с понижающим микшированием получает кодированный сигнал 207 понижающего микширования (фиг.6) посредством дополнительного: понижающего микширования декодированных PCM-сигналов (PCMS 1 и 2) в схеме 503 понижающего микширования; и кодирования микшированных с понижением декодированных PCM-сигналов в схеме 504 кодирования в соответствии с предварительно определенным методом кодирования (например, MPEG-AAC). Выражение 4 иллюстрирует процесс понижающего микширования, описанный выше:

(Выражение 4) DMX = 0,5·PCM1 + 0,5·PCM2.

Здесь следует отметить, что коэффициент представляет 0,5. Между тем, коэффициент не ограничен этим до тех пор, пока сохраняется следующая зависимость:

(Выражение 5) a(i) + b(i) = 1,

где коэффициенты для PCMS 1 и 2 - это a(i) и b(i) соответственно. Этот процесс эквивалентен работе схемы 503 понижающего микширования на фиг.6.

После этого схема 105 вычисления расширенной информации (фиг.4) вычисляет расширенную информацию из PCM 1 и PCM 2 в соответствии с вышеописанными выражениями 2 и 3. Вычисленная расширенная информация упоминается как разделяющая информация 208 понижающего микширования (расширенная информация понижающего микширования) (DMX-разделение на фиг.5).

Разделяющая информация понижающего микширования вычисляется следующим образом.

Фиг.16 является блок-схемой последовательности операций способа для определения того, должна ли быть получена разделяющая информация понижающего микширования.

Установление точек в варианте осуществления иллюстрирует модуль 100 объединения потоков, принимающий сигналы из двух точек и передающий объединенный сигнал в точку. Здесь число точек приема n равно 2. Модуль 100 объединения потоков обнаруживает число точек приема (этап S11). Поскольку обнаруженное число точек приема больше 1 (этап S12:Y), модуль 100 объединения потоков инструктирует схеме 105 вычисления расширенной информации вычислять коэффициент разделения точечных сигналов (разделяющую информацию понижающего микширования) (этап S13). Вычисление будет описано ниже. После вычисления коэффициента разделения точечных сигналов схема 106 мультиплексирования объединяет коэффициент и первоначальную расширенную информацию в один поток (этап S14), и модуль I2 вывода выводит поток в третью точку (этап S15). Как описано выше, этап S14 включает наложение посредством схемы 106 мультиплексирования коэффициента разделения точечных сигналов. Процесс вычисления коэффициента разделения точечных сигналов будет описан на фиг.18.

Фиг.18 является блок-схемой, описывающей вычисление первого коэффициента разделения понижающего микширования.

Согласно выражению 3 интерауральные коэффициенты корреляции (ICC) PCMS 1 и 2 вычисляются из PCMS 1 и 2, в которые кодированы сигналы 201 и 204 кодирования с понижающим микшированием (фиг.6) из соответствующих точек 1 и 2 (этап S32). Следующий шаг заключается в обнаружении того, больше или меньше абсолютное значение вычисленных интерауральных коэффициентов корреляции (ICC), чем предварительно определенное пороговое значение P_ICC (этап S33). Когда абсолютное значение меньше P_ICC (этап S33: Y), вычисляется разностный сигнал между PCMS 1 и 2. Следует отметить, что P_ICC представляет, например, 0,5. Это значение, ранее заданное в устройстве 100 объединения потоков (фиг.4 и 5), варьируется между 0 и 1,0 и может быть свободно изменено пользователем. Соответственно, значение, ранее заданное равным 0,5, необязательно ограничено этим.

Этап S35 включает LPC-анализ дифференциального PCM-сигнала с помощью предварительно определенного порядка, чтобы вычислять LPC-коэффициенты и разностный сигнал. Непатентный документ 4 описывает пример LPC-анализа.

Этап S36 заключается в кодировании интерауральных коэффициентов корреляции (ICC), LPC-коэффициента и порядка LPC-анализа, все из которых вычисляются в вышеупомянутом процессе для формирования разделяющей информации понижающего микширования. Дополнительно, когда абсолютное значение интерауральных коэффициентов корреляции (ICC) не меньше предварительно определенного порогового значения P_ICC, только информация ICC должна быть передана в качестве разделяющей информации понижающего микширования. Эти вычисления повторяются столько раз, сколько составляет число комбинаций всех точек передачи (этап S31), чтобы получать ICC и LPC-коэффициенты. Вариант осуществления заключается в выполнении одного цикла. Следует отметить, что этап S31 включает определение того, завершена или нет каждая из вышеописанных операций на этапах S32-S37 для всех без исключения комбинаций точек передачи. Затем, на этапе S31e, когда операции определены как завершенные для всех комбинаций на этапе S31 (этап S31:Y), обработка на фиг.18 (вычисление первого коэффициента разделения понижающего микширования) завершается. Дополнительно, когда операции определены как незавершенные для всех комбинаций на этапе S31 (этап S31:N), операции на этапах S32-S37 инициируются для одной из незавершенных комбинаций.

Фиг.17 является блок-схемой, показывающей вычисление второго коэффициента разделения понижающего микширования в модуле 100 объединения потоков.

Разделяющая информация понижающего микширования также может быть вычислена согласно блок-схеме по фиг.17. Согласно (вышеупомянутому) выражению 3 этап S22 включает вычисление интерауральных коэффициентов корреляции (ICC) PCMS 1 и 2 из PCMS 1 и 2, в которые кодированы сигналы 201 и 204 кодирования с понижающим микшированием (фиг.6) из соответствующих точек 1 и 2. Затем этап S23 включает обнаружение того, больше или меньше абсолютное значение вычисленных интерауральных коэффициентов корреляции (ICC), чем предварительно определенное пороговое значение P_ICC. Когда абсолютное значение меньше чем P_ICC (этап S23: Y), этап S24 включает вычисление интерауральной разности уровней (ILD) из PCM-сигналов 1 и 2 в соответствии с выражением 2. Вычисленные ILD и ICC передаются в качестве разделяющей информации понижающего микширования. Когда абсолютное значение интерауральных коэффициентов корреляции (ICC) не меньше предварительно определенного порогового значения P_ICC (этап S23: N), только информация интерауральных коэффициентов корреляции (ICC) должна быть кодирована и передана (этап S26). Эти вычисления повторяются столько раз, сколько составляет число комбинаций всех точек передачи (этап S21:N), чтобы предоставлять ICC, ILD и LPC-коэффициенты. Когда точка вывода модуля 100 объединения потоков является точкой 3 в варианте осуществления, ICC и ILD вычисляются для комбинации точек 1 и 2. Аналогично, когда точка вывода - это точка 1, вышеописанные ICC, ILD и LPC вычисляются для сигналов понижающего микширования точек 2 и 3. Вышеприведенные вычисления описывают случай, имеющий три точки. Тем не менее, число точек необязательно ограничено тремя. Вычисления применимы к случаю, когда имеется три или более точек.

Следует отметить, что этап S21 включает определение того, завершена или нет каждая из вышеописанных операций на этапах S21-S26 для всех без исключения комбинаций точек передачи. Затем, на этапе S21e, когда операции определены как завершенные для всех комбинаций на этапе S21 (этап S21:Y),