Система, способ и многоточечный блок управления для реализации многоязычной конференцсвязи

Система, способ и многоточечный блок управления для реализации многоязычной конференцсвязи

Иллюстрации

Показать все

Реферат

Перекрестная ссылка на родственные заявки

Данная заявка притязает на приоритет международной патентной заявки № PCT/CN2007/070835, поданной 29 сентября 2007 г., которая притязает на приоритет китайской патентной заявки № 200610063017.7, поданной 30 сентября 2006 г.

Область техники

Настоящее изобретение относится к области технологии связи, и в частности к системе, способу и многоточечному блоку управления для реализации многоязычной конференцсвязи.

Уровень техники

В последние годы, с развитием технологий связи, видеоконференция находит все более широкое применение. Под видеоконференцией в общем случае можно понимать службу телевизионной конференцсвязи. Посредством мультимедийной связи конференцсвязь поддерживается с использованием телевизионного оборудования и сетей связи для реализации взаимодействия изображений, речевых сигналов и данных одновременно между двумя или более местами. Согласно фиг. 1 видеоконференция обычно состоит из видеотерминалов (т.е. терминалов конференцсвязи), сети связи и многоточечного блока управления (MCU).

Оборудование видеотерминала в основном включает в себя оборудование ввода/вывода видеосигнала, оборудование ввода/вывода аудиосигнала, видеокодек, аудиокодек, оборудование передачи информации и оборудование мультиплексирования/распределения сигнала и т.д. Основной функцией видеотерминалов является осуществление кодирования со сжатием сигналов изображения, производимых локальными камерами, звуковых сигналов, выдаваемых микрофонами, и передачи сигналов на удаленный сайт конференцсвязи через сеть связи. В то же время видеотерминалы принимают сигналы с удаленного сайта конференцсвязи, преобразуют сигналы в аналоговые изображения и звуковые сигналы после декодирования. Обработка аудиосигналов показана на фиг. 2, и ее описание приведено ниже.

Для формирования полной системы телевизионной конференцсвязи оборудование видеотерминалов и MCU должны быть соединены друг с другом сетью связи, и каналы связи могут иметь вид оптических волокон, электрических кабелей, микроволн или спутников.

MCU является управляющим ядром видеоконференции. Когда количество терминалов конференцсвязи, участвующих в конференции, больше двух, необходимо управление посредством MCU. Все терминалы конференцсвязи должны быть подключены к MCU через стандартные интерфейсы. MCU реализован согласно таким протоколам, как международный стандарт H.221 и H.245. MCU, в основном призван осуществлять микширование и обмен изображениями и речевыми сигналами и осуществлять управление всеми сайтами конференцсвязи.

MCU обрабатывает аудиоданные для реализации микширования звука сайтов многоточечной конференцсвязи, и сайты конференцсвязи, участвующие в микшировании звука, являются сайтами конференцсвязи с более высокой громкостью среди сайтов многоточечной конференцсвязи. Если реализовано трехточечное микширование звука, сайты конференцсвязи, участвующие в микшировании звука, представляют собой три сайта конференцсвязи с наибольшей громкостью среди сайтов многоточечной конференцсвязи. Политика микширования звука осуществляется следующим образом.

1) Когда речь звучит на одном сайте конференцсвязи, диктор на своем сайте конференцсвязи не может слышать свой собственный голос, а участники на всех остальных сайтах конференцсвязи могут слышать голос говорящего сайта конференцсвязи.

2) Когда речь звучит на двух сайтах конференцсвязи, оба диктора на говорящих сайтах конференцсвязи могут слышать голоса друг друга, но не могут слышать свои собственные голоса, а участники на всех остальных сайтах конференцсвязи могут одновременно слышать голоса двух говорящих сайтов конференцсвязи.

3) Когда речь звучит на трех или более сайтах конференцсвязи, три сайта конференцсвязи с наибольшей громкостью участвуют в микшировании звука. Согласно фиг. 3 T1, T2, T3 - это три сайта конференцсвязи с наибольшей громкостью звука среди текущих сайтов конференцсвязи, диктор на любом из трех сайтов конференцсвязи может слышать голос двух других сайтов конференцсвязи, например диктор на сайте конференцсвязи T1 может слышать голос сайтов конференцсвязи T2 и T3, и дикторы на всех остальных сайтах конференцсвязи могут одновременно слышать голоса трех сайтов конференцсвязи.

Когда конференция поддерживается с использованием современной видеосистемы конференцсвязи, обработка звука системой конференцсвязи показана на фиг. 2. Данные говорящего сайта конференцсвязи поступают на MCU после кодирования, MCU осуществляет процесс микширования звука на звуковых данных говорящего сайта конференцсвязи и передает обработанные звуковые данные на терминалы конференцсвязи, и участники на других терминалах может слышать звук говорящего сайта конференцсвязи после декодирования звуковых данных. В современных видеосистемах конференцсвязи MCU и видеотерминал обрабатывают звуковые данные определенного сайта конференцсвязи в виде одного потока данных. Когда только один язык используется во всей системе конференцсвязи, общение между множественными сайтами конференцсвязи может осуществляться беспрепятственно. Но когда два или более языка используются во всей системе конференцсвязи, могут возникать языковые препятствия между участниками. В отношении этой проблемы уровень техники имеет следующие два решения. В нижеследующем описании, в порядке примера, рассмотрен случай конференции с микшированием китайского и английского языков и рассмотрен случай, когда говорят участники на одном из множественных сайтов конференцсвязи.

Первый способ состоит в том, что все остальные китайские сайты конференцсвязи снабжены своими собственными переводчиками, соответственно для перевода с английского на китайский для своих собственных сайтов конференцсвязи для обеспечения понимания содержания речи вышеописанного английского сайта конференцсвязи. В результате, если масштаб конференции достаточно велик, требуется большое количество переводчиков, что приводит к разрастанию персонала. Кроме того, когда переводчик на каждом китайском сайте конференцсвязи переводит, микрофон доставляет переведенные данные на другие сайты конференцсвязи, из-за чего сцена может быть хаотической и не осуществимой в реальности. Если микрофон не предназначен для доставки переведенных данных на другие сайты конференцсвязи, говорящий сайт конференцсвязи не знает, выполнен ли перевод на китайских сайтах конференцсвязи, и не может контролировать свою собственную скорость речи, что приводит к низкому качеству конференции в целом.

Второй способ состоит в том, что сайт конференцсвязи назначается в качестве выделенного терминала перевода для перевода речи сайтов конференцсвязи, участвующих в микшировании звука. Однако решение имеет и недостатки. Если на сайте конференцсвязи говорят по-английски и терминал перевода переводит с английского на китайский, участники на каждом из сайтов конференцсвязи могут слышать сначала английскую речь, а затем китайскую речь. Однако фактически участникам на китайских сайтах конференцсвязи не нужно слышать английскую речь, и участникам на английских сайтах конференцсвязи также не нужно слышать переведенную китайскую речь. В результате участникам приходится слышать много бесполезной информации. Китайский и английский смешиваются, что приводит к беспорядку на конференции, из-за чего участники быстро устают. Кроме того, перевод может замедлять темп конференции и снижать ее эффективность.

В случае когда участники конференции говорят на трех или более языках и разноязычная речь одновременно звучит на множественных сайтах конференцсвязи, вышеописанные два решения приводят к снижению качества конференции и не применимы к эффекту микширования звука.

Сущность изобретения

Ввиду вышесказанного варианты осуществления настоящего изобретения предусматривают систему, способ и многоточечный блок управления для реализации многоязычной конференцсвязи, благодаря которым каждый из сайтов конференцсвязи использует только выбранный язык для участия в конференции с небольшими ресурсами перевода в многоязычной системе многоточечной конференцсвязи.

Вариант осуществления настоящего изобретения предусматривает систему для реализации многоязычной конференцсвязи, которая включает в себя терминалы конференцсвязи и многоточечный блок управления.

Терминалы конференцсвязи способны передавать речь сайта конференцсвязи после обработки на многоточечный блок управления, обрабатывать аудиоданные, принятые от многоточечного блока управления, и выводить обработанные аудиоданные. По меньшей мере, один из терминалов конференцсвязи является терминалом перевода, способным переводить речь сайта конференцсвязи согласно аудиоданным, переданным с многоточечного блока управления, обрабатывать переведенные аудиоданные и передавать обработанные аудиоданные на многоточечный блок управления.

Многоточечный блок управления способен осуществлять процесс микширования звука для аудиоданных от терминалов конференцсвязи на разных звуковых каналах согласно типам языка и передавать аудиоданные после процесса микширования звука на терминалы конференцсвязи, которым соответствующим образом назначены языки, причем аудиоданные на одном языке обрабатывают в одном звуковом канале.

Вариант осуществления настоящего изобретения предусматривает способ реализации многоязычной конференцсвязи, который включает в себя следующие этапы.

Многоточечный блок управления принимает аудиоданные, переданные с каждого из терминалов конференцсвязи, осуществляет процесс микширования звука для аудиоданных от каждого из терминалов конференцсвязи на разных звуковых каналах согласно типам языка и передает обработанные аудиоданные на терминалы конференцсвязи, которым соответствующим образом назначены языки, причем аудиоданные на одном языке обрабатывают в одном звуковом канале.

Аудиоданные, принятые многоточечным блоком управления, включают в себя аудиоданные, переданные на многоточечный блок управления после того, как терминалы конференцсвязи, обрабатывают речь сайта конференцсвязи, и/или аудиоданные, переданные на многоточечный блок управления после того, как терминал перевода переводит речь сайта конференцсвязи согласно аудиоданным, переданным с многоточечного блока управления, и обрабатывает переведенные аудиоданные.

Вариант осуществления настоящего изобретения предусматривает многоточечный блок управления, способный осуществлять этапы способа для реализации многоязычной конференцсвязи.

Как известно из вышеприведенной технической схемы согласно вариантам осуществления настоящего изобретения, поскольку используется многоканальная технология, участники на каждом из сайтов конференцсвязи могут слышать речь на одном языке и также могут слышать речь на любом нужном языке, тем самым успешно избегая бесполезной языковой информации. Поскольку используется многоканальная технология, успешно реализуется разговор на множественных языках в системе конференцсвязи, при этом множественные языки не мешают друг другу и разные языки беспрепятственно объединяются, тем самым удовлетворяя требованию языков для разных регионов.

Краткое описание чертежей

Фиг.1 - схема системы для поддержки многоточечной видеоконференции, отвечающей уровню техники.

Фиг.2 - схематическое представление схемы обработки аудиоданных на терминалах конференцсвязи согласно уровню техники.

Фиг.3 - схема политики микширования звука многоточечного блока управления согласно уровню техники.

Фиг.4 - схема возможного применения варианта осуществления настоящего изобретения.

Фиг.5 - схема системы согласно варианту осуществления настоящего изобретения.

Фиг.6 - схематическое представление схемы обработки аудиоданных на терминалах конференцсвязи в системе согласно первому варианту осуществления настоящего изобретения.

Фиг.7 - схематическое представление схемы обработки аудиоданных на многоточечном блоке управления в системе согласно первому варианту осуществления настоящего изобретения.

Фиг.8 - схематическое представление схемы микширования звука, когда три языка, а именно китайский, английский и русский, существуют в системе согласно первому варианту осуществления настоящего изобретения.

Фиг.9 - схематическое представление схемы микширования звука, когда три языка, а именно китайский, английский и русский, существуют в системе согласно первому варианту осуществления настоящего изобретения.

Фиг.10 - схема взаимодействия между терминалами конференцсвязи и многоточечным блоком управления в системе согласно второму или третьему варианту осуществления настоящего изобретения.

Фиг.11 - схематическое представление схемы реализации многоточечного блока управления в системе согласно третьему варианту осуществления настоящего изобретения.

Фиг.12 - схема системы согласно четвертому варианту осуществления настоящего изобретения.

Фиг.13 - схема системы согласно пятому варианту осуществления настоящего изобретения.

Фиг.14 - схематическое представление схемы реализации многоточечного блока управления в системе согласно пятому варианту осуществления настоящего изобретения.

Фиг.15 - первая схема решения микширования звука, когда три языка, а именно китайский, английский и русский, существуют в системе согласно варианту осуществления настоящего изобретения.

Фиг.16 - вторая схема решения микширования звука, когда три языка, а именно китайский, английский и русский, существуют в системе согласно варианту осуществления настоящего изобретения.

Подробное описание

В системе и способе, описанных согласно варианту осуществления настоящего изобретения, благодаря использованию технологии многоканальной обработки на MCU системы многоточечной конференцсвязи, разные звуковые каналы задаются согласно разным языкам, и аудиоданные на разных языках обрабатывается согласно разным звуковым каналам. Процесс согласно разным звуковым каналам относится к обработке аудиоданных на различных языках через соответствующие звуковые каналы. Например, аудиоданные китайского языка обрабатываются на звуковом канале 1, аудиоданные английского языка обрабатываются на звуковом канале 2, и процессы обработки аудиоданных на различных языках не мешают друг другу. Система многоточечной конференцсвязи, описанная согласно варианту осуществления настоящего изобретения, включает в себя не только традиционную систему чисто голосовой многоточечной конференцсвязи, но также систему телевизионной конференцсвязи или видеосистему конференцсвязи.

Вариант осуществления настоящего изобретения описан, в порядке примера, применительно к китайско-английской многоточечной конференции, и другие конференции, использующие два языка или более, обрабатываются аналогичным образом.

На фиг.4 описано возможное применение варианта осуществления настоящего изобретения. Каждый из сайтов конференцсвязи соответствует терминалу конференцсвязи, и любой из сайтов конференцсвязи в системе многоточечной конференцсвязи назначается как переводческий сайт конференцсвязи, отвечающий за перевод с китайского на английский или перевод с английского на китайский для речи каждого из сайтов конференцсвязи. Согласно фиг.5 система согласно варианту осуществления настоящего изобретения включает в себя каждый из терминалов конференцсвязи и MCU.

Ниже описан первый вариант осуществления системы, отвечающей настоящему изобретению.

Терминал конференцсвязи и терминал перевода (терминал конференцсвязи переводческого сайта конференцсвязи называется “терминалом перевода”) используют только один входной и выходной интерфейс, MCU применяет микширование звуков из множественных звуковых каналов, и MCU назначает языки, которым соответствуют терминалы конференцсвязи, и терминал конференцсвязи, выступающий в роли терминала перевода. В этой схеме не существует особых требований к терминалам конференцсвязи и терминалу перевода, и большая часть работы выполняется MCU. Ниже приведено подробное описание различных частей.

Согласно фиг. 6 терминал конференцсвязи собирает локально введенные аудиосигналы, кодирует сигналы и передает кодированные сигналы на MCU. Терминал конференцсвязи также принимает кодовый поток аудиосигнала, переданный с MCU, и воспроизводит кодовый поток аудиосигнала после декодирования. По этой причине терминалу конференцсвязи не требуется различать входной и выходной языки.

Терминал перевода отвечает за перевод с языка, используемого на каждом из сайтов конференцсвязи, например перевод с китайского языка на английский или перевод с английского языка на китайский. В этом варианте осуществления переводчики могут осуществлять синхронный перевод на переводческом сайте конференцсвязи, или также может осуществляться интеллектуальный синхронный машинный перевод с использованием автоматических переводчиков. Благодаря использованию синхронного перевода, задержкой конференции, обусловленной переводом, можно, по существу, пренебречь, что позволяет эффективно обеспечивать плавное течение конференции.

Согласно фиг. 7 при управлении конференцией MCU сначала назначает информацию языка для каждого из терминалов конференцсвязи и назначает терминал конференцсвязи, имеющий функцию синхронного перевода, терминалом перевода. Например, язык терминала конференцсвязи 1 назначается как китайский, язык терминала конференцсвязи 2 назначается как английский и при этом терминал конференцсвязи 3 назначается терминалом перевода. Когда MCU принимает аудиоданные от терминала конференцсвязи, сначала осуществляется декодирование, после чего декодированные голосовые данные поступают на соответствующий языковой микшер для микширования звука согласно информации языка, назначенной для терминала конференцсвязи. Например, для терминала конференцсвязи, которому назначен китайский язык, MCU передает принятые аудиоданные этого терминала конференцсвязи на микшер китайского языка для микширования звука и передает аудиоданные терминала конференцсвязи, которому назначен английский язык, на микшер английского языка для микширования звука. Аудиоданные, переданные терминалом перевода на MCU, всегда участвуют в микшировании звука, и язык микширования звука, в котором он участвует, вводится ниже. После того как MCU осуществляет микширование звука по отдельности согласно разным языкам, политику микширования звука для различных языков можно получить согласно уровню техники, данные после микширования звука поступают на соответствующие терминалы конференцсвязи, которым назначены языки. Например, терминалы конференцсвязи, участвующие в микшировании звука китайского языка, принимают соответствующие данные, подлежащие микшированию звука китайского языка, и терминалы конференцсвязи, участвующие в микшировании звука английского языка, принимают соответствующие данные, подлежащие микшированию звука английского языка.

Микширование звука на MCU осуществляется в два этапа. Во-первых, сравниваются величины громкости всех сайтов конференцсвязи, и, во-вторых, сайты конференцсвязи, звук которых подлежит вещанию, выбираются согласно величине их громкости, и звук поступает на принимающие сайты конференцсвязи. Микширование звука может осуществляться как одностороннее микширование звука, двустороннее микширование звука, трехстороннее микширование звука, даже четырех- или более стороннее микширование звука. При одностороннем микшировании звука только сторона с наивысшим звуком вещает на каждый из сайтов конференцсвязи. При двустороннем микшировании звука только две стороны с наивысшим звуком вещают после смешивания, и участники на двух сайтах конференцсвязи с наивысшим звуком, с которых осуществляется вещание, не могут слышать свой собственный звук, но могут слышать звук другой стороны. Одностороннему микшированию звука и двустороннему микшированию звука присущ недостаток обрывания слов в интерактивной конференции с участием более чем трех сайтов конференцсвязи. Поэтому предлагается использовать трехстороннее микширование звука, и схема трехстороннего микширования звука показана на фиг. 3.

Громкости разных сайтов конференцсвязи сравниваются для определения трех сайтов конференцсвязи с наибольшим звуком, а именно T1, T2 и T3, которые участвуют в микшировании звука. Данные T1, T2 и T3 поступают на другие сайты конференцсвязи, которые не участвуют в микшировании звука, после суммирования данных. Участники на T1, T2 и T3 слышат соответственно смешанный звук двух других сайтов конференцсвязи, т.е. участники на T1 слышат смешанный звук сайтов конференцсвязи T2 и T3, участники на T2 слышат смешанный звук сайтов конференцсвязи T1 и T3 и участники на T3 слышат смешанный звук сайтов конференцсвязи T1 и T2. Одностороннее микширование звука легко реализовать, и оно относительно пригодно для случая, когда говорит только председатель, но не годится для интерактивной связи. Двустороннее микширование звука допускает некоторый уровень интерактивности, но, когда третья сторона вставляет слово, возможен случай, когда звук одной стороны прерывается. Трехстороннее микширование звука дает сравнительно хороший интерактивный эффект.

После того как MCU независимо микширует звук согласно разным языкам, результат микширования звука поступает соответственно на соответствующие терминалы конференцсвязи, которым назначены языки. Например, терминалы конференцсвязи, участвующие в микшировании звука китайского языка, принимают соответствующие данные, подлежащие микшированию звука китайского языка, и терминалы конференцсвязи, участвующие в микшировании звука английского языка, принимают соответствующие данные, подлежащие микшированию звука английского языка.

Согласно фиг.7 каждая пара языков использует только один терминал перевода, например терминал китайско-английского перевода может переводить с китайского на английский и также может переводить с английского на китайский. Поскольку работа по переводу различных сайтов конференцсвязи сконцентрирована в небольшом количестве сайтов конференцсвязи, это позволяет в значительной степени экономить ресурсы перевода, в то же время гарантируя качество перевода, и, таким образом, снизить стоимость конференции. При использовании одностороннего микширования звука звук стороны на китайском и английском языках с наивысшим звуком поступает на терминал перевода. Терминал перевода, который не участвует в сравнении громкости, передает аудиоданные с наивысшей громкостью на переводческий сайт конференцсвязи. Если китайская речь звучит с наивысшей громкостью, значит, язык аудиоданных, поступающих на терминал перевода, является китайским. При следующем микшировании звука аудиоданные терминала перевода участвуют в микшировании звука английского языка. Если английская речь звучит с наивысшей громкостью, язык аудиоданных, поступающих на терминал перевода, является английским. При следующем микшировании звука, аудиоданные терминала перевода участвуют в микшировании звука китайского языка. Хотя только более громко звучащий из китайского и английского языков поступает на терминал перевода, само по себе микширование звука китайского языка или английского языка может представлять собой одностороннее, двустороннее, трехстороннее, даже четырех- или более стороннее микширование звука. Терминал перевода всегда участвует в микшировании звука соответствующего языка с наивысшей громкостью или одной из наивысших громкостей.

При использовании двустороннего микширования звука аудиоданные с наивысшей громкостью двух сторон выбираются для передачи на терминал перевода для перевода, и, таким образом, требуется два терминала перевода. Один терминал перевода переводит звук сайта конференцсвязи с первой наивысшей громкостью, и другой терминал перевода переводит звук сайта конференцсвязи со второй наивысшей громкостью. Громкость переводческого сайта конференцсвязи не участвует в сравнении громкости. Переведенный звук поступает на микшер соответствующего языка для микширования звука. Если обе стороны с наивысшей громкостью говорят на китайском или английском, данные, переведенные терминалами перевода, участвуют в микшировании звука английского или китайского языка при следующем микшировании звука в качестве двух сторон с наивысшей громкостью или двух из нескольких сторон с наивысшей громкостью. Если одна из двух сторон с наивысшей громкостью говорит по-китайски, а другая по-английски, то две стороны участвуют в микшировании звука английского языка и китайского языка соответственно после перевода соответствующим терминалом перевода. Терминал перевода всегда участвует в микшировании звука, и его громкость может быть равна громкости сайта конференцсвязи, для которого он переводит, или может быть одной из наивысших громкостей. Аналогично, микшер китайского языка или микшер английского языка может применять двустороннее, трехстороннее или многостороннее микширование звука.

При использовании трехстороннего или многостороннего микширования звука обработка микширования звука аналогична обработке двустороннего микширования звука, и три или более терминала перевода требуются для перевода речи нескольких сторон с наивысшей громкостью.

Многоязычная конференцсвязь на двух языках, китайском и английском, описана выше для упрощения иллюстрации, и многоязычную конференцсвязь на любых двух языках можно реализовать согласно вышеописанному способу. Количество языков, одновременно используемых при осуществлении конференцсвязи, может быть больше двух. При добавлении языка обработка терминалов не изменяется, и MCU, соответственно, добавляет микшер. Согласно фиг. 8 в случае конференции на трех языках, а именно китайском, английском и русском, в порядке примера, предусмотрены три терминала перевода, причем один используется для реализации китайско-английского перевода, один используется для реализации китайско-русского перевода и один используется для реализации англо-русского перевода. Результат микширования звука китайской, английской и русской речи поступает на соответствующий слушающий сайт конференцсвязи. Одностороннее микширование звука используется на фиг. 8, данные одной стороны с наивысшей громкостью из китайской, английской и русской поступают на соответствующий терминал перевода конференцсвязи после кодирования, и громкость терминала перевода конференцсвязи не участвует в сравнении. Если китайская речь звучит с наивысшей громкостью, данные китайского языка поступают на китайско-английский и китайско-русский переводческие сайты конференцсвязи. Если английская или русская речь звучит с наивысшей громкостью, способ обработки аналогичен. Согласно этому способу переводится только одна сторона из китайской, английской и русской с наивысшей громкостью. Случай четырех или более языков можно вывести по аналогии.

Обработка двух- или более стороннего микширования звука аналогична описанной выше, но несколько больше терминалов перевода необходимо для перевода звука сайта конференцсвязи со второй наивысшей громкостью.

На фиг. 9 показан более гибкий подход к реализации микширования звука. При микшировании звука сравнивается громкость китайской и английской, китайской и русской и английской и русской речи соответственно, и данные одной стороны с наивысшей громкостью поступают на соответствующий терминал перевода для перевода. Например, если китайская и английская речь сравниваются по величине громкости, одна сторона с более высокой громкостью поступает на терминал китайско-английского перевода конференцсвязи. Если китайская и русская речь сравниваются по величине громкости, одна сторона с более высокой громкостью поступает на терминал китайско-русского перевода конференцсвязи. Если английская и русская речь сравниваются по величине громкости, одна сторона с более высокой громкостью поступает на англо-русский терминал перевода конференцсвязи. Переведенные аудиоданные участвуют в микшировании звука соответствующего языка. Например, данные, участвующие в микшировании звука китайского языка, содержат данные китайской речи, китайской речи в переводе с английского и китайской речи в переводе с русского. Микширование звука китайского языка включает в себя одностороннее микширование звука, двустороннее микширование звука, трехстороннее микширование звука и даже более стороннее микширование звука. При микшировании звука китайского языка громкость китайской речи в переводе с английского участвует в микшировании звука согласно громкости английской речи, и громкость китайской речи в переводе с русского участвует в микшировании звука согласно громкости русской речи. Обработка микширования звука на английском и русском аналогична соответствующей обработке для китайского языка, и случай четырех или более языков можно вывести по аналогии.

Согласно фиг. 9 двух- или более стороннее микширование звука также можно реализовать для каждой пары языков, но соответственно увеличивается количество терминалов перевода.

Ниже описан второй вариант осуществления системы, отвечающей настоящему изобретению.

Терминалы конференцсвязи и терминал перевода используют только один входной и выходной интерфейс. Терминал конференцсвязи должен сообщить MCU свой язык или сообщить MCU, что он является терминалом перевода, посредством сигнализации. MCU применяет микширование звуков из множественных звуковых каналов. Кодеки, используемые терминалами конференцсвязи, терминалом перевода и MCU, являются одноканальными кодеками. Ниже приведено подробное описание различных частей.

Реализация терминалов конференцсвязи, по существу, такая же, как в первом варианте осуществления. Отличие состоит в том, что, как показано на фиг. 10, терминалы конференцсвязи поддерживают назначение языка для сайтов конференцсвязи и подтверждают MCU языки сайтов конференцсвязи посредством сигнализации, например H.245. Например, терминал конференцсвязи выбирает китайский язык, и MCU информируется о том, что терминал конференцсвязи принадлежит китайскому сайту конференцсвязи.

Реализация терминала перевода такая же, как в первом варианте осуществления, отличие состоит в том, что терминал конференцсвязи назначается как терминал перевода и MCU информируется о том, что терминал конференцсвязи является терминалом перевода, посредством сигнализации, например H.245.

Реализация MCU такая же, как в первом варианте осуществления, отличие состоит в том, что MCU знает язык, назначенный терминалам конференцсвязи, или выступает ли терминал конференцсвязи в качестве терминала перевода, посредством сигнализации, например H.245. Таким образом, информация назначения сайта конференцсвязи, показанная на фиг. 7, поступает от терминалов конференцсвязи посредством сигнализации, например H.245.

Ниже описан третий вариант осуществления системы, отвечающей настоящему изобретению.

Терминалы конференцсвязи и терминал перевода используют только один входной и выходной интерфейс. Терминал конференцсвязи должен сообщить MCU свой язык в рамках сетевого взаимодействия или сообщить MCU, что он является терминалом перевода. MCU применяет микширование звуков из множественных звуковых каналов. Кодеки, используемые терминалами конференцсвязи, терминалом перевода и MCU, являются одноканальными кодеками. Ниже приведено подробное описание различных частей.

Реализация терминала конференцсвязи такая же, как во втором варианте осуществления, отличие состоит в том, что терминал конференцсвязи принимает и кодирует входные аудиоданные и упаковывает кодированный кодовый поток и информацию языка, соответствующую кодовому потоку, для передачи на MCU. См. фиг. 10, например, китайский терминал конференцсвязи добавляет идентификаторы китайского языка в кодовый поток, подлежащий передаче на MCU, и английский терминал конференцсвязи добавляет идентификаторы английского языка в кодовый поток, подлежащий передаче на MCU, вместо того, чтобы указывать MCU свой язык посредством сигнализации.

Реализация терминала перевода такая же, как во втором варианте осуществления, отличие состоит в том, что терминал конференцсвязи назначается как терминал перевода, терминал перевода добавляет идентификатор терминала перевода в кодовый поток, подлежащий передаче на MCU, для сообщения MCU, что он является терминалом перевода, вместо того, чтобы указывать MCU свою идентичность как терминала перевода посредством сигнализации, см. фиг. 10.

Реализация MCU такая же, как во втором варианте осуществления, отличие состоит в том, что, см. фиг. 11, MCU определяет язык кодового потока и является ли терминал конференцсвязи терминалом перевода, анализируя принятый кодовый поток аудиосигнала, а не посредством сигнализации.

Ниже описан четвертый вариант осуществления системы, отвечающей настоящему изобретению.

Иногда, на одном сайте конференцсвязи, может звучать речь на множественных языках. Если множественные языки на сайте конференцсвязи используются попеременно, язык терминала конференцсвязи нужно непрерывно обновлять согласно вышеописанному способу, что крайне неудобно в ходе работы. В такой реализации терминал конференцсвязи использует множественные входные/выходные интерфейсы.

Терминал конференцсвязи имеет два входных канала, модуль назначения языка канала терминала конференцсвязи назначает язык, соответствующий каждому входному каналу, например китайский язык соответствует каналу 1 и английский язык соответствует каналу 2. Сначала данные канала 1 и канала 2 сравниваются по громкости, до передачи на кодер, сторона с более высокой громкостью поступает на кодер для кодирования, как показано на фиг. 12. Информация языка, соответствующая каналу, добавляется в кодированный кодовый поток до того, как кодированный кодовый поток поступит на MCU. Например, когда на сайте конференцсвязи говорят только на китайском языке, данные на канале 1 поступают на кодер для кодирования, и кодированный кодовый поток поступает на MCU после установки идентификатора китайского языка в кодовом потоке. Когда на сайте конференцсвязи говорят только на английском языке, данные на канале 2 поступают на кодер для кодирования, и кодированный кодовый поток поступает на MCU после установки идентификатора английского языка в кодовом потоке. Если говорят одновременно на китайском и английском языках, сторона с более высокой громкостью поступает на MCU после кодирования и снабжается соответствующей информацией языка.

Терминал конференцсвязи, назначенный как терминал перевода, добавляет идентификатор терминала перевода в кодовый поток для передачи на MCU. Конечно, терминал конференцсвязи, назначенный как терминал перевода, также может указывать MCU свою идентичность посредством сигнализации, например H.245.

Согласно фиг. 11, получив кодовый поток аудиосигнала от терминала конференцсвязи, MCU идентифицирует язык, соответствующий кодовому потоку, и определяет, поступил ли кодовый поток от терминала перевода, на основании языка терминала и идентификатора терминала перевода. Будучи декодирован, кодовый поток поступает на микшеры для разных языков для микширования звука согласно информации языка после идентификации. Например, китайский язык поступает на микшер китайского языка для микширования звука, и английский язык поступает на микшер английского языка для микширования звука. После микширования звука результаты микширования звука китайского и английского языков спариваются один за другим согласно величине громкости, кодируются и маркируются идентификаторами языка соответственно и затем поступают на соответствующие принимающие терминалы конференцсвязи. Например, пара с наивысшей громкостью, включающая в себя выход микширования звука китайского языка и выход микширования звука английского языка, поступает на сайты конференцсвязи, которые принимают наивысшую громкость китайской или английской речи.

Согласно фиг. 12 в этой схеме терми