Способ и аппарат мультисенсорного улучшения речи в мобильном устройстве

Способ и аппарат мультисенсорного улучшения речи в мобильном устройстве

Иллюстрации

Показать все

Реферат

Уровень техники

Настоящее изобретение относится к мобильным устройствам. В частности, настоящее изобретение относится к мультисенсорным мобильным устройствам.

Мобильные карманные устройства, такие как мобильные телефоны и личные цифровые помощники, которые предоставляют телефонные функции или принимают ввод речи, часто используются в условиях неблагоприятного шумового окружения, например на оживленных улицах, в ресторанах, аэропортах и автомобилях. Сильный шум окружающей среды в этом окружении может делать неразборчивой речь пользователя и затруднять понимание того, что человек говорит. Помимо этого он серьезно снижает точность распознавания речи.

Хотя были разработаны системы фильтрации шума, которые пытаются устранять шум на основе модели шума, эти системы не смогли устранить шум полностью. В частности, многие эти системы испытывают трудности в том, чтобы устранять шум, который состоит из речи других людей на фоне. Одна из причин этого состоит в том, что чрезвычайно трудно, если не невозможно, для этих систем определять, что речевой сигнал, принятый посредством микрофона, пришел от кого-то иного, чем человек, использующий мобильное устройство.

Для головных телефонов, которые крепятся на голове пользователя посредством закрепления гарнитуры вокруг головы или за ушами пользователя, были разработаны системы, которые предоставляют более надежную фильтрацию шума, основываясь на дополнительных типах датчиков на гарнитуре. В одном примере датчик костной проводимости помещается на один конец гарнитуры и прижимается до соприкосновения с кожей, охватывая череп, уши или нижнюю челюсть пользователей за счет эластичности гарнитуры. Датчик костной проводимости распознает колебания черепа, ушей или нижней челюсти, которые создаются, когда пользователь говорит. С помощью сигнала от датчика костной проводимости эта система может лучше идентифицировать, когда пользователь говорит, и как результат может лучше фильтровать шум в речевом сигнале.

Хотя такие системы хорошо подходят для гарнитур, гарнитуры ограничены передачей данных по проводному соединению с телефоном. По существу, их использование в более распространенных приложениях обмена данными ограничено. Помимо этого гарнитура визуально непривлекательна (большая и громоздкая), а также ее неудобно носить весь день, и как результат маловероятно, что пользователи захотят не снимать ее в течение всего дня. Это делает гарнитуры неудобными для использования.

Сущность изобретения

Предусмотрено мобильное устройство, которое включает в себя микрофон воздушной проводимости и альтернативный датчик, который предоставляет сигнал альтернативного датчика, указывающий на речь. Интерфейс обмена данными дает возможность мобильному устройству непосредственно обмениваться данными с другими мобильными устройствами.

Краткое описание чертежей

Фиг.1 - вид в перспективе одного варианта осуществления настоящего изобретения.

Фиг.2 иллюстрирует телефон фиг. 1 в положении на левой стороне головы пользователя.

Фиг.3 иллюстрирует телефон фиг. 1 в положении на правой стороне головы пользователя.

Фиг.4 - блок-схема микрофона костной проводимости.

Фиг.5 - вид в перспективе альтернативного варианта осуществления настоящего изобретения.

Фиг.6 - вид в поперечном разрезе микрофона костной проводимости согласно одному варианту осуществления настоящего изобретения.

Фиг.7 - вид спереди варианта осуществления с ожерельем мобильного устройства настоящего изобретения.

Фиг.8 - вид сзади одного варианта осуществления с ожерельем фиг. 7.

Фиг.9 иллюстрирует вариант осуществления фиг. 7 с ожерельем, размещенным на пользователе.

Фиг.10 предоставляет вид в перспективе варианта осуществления с браслетом/часами мобильного устройства настоящего изобретения.

Фиг.11 - блок-схема мобильного устройства согласно одному варианту осуществления настоящего изобретения.

Фиг.12 - блок-схема общей системы обработки речи настоящего изобретения.

Фиг.13 - блок-схема, иллюстрирующая возможное подключение обмена данными мобильных устройств настоящего изобретения.

Фиг.14 - блок-схема, иллюстрирующая множество подключений обмена данными с мобильным устройством настоящего изобретения, чтобы облегчать встречу.

Фиг.15 - блок-схема, иллюстрирующая множество подключений обмена данными с мобильным устройством настоящего изобретения, чтобы облегчать диспетчеризацию производственных нарядов.

Фиг.16 - блок-схема, иллюстрирующая множество подключений обмена данными с мобильным устройством настоящего изобретения, чтобы облегчать групповой обмен данными и оказывать помощь по спасению.

Фиг.17 - блок-схема, иллюстрирующая множество подключений обмена данными с мобильным устройством настоящего изобретения, чтобы облегчать проведение игр.

Фиг.18 - блок-схема, иллюстрирующая возможность сохранять, организовывать и просматривать видео и аудио с помощью мобильного устройства настоящего изобретения.

Фиг.19 - блок-схема, иллюстрирующая множество подключений обмена данными с мобильным устройством настоящего изобретения, чтобы облегчать определение местоположения и обмен данными с детьми/пожилыми людьми.

Фиг.20 - блок-схема, иллюстрирующая множество подключений обмена данными с мобильным устройством настоящего изобретения, чтобы облегчать встречи, которые требуют перевода речи.

Фиг.21 - блок-схема, иллюстрирующая множество подключений обмена данными с мобильным устройством настоящего изобретения, чтобы облегчать встречи, которые требуют перевода речи.

Фиг.22 - блок-схема, иллюстрирующая множество одноранговых подключений обмена данными между мобильным устройством настоящего изобретения и другими устройствами.

Осуществление изобретения

Варианты осуществления настоящего изобретения предоставляют мобильные устройства, которые содержат и микрофон воздушной проводимости, и альтернативный датчик, который может быть использован при распознавании речи и фильтрации шума. Примеры мобильных устройств настоящего изобретения включают в себя сотовые телефоны, личные цифровые помощники, ювелирные изделия и часы. Фиг.1 предоставляет типичный вариант осуществления, в котором мобильным устройством является мобильный телефон 100. Мобильный телефон 100 включает в себя клавишную панель 102, дисплей 104, элемент управления 106 курсором, микрофон 108 воздушной проводимости, динамик 110, два микрофона 112 и 114 костной проводимости и дополнительно датчик 116 близости. Мобильный телефон 100 также включает в себя источник питания, например, аккумулятор, процессор, детектор и процессор спутникового сигнала глобального позиционирования, которые не видны на поверхности телефона. Дополнительно мобильный телефон 100 может также включать в себя датчик пульса, датчик оксиметрии, датчик температуры и видеокамеру.

Сенсорная панель 102 дает пользователю возможность вводить цифры и буквы в мобильный телефон. В других вариантах осуществления сенсорная панель 102 объединена с дисплеем 104 в форме сенсорного экрана. Элемент управления 106 курсором дает пользователю возможность выделять и выбирать информацию на дисплее 104 и прокручивать изображения и страницы, большие по размеру, чем дисплей 104.

Как проиллюстрировано на фиг. 2 и 3, когда мобильный телефон 100 помещен в стандартное положение для разговора по телефону, динамик 110 размещается около левого уха 200 или правого уха 300 пользователя, а микрофон 108 воздушной проводимости размещен рядом с ртом 202 пользователя. Когда телефон размещен рядом с левым ухом пользователя, как на фиг. 2, микрофон 114 костной проводимости соприкасается с черепом или ухом пользователя и генерирует сигнал альтернативного датчика, который предоставляет информацию о речи и может быть использован, чтобы устранять шум из речевого сигнала, принятого микрофоном 108 воздушной проводимости. Например, информация, предоставленная в сигнале альтернативного датчика, может включать в себя указание на то, разговаривает ли пользователь, а также низкочастотную информацию, относящуюся к речи пользователя. Когда телефон размещен рядом с правым ухом пользователя, как на фиг. 3, микрофон 112 костной проводимости соприкасается с черепом или ухом пользователя и генерирует сигнал альтернативного датчика, который может быть использован, чтобы устранять шум из речевого сигнала.

Дополнительный датчик 116 близости показывает, как близко телефон располагается к пользователю. Как подробнее описано ниже, эта информация используется, чтобы присваивать веса вкладу микрофонов костной проводимости в генерирование значения речи. В общем, если детектор близости распознает, что телефон близко к пользователю, сигналам микрофонов костной проводимости присваиваются большие веса, чем если телефон находится на некотором расстоянии от пользователя. Эта настройка отражает тот факт, что сигнал микрофона костной проводимости более точно показывает, что пользователь говорит, когда находится в соприкосновении с пользователем. Когда он отстоит на некотором расстоянии от пользователя, то более восприимчив к шуму окружающей среды. Датчик близости используется в вариантах осуществления настоящего изобретения, поскольку пользователи не всегда держат телефон прижатым к своей голове.

Фиг.4 иллюстрирует один вариант осуществления датчика 400 костной проводимости настоящего изобретения. В датчике 400 неконтактный мост 402 из эластомера прикреплен к мембране 404 обычного микрофона 406 воздушной проводимости. Этот неконтактный мост 402 проводит колебания от контакта 408 с кожей пользователя непосредственно в мембрану 404 микрофона 406. Движение мембраны 404 преобразуется в электрический сигнал преобразователем 410 в микрофоне 406.

Фиг.5 предоставляет альтернативный вариант осуществления мобильного телефона 500 с карманным мобильным устройством настоящего изобретения. Мобильный телефон 500 включает в себя клавишную панель 502, дисплей 504, элемент управления 106 курсором, микрофон 508 воздушной проводимости, динамик 510 и сочетание микрофона костной проводимости и датчика 512 близости.

Как показано на виде в поперечном разрезе фиг. 6, сочетание микрофона костной проводимости и датчика 512 близости состоит из неконтактной среднезаполненной (жидкостью или эластомером) прокладки 600, которая имеет наружную поверхности 602, предназначенную, чтобы соприкасаться с пользователем, когда пользователь помещает телефон у своего уха. Прокладка 600 формирует кольцо вокруг отверстия, которое обеспечивает проход звука от динамика 510, который размещен в отверстии или непосредственно под отверстием в телефоне 500. Прокладка 600 не ограничена этой формой, и может быть использована любая форма для прокладки. В общем, тем не менее, предпочтительно, если прокладка 600 включает в себя части слева и справа от динамика 510, так чтобы, по меньшей мере, одна часть прокладки 600 соприкасалась с пользователем независимо от того, у какого уха пользователь помещает телефон. Части прокладки могут быть внешне непрерывными или могут быть внешне разделенными, но с помощью жидкой среды соединены друг с другом внутри телефона.

Электронный преобразователь 604 давления гидравлически соединен с жидкостью или эластомером в прокладке 600 и преобразует давление жидкости в прокладке 600 в электрический сигнал на проводнике 606. Примеры электронного преобразователя 604 давления включают в себя основанные на MEMS преобразователи. В общем, преобразователь 604 давления должен иметь высокочастотную характеристику.

Электрический сигнал в проводнике 606 включает в себя две составляющие, постоянную составляющую тока и переменную составляющую тока. Постоянная составляющая тока предоставляет сигнал датчика близости, поскольку статическое давление в прокладке 600 будет выше, когда телефон прижимается к уху, чем когда телефон находится на некотором расстоянии от уха пользователя. Переменная составляющая тока электрического сигнала предоставляет сигнал микрофона костной проводимости, поскольку колебания в костях черепа, челюсти или уха пользователя создают флюктуации давления в прокладке 600, которые преобразуются в электрический сигнал переменного тока преобразователем 604 давления. Согласно одному варианту осуществления фильтр применяется к электрическому сигналу, чтобы дать возможность пройти постоянной составляющей тока сигнала и переменным составляющим выше минимальной частоты.

Хотя выше были описаны два примера датчиков костной проводимости, другие формы датчика костной проводимости также не выходят за рамки области применения настоящего изобретения.

Фиг.7 и 8 иллюстрируют вид спереди и вид сзади альтернативного варианта осуществления мобильного устройства согласно настоящему изобретению. На фиг. 7 и 8 мобильное устройство 700 состоит из ожерелья или шейного украшения 702 и наушника 704. Ожерелье 702 включает в себя декоративный/орнаментный диск или брелок 706, который подвешен на одеваемом на шею предмете 708, например ремешке или шнурке. Одеваемый на шею предмет поддерживает мобильное устройство на пользователе и предназначен, чтобы быть прикрепленным к шее пользователя. Декоративный диск 706 включает в себя отверстие 708 микрофона и отверстие 710 для видео.

Как проиллюстрировано с помощью вида сзади фиг. 8, мобильное устройство 700 включает в себя аккумулятор 710, который питает микрофон 712 воздушной проводимости, альтернативный датчик 714, видеокамеру 716, набор 718 микросхем обработки и приемное устройство 720 спутникового сигнала глобального позиционирования (GPS). Набор 718 микросхем обработки соединен с микрофоном 712 воздушной проводимости, альтернативным датчиком 714, видеокамерой 716 и приемным устройством 720 GPS. Набор 718 микросхем обработки включает в себя процессор, запоминающее устройство, интерфейс ввода/вывода и интерфейс обмена данными. Интерфейс обмена данными дает процессору возможность обмениваться данными с процессором в наушнике 704, давая возможность процессору в наборе 718 микросхем обработки передавать электрические сигналы, представляющие акустическую информацию, наушнику 704. Интерфейс обмена данными набора 718 микросхем обработки также может в беспроводном режиме обмениваться данными с набором других устройств, в том числе видеодисплеем, персональной вычислительной машиной, маршрутизатором и другими мобильными устройствами. Протокол, используемый при таком обмене данными, может включать в себя любой известный протокол, в том числе любые разновидности протокола 802.11.

Наушник 704 включает в себя наружную часть 730, часть 732 ушного канала и отверстие 734 динамика. Наушник 704 принимает сигнал от набора 718 микросхем обработки и преобразует этот сигнал в слуховой сигнал посредством динамика, который является внутренним для наушника 704. Данный слуховой сигнал выходит через отверстие 734 динамика в ухо пользователя. Наушник 704 включает в себя аккумулятор (не показан) и интерфейс обмена данными, который дает ему возможность обмениваться данными с интерфейсом обмена данными набора 718 микросхем обработки.

Как показано на фиг.9, одеваемый на шею предмет 708 охватывает шею 900 пользователя, чтобы помещать брелок 706 в соприкосновении с передней частью шеи пользователя чуть ниже щитовидного хряща гортани, часто называемого "кадыком". Наушник 704 помещен в ухо пользователя, так что внешняя часть 730 располагается между козелком 900 и антикозелком 902 наружного уха.

Фиг.10 предоставляет наглядное изображение другого варианта осуществления мобильного устройства согласно настоящему изобретению. На фиг. 10 мобильное устройство включает в себя часы или браслет 1000 и наушник 1002. Часы 1000 включают в себя корпус 1001, размещенный на надеваемом на запястье предмете 1006, например обруче, предназначенном, чтобы закрепляться вокруг запястья пользователя. Корпус 1001 имеет внутреннюю часть, которая держит набор электронного устройства, которое включает в себя аккумулятор, процессор, память, интерфейс обмена данными, интерфейс ввода/вывода, приемное устройство спутникового сигнала глобального позиционирования, видеокамеру, динамик, микрофон воздушной проводимости, датчик пульса, датчик оксиметрии и датчик температуры. Эти устройства описаны более подробно на фиг. 11. Интерфейс обмена данными дает процессору возможность обмениваться данными с процессором в наушнике 1002 и тем самым передавать акустическую информацию в наушник 1002 и принимать данные от альтернативного датчика 1018 в наушнике 1002. Помимо этого интерфейс обмена данными дает возможность беспроводного обмена данными с одним или более из маршрутизатора, персональной вычислительной машины и других мобильных устройств. Корпус 1001 включает в себя отверстия, соответствующие некоторым из электронных устройств в корпусе, включая счетчик 1008 пульса и оксиметрии, микрофон 1010 воздушной проводимости, видеокамеру 1012. Измерительный прибор 1008 пульса и оксиметрии замеряет пульс пользователя, когда пользователь помещает палец на счетчик, а также замеряет содержание кислорода в крови пользователя с помощью источника света или светочувствительного датчика. Наружная часть одной стороны корпуса 1001 также включает в себя дисплей 1004.

Наушник 1002 включает в себя наушную часть 1014, предназначенную, чтобы быть помещенной в ушной канал пользователя, и отверстие 1016 динамика. Помимо этого наушник 1002 включает в себя альтернативный датчик 1018, который остается напротив челюсти пользователя, когда наушник 1002 вставлен в ушной канал пользователя.

Фиг.11 - блок-схема мобильного устройства 1100 согласно нескольким вариантам осуществления настоящего изобретения. Мобильное устройство 1100 включает в себя источник 1152 питания, микропроцессор 1102, память 1104, интерфейс 1106 ввода/вывода и интерфейс 1108 обмена данными для обмена данными с удаленными вычислительными машинами, сетями обмена данными или другими мобильными устройствами. В одном варианте осуществления вышеупомянутые компоненты подсоединены для обмена данными друг с другом по надлежащей шине 1110. Помимо этого все компоненты, которые требуют питания, подключены к источнику 1152 питания, которым типично является аккумулятор. На фиг. 11 соединения между источником 1152 питания и остальными компонентами не показаны, чтобы избежать ненужного усложнения чертежа.

Память 1104 может быть реализована как энергонезависимая электронная память, такая как оперативное запоминающее устройство (ОЗУ) с модулем аварийного аккумуляторного питания (не показана), так чтобы информация, сохраненная в памяти 1104, не была потеряна, когда основное питание мобильного устройства 1100 выключается. Альтернативно, все части памяти 1104 могут быть энергозависимой или энергонезависимой съемной памятью. Часть памяти 1104 предпочтительно назначается в качестве адресуемой памяти для исполнения программ, тогда как другая часть памяти 1104 предпочтительно используется для хранения, например, чтобы эмулировать хранение на жестком диске.

Память 1104 включает в себя операционную систему 1112, прикладные программы 1114, а также запоминающее устройство 1116 объектов. В ходе работы операционная система 1112 предпочтительно приводится в исполнение процессором 1102 из памяти 1104. Операционной системой 1112 в одном предпочтительном варианте осуществления является операционная система торговой марки WINDOWS CE, коммерчески распространяемая корпорацией Майкрософт. Операционная система 1112 предпочтительно предназначена для мобильных устройств и реализует функции базы данных, которая может быть использована приложениями 1114 посредством набора открытых интерфейсов и способов прикладного программирования. Объекты в запоминающем устройстве 1116 объектов сохраняются посредством приложений 1114 и операционной системы 1112, по меньшей мере, частично в ответ на обращения к открытым интерфейсам и способам прикладного программирования.

Интерфейс 1108 обмена данными представляет множество устройств и технологий, которые дают возможность мобильному устройству 1100 отправлять и принимать информацию. В некоторых вариантах осуществления интерфейс 1108 обмена данными включает в себя интерфейс сотовой телефонной сети, который взаимодействует с сотовой телефонной сетью, чтобы разрешить вызовам быть размещенными и принятыми. Другие интерфейсы включают в себя интерфейс телефонных систем частного пользования, интерфейс беспроводного протокола, например, 802.11 и его разновидности, спутниковые приемные устройства и широковещательные тюнеры, помимо прочего. Мобильное устройство 1100 также может быть напрямую подключено к вычислительной машине, чтобы обмениваться с ней данными. В таких случаях интерфейсом 1108 обмена данными может быть инфракрасное приемо-передающее устройство либо последовательное или параллельное подключение обмена данными, все из которых могут передавать потоковую информацию.

Интерфейс 1108 обмена данными дает мобильному устройству 1100 возможность обмениваться данными с внешними серверами 1154 и удаленным устройством 1156, включая прямую передачу данных другим мобильным устройствам.

Машиноисполняемые инструкции, которые приводятся в исполнение процессором 1102, чтобы реализовать настоящее изобретение, могут быть сохранены в памяти 1104 или приняты по интерфейсу 1108 обмена данными. Эти инструкции находятся в машиночитаемом носителе, который без ограничений может включать в себя носитель хранения вычислительной машины и носитель передачи данных.

Носитель хранения вычислительной машины включает в себя энергозависимый и энергонезависимый, сменный и стационарный носитель, реализованный по любому способу или технологии хранения такой информации как машиночитаемые инструкции, структуры данных, программные модули и др. данные. Носитель хранения вычислительной машины включает в себя (но не только) ОЗУ, ПЗУ, электрически стираемое программируемое ПЗУ, флэш-память или другую технологию памяти, CD-ROM, универсальные цифровые диски (DVD) или другие оптические диски, магнитные кассеты, магнитные ленты, магнитные диски или другие магнитные устройства хранения, либо любой другой носитель, который может быть использован, чтобы сохранять нужную информацию, и к которому можно осуществлять доступ.

Носитель передачи данных в типичном варианте содержит машиночитаемые инструкции, структуры данных, программные модули или другие данные в модулированном информационном сигнале, таком как несущее колебание или другой механизм распространения, и включает в себя любой носитель для доставки информации. Термин "модулированный сигнал данных" означает сигнал, который имеет одну или более из его характеристик, установленных или изменяемых таким образом, чтобы кодировать информацию в сигнале. Для примера, но не в качестве ограничения, носитель передачи данных включает в себя проводной носитель, такой как проводная сеть или непосредственное проводное соединение, и беспроводной носитель, такой как акустическая среда, радиочастота, инфракрасное излучение и другая беспроводная среда. Сочетания любого из вышеперечисленного также следует включить в число машиночитаемых носителей.

Интерфейс 1106 ввода/вывода представляет интерфейсы к набору устройств ввода и вывода, в том числе приемное устройство 1148 спутникового сигнала глобального позиционирования (GPS), видеокамеру 1150, динамик 1130, цифровой вход 1132 (например, одна или набор кнопок, сенсорный экран, шаровой манипулятор, мышь, ролик или сочетание этих компонентов, которые могут управляться манипуляциями большим или другим пальцем), дисплей 1134, микрофон 1136 воздушной проводимости, альтернативный датчик 1138, датчик 1142 пульса, датчик 1144 оксиметрии и датчик 1146 температуры. Согласно одному варианту осуществления альтернативным датчиком 1138 является микрофон костной проводимости или гортанной проводимости. Устройства перечислены выше в качестве примера и необязательно все должны присутствовать на мобильном устройстве 1100. Помимо этого другие устройства ввода/вывода могут быть присоединены или находиться в мобильном устройстве 1100 без отступления от области применения настоящего изобретения.

С помощью микрофона воздушной проводимости или альтернативного датчика варианты настоящего изобретения могут предоставлять улучшенный речевой сигнал. Фиг. 12 предоставляет базовую блок-схему системы обработки речи вариантов осуществления настоящего изобретения, которая предоставляет улучшенный речевой сигнал.

На фиг.12 динамик 1200 генерирует речевой сигнал 1202, который распознается микрофоном 1204 воздушной проводимости и альтернативным датчиком 1206. Одним примером альтернативного датчика является датчик костной проводимости, который размещен на или рядом с лицевой или черепной костью пользователя (например, челюстной костью) или на ухе пользователя и который воспринимает колебания уха, черепа или челюсти, которые соответствуют речи, генерируемой пользователем. Другим примером альтернативного датчика является инфракрасный датчик, который ориентирован и распознает движение рта пользователя. Дополнительным примером альтернативного датчика является гортанный датчик, который воспринимает колебания гортани пользователя, которые соответствуют речи, генерируемой пользователем. Микрофон 1204 воздушной проводимости - тип микрофона, который используется, как правило, чтобы преобразовывать звуковые волны в электрические сигналы.

Микрофон 1204 воздушной проводимости также принимает шум 1208, генерируемый одним или более источниками 1210 шума. В зависимости от типа альтернативного датчика и уровня шума шум 1208 также может быть распознан альтернативным датчиком 1206. Тем не менее согласно большинству вариантов осуществления настоящего изобретения альтернативный датчик 1206 типично менее чувствителен к шуму окружающей среды, чем микрофон 1204 воздушной проводимости. Таким образом, сигнал 1212 альтернативного датчика, генерируемый альтернативным датчиком 1206, обычно включает в себя меньше шума, чем сигнал 1214 микрофона воздушной проводимости, генерируемый микрофоном 1204 воздушной проводимости.

Сигнал 1212 альтернативного датчика и сигнал 1214 микрофона воздушной проводимости предоставляются устройством 1216 оценки чистого сигнала, который оценивает чистый речевой сигнал 1218 из сигнала 1212 альтернативного датчика и сигнала 1214 микрофона воздушной проводимости. Оценка 1218 чистого сигнала предоставляется в речевой процесс 1220. Чистым речевым сигналом 1218 может быть либо отфильтрованный сигнал временной области, либо вектор области признаков. Если оценка 1218 чистого сигнала - это сигнал временной области, речевой процесс 1220 может принимать форму приемного устройства, передающего устройства в форме сотового телефона, системы кодирования речи или системы распознавания речи. Если чистый сетевой сигнал 1218 - это вектор области признаков, речевой процесс 1220 обычно представляет собой систему распознавания речи.

Настоящее изобретение использует несколько способов и систем оценки чистой речи с помощью сигнала 1214 микрофона воздушной проводимости и сигнала 1212 альтернативного датчика. Одна система использует обучающие стереоданные, чтобы обучать поправочные векторы для сигнала альтернативного датчика. Когда эти поправочные векторы впоследствии добавляются, чтобы протестировать вектор альтернативного датчика, они предоставляют оценку вектора чистого сигнала. Одно дополнительное расширение данной системы - сначала отслеживать изменяющиеся во времени искажения и затем вставлять эту информацию в вычисление поправочных векторов и в оценку чистой речи.

Вторая система предоставляет интерполяцию между оценкой чистого сигнала, сгенерированной поправочными векторами, и оценкой, сформированной посредством вычитания оценки текущего шума в тестовом сигнале воздушной проводимости из сигнала воздушной проводимости. Третья система использует сигнал альтернативного датчика, чтобы оценить основной тон речевого сигнала, и затем использует оцененный основной тон, чтобы определить оценку для чистого речевого сигнала. Четвертая система использует непосредственную фильтрацию, в которой сигнал альтернативного датчика и сигнал воздушной проводимости используются, чтобы определить одну или более характеристик канала альтернативного датчика. Характеристика(и) канала затем используются, чтобы оценить чистый речевой сигнал.

С помощью интерфейсов 1108 обмена данными мобильное устройство настоящего изобретения может обмениваться данными с большим числом других устройств посредством большого числа различных сетей, как проиллюстрировано на блок-схеме фиг. 13. На фиг. 13 проиллюстрировано три мобильных устройства 1300, 1302 и 1304. Эти мобильные устройства могут обмениваться данными друг с другом посредством интерфейса 1108 обмена данными. Согласно одному конкретному варианту осуществления протокол обмена данными 802.11 используется, чтобы обмениваться данными между мобильными устройствами. Мобильные устройства могут обмениваться данными друг с другом на основе "один-с-одним", например, обмениваются данными только мобильные устройства 1300 и 1302 без обмена данными с мобильным устройством 1304. Мобильные устройства также могут обмениваться данными в конфигурации "один-со-многими", в которой одно из мобильных устройств обменивается данными со всеми другими мобильными устройствами, но другие мобильные устройства не обмениваются данными друг с другом. Например, мобильное устройство 1300 будет обмениваться данными с мобильными устройствами 1302 и 1304, но мобильное устройство 1302 не будет обмениваться данными с мобильным устройством 1304. Мобильные устройства также могут обмениваться данными на основе "многие-со-многими", когда все мобильные устройства могут обмениваться данными друг с другом.

Каждое мобильное устройство также может обмениваться данными с одной или более из множества сетей, например, сотовой телефонной сетью 1306, телефонной сетью 1308 частного пользования и локальной вычислительной сетью/глобальной вычислительной сетью (ЛВС/ГВС) 1310. Чтобы обмениваться данными с сотовой телефонной сетью 1306, мобильные устройства могут использовать прямой канал связи с сотовой телефонной вышкой посредством интерфейса 1108 обмена данными или могут обмениваться данными с сотовым телефоном посредством локального протокола, например, 802.11. Сотовый телефон в таком случае будет передавать обмен данными мобильных устройств сотовой телефонной вышке сотовой телефонной сети 1306.

Мобильные устройства 1300, 1302 и 1304 могут обмениваться данными с телефонной сетью 1308 частного пользования посредством концентратора телефонной системы частного пользования, которая преобразует беспроводной сигнал в проводной сигнал для телефонной сети частного пользования. Любые подходящие протоколы для такого концентратора могут быть использованы согласно настоящему изобретению. Мобильные устройства могут обмениваться данными с ЛВС/ГВС 1310 посредством беспроводного подключения к дорожной вычислительной машине, персональной вычислительной машине или беспроводному маршрутизатору, который является частью ЛВС/ГВС.

Посредством сетей 1306, 1308 и 1310 мобильные устройства могут обмениваться данными с другими устройствами, например устройствами 1312 и 1314. Эти другие устройства могут содержать дорожные вычислительные машины, персональные вычислительные машины или серверы, которые предоставляют услуги мобильному устройству. Эти серверы включают в себя согласно некоторым вариантам осуществления сервер распознавания речи, который распознает текст из речевого сигнала, и/или сервер перевода, который переводит текст на одном языке в текст или звук на другом языке. Серверы также могут включать в себя сервер живого обмена данными, который дает возможность мгновенного обмена сообщениями, отслеживает информацию о присутствии, например, доступен ли пользователь для встреч, и координирует обмен данными, чтобы дать возможность совместной работы в реальном времени над документами в ходе живых встреч, которые включают в себя обмен звуковыми и видеоданными. Серверы также могут включать в себя основанный на местоположении сервер, который предоставляет информацию о мобильном устройстве, например карты, показывающие местоположение мобильного устройства относительно других интересующих точек.

Поскольку мобильное устройство настоящего изобретения использует и микрофон воздушной проводимости, и альтернативный датчик, чтобы воспринимать речевые сигналы, оно предоставляет улучшенный речевой сигнал, которые дает возможность повышенной производительности в ряде приложений. Дополнительно объединение этих микрофонов и альтернативных датчиков с другими устройствами, например приемным устройством GPS, видеокамерой и датчиком работоспособности, таким как датчик пульса, датчик оксиметрии и датчик температуры, дает возможность мобильному устройству настоящего изобретения быть использованным с несколькими серверами, чтобы предоставлять интегрированные решения, чтобы облегчать обмен данными между несколькими участниками.

Фиг.14 предоставляет блок-схему соединений между серверами и мобильным устройством, которые предоставляют возможность определять местоположение человека, имеющего при себе мобильное устройство, отправлять мгновенное сообщение мобильному устройству, чтобы запросить встречу, и использовать сервер живого обмена данными, чтобы поддерживать встречу.

На фиг.14 мобильное устройство 1300 оснащено приемным устройством GPS. С помощью информации от приемного устройства GPS мобильное устройство 1400 периодически передает данные о своем местоположении основанному на местоположении серверу 1402 посредством сетевого подключения 1404, например, сотовой телефонной сети или ЛВС/ГВС. Это дает возможность удаленному пользователю использовать приложение 1408 определения местоположения людей на вычислительном устройстве 1406 удаленного пользователя, чтобы получать информацию о местоположении мобильного устройства 1400 от основанного на местоположении сервера 1402 посредством сетевого подключения 1410. Эта информация о местоположении может включать в себя адрес или графическое представление местоположения мобильного устройства, например демонстрацию местоположения на карте.

Посредством сетевого подключения 1404, которым может быть то же сетевое подключение, используемое, чтобы подключаться к основанному на местоположении серверу 1402, или другое сетевое подключение, мобильное устройство 1400 также может обмениваться данными с сервером 1412 живого обмена данными. Посредством этого соединения пользователь, владеющий мобильным устройством 1400, может указывать то, является ли он доступным и находится ли в оперативном режиме, а также то, находится он в офисе или вне офиса. В общем, это называется информацией "о присутствии".

Помимо этого мобильное устройство 1400 может отправлять и принимать мгновенные сообщения посредством сервера 1412 живого обмена данными. Эти сообщения идут к и от устройства 1406 удаленного пользователя, который использует приложение 1414 обмена мгновенными сообщениями, чтобы отправлять и принимать сообщения. Это должно, например, дать возможность удаленному пользователю запрашивать, чтобы пользователь мобильного устройства 1400 присоединился к живой встрече.

Удаленный пользователь может устанавливать живую встречу с помощью приложения 1418 живых встреч, которое использует услуги, предоставляемые сервером 1412 живого обмена данными, чтобы давать возможность нескольким клиентам обмениваться звуковыми и видеосигналами и управлять совместно используемыми документами, так чтобы изменения в документе, сделанные на мобильном устройстве 1400, отображались в реальном времени на дисплее вычислительного устройства 1406 удаленного пользователя.

С помощью беспроводного соединения мобильное устройство 1400 может обмениваться данными с дорожной вычислительной машиной 1420. С помощью улучшенного речевого сигнала, предоставляемого посредством наличия сигнала микрофона воздушной проводимости и сигнала альтернативного датчика, мобильное устройство 1400 может отправлять речевые сигналы, представляющие команды, дорожной вычислительной машине 1420. Приложение 1422 командного управления в дорожной вычислительной машине 1