Система беспроводной стыковки для аудио-видео

Система беспроводной стыковки для аудио-видео

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Изобретение относится к хост-устройству для беспроводной стыковки со стыкуемым устройством, при этом хост-устройство выполнено с возможностью рендеринга аудио или видео (AV) данных. Изобретение дополнительно относится к стыкуемому устройству для беспроводной стыковки с хост-устройством, способу и компьютерному программному продукту для беспроводной стыковки между хост-устройством и стыкуемым устройством.

Хост-устройство содержит блок связи хоста для обеспечения беспроводной связи, блок удаленного клиента для предоставления по меньшей мере одной функции AV рендеринга удаленному клиенту для обеспечения рендеринга аудио данных через звуковое устройство или видео данных через экран, и по меньшей мере один блок переноса, выполненный с возможностью обеспечения передачи нисходящего потока первых AV данных к стыкуемому устройству, и приема восходящего потока вторых AV данных, в отношении которых должен быть осуществлен рендеринг, от стыкуемого устройства. Стыкуемое устройство содержит блок связи стыкуемого объекта для обеспечения беспроводной связи, блок удаленного сервера для взаимодействия с блоком удаленного клиента для обеспечения упомянутой функции AV рендеринга, и блок приложения для приема нисходящего потока AV данных и для генерирования восходящего потока AV данных.

Изобретение относится к области беспроводной связи, например, Wi-Fi, и в частности к установке для системы беспроводной стыковки с возможностями рендеринга аудио и/или видео.

УРОВЕНЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ

Проводные станции стыковки для портативных электронных устройств, как правило, имеют только один физический разъем стыковки для одновременной стыковки одного устройства. Станция стыковки может предоставлять портативному устройству питание и функции периферийного оборудования, которые не обеспечиваются самим устройством, например, (более) большой экран, (более) высокого качества громкоговорители, манипулятор типа мышь и клавиатуру.

Известна беспроводная стыковка, например, из WO 2012/117306 A1. Беспроводная станция стыковки (именуемая хостом) предоставляет мобильному устройству (именуемому стыкуемым объектом) возможность осуществления доступа к его периферийному оборудованию через беспроводную связь между стыкуемым устройством и хост-устройством. Беспроводная станция стыковки позволяет приложениям в стыкуемом устройстве принимать аудио и/или видео (AV) данные. AV данные могут происходить из периферийного оборудования или внешних источников хоста, и пересылаться в направлении стыкуемого устройства в потоке данных, обычно именуемом нисходящим потоком. Приложение в стыкуемом устройстве может добавлять или обрабатывать AV данные, и/или генерировать AV данные, и отправлять поток AV данных хост-устройству, обычно именуемый восходящим потоком.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Из-за беспроводной природы связи системы беспроводной стыковки, доступная полоса пропускания ограничена. Тем не менее, в известных системах беспроводной стыковки, восходящий и нисходящий потоки, содержащие аудио и/или видео данные, переносятся одновременно между хостом и стыкуемым объектом.

Задача изобретения состоит в предоставлении системы для беспроводной стыковки, которая уменьшает требуемую полосу пропускания для AV функций при беспроводной стыковке.

С этой целью система беспроводной стыковки содержит хост-устройство и стыкуемое устройство, как описано в первом абзаце. В соответствии с первым аспектом изобретения, хост-устройство содержит AV маршрутизатор, выполненный с возможностью обработки нисходящего потока и восходящего потока с тем, чтобы замещать первые AV данные предварительно определенным шаблоном перед передачей нисходящего потока стыкуемому устройству, и замещать по меньшей мере часть вторых AV данных по меньшей мере частью первых AV данных после приема восходящего потока от стыкуемого устройства и перед рендерингом через упомянутую функцию AV рендеринга. AV маршрутизатор выполнен с возможностью распознавания предварительно определенного шаблона во вторых AV данных, и замещения вторых AV данных, соответствующих упомянутому распознанному шаблону по меньшей мере частью первых AV данных.

С этой целью, в соответствии с дополнительным аспектом изобретения, стыкуемое устройство выполнено с возможностью включения, как части восходящего потока, предварительно определенного шаблона во вторые AV данные. Предварительно определенный шаблон является частью восходящего потока, в силу чего стыкуемое устройство включает предварительно определенный шаблон во вторые AV данные, и AV маршрутизатор выполнен с возможностью распознавания предварительно определенного шаблона во вторых AV данных, и замещения вторых AV данных, соответствующих упомянутому распознанному шаблону по меньшей мере частью первых AV данных. Преимущественно, AV маршрутизатор может вставлять предварительно определенный шаблон в нисходящий поток и замещать возвращаемый шаблон в восходящем потоке исходно предназначенными AV данными.

Упомянутые меры обладают следующим эффектом. Посредством замещения исходных AV данных в первых AV данных нисходящего потока предварительно определенным шаблоном, требуемая полоса пропускания нисходящего потока уменьшается, так как предварительно определенный шаблон переносится, используя меньше видео данных. Также, полоса пропускания, требуемая для восходящего потока, уменьшается, так как предварительно определенный шаблон, который вставляется приложением во вторые AV данные восходящего потока, переносится, используя меньше видео данных. В хост-устройстве, вставленный шаблон замещается исходным видео контентом как предполагается, и результирующие вторые AV данные используются для рендеринга. Преимущественно, объем данных, который требуется перенести через беспроводную связь, уменьшается.

Опционально, AV маршрутизатор выполнен с возможностью приема команд рендеринга от стыкуемого устройства, при этом команды рендеринга указывающие упомянутое замещение по меньшей мере части вторых AV данных по меньшей мере частью первых AV данных. Преимущественно, подсистема AV маршрутизатора может использовать информацию, принимаемую от стыкуемого объекта, в отношении предполагаемого использования контента периферийного оборудования ввода и вывода AV, соединенного со вторым беспроводным устройством, для определения пути маршрутизации, который обладает минимальным дублированием контента, при его отправке туда и обратно между первым и вторым беспроводным устройством.

Опционально, стыкуемое устройство содержит маршрутизатор стыкуемого объекта для маршрутизации и обработки восходящего потока и нисходящего потока в стыкуемом устройстве и для осуществления связи с AV маршрутизатором с тем, чтобы осуществлять обмен командами управления маршрутизацией с тем, чтобы определять AV маршрутизацию, как поддерживаемую хост-устройством.

Опционально, предварительно определенный шаблон включает в себя по меньшей мере одно из следующего:

- видео шаблон с одним цветом фона;

- видео шаблон с одним или более геометрическими объектами;

- видео шаблон с одним цветом переднего плана;

- аудио шаблон в виде тишины;

- аудио шаблон в виде последовательности предварительно определенных звуков;

- временную информацию, и AV маршрутизатор, выполненный с возможностью использования временной информации для определения задержки между отправкой первых данных в нисходящем потоке и приемом вторых AV данных в восходящем потоке, и обеспечения задержки AV контента от устройства ввода AV в соответствии с определенной задержкой перед упомянутым замещением с тем, чтобы синхронизировать AV данные, в отношении которых должен быть осуществлен рендеринг. Преимущественно, посредством выбора шаблона, используя соответствующие вышеприведенные элементы, требуемая полоса пропускания уменьшается и шаблон обеспечивает распознавание AV маршрутизатором.

Дополнительные предпочтительные варианты осуществления устройства и способа в соответствии с изобретением предоставлены в прилагаемой формуле изобретения, раскрытие которой включено в настоящее описание посредством ссылки.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Эти и прочие аспекты изобретения станут очевидны из и дополнительно разъяснены со ссылкой на варианты осуществления, описываемые в качестве примера в нижеследующем описании и со ссылкой на сопроводительные чертежи, на которых

Фигура 1 показывает систему беспроводной стыковки,

Фигура 2 показывает системы стыковки, осуществляющую рендеринг AV данных, как предоставляемых приложением в стыкуемом объекте,

Фигура 3 показывает систему стыковки, осуществляющую рендеринг AV данных через AV маршрутизатор, и

Фигура 4 показывает пример системы беспроводной стыковки с блоком маршрутизатора стыкуемого объекта.

Фигуры являются исключительно схематичными и отрисованы не в масштабе. На Фигурах элементы, которые соответствуют элементам, которые уже описаны, могут иметь те же самые позиционные обозначения.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

Теперь рассматривается подробный пример реализации для системы беспроводной стыковки. Беспроводная стыковка является предоставлением возможности портативным или мобильным устройствам (так называемым беспроводным стыкуемым объектам или WD) беспроводного соединения с группой периферийного оборудования таким образом, что приложения на стыкуемом устройстве могут использовать это периферийное оборудование для улучшения восприятия и производительности работы/взаимодействия с этими приложениями. Обеспечение сопряжения с периферийным оборудованием осуществляется посредством так называемого хоста беспроводной стыковки (WDH).

Возможные стыкуемые объекты включают в себя (но не ограничиваются перечисленным) мобильные телефоны, компьютеры класса лэптоп, планшеты, портативные мультимедийные проигрыватели, камеры, электронные часы. Возможные WHS включают в себя (но не ограничиваются перечисленным) назначенные устройства беспроводной станции стыковки, дисплейные устройства, аудио устройства, принтеры, PC. Возможное периферийное оборудование включает в себя (но не ограничивается перечисленным) беспроводные манипуляторы типа мышь, клавиатуры, дисплейные устройства, аудио устройства, веб-камеры, принтеры, запоминающие устройства, USB концентраторы.

Фигура 1 показывает систему беспроводной стыковки. Система известного уровня техники включает в себя хост-устройство 100 для беспроводной связи со стыкуемым устройством 120, например, мобильным телефоном, лэптопом или планшетным компьютером. Стыкуемое устройство 120 подробно описывается ниже. Хост-устройство связано с некоторым количеством периферийного оборудования 110, 111, 112 для рендеринга аудио или видео (AV) данных. Следует отметить, что в данном документе AV данные используются применительно к любому типу видео данных, аудио данных или сочетанию видео и аудио данных. Периферийное оборудование может включать в себя: устройства вывода видео подобные проектору или дисплейному экрану 111; устройства ввода видео подобные камере или веб-камере 110; графические интерактивные устройства подобные сенсорному экрану; устройства ввода/вывода аудио, подобные системе 112 громкоговорителей, головным телефонам и/или микрофону; устройства управления пользователя подобные манипулятору типа мышь, устройству детектирования 3D жеста или блоку управления комнатой; устройства обработки данных, подобные блоку хранения данных и принтеру.

Хост-устройство 100 имеет блок 102 связи хоста для обеспечения упомянутой беспроводной связи, например, блок WiFi, как таковой хорошо известный. Хост-устройство дополнительно имеет процессор 101 стыковки выполненный с возможностью осуществления стыковки по меньшей мере одного стыкуемого устройства. Процесс стыковки беспроводного устройства с хостом беспроводной стыковки (WDH) является процессом создания линии передачи данных через доступный радиоканал такой как WiFi, Беспроводная Последовательная Шина или Bluetooth, как таковой известный как рассматриваемый выше со ссылкой на WO 2012/117306A1. Описание Bluetooth может быть найдено, например, в Техническом Описании Bluetooth, Базовый Пакет версия 2.1 + EDR, изданном: 26 июля 2007 г. Процесс стыковки включает в себя предоставление доступа к одному или более периферийному оборудованию для стыкуемого устройства.

Стыкуемое устройство 120 имеет блок 121 связи стыкуемого объекта для обеспечения упомянутой беспроводной связи с хостом. Стыкуемое устройство дополнительно имеет процессор 122 стыкуемого объекта, выполненный с возможностью осуществления стыковки, в качестве стыкуемого устройства, с хост-устройством для получения доступа к по меньшей мере одному периферийному оборудованию.

При беспроводной стыковке, стыкуемое устройство беспроводным образом соединяется со станцией стыковки (также известной как хост беспроводной стыковки или WDH), для того чтобы подключиться к периферийному оборудованию (например, экрану, клавиатуре), предоставляемому станцией стыковки. Ожидается что устройства поддерживают WiFi, например, версию ‘n’ (как задано в IEEE 802.11n). Тем не менее стандарт WiFi ‘n’ обладает недостатком, который связан с тем, что поддерживаемая скорость передачи данных не достаточно высока для поддержки некоторых случаев использования беспроводной стыковки. Например, для обеспечения плавной игры в видео игры в пристыкованной ситуации на экране высокого разрешения станции стыковки, требуется обеспечение частоты обновления экрана, например, 1280х1920 пикселей с 24 битами на пиксель при 60 Гц: это составляет скорость передачи данных в 3375 Мбит/с, далеко за пределами 300 Мбит/с, обещанных в большинстве усовершенствованных настроек WiFi ‘n’. Кроме того, доступная полоса пропускания, как правило, должна будет совместно использоваться между несколькими экземплярами периферийного оборудования, соединенными с беспроводной станцией стыковки (такими как USB веб-камера, запоминающие устройства или аудио устройства). Одним способом решения проблемы полосы пропускания является использование сжатия (такого как H.264 для сжатия вывода на дисплей). Тем не менее, это увеличивает ресурсы, требуемые в стыкуемом объекте и станции стыковки, увеличивает время ожидания взаимодействия пользователя с периферийным оборудованием I/O, предоставляемым станцией стыковки. Это также уменьшает качество, например, вывода на дисплей. Из-за ограничений на величину сжатия, которая может быть применена, таким образом важно максимально возможно уменьшить объем трафика, требуемого между стыкуемым объектом и хостом стыковки.

Фигура 2 показывает систему стыковки, осуществляющую рендеринг AV данных, как предоставляемых приложением в стыкуемом объекте. Хост 200 беспроводной стыковки известного уровня техники выполнен с возможностью осуществления беспроводной связи со стыкуемым устройством 250, и рендеринга аудио или видео (AV) данных, подобно Фигуре 1 выше. Хост-устройство имеет блок связи хоста для обеспечения упомянутой беспроводной связи, и блок 210 удаленного клиента для предоставления по меньшей мере одной функции AV рендеринга удаленному клиенту, как указывается стрелкой 241. Следует отметить, что блок удаленного клиента и блок удаленного сервера осуществляют связь для обмена данными управления, но предполагается, что видео данные должны передаваться посредством потоковой передачи от стыкуемого объекта к хосту, так называемый восходящий поток. Потоковая передача данных от хоста к стыкуемому объекту именуется нисходящим потоком. Хост-устройство имеет по меньшей мере один блок 211, 212, 213, 214 переноса, выполненный с возможностью обеспечения передачи нисходящего потока первых AV данных к стыкуемому устройству. По меньшей мере один из блоков переноса дополнительно выполнен с возможностью приема восходящего потока вторых AV данных, в отношении которых должен быть осуществлен рендеринг, от стыкуемого устройства.

В примере на фигуре первый блок переноса является блоком 211 вывода видео, связанным с дисплейным экраном 204, который является принимающим восходящий поток видео данных, как указывается стрелкой 242. Второй блок переноса является блоком 212 сетевого ввода/вывода, осуществляющим сопряжение с сетью 230, подобной Интернет, переносящей дополнительный восходящий поток и/или нисходящий поток AV данных. Третий блок переноса является блоком 213 ввода видео, связанным с камерой 201, который передает восходящий поток видео данных, как указывается стрелкой 245. Четвертый блок переноса является блоком аудио, осуществляющим сопряжение с микрофоном 202 для ввода аудио, который передает нисходящий поток аудио данных, как указывается стрелкой 246, и также связан с системой 203 громкоговорителей для вывода аудио для приема восходящего потока аудио данных как указывается стрелкой 244.

Стыкуемое устройство имеет блок 251 удаленного сервера для взаимодействия с блоком 210 удаленного клиента для обеспечения упомянутой функции AV рендеринга. Стыкуемое устройство также имеет блок 252 приложения для приема первого потока AV данных и для генерирования второго потока AV данных на основании первого потока AV данных. На практике блок приложения может быть процессором, выполняющим приложение или так называемую прикладную программу, которая принимает и/или передает аудио и/или видео данные.

Потоковая передача видео высокого разрешения через сетевое соединение может потребовать очень большой полосы пропускания. Как иллюстрируется Фигурой 2, для вывода на дисплей видео контент отправляется от стыкуемого объекта к станции стыковки с тем, чтобы позволить станции стыковки осуществить рендеринг его на соединенном периферийном оборудовании дисплея. Если периферийное оборудование камеры соединено со станцией стыковки, видео контент может быть отправлен от станции стыковки к стыкуемому объекту. Обычно, вывод веб-камеры вставляется приложением стыкуемого объекта в вывод видео как часть интерфейса пользователя без дальнейшей обработки. Если дисплей, соединенный со станицей стыковки, используется для рендеринга интерфейса пользователя, это означает, что видео контент от веб-камеры, должен передаваться в восходящем и нисходящем потоке от станции стыковки к стыкуемому объекту и обратно, с тем чтобы обеспечить отображение его на мониторе, тем самым используя излишнюю полосу пропускания.

Система, описываемая ниже, может быть использована в устройствах беспроводной стыковки для уменьшения используемой полосы пропускания, посредством уменьшения полосы пропускания восходящей линии связи, и уменьшения полосы пропускания нисходящей линии связи для данной ситуации, и возможно также других ситуаций.

Фигура 3 показывает систему стыковки, осуществляющую рендеринг AV данных через AV маршрутизатор. Подобно Фигуре 2 хост 300 беспроводной стыковки выполнен с возможностью осуществления беспроводной связи со стыкуемым устройством 250. Хост-устройство имеет AV маршрутизатор 300, выполненный с возможностью обработки восходящего потока и нисходящего потока с тем, чтобы замещать первые AV данные предварительно определенным шаблоном перед передачей нисходящего потока стыкуемому устройству, и замещения по меньшей мере части вторых AV данных по меньшей мере частью первых AV данных после приема восходящего потока от стыкуемого устройства и перед рендерингом через упомянутую функцию AV рендеринга.

В примере на фигуре хост имеет точно такой же блок переноса как и хост-устройство 200 на Фигуре 2. Хост-устройство 300 дополнительно имеет AV маршрутизатор 300, выполненный с возможностью обработки нисходящего потока и восходящего потока с тем, чтобы замещать первые AV данные предварительно определенным шаблоном перед передачей нисходящего потока к стыкуемому устройству, и замещать по меньшей мере часть вторых AV данных по меньшей мере частью первых AV данных после приема восходящего потока от стыкуемого устройства и перед рендерингом через упомянутую функцию AV рендеринга. Теперь блок 211 вывода видео является принимающим обработанный поток видео данных через AV маршрутизатор, как указывается стрелкой 342. Блок 212 сетевого ввода/вывода является переносящим дополнительный восходящий поток и/или нисходящий поток 343 AV данных после обработки через AV маршрутизатор. Блок 213 ввода видео является передающим, через AV маршрутизатор, нисходящий поток видео данных, как указывается стрелкой 345. Блок 214 аудио является передающим, через AV маршрутизатор, нисходящий поток аудио данных, как указывается стрелкой 345, и является принимающим, через AV маршрутизатор, восходящий поток аудио данных, как указывается стрелкой 344.

Главным элементом изобретения является система, состоящая из первого беспроводного устройства, исполняющего одно или более приложения, при этом беспроводное устройство соединенное со вторым беспроводным устройством, которое соединено с одним или более периферийным оборудованием ввода AV, и одним или более периферийным оборудованием вывода AV, посредством чего система может автоматически определять путь маршрутизации на основании контента, исходящего от периферийного оборудования ввода AV, и контента, доставляемого к периферийному оборудованию вывода AV, с минимальным дублированием контента, при его отправке туда и обратно между первым и вторым беспроводным устройством.

В варианте осуществления система состоит из первого беспроводного устройства, обычно стыкуемого объекта, и второго беспроводного устройства, обычно стационарного, подобного PC. Второе беспроводное устройство соединено с по меньшей мере одним периферийный оборудованием аудиовизуального ввода и периферийным оборудованием аудиовизуального вывода и имеет подсистему AV маршрутизатора с блоком обработки, с которой связано периферийное оборудование ввода и вывода. Подсистема управляет рендерингом аудиовизуального контента, принимаемого непосредственно от периферийного оборудования ввода AV или внешнего источника (например, домашней сети/Интернет), на периферийном оборудовании вывода AV, соединенном со вторым беспроводным устройством.

Опционально, AV маршрутизатор может использовать инструкции рендеринга (например, зону экрана), предоставляемые стыкуемым устройством. Подсистема AV маршрутизатора может использовать информацию, принимаемую от стыкуемого объекта, в отношении предполагаемого использования контента периферийного оборудования ввода и вывода AV, соединенного со вторым беспроводным устройством, для определения пути маршрутизации, который обладает минимальным дублированием контента, при его отправке туда и обратно между первым и вторым беспроводным устройством.

Опционально, AV маршрутизатор выполнен с возможностью приема команд рендеринга от стыкуемого устройства, например, от блока удаленного сервера. Команды рендеринга могут быть указывающими замещение по меньшей мере части вторых AV данных по меньшей мере частью первых AV данных. Команды рендеринга могут включать в себя команды видео рендеринга, такие как

- команду, указывающую зону экрана для рендеринга первых AV данных;

- команду, указывающую зону первых AV данных, в отношении которых должен быть осуществлен рендеринг на экране;

- команду, указывающую AV шаблон во вторых AV данных, указывающий зону рендеринга;

- команду, указывающую опорную точку для рендеринга первых AV данных;

- команду, указывающую визуальный маркер, который должен быть детектирован во вторых AV данных для позиционирования первых AV данных;

- команду, указывающую индикатор для выбора предварительно заданного местоположения для рендеринга первых AV данных.

Опционально, инструкции рендеринга, как предоставляемые стыкуемым устройством, включают в себя одно или более из следующего: кодек сжатия для применения, набор фильтров для применения, параметры уменьшения качества для применения, трансформацию для применения, параметры синхронизации/ хронометража для применения.

Кроме того, команды рендеринга могут включать в себя команды графического рендеринга, такие как

- команду, указывающую графический элемент, в отношении которого должен быть осуществлен рендеринг;

- команду, указывающую местоположение рендеринга графического элемента;

- команду, указывающую указание времени для начала, остановки или временного отображения графического элемента;

- команду, указывающую графический интерфейс пользователя для обеспечения взаимодействия с пользователем;

- команду, указывающую графический элемент управления для обеспечения управления через действие пользователя.

Такие команды графического рендеринга могут относиться к выводу на дисплей, т.е. выводу на дисплей, показывающему интерфейс пользователя приложения(й), исполняемого на стыкуемом объекте. Такой вывод на дисплей отправляется от стыкуемого устройства к хост-устройству, чтобы быть отображенным на устройстве вывода A/V одновременно с A/V контентом с измененным маршрутом от устройства ввода A/V.

Кроме того, команды рендеринга могут включать в себя команды аудио рендеринга, такие как

- команду, указывающую коэффициент усиления для рендеринга аудио данных первых AV данных;

- команду, указывающую коэффициент микширования для рендеринга сочетания аудио данных первых AV данных и аудио данных вторых AV данных.

На практике, инструкции рендеринга могут дополнительно включать в себя одно или более из следующего: набор координат, маску, цветовой ключ, назначенные команды (например, в рамках протокола удаленного дисплея), опорную точку, визуальный маркер, предварительно определенное местоположение, пиктограмму, громкость аудио, и т.д. Кроме того, инструкции рендеринга могут быть даны в отношении структуры вывода на дисплей, т.е. вывода на дисплей, показывающего интерфейс пользователя приложения(й), работающего на первом беспроводном устройстве. Структура отображения отправляется от стыкуемого объекта к хосту, чтобы быть отображенной на устройстве вывода A/V одновременно с A/V контентом от устройства ввода A/V, как перехваченным AV маршрутизатором.

Опционально, инструкции рендеринга включают в себя инструкции распознавания, и хост-устройство обрабатывает аудиовизуальный контент, предоставляемый периферийный оборудованием ввода A/V на основании инструкций распознавания, предоставляемых первым беспроводным устройством, и может отправлять результаты обработки стыкуемому объекту. Инструкции распознавания могут включать в себя одно или более из следующего: распознавание изображения, распознавание текста, распознавание речи, распознавание движения. Опционально, результаты обработки, предоставляемые хостом, включают в себя одно или более из следующего: письменный текст (распознанный как часть контента, исходящего от периферийного оборудования ввода A/V), URL/URI, строку идентификатора, пиктограмму, идентификацию действия.

Опционально, система состоит из беспроводного стыкуемого устройства и беспроводного хост-устройства. Хост может быть соединен, через Wi-Fi или Ethernet, с одним или более внешними источниками (например, домашней сетью/Интернет). AV маршрутизатор управляет рендерингом аудиовизуального контента, принимаемого от внешнего источника, например, на периферийном оборудовании вывода A/V.

Опционально, AV маршрутизатор выполнен с возможностью распознавания предварительно определенного шаблона только в структурированной зоне полноэкранного вывода на дисплей, и замещения вторых AV данных в структурированной зоне на соответствующий объем первых AV данных. Кроме того, AV маршрутизатор может быть выполнен с возможностью распознавания в структурированной зоне, масштабирования и/или обрезки предварительно определенного шаблона, обработки первых AV данных, соответствующих масштабированию и/или обрезке, и замещения вторых AV данных в структурированной зоне соответствующим объемом обработанных первых AV данных.

На практике, аудиовизуальный шаблон также может указывать зону рендеринга, в то время как генерируется стыкуемым устройством известным образом, так что может быть распознана хост-устройством. Шаблон может быть сгенерирован хост-устройством и вставлен в качестве видео данных в нисходящий поток. В силу того, что стыкуемое устройство также включает тот шаблон в вывод на дисплей, шаблон становится частью восходящего потока и может быть распознан хост-устройством.

Опционально, хост-устройство генерирует шаблон, который отправляется стыкуемому устройству как часть A/V контента; в сущности, хост-устройство использует шаблон, как возвращаемый в восходящем потоке, в качестве части инструкции рендеринга, отправленной от стыкуемого устройства в отношении того, каким образом отображать исходный контент от устройства ввода A/V хоста. Использование такого шаблона является преимущественным поскольку система достигает оптимизации пропускной способности A/V без модификации стыкуемого устройства. Традиционные системы удаленного рабочего стола потребуют приложения для отправки дополнительных координат и информации масштабирования устройству рендеринга. Приложение стыкуемого объекта реплицирует принятый шаблон, как это было бы при приеме видео потока. Кроме того, выбор подходящего шаблона обеспечивает возможность высокого сжатия A/V потока при его отправке туда и обратно между первым и вторым беспроводным устройством. Например, шаблон содержит по меньшей мере одно из следующего: черный фон; один или более белые квадраты или прямоугольники, возможно разных размеров для детектирования масштабирования и/или обрезки шаблона. Следовательно, шаблон может указывать позицию A/V контента, и то, масштабируется и/или обрезается или нет видео посредством сравнения шаблона исходно отправленного от устройства рендеринга отправляющему устройству, и шаблона, принимаемого обратно от стыкуемого устройства во вторых видео данных.

Опционально, шаблон, генерируемый вторым беспроводным устройством, включает в себя временную информацию, которую второе беспроводное устройство использует для определения задержки, с которой требуется чтобы в отношении A/V контента от устройства ввода A/V был осуществлен рендеринг на устройстве вывода A/V с тем, чтобы он был синхронизирован с выводом на дисплей, который отправляется от первого беспроводного устройства на второе беспроводное устройство.

В дополнительном варианте осуществления система является системой беспроводной стыковки, при этом второе беспроводное устройство является беспроводной станцией стыковки, а первое беспроводное устройство является портативным устройством (именуемым беспроводным стыкуемым объектом), стыкуемым с беспроводной станцией стыковки.

Опционально, команды рендеринга, как отправляемые стыкуемым устройством, включают в себя информацию о дополнительных потоках, с которыми AV данные в восходящем потоке должны быть мультиплексированы, или указание внешнего источника или места назначения для первых и/или вторых AV данных. Инструкции могут включать в себя одно или более из следующего: URL, URI, идентификатор USB устройства, место назначения SAMBA/CIFS/NFS/ WEBDAV, адрес Skype, адрес электронной почты, адрес IMS/SIP, место назначения потоковой передачи (RTP). Опционально, хост-устройство может переносить вторые AV данные в место назначения через сеть, подобную Интернет. Аудиовизуальный контент, предоставляемый периферийным оборудованием ввода A/V, может быть обработан перед отправкой его в место назначения, указываемое первым беспроводным устройством, используя инструкции, предоставляемые первым беспроводным устройством, например, кодек сжатия для применения. Например, аудиовизуальный контент, который отправляется в место назначения, используя инструкции, предоставляемые стыкуемым объектом, и аудиовизуальный контент, который принимается от внешнего источника, например, сервера Интернет, хостом может быть упакован в безопасный протокол, такой как Skype. Хост может реализовывать безопасный протокол. Стыкуемый объект будет предоставлять необходимую информацию, такую как URL места назначения, хосту для настройки протокольного соединения. Хост может осуществлять маршрутизацию аудиовизуального контента на основании информации сетевого соединения, доступной в стыкуемом объекте, например, порта TCP/IP и типа протокола.

Опционально, хост-устройство реализует сервер безопасного протокола, состоящий из двух приемопередатчиков безопасного протокола, и при этом стыкуемый объект отвечает за настройку соединения с требуемым местом назначения, например, сервером в Интернет. В среде беспроводной стыковки, как правило, весь сетевой трафик, происходящий от стыкуемого устройства, будет проходить через хост-устройство, так что стыкуемое устройство имеет возможность перехвата настройки соединения и осуществления маршрутизации соединения к первому приемопередатчику безопасного протокола для настройки безопасного соединения с первым беспроводным устройством. Информация соединения, принимаемая первым приемником безопасного протокола, используется хостом для настройки нового соединения с помощью второго приемопередатчика безопасного протокола с исходным местом назначения, которое было принято от стыкуемого объекта. Первый приемопередатчик безопасного протокола может быть соединен со вторым приемопередатчиком безопасного протокола посредством внешней шины, по которой аудиовизуальный контент не шифруется. По приему аудиовизуального контента через одно из соединений безопасного протокола, второе беспроводное устройство замещает аудиовизуальный контент контентом из соединенного периферийного оборудования аудиовизуального ввода перед повторной передачей посредством дополняющего приемопередатчика безопасного протокола.

Опционально, хост-устройство реализует общий безопасный протокол, управление которым может осуществляться стыкуемым объектом, такой как HTTPS. Стыкуемый объект отвечает за настройку соединения с требуемым местом назначения. После создания соединения с требуемым местом назначения первое беспроводное устройство отправляет информацию безопасного соединения (например, ключ шифрования) второму беспроводному устройству, совместно с инструкциями (например, дескриптором SDP) в отношении того, каким образом настраивать аудиовизуальный поток (например, RTP), который может быть сделан безопасным, используя информацию безопасного соединения, принятую от стыкуемого объекта.

Опционально, стыкуемое устройство имеет подсистему, которая осуществляет связь в отношении информации с беспроводным хост-устройством, например, с AV маршрутизатором, касательно периферийного оборудования ввода и вывода AV и внешних источников, соединенных с беспроводным хост-устройством, для определения пути маршрутизации стыкуемого объекта, который обладает минимальным дублированием контента при его отправке туда и обратно между беспроводным хост-устройством и стыкуемым устройством. Такая подсистема стыкуемого объекта именуется маршрутизатором стыкуемого объекта.

Фигура 4 показывает пример системы беспроводной стыковки с блоком маршрутизатора стыкуемого объекта. На фигуре хост имеет те же самые блоки 211, 212, 213, 214 переноса и периферийное оборудование 201, 202, 203, 204 как хост-устройство 200 на Фигуре 2, и стыкуемый объект имеет точно такой же блок 251 удаленного сервера для взаимодействия с блоком 210 удаленного клиента и блок 252 приложения как и стыкуемое устройство 250 на Фигуре 2. Подобно Фигуре 3 хост 400 беспроводной стыковки выполнен с возможностью осуществления беспроводной связи со стыкуемым устройством 450. Хост-устройство имеет AV маршрутизатор 410, выполненный с возможностью обработки восходящего потока 442 и нисходящего потока 441 с тем, чтобы замещать первые AV данные предварительно определенным шаблоном перед передачей нисходящего потока, как модифицированного стыкуемому устройству. Стыкуемое устройство имеет маршрутизатор 460 стыкуемого объекта для осуществления маршрутизации и обработки восходящего потока и нисходящего потока в стыкуемом устройстве. AV маршрутизатор 410 дополнительно выполнен с возможностью обработки нисходящего потока и восходящего потока с тем, чтобы замещать по меньшей мере часть вторых AV данны