Обратный канал пользовательского ввода для беспроводных дисплеев

Иллюстрации

Показать все

Изобретение относится к области передачи в беспроводных сетях связи данных терминалов, таких как характеристики терминалов. Техническим результатом является обеспечение согласования характеристик между беспроводным устройством-приемником и беспроводным устройством-источником. Для этого в качестве части установления сеанса связи передают в устройство-источник сообщение, которое идентифицирует список поддерживаемых категорий ввода, который идентифицирует форматы данных пользовательского ввода, поддерживаемых устройством-приемником, и множество списков поддерживаемых типов. При этом каждая из поддерживаемых категорий ввода из списка поддерживаемых категорий ввода имеет ассоциированный список поддерживаемых типов. В качестве части сеанса связи устройство-источник может передавать аудио- и видеоданные в устройство-приемник, который может передавать принятые пользовательские вводы в устройство-источник. Таким образом, пользователь устройства-приемника может управлять устройством-источником и управлять контентом, который передается из устройства-источника в устройство-приемник. 8 н. и 64 з.п. ф-лы, 26 ил., 6 табл.

Реферат

[0001] Данная заявка притязает на приоритет:

предварительной заявки на патент (США) номер 61/435194, поданной 21 января 2011 года;

предварительной заявки на патент (США) 61/447592, поданной 28 февраля 2011 года;

предварительной заявки на патент (США) 61/448312, поданной 2 марта 2011 года;

предварительной заявки на патент (США) 61/450101, поданной 7 марта 2011 года;

предварительной заявки на патент (США) 61/467535, поданной 25 марта 2011 года;

предварительной заявки на патент (США) 61/467543, поданной 25 марта 2011 года;

предварительной заявки на патент (США) 61/514863, поданной 3 августа 2011 года; и

предварительной заявки на патент (США) 61/544445, поданной 7 октября 2011 года;

содержимое каждой из которых полностью содержится в данном документе по ссылке.

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0002] Данное раскрытие сущности относится к технологиям для передачи данных между беспроводным устройством-источником и беспроводным устройством-приемником.

УРОВЕНЬ ТЕХНИКИ

[0003] Системы беспроводного отображения (WD) или Wi-Fi-отображения (WFD) включают в себя беспроводное устройство-источник и одно или более беспроводных устройств-приемников. Устройство-источник и каждое из устройств-приемников могут быть мобильными устройствами или проводными устройствами с поддержкой беспроводной связи. Одно или более из устройства-источника и устройств-приемников могут включать в себя, например, мобильные телефоны, портативные компьютеры с картами беспроводной связи, персональные цифровые устройства (PDA), портативные мультимедийные проигрыватели либо другие такие устройства с поддержкой беспроводной связи, включающие в себя так называемые смартфоны и интеллектуальные сенсорные панели или планшетные компьютеры либо любой тип беспроводных дисплеев, устройств видеоигр или других типов устройств беспроводной связи. Одно или более устройств-источников и устройств-приемников также могут включать в себя проводные устройства, такие как телевизионные приемники, настольные компьютеры, мониторы, проекторы и т.п., которые включают в себя поддержку связи.

[0004] Устройство-источник отправляет мультимедийные данные, к примеру, аудио-видео-(AV)-данные, в одно или более устройств-приемников, участвующих в конкретном сеансе совместного использования мультимедиа. Мультимедийные данные могут быть воспроизведены как на локальном дисплее устройства-источника, так и на каждом из дисплеев устройств-приемников. Более конкретно, каждое из участвующих устройств-приемников выполняет рендеринг принятых мультимедийных данных на своем экране и звуковом оборудовании.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0005] Это раскрытие сущности, в общем, описывает систему, в которой беспроводное устройство-приемник может обмениваться данными с беспроводным устройством-приемником. В качестве части сеанса связи беспроводное устройство-источник может передавать аудио- и видеоданные в беспроводное устройство-приемник, и беспроводное устройство-приемник может передавать пользовательские вводы, принятые в беспроводном устройстве-приемнике, обратно в беспроводное устройство-источник. Таким образом, пользователь беспроводного устройства-приемника может управлять беспроводным устройством-источником и управлять контентом, который передается из беспроводного устройства-источника в беспроводное устройство-приемник.

[0006] В одном примере, способ согласования характеристик между беспроводным устройством-приемником и беспроводным устройством-источником включает в себя передачу сообщения в беспроводное устройство-источник, при этом сообщение идентифицирует список поддерживаемых категорий ввода и множество списков поддерживаемых типов, причем каждая из поддерживаемых категорий ввода из списка поддерживаемых категорий ввода имеет ассоциированный список поддерживаемых типов.

[0007] В другом примере, беспроводное устройство-приемник выполнено с возможностью согласовывать характеристики с беспроводным устройством-источником. Беспроводное устройство-приемник включает в себя запоминающее устройство, сохраняющее инструкции, и один или более процессоров, выполненных с возможностью выполнять инструкции. При выполнении инструкций один или более процессоров инструктируют передачу сообщения в беспроводное устройство-источник, при этом сообщение идентифицирует список поддерживаемых категорий ввода и множество списков поддерживаемых типов, при этом каждая из поддерживаемых категорий ввода из списка поддерживаемых категорий ввода имеет ассоциированный список поддерживаемых типов.

[0008] В другом примере, машиночитаемый носитель хранения данных сохраняет инструкции, которые при выполнении посредством одного или более процессоров инструктируют один или более процессоров осуществлять способ согласования характеристик между беспроводным устройством-приемником и беспроводным устройством-источником. Способ включает в себя передачу сообщения в беспроводное устройство-источник, при этом сообщение идентифицирует список поддерживаемых категорий ввода и множество списков поддерживаемых типов, причем каждая из поддерживаемых категорий ввода из списка поддерживаемых категорий ввода имеет ассоциированный список поддерживаемых типов.

[0009] В другом примере, беспроводное устройство-приемник выполнено с возможностью согласовывать характеристики с беспроводным устройством-источником. Беспроводное устройство-приемник включает в себя средство для передачи сообщения в беспроводное устройство-источник, при этом сообщение идентифицирует список поддерживаемых категорий ввода и множество списков поддерживаемых типов, причем каждая из поддерживаемых категорий ввода из списка поддерживаемых категорий ввода имеет ассоциированный список поддерживаемых типов.

[0010] В другом примере, способ согласования характеристик между беспроводным устройством-приемником и беспроводным устройством-источником включает в себя прием сообщения из беспроводного устройства-приемника, при этом сообщение идентифицирует список поддерживаемых категорий ввода и множество списков поддерживаемых типов, причем каждая из поддерживаемых категорий ввода из списка поддерживаемых категорий ввода имеет ассоциированный список поддерживаемых типов.

[0011] В другом примере, беспроводное устройство-источник выполнено с возможностью согласовывать характеристики с беспроводным устройством-приемником. Беспроводное устройство-источник включает в себя запоминающее устройство, сохраняющее инструкции, и один или более процессоров, выполненных с возможностью выполнять инструкции, при этом при выполнении инструкций один или более процессоров инструктируют прием сообщения из беспроводного устройства-приемника, при этом сообщение идентифицирует список поддерживаемых категорий ввода и множество списков поддерживаемых типов, при этом каждая из поддерживаемых категорий ввода из списка поддерживаемых категорий ввода имеет ассоциированный список поддерживаемых типов.

[0012] В другом примере, машиночитаемый носитель хранения данных сохраняет инструкции, которые при выполнении посредством одного или более процессоров инструктируют один или более процессоров осуществлять способ согласования характеристик между беспроводным устройством-приемником и беспроводным устройством-источником. Способ включает в себя прием сообщения из беспроводного устройства-приемника, при этом сообщение идентифицирует список поддерживаемых категорий ввода и множество списков поддерживаемых типов, при этом каждая из поддерживаемых категорий ввода из списка поддерживаемых категорий ввода имеет ассоциированный список поддерживаемых типов.

[0013] В другом примере, беспроводное устройство-источник выполнено с возможностью согласовывать характеристики с беспроводным устройством-приемником. Беспроводное устройство-источник включает в себя средство для приема сообщения из беспроводного устройства-приемника, при этом сообщение идентифицирует список поддерживаемых категорий ввода и множество списков поддерживаемых типов, причем каждая из поддерживаемых категорий ввода из списка поддерживаемых категорий ввода имеет ассоциированный список поддерживаемых типов.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0014] Фиг. 1A является блок-схемой, иллюстрирующей пример системы источников/приемников, которая может реализовывать технологии этого раскрытия сущности.

[0015] Фиг. 1B является блок-схемой, иллюстрирующей пример системы источников/приемников с двумя устройствами-приемниками.

[0016] Фиг. 2 показывает пример устройства-источника, которое может реализовывать технологии этого раскрытия сущности.

[0017] Фиг. 3 показывает пример устройства-приемника, которое может реализовывать технологии этого раскрытия сущности.

[0018] Фиг. 4 показывает блок-схему системы передающего устройства и системы приемного устройства, которая может реализовывать технологии этого раскрытия сущности.

[0019] Фиг. 5A и 5B показывают примерные последовательности передачи сообщений для выполнения согласований характеристик согласно технологиям этого раскрытия сущности.

[0020] Фиг. 6 показывает примерный пакет данных, который может использоваться для доставки данных пользовательского ввода, полученных в устройстве-приемнике, в устройство-источник.

[0021] Фиг. 7A и 7B являются блок-схемами последовательности операций способа, иллюстрирующими технологии этого раскрытия сущности, которые могут использоваться для согласования характеристик между устройством-источником и устройством-приемником.

[0022] Фиг. 8A и 8B являются блок-схемами последовательности операций способа, иллюстрирующими технологии этого раскрытия сущности, которые могут использоваться для передачи и приема пакетов данных с данными пользовательского ввода.

[0023] Фиг. 9A и 9B являются блок-схемами последовательности операций способа, иллюстрирующими технологии этого раскрытия сущности, которые могут использоваться для передачи и приема пакетов данных с данными пользовательского ввода.

[0024] Фиг. 10A и 10B являются блок-схемами последовательности операций способа, иллюстрирующими технологии этого раскрытия сущности, которые могут использоваться для передачи и приема пакетов данных с информацией временных меток и данными пользовательского ввода.

[0025] Фиг. 11A и 11B являются блок-схемами последовательности операций способа, иллюстрирующими технологии этого раскрытия сущности, которые могут использоваться для передачи и приема пакетов данных с информацией временных меток и данными пользовательского ввода.

[0026] Фиг. 12A и 12B являются блок-схемами последовательности операций способа, иллюстрирующими технологии этого раскрытия сущности, которые могут использоваться для передачи и приема пакетов данных, которые включают в себя речевые команды.

[0027] Фиг. 13A и 13B являются блок-схемами последовательности операций способа, иллюстрирующими технологии этого раскрытия сущности, которые могут использоваться для передачи и приема пакетов данных с командами мультисенсорного пользовательского ввода.

[0028] Фиг. 14A и 14B являются блок-схемами последовательности операций способа, иллюстрирующими технологии этого раскрытия сущности, которые могут использоваться для передачи и приема пакетов данных с данными пользовательского ввода, перенаправляемыми из стороннего устройства.

[0029] Фиг. 15A и 15B являются блок-схемами последовательности операций способа, иллюстрирующими технологии этого раскрытия сущности, которые могут использоваться для передачи и приема пакетов данных.

ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

[0030] Это раскрытие сущности, в общем, описывает систему, в которой беспроводное устройство-приемник может обмениваться данными с беспроводным устройством-приемником. В качестве части сеанса связи беспроводное устройство-источник может передавать аудио- и видеоданные в беспроводное устройство-приемник, и беспроводное устройство-приемник может передавать пользовательские вводы, принятые в беспроводном устройстве-приемнике, обратно в беспроводное устройство-источник. Таким образом, пользователь беспроводного устройства-приемника может управлять беспроводным устройством-источником и управлять контентом, который передается из беспроводного устройства-источника в беспроводное устройство-приемник.

[0031] Фиг. 1A является блок-схемой, иллюстрирующей примерную систему 100 источников/приемников, которая может реализовывать одну или более технологий этого раскрытия сущности. Как показано на фиг. 1A, система 100 включает в себя устройство-источник 120, которое обменивается данными с устройством-приемником 160 через канал 150 связи. Устройство-источник 120 может включать в себя запоминающее устройство, которое сохраняет аудио-видео-(A/V-)данные 121, дисплей 122, динамик 123, аудио-видеокодер 124 (также называемый кодером 124), модуль 125 управления аудио-видео и блок 126 приемо-передающего устройства (TX/RX). Устройство-приемник 160 может включать в себя дисплей 162, динамик 163, аудио-видеодекодер 164 (также называемый декодером 164), блок 166 приемо-передающего устройства, устройство 167 пользовательского ввода (UI) и модуль 168 обработки пользовательского ввода (UIPM). Проиллюстрированные компоненты составляют только одну примерную конфигурацию для системы 100 источников/приемников. Другие конфигурации могут включать в себя меньше компонентов по сравнению с проиллюстрированными компонентами, или могут включать в себя дополнительные компоненты по сравнению с проиллюстрированными компонентами.

[0032] В примере по фиг. 1A, устройство-источник 120 может отображать часть видео аудио-видеоданных 121 на дисплее 122 и может выводить часть аудио аудио-видеоданных 121 на динамик 123. Аудио-видеоданные 121 могут быть сохранены локально на устройстве-источнике 120, доступны из внешнего носителя хранения данных, к примеру, файлового сервера, жесткого диска, внешнего запоминающего устройства, Blu-Ray-диска, DVD или другого физического носителя хранения данных, либо могут быть переданы потоком в устройство-источник 120 через сетевое соединение, к примеру, Интернет. В некоторых случаях, аудио-видеоданные 121 могут захватываться в реальном времени через камеру и микрофон устройства-источника 120. Аудио-видеоданные 121 могут включать в себя мультимедийный контент, такой как фильмы, телешоу или музыка, но также могут включать в себя контент в реальном времени, сформированный посредством устройства-источника 120. Такой контент в реальном времени, например, может формироваться посредством приложений, работающих на устройстве-источнике 120, или захваченных видеоданных, например, в качестве части сеанса видеотелефонной связи. Как подробнее описано, такой контент в реальном времени может в некоторых случаях включать в себя видеокадр с пунктами пользовательского ввода, доступными для выбора пользователем. В некоторых случаях, аудио-видеоданные 121 могут включать в себя видеокадры, которые являются комбинацией различных типов контента, таких как видеокадр фильма или телепрограммы, который имеет пункты пользовательского ввода, наложенные на кадр видео.

[0033] В дополнение к рендерингу аудио-видеоданных 121 локально через дисплей 122 и динамик 123, аудио-видеокодер 124 устройства-источника 120 может кодировать аудио-видеоданные 121, и блок 126 приемо-передающего устройства может передавать кодированные данные по каналу 150 связи в устройство-приемник 160. Блок 166 приемо-передающего устройства устройства-приемника 160 принимает кодированные данные, и аудио-видеодекодер 164 декодирует кодированные данные и выводит декодированные данные через дисплей 162 и динамик 163. Таким образом, аудио- и видеоданные, рендеринг которых выполняется посредством дисплея 122 и динамика 123, могут быть одновременно подготовлены посредством рендеринга посредством дисплея 162 и динамика 163. Аудиоданные и видеоданные могут размещаться в кадрах, и аудиокадры могут синхронизироваться по времени с видеокадрами при выполнении рендеринга.

[0034] Аудио-видеокодер 124 и аудио-видеодекодер 164 могут реализовывать любое число стандартов сжатия аудио и видео, к примеру, стандарт ITU-T H.264, альтернативно называемый MPEG-4, часть 10, усовершенствованное кодирование видео (AVC), либо новый разрабатываемый стандарт высокоэффективного кодирования видео (HEVC), иногда называемый стандартом H.265. Также могут использоваться множество других типов собственных или стандартизированных технологий сжатия. Вообще говоря, аудио-видеодекодер 164 выполнен с возможностью осуществлять операции взаимно-обратного кодирования аудио-видеокодера 124. Хотя не показано на фиг. 1A, в некоторых аспектах, A/V-кодер 124 и декодер 164 A/V могут быть интегрированы с аудио-кодером и декодером и могут включать в себя надлежащие блоки мультиплексора-демультиплексора либо другие аппаратные средства и программное обеспечение для того, чтобы обрабатывать кодирование как аудио, так и видео в общем потоке данных или в отдельных потоках данных.

[0035] Как подробнее описано ниже, A/V-кодер 124 также может выполнять другие функции кодирования в дополнение к реализации стандарта сжатия видео, как описано выше. Например, A/V-кодер 124 может добавлять различные типы метаданных к A/V-данным 121 до передачи A/V-данных 121 в устройство-приемник 160. В некоторых случаях, A/V-данные 121 могут сохраняться или приниматься в устройстве-источнике 120 в кодированной форме и в силу этого не требовать дополнительного сжатия посредством A/V-кодера 124.

[0036] Хотя, фиг. 1A показывает канал 150 связи, переносящий рабочие аудиоданные и рабочие видеоданные отдельно, следует понимать, что в некоторых случаях рабочие видеоданные и рабочие аудиоданные могут быть частью общего потока данных. Если применимо, блоки мультиплексора-демультиплексора могут соответствовать протоколу мультиплексора ITU H.223 или другим протоколам, таким как протокол пользовательских дейтаграмм (UDP). Аудио-видеокодер 124 и аудио-видеодекодер 164 могут быть реализованы как один или более микропроцессоров, процессоров цифровых сигналов (DSP), специализированных интегральных схем (ASIC), программируемых пользователем вентильных матриц (FPGA), дискретная логика, программное обеспечение, аппаратные средства, микропрограммное обеспечение или любые комбинации вышеозначенного. Каждый из аудио-видеокодера 124 и аудио-видеодекодера 164 может быть включен в один или более кодеров или декодеров, любой из которых может быть интегрирован как часть комбинированного видеокодера/декодера (кодека). Таким образом, каждое устройство-источник 120 и устройство-приемник 160 могут содержать специализированные машины, выполненные с возможностью осуществлять одну или более технологий этого раскрытия сущности.

[0037] Дисплей 122 и дисплей 162 могут содержать любое множество устройств видеовывода, таких как дисплей на электронно-лучевой трубке (CRT), жидкокристаллический дисплей (LCD), плазменный дисплей, дисплей на светоизлучающих диодах (светодиодах), дисплей на органических светодиодах (OLED) или другой тип устройства отображения. В этих или других примерах, дисплеи 122 и 162 могут быть эмиссионными дисплеями или пропускающими дисплеями. Дисплей 122 и дисплей 162 также могут быть сенсорными дисплеями, так что они одновременно представляют собой как устройства ввода, так и устройства отображения. Такие сенсорные дисплеи могут представлять собой емкостной, резистивной или другой тип сенсорной панели, которая дает возможность пользователю предоставлять пользовательский ввод в соответствующее устройство.

[0038] Динамик 123 может содержать любое множество устройств аудиовывода, таких как наушники, система с одним динамиком, система с несколькими динамиками или система объемного звучания. Дополнительно, хотя дисплей 122 и динамик 123 показаны как часть устройства-источника 120, а дисплей 162 и динамик 163 показаны как часть устройства-приемника 160, устройство-источник 120 и устройство-приемник 160 фактически могут быть системой устройств. В качестве одного примера, дисплей 162 может быть телевизионным приемником, динамик 163 может быть системой объемного звучания, и декодер 164 может быть частью внешней приставки, подключенной, проводным или беспроводным способом, к дисплею 162 и динамику 163. В других случаях, устройство-приемник 160 может быть одним устройством, к примеру, планшетным компьютером или смартфоном. В еще других случаях, устройство-источник 120 и устройство-приемник 160 являются аналогичными устройствами, например, оба являются смартфонами, планшетными компьютерами и т.п. В этом случае, одно устройство может работать в качестве источника, а другое может работать в качестве приемника. Эти роли даже могут меняться на противоположные в последующих сеансах связи. В еще других случаях, устройство-источник может содержать мобильное устройство, к примеру, смартфон, переносной или планшетный компьютер, а устройство-приемник может содержать более стационарное устройство (например, с проводом питания переменным током), и в этом случае устройство-источник может доставлять аудио- и видеоданные для массового представления через устройство-приемник.

[0039] Блок 126 приемо-передающего устройства и блок 166 приемо-передающего устройства могут включать в себя различные микшеры, фильтры, усилители и другие компоненты, сконструированные для модуляции сигналов, а также одну или более антенн и других компонентов, сконструированных для передачи и приема данных. Канал 150 связи, в общем, представляет любую подходящую среду связи или сбор различных сред связи для передачи видеоданных из устройства-источника 120 в устройство-приемник 160. Канал 150 связи обычно представляет собой канал относительно ближней связи, аналогично Wi-Fi, технологии Bluetooth и т.п. Тем не менее, канал 150 связи не обязательно ограничивается в этом отношении и может содержать любую беспроводную или проводную среду связи, к примеру, радиочастотный (RF) спектр или одну или более физических линий передачи либо любую комбинацию беспроводных и проводных сред. В других примерах, канал 150 связи может даже являться частью сети с коммутацией пакетов, такой как проводная или беспроводная локальная вычислительная сеть, глобальная вычислительная сеть либо общемировая сеть, к примеру, Интернет. Дополнительно, канал 150 связи может быть использован посредством устройства-источника 120 и устройства-приемника 160 для того, чтобы создавать линию связи между равноправными узлами. Устройство-источник 120 и устройство-приемник 160 могут передавать по каналу 150 связи с использованием такого протокола связи, как стандарт из семейства стандартов IEEE 802.11. Устройство-источник 120 и устройство-приемник 160, например, могут обмениваться данными согласно стандарту Wi-Fi Direct, так что устройство-источник 120 и устройство-приемник 160 обмениваются данными друг с другом напрямую без использования посредников, таких как точки беспроводного доступа или так называемая публичная точка доступа. Устройство-источник 120 и устройство-приемник 160 также могут осуществлять установление туннелированной прямой линии связи (TLDS), чтобы не допускать или уменьшать перегрузку сети. Технологии этого раскрытия сущности иногда могут описываться относительно Wi-Fi, но предполагается, что аспекты этих технологий также могут быть совместимыми с другими протоколами связи. В качестве примера, а не ограничения, беспроводная связь между устройством-источником 120 и устройством-приемником может использовать технологии мультиплексирования с ортогональным частотным разделением каналов (OFDM). Также может быть использовано множество других технологий беспроводной связи, включающих в себя, но не только, множественный доступ с временным разделением каналов (TDMA), множественный доступ с частотным разделением каналов (FDMA), множественный доступ с кодовым разделением каналов (CDMA) или любую комбинацию OFDM, FDMA, TDMA и/или CDMA. WiFi Direct и TDLS предназначены для того, чтобы устанавливать сеансы относительно ближней связи. Относительно короткое расстояние в этом контексте может означать, например, меньше 70 метров, хотя в зашумленном или загроможденном окружении расстояние между устройствами может быть даже меньше, к примеру, меньше 35 метров.

[0040] В дополнение к декодированию и рендерингу данных, принятых из устройства-источника 120, устройство-приемник 160 также может принимать пользовательские вводы из устройства 167 пользовательского ввода. Устройство 167 пользовательского ввода, например, может быть клавиатурой, мышью, шаровым манипулятором или сенсорной панелью, сенсорным экраном, модулем распознавания речевых команд либо любым другим таким устройством пользовательского ввода. UIPM 168 форматирует команды пользовательского ввода, принятые посредством устройства 167 пользовательского ввода, в структуру пакета данных, интерпретацию которой устройство-источник 120 допускает. Такие пакеты данных передаются посредством приемо-передающего устройства 166 в устройство-источник 120 по каналу 150 связи. Блок 126 приемо-передающего устройства принимает пакеты данных, и модуль 125 A/V-управления синтаксически анализирует пакеты данных для того, чтобы интерпретировать команду пользовательского ввода, которая принята посредством устройства 167 пользовательского ввода. На основе команды, принимаемой в пакете данных, модуль 125 A/V-управления может изменять кодируемый и передаваемый контент. Таким образом, пользователь устройства-приемника 160 может управлять рабочими аудиоданными и рабочими видеоданными, передаваемыми посредством устройства-источника 120, удаленно и без непосредственного взаимодействия с устройством-источником 120. Примеры типов команд, которые пользователь устройства-приемника 160 может передавать в устройство-источник 120, включают в себя команды для ускоренной перемотки назад, ускоренной перемотки вперед, приостановки и воспроизведения аудио- и видеоданных, а также команды для изменения масштаба, поворота, прокручивания и т.д. Пользователи также могут осуществлять выбор, например, из меню с пунктами и передавать выбор обратно в устройство-источник 120.

[0041] Дополнительно, пользователи устройства-приемника 160 могут иметь возможность запускать и управлять приложениями на устройстве-источнике 120. Например, пользователь устройства-приемника 160 может иметь возможность запускать приложение для редактирования фотографий, сохраненное на устройстве-источнике 120, и использовать приложение для того, чтобы редактировать фотографию, которая сохраняется локально на устройстве-источнике 120. Устройство-приемник 160 может предоставлять пользователю такие возможности, что кажется, будто фотография редактируется локально на устройстве-приемнике 160, тогда как фактически фотография редактируется на устройстве-источнике 120. С использованием такой конфигурации пользователь устройства может иметь возможность использовать характеристики одного устройства для использования с несколькими устройствами. Например, устройство-источник 120 может быть смартфоном с большим объемом запоминающего устройства и высокопроизводительными характеристиками обработки. Пользователь устройства-источника 120 может использовать смартфон во всех окружениях и ситуациях, в которых типично используются смартфоны. Тем не менее, при просмотре фильма пользователь может желать смотреть фильм на устройстве с большим экраном отображения, и в этом случае устройство-приемник 160 может быть планшетным компьютером либо еще большим устройством отображения или телевизионным приемником. При желании отправлять или отвечать на почтовое сообщение, пользователь может желать использовать устройство с клавиатурой, и в этом случае устройство-приемник 160 может быть переносным компьютером. В обоих случаях, объем обработки при этом может быть выполнен посредством устройства-источника 120 (смартфона в этом примере), даже если пользователь взаимодействует с устройством-приемником. В этом конкретном контексте работы, вследствие объема обработки, выполняемого посредством устройства-источника 120, устройство-приемник 160 может быть менее дорогим устройством с меньшими ресурсами, чем когда от устройства-приемника 160 требуется выполнять обработку, выполняемую посредством устройства-источника 120. Как устройство-источник, так и устройство-приемник могут допускать прием пользовательского ввода (к примеру, команд сенсорного экрана) в некоторых примерах, и технологии этого раскрытия сущности могут упрощать двустороннее взаимодействие посредством согласования и/или идентификации характеристик устройств в любом данном сеансе.

[0042] В некоторой конфигурации, модуль 125 A/V-управления может быть процессом операционной системы, выполняемым посредством операционной системы устройства-источника 125. Тем не менее, в других конфигурациях модуль 125 A/V-управления может быть программным процессом приложения, работающего на устройстве-источнике 120. В этой конфигурации, команда пользовательского ввода может быть интерпретирована посредством программного процесса, так что пользователь устройства-приемника 160 взаимодействует непосредственно с приложением, работающим на устройстве-источнике 120, а не с операционной системой, работающей на устройстве-источнике 120. Посредством взаимодействия непосредственно с приложением, а не с операционной системой, пользователь устройства-приемника 160 может иметь доступ к библиотеке команд, которые не являются собственными для операционной системы устройства-источника 120. Дополнительно, взаимодействие непосредственно с приложением может обеспечивать более простую передачу и обработку команд посредством устройств, работающих на других платформах.

[0043] Устройство-источник 120 может отвечать на пользовательские вводы, применяемые в беспроводном устройстве-приемнике 160. В таком окружении интерактивного приложения, пользовательские вводы, применяемые в беспроводном устройстве-приемнике 160, могут отправляться обратно в беспроводной источник отображения по каналу 150 связи. В одном примере, архитектура обратного канала, также называемая "обратным каналом пользовательского интерфейса (UIBC)", может быть реализована для того, чтобы предоставлять возможность устройству-приемнику 160 передавать пользовательские вводы, применяемые в устройстве-приемнике 160, в устройство-источник 120. Архитектура обратного канала может включать в себя сообщения верхнего уровня для транспортировки пользовательских вводов и кадры нижнего уровня для согласования характеристик пользовательского интерфейса в устройстве-приемнике 160 и устройстве-источнике 120. UIBC может постоянно размещаться поверх транспортного уровня на основе Интернет-протокола (IP) между устройством-приемником 160 и устройством-источником 120. Таким образом, UIBC может быть выше транспортного уровня в модели связи по стандарту взаимодействия открытых систем (OSI). В одном примере, OSI-связь включает в себя семь уровней (1 - физический, 2 - канальный, 3 - сетевой, 4 - транспортный, 5 - сеансовый, 6 - представления и 7 - прикладной). В этом примере, нахождение выше транспортного уровня означает уровни 5, 6 и 7. Чтобы способствовать надежной передаче и доставке последовательности пакетов данных, содержащих данные пользовательского ввода, UIBC может быть выполнен с возможностью работать поверх других протоколов связи с коммутацией пакетов, таких как протокол управления передачей/Интернет-протокол (TCP/IP) или протокол пользовательских датаграмм (UDP). UDP и TCP могут работать параллельно в архитектуре OSI-уровней. TCP/IP может предоставлять возможность устройству-приемнику 160 и устройству-источнику 120 реализовывать технологии повторной передачи в случае потерь пакетов.

[0044] В некоторых случаях, может быть рассогласование между интерфейсами пользовательского ввода, расположенными в устройстве-источнике 120 и устройстве-приемнике 160. Чтобы разрешать потенциальные проблемы, созданные посредством такого рассогласования, и способствовать улучшению возможностей работы пользователей в этом случае, согласование характеристик интерфейса пользовательского ввода может осуществляться между устройством-источником 120 и устройством-приемником 160 до установления сеанса связи или неоднократно в течение сеанса связи. В качестве части этого процесса согласования, устройство-источник 120 и устройство-приемник 160 могут договариваться насчет согласованного разрешения экрана. Когда устройство-приемник 160 передает координатные данные, ассоциированные с пользовательским вводом, устройство-приемник 160 может масштабировать координатные данные, полученные из дисплея 162, так что они совпадают с согласованным разрешением экрана. В одном примере, если устройство-приемник 160 имеет разрешение 1280x720, а устройство-источник 120 имеет разрешение 1600x900, устройства, например, могут использовать 1280x720 в качестве согласованного разрешения. Согласованное разрешение может выбираться на основе разрешения устройства-приемника 160, хотя также может быть использовано разрешение устройства-источника 120 или некоторое другое разрешение. В примере, в котором используется устройство-приемник с 1280x720, устройство-приемник 160 может масштабировать полученные координаты X на коэффициент 1600/1280 до передачи координат в устройство-источник 120, и аналогично, устройство-приемник 160 может масштабировать полученные координаты Y на 900/720 до передачи координат в устройство-источник 120. В других конфигурациях, устройство-источник 120 может масштабировать полученные координаты к согласованному разрешению. Масштабирование может увеличивать или уменьшать диапазон координат на основе того, использует устройство-приемник 160 дисплей более высокого разрешения, чем устройство-источник 120, или наоборот.

[0045] Дополнительно, в некоторых случаях, разрешение в устройстве-приемнике 160 может варьироваться в ходе сеанса связи, потенциально создавая рассогласование между дисплеем 122 и дисплеем 162. Чтобы улучшать возможности работы пользователей и обеспечивать надлежащую функциональность, система 100 источников/приемников может реализовывать технологии для уменьшения или предотвращения рассогласования пользовательского взаимодействия посредством реализации технологий для нормализации экрана. Дисплей 122 устройства-источника 120 и дисплей 162 устройства-приемника 160 могут иметь различные разрешения и/или различные соотношения сторон. Дополнительно, в некоторых окружениях пользователь устройства-приемника 160 может иметь возможность изменять размеры окна отображения для видеоданных, принимаемых из устройства-источника 120, так что рендеринг видеоданных, принятых из устройства-источника 120, выполняется в окне, которое не полностью покрывает дисплей 162 устройства-приемника 160. В другом примерном окружении, пользователь устройства-приемника 160 может иметь вариант просмотра контента в альбомном режиме или в книжном режиме, каждый из которых имеет уникальные координаты и различные соотношения сторон. В таких случаях координаты, ассоциированные с пользовательским вводом, принимаемым в устройстве-приемнике 160, такие как координата места, в котором происходит событие щелчка мышью или сенсорного ввода, возможно, не могут обрабатываться посредством устройства-источника 120 без модификации координат. Соответственно, технологии этого раскрытия сущности могут включать в себя преобразование координат пользовательского ввода, принимаемого в устройстве-приемнике 160, в координаты, ассоциированные с устройством-источником 120. Это преобразование также упоминается как нормализация в данном документе, и, как поясняется более подробно ниже, это преобразование может выполняться на основе приемника или на основе источника.

[0046] Пользовательские вводы, принятые посредством устройства-приемника 160, могут быть приняты посредством UI-модуля 167, например, на уровне драйверов и переданы в операционную систему устройства-приемника 160. Операционная система на устройстве-приемнике 160 может принимать координаты (xSINK, ySINK), ассоциированные с местом на поверхности отображения, в котором произошел пользовательский ввод. В этом примере, (xSINK, ySINK) могут представлять собой координаты дисплея 162, по которым произошло событие щелчка мышью или касания. Окно отображения, рендеринг которого выполняется на дисплее 162, может иметь длину по координате X (LDW) и ширину (WDW) по координате Y, которые описывают размер окна отображения. Окно отображения