Обмен состоянием и активностью приложений между устройствами

Обмен состоянием и активностью приложений между устройствами

Иллюстрации

Показать все

Реферат

1. Область изобретения

[0001] Настоящее изобретение относится к автомобильным информационно-развлекательным системам, и, более конкретно, к автомобильным информационно-развлекательным системам, используемым совместно с мобильными телефонами.

2. Описание материалов, используемых при экспертизе заявки

[0002] Уровень технического развития смартфонов и других типов мобильных устройств предлагает пользователю широкий выбор приложений. Многие из этих приложений основаны на базах данных, располагающихся внутри или вне мобильного телефона. Например, телефонные приложения или приложения электронной почты используют адресную книгу, а музыкальные приложения получают информацию, хранящуюся в коллекции музыки.

[0003] Уровень технического развития автомобильных информационно-развлекательных систем (IVI) позволяет иметь доступ к этим базам данных в мобильном телефоне с помощью беспроводных или проводных соединений. Чтобы использовать, например, список контактов, календарь или коллекцию музыки, хранящиеся в мобильном телефоне, автомобильная информационно-развлекательная система должна быть обеспечена приложениями, которые имеют возможность использовать эти данные. Таким образом, приложения, которые доступны на мобильном телефоне, повторяются аналогичными приложениями, работающими в автомобильной системе. Например, автомобильный музыкальный проигрыватель необходим, чтобы проигрывать музыку, хранящуюся в телефоне. В качестве другого примера, программа электронной почты, работающая в автомобильной системе, требуется для доступа к адресной книге телефона.

[0004] Преимущество в использовании данных мобильного телефона приложениями, работающими в автомобильной системе таково, что эти автомобильные приложения специально разработаны и адаптированы к инфраструктуре автомобиля. Например, функциональность и пользовательский интерфейс/входные контроллеры автомобильных приложений разработаны для использования во время вождения автомобиля. Приложения в мобильном телефоне, с другой стороны, обычно не разработаны для использования в автомобиле и часто не делают поправку на снижение внимания водителя, вследствие чего он делит свое внимание между задачами вождения и работой с приложением в телефоне.

[0005] Но уровень технического развития автомобильных систем не располагает данными о том, что пользователь делал с мобильным телефоном прежде, чем сесть в автомобиль. Уровень технического развития автомобильных систем не располагает информацией о том, с какими приложениями работал пользователь на своем мобильном телефоне и какую информацию он вводил в эти приложения. Это приводит к такой ситуации, что водителю необходимо вручную начинать работу с приложениями в автомобильной системе, а затем необходимо снова вводить такую же информацию в эти приложения, чтобы привести их в то же состояние, что и приложения мобильного телефона. Эта необходимость вручную начинать работу с приложениями в автомобильной системе, а затем снова вводить ту же информацию - трата времени, и это отвлекает водителя от его задач вождения, если все происходит во время движения автомобиля.

[0006] Рассматриваемое изобретение не было ни описано, ни предложено известным уровнем техники; им является автомобильная информационно-развлекательная система, которая имеет улучшенную взаимосвязь с мобильным телефоном так, что вышеописанных недостатков можно избежать.

РЕЗЮМЕ

[0007] Настоящее изобретение может позволить автомобильной информационно-развлекательной системе взаимодействовать с мобильным телефоном. Изобретение может сделать возможным передавать состояние мобильного телефона и его используемую историю автомобильной системе и наоборот. Эта передача состояния может включать информацию об активных приложениях и последних вводимых пользователем данных, переведенных в задачи. Все, что пользователь проделал на телефоне в недавнем прошлом, может быть затем продублировано автомобильной системой, тем самым позволяя пользователю прекратить использование мобильного телефона и вместо этого завершить задачу с помощью автомобильной системы.

[0008] Изобретение позволяет пользователю делать беспроблемный переход между использованием мобильного телефона и автомобильной системы. Изобретение предоставляет возможность и мобильному телефону, и автомобильной системе обмениваться состояниями приложения и историей пользования между мобильным телефоном и автомобильной системой. Таким образом, водитель получает возможность продолжать выполнение своих задач, которые были первоначально произведены на мобильном телефоне перед тем, как он сел в автомобиль, с помощью своей автомобильной системы, В дополнение можно сказать, что изобретение также позволяет совместное использование состояний системы в обратном направлении. Иными словами, когда водитель прибывает в пункт назначения, все данные, введенные во время пути в автомобильную систему, могут быть перенесены в телефон. Это позволяет пользователю продолжать выполнение своих электронных задач после того, как он покинет автомобиль. В то время как изобретение описывается ниже как, в первую очередь, относящееся к обмену данными между мобильным телефоном и автомобильной системой, изобретение также может применяться к другим устройствам, таким как компьютеры, портативные навигационные системы, телевизоры и радио.

[0009] Изобретение включает в себя, в одной из предложенных форм, способ работы с персональным электронным устройством и автомобильной информационно-развлекательной системой, включая работу приложения на одном из персональных электронных устройств и автомобильной информационно-развлекательной системе. Подразумевается, что персональное электронное устройство было, или вскоре будет размещаться внутри или вблизи автомобильной информационно-развлекательной системы. Информация о состоянии одного из персональных электронных устройств и автомобильной информационно-развлекательной системе передается другому персональному электронному устройству и автомобильной информационно-развлекательной системе. Выбирается приложение для другого персонального электронного устройства и автомобильной информационно-развлекательной системы. Выбранное приложение используется для дублирования состояния одного из персональных электронных устройств и автомобильной информационно-развлекательной системы на другое персональное электронное устройство и автомобильную информационно-развлекательную систему.

[0010] Изобретение включает в себя, в другой предложенной форме, способ работы с персональным электронным устройством и автомобильной информационно-развлекательной системой, включая работу приложения на персональном электронном устройстве. Автоматическим образом определяется, что персональное электронное устройство было, или вскоре будет, перенесено в транспортное средство, включающее в себя автомобильную информационно-развлекательную систему. Информация о состоянии персонального электронного устройства передается в автомобильную информационно-развлекательную систему. Передача начинается в ответ на итерацию автоматического поиска устройства. Приложение, которое выбрано для автомобильной информационно-развлекательной системы, зависит от переданной информации. Выбранное приложение используется для дублирования состояния персонального электронного устройства в автомобильной информационно-развлекательной системе.

[0011] Изобретение включает в себя, в другой представленной форме, способ работы с персональным электронным устройством и автомобильной информационно-развлекательной системой, включая работу приложения на одном из персональных электронных устройств и автомобильной информационно-развлекательной системе. Информация, относящаяся к работе приложения, представлена на экране одного из персональных электронных устройств и автомобильной информационно-развлекательной системы. Персональное электронное устройство и автомобильная информационно-развлекательная система располагаются так, что экран дисплея одного из персональных электронных устройств и автомобильной информационно-развлекательной системы расположен в пределах поля зрения оптического датчика другого персонального электронного устройства и автомобильной информационно-развлекательной системы. Оптический датчик используется, чтобы записать как минимум одно изображение с экрана дисплея. Записанное изображение анализируется, чтобы затем выделить информацию, относящуюся к состоянию одного из персональных электронных устройств и автомобильной информационно-развлекательной системы. Выбирается приложение для другого персонального электронного устройства и автомобильной информационно-развлекательной системы, основываясь на выделенной информации. Выбранное приложение используется для дублирования состояния одного из персональных электронных устройств и автомобильной информационно-развлекательной системы на другое персональное электронное устройство и автомобильную информационно-развлекательную систему.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0012] Рассмотренные выше и другие особенности и цели данного изобретения, а также способ их достижения, станут более очевидны, и можно будет лучше понять сущность изобретения, если обратиться к следующему описанию вариантов изобретения, рассматриваемых в связи с дополняющими чертежами, отличающимися тем, что:

ФИГ.1 - это блок-схема, демонстрирующая первый вариант способа передачи состояния настоящего изобретения.

ФИГ.2 - это изображение написания письма в электронной почте, начатого на мобильном телефоне, и продолженного в автомобильной системе, в соответствии с первым вариантом настоящего изобретения.

ФИГ.3 - это изображение веб-страниц на мобильном телефоне, загруженных в автомобильную систему, в соответствии с первым вариантом настоящего изобретения.

ФИГ.4 - это изображение того, как автомобильная система настраивается на радиостанцию, которая прослушивается на мобильном телефоне, в соответствии с первым вариантом настоящего исследования.

ФИГ.5 - это блок-схема, демонстрирующая первый вариант способа работы с персональным электронным устройством и автомобильном информационно-развлекательной системой, в соответствии с настоящим изобретением.

ФИГ.6 - это блок-схема, демонстрирующая другой вариант способа работы с персональным электронным устройством и автомобильном информационно-развлекательной системой, в соответствии с настоящим изобретением.

ФИГ.7 - это блок-схема, демонстрирующая еще один вариант способа работы с персональным электронным устройством и автомобильном информационно-развлекательной системой, в соответствии с настоящим изобретением.

[0013] Соответствующие символьные ссылки указывают на соответствующие разделы на разных картинках. Несмотря на то, что иллюстративный пример, предложенный здесь, демонстрирует варианты изобретения в нескольких видах, варианты, рассматриваемые ниже, не предназначены, чтобы быть исчерпывающими, или рассматриваться как ограничивающие объем изобретения относительно точной формы раскрытия.

ОПИСАНИЕ НАСТОЯЩЕГО ИЗОБРЕТЕНИЯ

[0017] Обращаясь к чертежам, следует отметить, что ФИГ.1 демонстрирует здесь первый вариант способа передачи состояния 100 настоящего изобретения, где передача состояния идет от устройства-источника А к целевому устройству В. Устройство-источник А находится в определенном состоянии после работы пользователя, и это состояние может быть передано на, и затем продублировано целевым устройством В.

[0018] На первом этапе 102, введенные пользователем данные, также как и состояние системы и приложения, собираются и записываются устройством-источником А. Устройство-источник А - это устройство, с которым пользователь работал недавно. Термин "работа" с устройством, употребляемый здесь, может заключать в себе, например, пользовательские изменения в настройках устройства, начало работы с приложениями, введение данных в приложения. Производя любой вид ввода данных, пользователь может привести устройство в определенное состояние. Для того чтобы продублировать это состояние, первый вариант способа данного изобретения может включать отслеживание того, что пользователь делал на устройстве-источнике А, записывая все введенные данные на устройство-источник А. Такие введенные данные могут включать тактильный ввод данных с помощью кнопок, ввод данных с помощью сенсорного экрана или с помощью мышки, голосовой ввод данных, или любой другой тип ввода данных. В первом варианте, по отдельности или вместе устройство-источник А и целевое устройство В могут использовать события или сообщения, чтобы самим обработать информацию, введенную пользователем. Способ в данном изобретении может также включать запись таких событий или сообщений.

[0019] Если ввод данных осуществляется пользователем с помощью манипулятора, такого как сенсорный экран, мышь или клавиша управления курсором, способ в данном изобретении может также включать запись того, какие вводимые элементы выбраны указанным действием и что является результатом выбора. Например, если пользователь нажимает кнопку на виртуальной клавиатуре, идентификатор кнопки может быть записан, также как и полученная в результате нажатия кнопки буква.

[0020] Для каждого ввода данных запись может включать в себя временную метку, приложение и вводимый элемент, полученные при вводе данных. Временная метка может определять время дня, когда был осуществлен ввод данных. В зависимости от типа вводимого элемента, может собираться дополнительная информация. Например, если пользователь нажимает на кнопку, состояние кнопки, ее наименование или идентификатор и внутренний идентификатор кнопки (ID) могут быть записаны. Если ввод данных производится в форме ввода текста на поле ввода, имя поля, внутренний ID поля и текст могут быть записаны. Если пользователь выбирает текстовый элемент в списке, то наименование и ID списка, также как и наименование и ID выбранного элемента, могут быть записаны. Например, если пользователь выбирает электронный адрес из списка, этот электронный адрес может быть записан. Говоря в общем, наименования и внутренние ID всех элементов, которых касается ввод, могут быть записаны вместе с вводом.

[0021] Рассматривая другой вариант, можно отметить, что приложения, которые доступны на устройстве, также записываются. Таким образом, наименования и внутренние ID приложений, которые установлены на устройстве, могут быть записаны. Более того, идентификаторы одних из этих доступных приложений, которые недавно работали, и порядок, в котором приложения были использованы, могут быть также записаны.

[0022] В дополнение к вводимым пользователем данным, другая информация, относящаяся к состоянию приложения и устройства, может быть также записана. Например, на многих портативных устройствах приложения хранят свои состояния приложений в базе данных. Это позволяет устройствам завершать работу в любое время, при перезапуске воспроизводить их последнее состояние. В соответствии с изобретением, этот механизм может использоваться для изучения состояния приложения и передачи состояния на другое устройство. Для того чтобы использовать информацию о состоянии приложения, в рамках изобретения могут быть использованы два различных подхода. Во-первых, инструкции, которыми пользуется операционная система устройства для записи информации в базу данных, могут быть записаны. Во-вторых, такие базы данных могут быть открыты и прочитаны отдельно, как только внесена информация.

[0023] На большинстве устройств система данного изобретения вводит компонент или расширение к операционной системе, которое обеспечивает универсальный подход к записи введенных пользователем данных и получению доступа к базам данных. Некоторые устройства препятствуют этому подходу, так как операционная система не может быть расширена в желаемой форме, или новый компонент не может собрать всю нужную информацию из приложений и операционной системы. В этом случае, все записанные данные, введенные пользователем, и доступ к базе данных находятся внутри отдельных приложений. В то время как этот подход не позволяет прямое объединение изобретения со всеми существующими приложениями в устройстве, данный подход помогает глубоко и тщательно проследить ограниченное число приложений.

[0024] На следующем этапе 104 определяются задачи в собранной информации. Как только информация записана, она может быть обработана и отфильтрована. Информация может быть вычленена из или добавлена к собранным данным, чтобы появилась возможность точно перенести состояние устройства на другое устройство.

[0025] Введенные пользователем данные могут быть проанализированы, чтобы распознать задачи, которые пользователь производит на устройстве. Например, если пользователь начинает работу с приложением под названием "Программа обмена сообщениями" и набирает электронный адрес в поле "Кому", можно сделать вывод, в соответствии с изобретением, что пользователь "создает электронное письмо". Если, с другой стороны, пользователь использует то же приложение "Программа обмена сообщениями", но набирает число, можно сделать вывод, в соответствии с изобретением, что пользователь "создает текстовое сообщение". Последние достижения в изучении машин рассматривают такие нейронные сети, Байесовы сети, графики решений и семантические веб-технологии, которые могут быть использованы для определения задач, произведенных пользователем.

[0026] Для того, чтобы определить, какую задачу производит пользователь, введенные пользователем данные упорядочиваются по категориям. Основываясь на наименовании и ID приложения, которое получает вводимые пользователем данные, список задач, вероятно произведенных пользователем, может быть сужен. Например, приложение "Программа обмена сообщений" может позволить пользователю производить только следующие задачи: "создать электронное письмо", "создать текстовое сообщение", "создать срочное сообщение". Таким образом, в данном варианте, эти возможные задачи могут быть предусмотрены в базе данных или базе знаний, которая переводит наименование и ID известного приложения в список вероятных задач.

[0027] Упомянутая выше база знаний может также обеспечивать информацию относительно того, какие данные были введены в приложении, с помощью перевода наименований и ID введенных элементов в категории введенных данных. Например, приложение "Программа обмена сообщений" может отображать поле ввода данных "Кому:" и другое поле ввода данных "Тема". Используя базу знаний, поле "Кому" может быть перенесено в более подходящую категорию "получатель". Аналогичным образом, база знаний может позволить полю "Тема" быть перенесенным в, или связанным с более общей категорией "тема сообщения". Получившиеся категории могут быть связаны с введенными данными, которые были получены исходными элементами ввода.

[0028] В дополнение к введенным пользователем данным, обобщенные категории могут также быть прикреплены к информации по состоянию приложения, которая хранится в приложении или системе базы данных. Например, если приложение "Программа обмена сообщениями" хранит идентификатор (ID) в своей базе данных, который относится к типу последнего созданного сообщения, эта информация может быть использована для определения того, создает ли пользователь электронное письмо или текстовое сообщение. Таким образом, если последнее созданное сообщение пользователя являлось электронным письмом, то вероятнее всего, что настоящее сообщение, создаваемое пользователем, также является электронным письмом. Аналогичным образом, если последнее созданное пользователем сообщение являлось текстовым сообщением, то вероятнее всего, что настоящее сообщение, создаваемое пользователем, также является текстовым сообщением. Рассматривая другой вариант, можно отметить, что если пользователь прослушивает радио в Интернете, база данных приложения может содержать данные, которые определяют тип и расположение (например, веб-адрес) радиостанции. Эти поля могут быть затем внесены в общие категории "тип радиостанции" и "расположение радиостанции" соответственно.

[0029] Далее, все обобщенные введенные данные могут быть поданы в алгоритме вывода. Основываясь на этих введенных данных и списке возможных задач, которые могут быть произведены в специальном приложении, алгоритм вывода может определить, какую возможную задачу пользователь вероятнее всего производит в настоящее время. Алгоритм может затем получить все последующие введенные пользователем данные. Результатом алгоритма может быть описание задачи, такое, как "создать электронное письмо; получатель - abc@xyz; тема сообщения - Привет; содержание сообщения - <пусто>". Содержания сообщения в данном примере нет для того, чтобы указать, что пользователь еще не ввел информацию, и что в дальнейшем показывает, что задача все еще выполняется.

[0030] После того, как все задачи определены, пользовательская история может быть сформирована на основе временных меток, записанных в привязке к соответствующим введенным пользователем данным. Все производившиеся задачи могут быть определены и расставлены в хронологическом порядке. Например, пользовательская история может включать хронологический список задач, таких, как "включить радио", "переключить радиостанцию", "создать электронное сообщение", и так далее.

[0031] Далее, на этапе 106, каждое устройство может ожидать или инициировать передачу состояний и задач между устройствами. Передача может идти в одну сторону или в обе стороны. В исключительном варианте, этап 106 включает начало обмена состояниями между устройством мобильного телефона и устройством автомобильной системы.

[0032] Как только пользователь заходит в или покидает автомобиль, он может вручную дать распоряжение мобильному телефону и автомобильной системе обменяться информацией о состоянии и задачах. Для того, чтобы начать обмен, могут быть использованы различные подходы в рамках изобретения. Первый подход характеризуется тем, что пользователь может вручную начать передачу состояния путем нажатия кнопки в автомобильной системе или на мобильном телефоне.

[0033] Второй подход характеризуется тем, что обмен может быть начат автоматически, как ответ с мобильного телефона, который находится на подзарядке в розетке питания автомобильной системы, или как ответ с коммуникационного кабеля, который вставлен в мобильный телефон. Направление передачи информации о состоянии может зависеть от того, вставлен коммуникационный кабель в телефон или нет. Например, если коммуникационный кабель вставляется в телефон, то это может свидетельствовать о том, что телефон был принесен в автомобиль, и таким образом состояние телефона может передано в автомобиль и продублировано автомобилем. И наоборот, если коммуникационный кабель вынут из телефона, тогда можно предположить, что телефон был извлечен из автомобиля. Следовательно, в ответе, состояние автомобильной системы может быть передано на телефон.

[0034] В третьем подходе пользователь может вручную инициировать обмен данными, перемещая или прикасаясь мобильным телефоном к корпусу автомобильной системы или напротив активного элемента в автомобиле. Пользователь портативного устройства может начать обмен информацией простым жестом, как подробно описано в Патентной Публикации США №2006/025674, которая назначена правопреемником настоящего приложения, и которая представлена здесь в качестве ссылки в полном объеме.

[0035] Пятый подход характеризуется тем, что пользователь может вручную начать обмен данными, удерживая мобильный телефон напротив автомобильной системы таким образом, чтобы камера одного из устройств могла видеть и распознавать другое устройство. В этом подходе встроенная в автомобильную систему или в мобильный телефон камера отслеживает окружающее пространство, чтобы найти признаки других устройств, которые имеют метки, прикрепленные к устройствам или их экранам, например штрих коды или специальные картинки. Если другое устройство обнаружено в поле зрения камеры, начинается обмен состояниями. Если камера только одного устройства видит другое устройство, данная информация может быть использована для определения направления, в котором передается информация о состоянии. Например, если пользователь держит экран мобильного телефона напротив автомобильной камеры, то информация о состоянии может передаваться от мобильного телефона к автомобильной системе. Если, с другой стороны, камера мобильного телефона направлена к экрану автомобильной системы, то передача информации о состоянии может быть направлена от автомобильной системы к мобильному телефону. Впрочем, этот порядок действий произвольный, так как возможен другой вариант передачи информации о состоянии от автомобильной системы к мобильному телефону, если пользователь держит экран мобильного телефона напротив автомобильной камеры, а также, чтобы передать информацию о состоянии от мобильного телефона на автомобильную систему, можно расположить камеру мобильного телефона напротив экрана автомобильной системы.

[0036] В пятом подходе, обмен может быть начат автоматически при получении одним устройством радиочастотного сигнала или сигнала другого типа с другого устройства. В схеме обнаружения с близкого расстояния первое из устройств ищет известные RFID (радиочастотные идентификационные) метки, идентификатор Bluetooth или WiFi адрес, передающиеся вторым устройством с помощью RF (радиочастотного) сигнала. Если первое и второе устройство находятся на таком расстоянии друг от друга, что первое устройство может получать RF передачу от второго устройства, то передача информации о состоянии от первого устройства ко второму устройству может начаться автоматически. В первом варианте первое устройство является мобильным телефоном, а второе устройство является автомобильной системой. Таким образом, пользователь, взявший телефон в автомобиль, может получить автоматическую передачу информации о состоянии от телефона к автомобильной системе. Если RFID метка находилась в диапазоне приема предыдущие шестьдесят секунд или около того, но в настоящее время она находится уже вне пределов диапазона, это указывает на факт, что пользователь покинул автомобиль, и может начаться передача информации о состоянии от автомобиля на телефон.

[0037] Шестой подход характеризуется тем, что мобильный телефон может быть связан со встроенными в автомобиль датчиками, для того, чтобы телефон мог обнаружить, покинул ли или зашел ли пользователь в автомобиль, а передача информации о состоянии от телефона к автомобилю или от автомобиля к телефону соответственно начинается автоматически. Например, в автомобиле включено зажигание, датчик зажигания в автомобиле передает сигнал "включенное зажигание" в телефон, что указывает на то, что пользователь садится или уже сел в автомобиль, и может начаться передача информации о состоянии от телефона к автомобилю. И наоборот, если зажигание выключено, датчик зажигания в автомобиле передает сигнал "зажигание выключено" на телефон, что указывает на то, что пользователь покинет автомобиль, приблизительно, в течение тридцати секунд, и информация о состоянии может передаваться от автомобиля на телефон. Другие датчики, которые могут отсутствовать в данном варианте, могут содержать датчики, отвечающие за то, сидит ли кто-либо на сиденье, или, например, индикаторы закрывания/открывания замков двери. Датчики занятости сиденья и закрывания замков двери могут определить что, пользователь зашел или покинул автомобиль, в то время как датчики открывания двери могут определять, что пользователь вскоре сядет в или покинет автомобиль, приблизительно в течение последующих тридцати секунд или около того. Сигнал, посылаемый от системы регулировки сиденья в ответ на активированную систему, может также использоваться для определения того, что пользователь сел в автомобиль.

[0038] Седьмой подход характеризуется тем, что информация о задачах постоянно или непрерывно переходит от устройства к устройству в настоящем времени. Например, несмотря на то, что данные введены на одном из двух устройств и другое устройство находится в пределах диапазона приема, может быть вызван обмен информацией о состоянии.

[0039] На следующем этапе 108, информация о состоянии может передаваться между двумя устройствами. Так как был вызван обмен информацией о состоянии, традиционные проводные или беспроводные соединения, такие как Bluetooth, WiFi или USB могут использоваться для передачи информации о состояниях и задачах между мобильным телефоном и автомобильной системой. В одном из вариантов изобретения, информация закодирована и передается с помощью XML или HTML с прикрепленным Javascript. Использование HTML с прикрепленным Javascript позволяет демонстрировать информацию о состоянии одного устройства в веб-браузере другого устройства, не требуя дополнительных компонентов на этом устройстве.

[0040] В дополнение можно отметить, что первый вариант изобретения исключает визуальный обмен данными. Камера прикреплена к автомобильной системе и отслеживает среду, располагающуюся напротив автомобильной системы. Когда пользователь держит экран мобильного телефона напротив камеры, автомобильная система буквально "видит" на экране мобильного телефона то, что происходит в мобильном телефоне в данный момент. Автомобильная система может визуально раскодировать и передать информацию, используя метки, например штрих коды. Таким же образом, камера, встроенная в мобильный телефон, может использоваться для получения информационного материала от автомобильной системы путем записи картинок, отображаемых на экране автомобильной системы.

[0041] На этапе 110 обрабатывается полученная визуальная информация. Особенностью визуальной передачи является то, что она включает перенос первоначального, не измененного информационного материала, который отображается на экране. В этой связи, устройство-источник А не добавляет метки к информационному материалу, которые могли бы помочь целевому устройству В распознать то, что отображено на экране устройства-источника А. Вместо этого, целевое устройство В делает снимок информационного материала на экране так, как ее видит пользователь. Устройство-источник В затем может проанализировать информационный материал, отображенный на экране. Устройство-источник В может использовать широкий диапазон обработки изображений и технологии анализа изображений, включая как распознавание узоров, форм и объектов, так и оптическое распознавание символов. Используя эти этапы обработки, устройство-источник В развивает понимание или знание о том, какие тексты и какие элементы и формы, например, кнопки или списки, отображаются на экране.

[0042] Основываясь на собранной информации, целевое устройство В подбирает или устанавливает, какое приложение наиболее подходящим образом отображается на экране устройства-источника А. Для этой цели может использоваться база знаний, связывающая типичные текстовые последовательности с соответствующими приложениями, которые могут использовать эти конкретные последовательности. Похожий подход может использоваться для связи типичных форм и элементов экрана с подходящими приложениями. Далее, подходы в изучении машин, такие как нейронные сети, Байесовы сети или графики решений, могут использоваться для определения того, какое приложение в данный момент работает и рассматривается на устройстве-источнике А. Как только это определено, целевое устройство В может использовать описанные выше этапы с целью определить задачу, которую пользователь выполняет в данное время, так же как и введенные данные, которые пользователь использует для определенной задачи.

[0043] На заключительном этапе 112 состояние устройства-источника А дублируется на целевое устройство В. В том случае, если целевое устройство В знает о настоящем состоянии и задачах, представленных на устройстве-источнике А, целевое устройство может продублировать это состояние с помощью полученной информации, относящейся к записываемым задачам. Для каждой определенной задачи целевое устройство В может подыскать такое приложение, которое способно произвести данную задачу. Для этой цели целевое устройство В может основываться на базе знаний, которая сопоставляет задачи на устройстве-источнике А с приложениями, установленными на устройстве В, и которая может обрабатывать или обеспечить выполнение определенной задачи. Например, задача "создать электронное сообщение" может быть реализована с помощью, или также связана с, приложением "Клиент электронной почты". В некоторых случаях, может быть доступно более чем одно приложение и оно способно обрабатывать такую же задачу. В этом случае, список приложений может быть представлен пользователю, и пользователь выберет приложение из списка. В другом варианте, из возможных приложений может быть выбрано автоматически, то приложение, которое пользователь использует чаще. Если информация относительно наиболее часто используемого пользователем приложения не доступна, то в этом случае при выборе приложения, которое пользователь использует с большей вероятностью, может быть использована информация о популярности каждого приложения среди широкой общественности, которая взята из пользовательского рейтинга в интернет-магазинах приложений для устройства.

[0044] Если же, с другой стороны, ни одно из установленных на устройстве приложений не может обрабатывать указанную задачу, может использоваться база знаний для поиска таких приложений в Интернет-магазине приложений устройства, которые смогут обрабатывать задачу. Затем пользователю может поступить предложение загрузить или установить одно из этих приложений на целевом устройстве. В другом варианте, если информация о состоянии передавалась с помощью HTML со встроенным Javascript, тогда устройство может использовать веб-браузер для отображения состояний и задач. Основываясь на встроенном Javascript, веб-браузер позволяет пользователю взаимодействовать с отображенной на экране информацией без необходимости пользователю устанавливать дополнительные приложения.

[0045] Как только приложение определено как способное обрабатывать задачу, задача представляется с помощью определенного приложения. Для этой цели, обобщенные категории вводимых данных, установленные на устройстве-источнике А, могут быть перенесены обратно в особые элементы вводимых данных на устройстве В. База знаний может обеспечивать информацию об этом переносе и может также информировать целевое устройство В, каким образом вводить данные в элементы вводимых данных. Например, база знаний может связывать общую категорию "получатель" с полем вводимых данных "Кому" или особым внутренним ID. Имя или ID могут затем использоваться при поиске этого элемента в приложении. Далее, вводимые данные, записанные для "получателя", могут быть автоматически введены в это поле. В дополнение к вводу информации в элементы вводимых данных приложения, база знаний может проинформировать устройство В, каким образом информация, связанная с состоянием или задачей, хранится в приложении или системе базы данных.

[0046] В качестве примера того, как система изобретения может быть использована, можно рассмотреть систему, подходящую для пользователя, который пишет электронное сообщение на своем мобильном телефоне 202 (ФИГ.2), чтобы продолжить написание электронного письма после того, как он сядет в машину, используя автомобильную систему 204. Предполагается, что пользователь вводит текст в строку темы и выбирает получателя из адресной книги, который затем появляется в поле "Кому:". Далее предполагается, что пользователь также начинает вводить текст в тело электронного сообщения. Телефон может отслеживать все данные, вводимые пользователем. Далее, предполагается, что пользователь садится в машину и инициирует обмен информацией о состоянии от телефона к автомобильной системе, повернув ключ зажигания, как было описано выше. Задача и информация о состоянии телефона могут быть перед