Система и способ контроля исполнения приложений дополненной реальности, установленных на устройстве пользователя, в зависимости от состояния окружающей среды

Система и способ контроля исполнения приложений дополненной реальности, установленных на устройстве пользователя, в зависимости от состояния окружающей среды

Иллюстрации

Показать все

Реферат

Область техники

Изобретение относится к области обеспечения безопасности программного обеспечения, а именно к способам контроля исполнения приложений дополненной реальности, установленных на устройстве пользователя, в зависимости от состояния окружения.

Уровень техники

Все большую популярность в повседневной жизни пользователя набирают носимые компьютерные устройства, например очки дополненной реальности, фитнес трекеры, мониторы сердечного ритма (пульсометры), «умные» часы (англ. smart watch) и пр. Современные смартфоны также наделены многими из функций перечисленных устройств, т.к. содержат различные датчики. Носимые устройства отличаются от традиционных смартфонов, планшетов, ноутбуков и персональных компьютеров пользователя совокупностью следующих характеристик:

- наличием различных устройств ввода и датчиков, которые постоянно работают и передают данные на устройство (например, камера, микрофон, приемник GPS, акселерометр и пр.);

- наличием различных устройств вывода (например, дисплей, динамики, наушники, тактильные датчики);

- возможностью одновременного исполнения нескольких приложений, использующих данные с одинаковых датчиков, на одном устройстве;

- возможностью беспроводного взаимодействия носимых устройств, смартфонов между собой.

Благодаря перечисленным особенностям, носимые устройства и современные смартфоны предоставляют пользователю множество новых возможностей. В то же время такие возможности могут отрицательно влиять на безопасность устройств, сохранность данных пользователя и даже здоровье пользователя и общественности.

Например, очки дополненной реальности предоставляют приложениям в реальном времени данные различных датчиков - изображения с камеры, спутниковые координаты системы GPS и пр. Однако в изображениях с камеры может содержаться различная конфиденциальная информация, например лица людей, данные кредитных карт, попавшие в зону видимости камеры и т.д. Приложения могут воспользоваться такой информацией во вредоносных целях.

При работе пользователя со смартфоном или ноутбуком в общественных местах, таких как кафе, ресторан, театр или даже в метро, работа приложений, использующих конфиденциальные данные, может нести риск компрометации данных. Например, случайный прохожий может увидеть на экране устройства пользователя конфиденциальные данные или вводимый пользователем устройства пароль, работающие рядом устройства могут быть заражены вредоносными программами, распространяющимися через беспроводные интерфейсы связи и пр.

Для решения подобных проблем, например, в работах (Roesner F., Kohno Т., Molnar D. Security and privacy for augmented reality systems. Communications of the ACM, Vol. 54, No. 4. April 2014 и Jana S. et al. Enabling fine-grained permissions for augmented reality applications with recognizers. February 2013) предлагают использовать дополнительный уровень абстракции ОС, предназначенный для обработки данных датчиков и предоставления приложениям лишь части обработанной информации, не содержащей конфиденциальных данных.

В патенте US 8743224 описывается система защиты данных с камеры устройства дополненной реальности при местонахождении устройства в защищаемой зоне. Полученные с камеры данные сохраняются на диск устройства в зашифрованном виде.

В то же время существующие технологии имеют ряд недостатков. Например, некоторым приложениям дополненной реальности может потребоваться доступ к конфиденциальной информации. Такой доступ может быть предоставлен пользователем вручную. Кроме того, в зависимости от окружения пользователя полученной информацией могут воспользоваться во вредоносных целях другие приложения дополненной реальности или неавторизированные пользователи, находящиеся рядом с устройством.

Анализ предшествующего уровня техники позволяет сделать вывод о неэффективности и в некоторых случаях о невозможности применения предшествующих технологий, недостатки которых решаются настоящим изобретением, а именно системой и способом контроля исполнения приложений дополненной реальности, установленных на устройстве пользователя, в зависимости от состояния окружения.

Раскрытие изобретения

Настоящее изобретение относится к способам контроля исполнения приложений дополненной реальности, установленных на устройстве пользователя, в зависимости от состояния окружения.

Технический результат заключается в реализации контроля исполнения приложений дополненной реальности, установленных на устройстве пользователя, в зависимости от состояния окружения.

Согласно варианту реализации используется способ контроля исполнения приложений дополненной реальности, установленных на устройстве пользователя, в зависимости от состояния окружения, в котором: получают данные по меньшей мере с одного датчика, установленного на устройстве пользователя; определяют состояние окружения на основании полученных данных датчиков, при этом состояние окружения определяется по меньшей мере одним из критериев: местоположением по меньшей мере одного устройства пользователя; физиологическими показателями пользователя; аудиовизуальными данными окружения; погодными характеристиками; взаимным расположением по меньшей мере одного стороннего устройства рядом по меньшей мере с одним устройством пользователя; сравнивают определенное состояние окружения по меньшей мере с одним предыдущим состоянием окружения; определяют правила контроля по меньшей мере одного приложения дополненной реальности, установленного по меньшей мере на одном устройстве пользователя в зависимости по меньше мере от одного из: определенного состояния окружения; результата сравнения состояний окружения; контролируют исполнение по меньшей мере одного приложения дополненной реальности в соответствии с определенными правилами контроля.

Согласно одному из частных вариантов реализации контроль исполнения приложений дополненной реальности включает запрет по меньшей мере на одно из действий: низкоуровневый доступ к файловой системе; низкоуровневый доступ к диску; запуск драйвера; модификацию реестра; прямой доступ к памяти; получение дескриптора процесса; использование API браузера; модификацию файлов операционной системы; модификацию файлов определенных сторонних программ; модификацию конфигурационной информации; создание и модификацию файлов в каталоге автозапуска; создание и модификацию ключей автозапуска; доступ к файловым ресурсам, адрес которых включает переменные окружения; доступ к реестровым ресурсам пользователя.

Согласно другому частному варианту реализации контроль исполнения приложения дополненной реальности дополнительно включает по меньшей мере одно из: запрет на исполнение приложения дополненной реальности; запрет на доступ приложения дополненной реальности к ресурсам устройства; очистку файлов куки браузера, когда приложение дополненной реальности является браузером; отключение по меньшей мере одного датчика, используемого приложением дополненной реальности; изменение чувствительности по меньшей мере одного датчика, используемого приложением дополненной реальности; оповещение приложением пользователя о нарушении информационной безопасности устройства пользователя; оповещение приложением дополненной реальности пользователя о возможной опасности здоровью пользователя со стороны окружения; оповещение приложением дополненной реальности администратора устройства пользователя; запрет отображения по меньшей мере одного оповещения приложением дополненной реальности; запуск стороннего приложения; запрет на использование стороннего приложения; изменение параметров по меньшей мере одного из устройств вывода по меньшей мере одного из устройств пользователя: звуковых динамиков; дисплея; активацию процедуры дополнительной авторизации для: исполнения приложения дополненной реальности; доступа приложения дополненной реальности к ресурсам устройства; работы приложения дополненной реальности с конфиденциальными данными.

Согласно еще одному частному варианту реализации датчики по меньшей мере одного устройства пользователя содержат: монитор сердечного ритма для определения частоты пульса пользователя; датчик насыщения крови кислородом; шагомер; датчик определения отпечатков пальцев; датчик жестов, служащий для распознавания жестов пользователя; камера, направленная на глаза пользователя, служащая для определения движения глаз пользователя, а также аутентификации личности пользователя по радужной оболочке, сетчатке глаза; датчик температуры тела пользователя; микрофон; датчик ультрафиолетового излучения; приемник системы геолокации; GSM-модуль; модуль Bluetooth; модуль Wi-Fi; камера, направленная на окружение устройства пользователя; датчик температуры окружающей среды; барометр, необходимый для измерения атмосферного давления и определения высоты над уровнем моря в соответствии с атмосферным давлением; геомагнитной датчик, необходимый для определения сторон света и азимута; датчик определения влажности воздуха; датчик уровня освещения, необходимый для определения цветовой температуры, освещенности; датчик приближения, служащий для определения расстояния до различных предметов, находящихся поблизости; датчик глубины изображения, служащий для получения трехмерного изображения пространства; акселерометр, служащий для измерения ускорения в пространстве; гироскоп, необходимый для определения положения в пространстве; датчик Холла, служащий для определения напряженности магнитного поля; дозиметр-радиометр, служащий для определения уровня радиации; модуль NFC; LTE-модуль.

Согласно одному из частных вариантов реализации местоположение по меньшей мере одного устройства определяют с использованием по меньшей мере одного из: приемника системы геолокации; GSM-модуля, определяющего местоположения по сигналам базовых станций; LTE-модуля, определяющего местоположения по сигналам базовых станций; с использованием данных, получаемых с приемников Wi-Fi устройств сообщества пользователей продукта производителя ПО.

Согласно другому частному варианту реализации состояние окружения включает местонахождение устройства: в помещении; вне помещения; рядом с большим скоплением людей.

Согласно еще одному частному варианту реализации местонахождение устройства в помещении определяют с использованием по меньшей мере одного из способов: сравнения данных геолокации с картой местности; анализа аудиосигнала с использованием микрофона; сравнения степени схожести изображений, получаемых с камеры с заранее определенным набором изображений; сравнения показателей температуры; сравнения показателей влажности; сравнения показателей барометра; сравнения показателей датчика освещения; сравнения показателей датчика приближения; сравнения показателей датчика магнитных полей.

Согласно одному из частных вариантов реализации большое скопление людей определяют по меньшей мере одним из способов: путем распознавания количества лиц на изображениях, получаемых с камеры устройства пользователя; путем определения количества различных голосов в звуковом ряде, получаемом с микрофона устройства пользователя.

Согласно другому частному варианту реализации физиологические показатели определяются показателями по меньшей мере одного из датчиков: монитор сердечного ритма; датчик насыщения крови кислородом; шагомер; датчик отпечатков пальцев; камера, направленная на глаз; датчик температуры тела пользователя; микрофон.

Согласно еще одному частному варианту реализации аудиовизуальные данные окружения определяются с использованием по меньше мере одного из датчиков: микрофон; камера; датчик освещения; датчик приближения; датчик глубины изображения.

Согласно другому частному варианту реализации погодные характеристики определяются с использованием по меньшей мере одного из датчиков: датчик ультрафиолетового излучения; датчик температуры среды; барометр; датчик влажности; датчик освещения; дозиметр.

Согласно еще одному частному варианту реализации взаимное расположение по меньшей мере одного стороннего устройства рядом по меньшей мере с одним устройством пользователя определяется с использованием по меньшей мере одного из датчиков: Bluetooth; Wi-Fi; Модуль NFC; LTE-модуль.

Согласно одному из частных вариантов реализации предыдущее состояние окружения определяют выполнив второй этап по меньшей мере один раз.

Согласно другому частному варианту реализации при определении правила контроля по меньшей мере одного приложения дополненной реальности дополнительно учитывают по меньшей мере одно действие упомянутого приложения дополненной реальности.

Согласно еще одному частному варианту реализации действие приложения дополненной реальности является по меньшей мере одним из действий, перечисленным ранее.

Согласно варианту реализации используется система контроля исполнения приложений дополненной реальности, установленных на устройстве пользователя, в зависимости от состояния окружения, содержащая: по меньшей мере один датчик, расположенный на по меньшей мере одном устройстве пользователя; средство обработки, предназначенное для получения данных по меньшей мере одного упомянутого датчика; определения состояния окружения на основании полученных данных датчиков, при этом состояние окружения определяется по меньшей мере одним из критериев: местоположением по меньшей мере одного устройства пользователя; физиологическими показателями пользователя; аудиовизуальными данными окружения; погодными характеристиками; взаимным расположением по меньшей мере одного стороннего устройства рядом по меньшей мере с одним устройством пользователя; средство анализа, связанное со средством обработки и предназначенное для сравнения определенного состояния окружения по меньшей мере с одним предыдущим состоянием окружения; определения правил контроля по меньшей мере одного приложения дополненной реальности, установленного по меньшей мере на одном устройстве пользователя в зависимости по меньше мере одного из: определенного состояния окружения; результата сравнения состояний окружения; средство контроля, связанное со средством анализа и предназначенное для контроля за исполнением по меньшей мере одного приложения в соответствии с определенными правилами контроля.

Согласно одному из частных вариантов реализации контроль исполнения приложений дополненной реальности включает запрет по меньшей мере на одно из действий: низкоуровневый доступ к файловой системе; низкоуровневый доступ к диску; запуск драйвера; модификацию реестра; прямой доступ к памяти; получение дескриптора процесса; использование API браузера; модификацию файлов операционной системы; модификацию файлов определенных сторонних программ; модификацию конфигурационной информации; создание и модификацию файлов в каталоге автозапуска; создание и модификацию ключей автозапуска; доступ к файловым ресурсам, адрес которых включает переменные окружения; доступ к реестровым ресурсам пользователя.

Согласно другому частному варианту реализации контроль исполнения приложения дополненной реальности дополнительно включает по меньшей мере одно из: запрет на исполнение приложения дополненной реальности; запрет на доступ приложения дополненной реальности к ресурсам устройства; очистку файлов куки браузера, когда приложение дополненной реальности является браузером; отключение по меньшей мере одного датчика, используемого приложением дополненной реальности; изменение чувствительности по меньшей мере одного датчика, используемого приложением дополненной реальности; оповещение приложением пользователя о нарушении информационной безопасности устройства пользователя; оповещение приложением дополненной реальности пользователя о возможной опасности здоровью пользователя со стороны окружения; оповещение приложением дополненной реальности администратора устройства пользователя; запрет отображения по меньшей мере одного оповещения приложением дополненной реальности; запуск стороннего приложения; запрет на использование стороннего приложения; изменение параметров по меньшей мере одного из устройств вывода по меньшей мере одного из устройств пользователя: звуковых динамиков; дисплея; активацию процедуры дополнительной авторизации для: исполнения приложения дополненной реальности; доступа приложения дополненной реальности к ресурсам устройства; работы приложения дополненной реальности с конфиденциальными данными.

Согласно еще одному частному варианту реализации датчики по меньшей мере одного устройства пользователя содержат: монитор сердечного ритма для определения частоты пульса пользователя; датчик насыщения крови кислородом; шагомер; датчик определения отпечатков пальцев; датчик жестов, служащий для распознавания жестов пользователя; камера, направленная на глаза пользователя, служащая для определения движения глаз пользователя, а также аутентификации личности пользователя по радужной оболочке или сетчатке глаза; датчик температуры тела пользователя; микрофон; датчик ультрафиолетового излучения; приемник системы геолокации; GSM-модуль; модуль Bluetooth; модуль Wi-Fi; камера, направленная на окружение устройства пользователя; датчик температуры окружающей среды; барометр, необходимый для измерения атмосферного давления и определения высоты над уровнем моря в соответствии с атмосферным давлением; геомагнитной датчик, необходимый для определения сторон света и азимута; датчик определения влажности воздуха; датчик уровня освещения, необходимый для определения цветовой температуры, освещенности; датчик приближения, служащий для определения расстояния до различных предметов, находящихся поблизости; датчик глубины изображения, служащий для получения трехмерного изображения пространства; акселерометр, служащий для измерения ускорения в пространстве; гироскоп, необходимый для определения положения в пространстве; датчик Холла, служащий для определения напряженности магнитного поля; дозиметр-радиометр, служащий для определения уровня радиации; модуль NFC; LTE-модуль.

Согласно одному из частных вариантов реализации средство обработки определяет местоположение по меньшей мере одного устройства с использованием по меньшей мере одного из: приемника системы геолокации; GSM-модуля, определяющего местоположения по сигналам базовых станций; LTE-модуля, определяющего местоположения по сигналам базовых станций; с использованием данных, получаемых с приемников Wi-Fi устройств сообщества пользователей продукта производителя ПО.

Согласно другому частному варианту реализации состояние окружения включает местонахождение устройства: в помещении; вне помещения; рядом с большим скоплением людей.

Согласно еще одному частному варианту реализации средство обработки определяет местонахождение устройства в помещении с использованием по меньшей мере одного из способов: сравнения данных геолокации с картой местности; анализа аудиосигнала с использованием микрофона; сравнения степени схожести изображений, получаемых с камеры с заранее определенным набором изображений; сравнения показателей температуры; сравнения показателей влажности; сравнения показателей барометра; сравнения показателей датчика освещения; сравнения показателей датчика приближения; сравнения показателей датчика магнитных полей.

Согласно одному из частных вариантов реализации средство обработки определяет большое скопление людей по меньшей мере одним из способов: путем распознавания количества лиц на изображениях, получаемых с камеры устройства; путем определения количества различных голосов в звуковом ряде, получаемом с микрофона устройства.

Согласно другому частному варианту реализации средство обработки определяет физиологические показатели с использованием показателей по меньшей мере одного из датчиков: монитор сердечного ритма; датчик насыщения крови кислородом; шагомер; датчик отпечатков пальцев; камера, направленная на глаз; датчик температуры тела пользователя; микрофон.

Согласно еще одному частному варианту реализации средство обработки определяет аудиовизуальные данные окружения с использованием по меньше мере одного из датчиков: микрофон; камера; датчик освещения; датчик приближения; датчик глубины изображения.

Согласно одному из частных вариантов реализации средство обработки определяет погодные характеристики с использованием по меньшей мере одного из датчиков: датчик ультрафиолетового излучения; датчик температуры среды; барометр; датчик влажности; датчик освещения; дозиметр.

Согласно другому частному варианту реализации средство обработки определяет взаимное расположение по меньшей мере одного стороннего устройства рядом с по меньшей мере одним устройством пользователя с использованием по меньшей мере одного из датчиков: Bluetooth; Wi-Fi; Модуль NFC; LTE-модуль.

Согласно еще одному из частных вариантов реализации средство обработки определяет предыдущее состояние окружения на основании полученных данных датчиков, при этом предыдущее состояние окружения определяется по меньшей мере одним упомянутом критерием на этапе б) по меньшей мере один раз.

Согласно одному из частных вариантов реализации средство анализа при определении правила контроля по меньшей мере одного приложения дополненной реальности дополнительно учитывает по меньшей мере одно действие упомянутого приложения дополненной реальности.

Согласно другому частному варианту реализации действие приложения дополненной реальности является по меньшей мере одним из действий, перечисленным ранее.

Краткое описание чертежей

Дополнительные цели, признаки и преимущества настоящего изобретения будут очевидными из прочтения последующего описания осуществления изобретения со ссылкой на прилагаемые чертежи, на которых:

На Фиг. 1 изображена система контроля исполнения приложений дополненной реальности, установленных на устройстве пользователя, в зависимости от состояния окружения.

На Фиг. 2 представлен возможный набор датчиков устройств.

На Фиг. 3 представлена типичная схема обработки данных с датчиков на устройстве пользователя.

На Фиг. 4 представлена система контроля приложений дополненной реальности в зависимости от состояния окружения.

На Фиг. 5 представлен способ осуществления настоящего изобретения.

Фиг. 6 представляет пример компьютерной системы общего назначения.

Описание вариантов осуществления изобретения

Объекты и признаки настоящего изобретения, способы для достижения этих объектов и признаков станут очевидными посредством отсылки к примерным вариантам осуществления. Однако настоящее изобретение не ограничивается примерными вариантами осуществления, раскрытыми ниже, оно может воплощаться в различных видах. Сущность, приведенная в описании, является ничем иным, как конкретными деталями, обеспеченными для помощи специалисту в области техники в исчерпывающем понимании изобретения, и настоящее изобретение определяется в объеме приложенной формулы.

На Фиг. 1 изображена система контроля исполнения приложений дополненной реальности, установленных на устройстве пользователя, в зависимости от состояния окружения. Система содержит множество различных компьютерных устройств пользователя 101, предназначенных для работы с дополненной реальностью. Среди устройств пользователя 101 могут быть, например: смартфон 102, планшет 103, ноутбук 104, носимые устройства, такие как очки дополненной реальности 105, фитнес-трекер, «умные» часы 106 (англ. smart watch) и пр. Устройства пользователя 101 содержат множество различных датчиков 110а-110n, например монитор сердечного ритма 201 и шагомер 203. Под дополненной реальностью понимается результат введения в поле восприятия пользователя любых данных для дополнения сведений об окружении и улучшения восприятия информации. Под полем восприятия пользователя подразумеваются любые датчики и устройства вывода, которые содержатся в устройствах пользователя 101 и могут пользователю предоставлять информацию об окружении. Такими датчиками могут быть, например, дисплей, наушники, аудио-динамики, тактильные датчики и пр.

Стоит отметить, что датчики 110а-110n могут находиться как на одном устройстве пользователя 101, так и на нескольких. Более того, некоторые датчики могут находиться на нескольких устройствах одновременно. Часть датчиков может быть представлена в нескольких экземплярах. Например, модуль Bluetooth может находиться на всех устройствах, а смартфон может содержать два и более микрофона, необходимых для шумоподавления и определения расстояния до источника звука.

На Фиг. 2 представлен возможный набор датчиков устройств. Среди датчиков 110а-110n могут быть, например, следующие:

- монитор сердечного ритма (датчик сердцебиения) 201 для определения частоты пульса пользователя;

- датчик насыщения крови кислородом 202;

- шагомер 203;

- датчик определения отпечатков пальцев 204;

- датчик жестов 205, служащий для распознавания жестов пользователя;

- камера, направленная на глаза пользователя 206, служащая для определения движения глаз пользователя, а также аутентификации личности пользователя по радужной оболочке или сетчатке глаза;

- датчик температуры тела пользователя 207 (например, имеющий непосредственный контакт с телом пользователя или бесконтактный);

- микрофон 208;

- датчик ультрафиолетового излучения 209;

- приемник системы геолокации 210, например, приемник GPS или ГЛОНАСС;

- GSM-модуль 211;

- модуль Bluetooth 212;

- модуль Wi-Fi 213;

- камера 214, направленная на окружение устройства пользователя;

- датчик температуры окружающей среды 215;

- барометр 216, необходимый для измерения атмосферного давления и определения высоты над уровнем моря в соответствии с атмосферным давлением;

- геомагнитный датчик 217 (электронный компас), необходимый для определения сторон света и азимута;

- датчик определения влажности воздуха 218;

- датчик уровня освещения 219, необходимый для определения цветовой температуры и освещенности;

- датчик приближения 220, служащий для определения расстояния до различных предметов, находящихся поблизости;

- датчик глубины изображения 221, служащий для получения трехмерного изображения пространства;

- акселерометр 222, служащий для измерения ускорения в пространстве;

- гироскоп 223, необходимый для определения положения в пространстве;

- датчик Холла 224 (магнитного поля), для определения напряженности магнитного поля;

- дозиметр-радиометр 225, для определения уровня радиации;

- модуль NFC 226;

- LTE-модуль 227.

Под окружением подразумевается окружение устройств пользователя 101, характеризующееся различными критериями, называемыми далее состоянием окружения, например:

- местоположением устройств 101;

- физиологическими показателями пользователя;

- аудиовизуальными данными окружения;

- погодными характеристиками окружения;

- взаимным расположением сторонних устройств рядом с устройствами 101 пользователя;

- взаимным расположением устройств 101 пользователя.

В частном варианте реализации местоположение устройства 101 может характеризоваться географическим местоположением, определяемым с использованием данных приемника геолокации 210 или с помощью модуля GSM 211 или LTE 227 по сигналам базовых станций.

В еще одном частном варианте реализации каждая из перечисленных характеристик может быть разбита на подгруппы. Состояние окружения, характеризующееся местоположением устройства, может быть разделено на группы, например, как показано в таблице 1.

Местонахождение устройства внутри или вне помещения может быть определено различными способами. В одном из частных вариантов реализации местонахождение может быть определено с помощью сравнения предыдущих и текущих показаний датчиков. Показания датчиков могут периодически или непрерывно при считывании показаний сохраняться в базу данных датчиков на устройстве пользователя 101. В базе данных датчиков могут сохраняться как необработанные данные, так и обработанные и преобразованные данные, о чем будет подробно описано ниже. В таблице 2 приведены примеры правил, с помощью которых может быть определено состояние окружения - нахождение устройства внутри или вне помещения. Правила могут быть заранее сформированы на стороне производителя ПО или заданы пользователем или администратором устройства пользователя 101. Кроме того, правила могут периодически обновляться на стороне производителя ПО в зависимости от анализа статистических данных от множества пользователей.

Например, с использованием данных географического местоположения - согласно первому правилу таблицы 2, если координаты устройства 101 находятся рядом с помещением, а спустя небольшой промежуток времени теряется связь приемника геолокации со спутниками - вероятно, пользователь зашел в помещение.

Другим примером определения нахождения устройства 101 внутри или вне помещения является анализ аудиовизуальных данных окружения. Например, можно использовать анализ аудиосигнала, поступающего на микрофоны устройств 101. Для этого могут быть использованы различные известные из уровня техники алгоритмы аудиоанализа, например: анализ спектрограмм, звукового давления, энтропии сигнала и пр.

Если в правиле 1 таблицы 2 текущее состояние окружения дополнительно характеризуется изменением высоты нахождения устройства 101 на 5 и более метров ниже предыдущего состояния окружения (например, согласно показаниям барометра), и характеристики аудиосигнала характерен для метро, вероятно устройство 101 находится в метро.

В частном варианте реализации при определении перехода из помещения на улицу или наоборот, во внимание могут приниматься погодные характеристики окружения, такие параметры, как: уровень ультрафиолетового излучения; температура; влажность; уровень освещения; атмосферное давление, мощность излучения, измеряемая дозиметром. Например, предыдущее состояние окружения было охарактеризовано нахождением пользователя на улице, после чего в короткий промежуток времени произошли изменения:

а) высота над уровнем моря выросла на 5 и более метров;

б) температура изменилась до комнатной температуры (18-25°С).

В этом примере, текущее состояние окружения может быть охарактеризовано нахождением пользователя в помещении, так как приведенные изменения могут свидетельствовать о входе пользователя в помещение и перемещении вверх на лифте или по лестнице.

Также может быть измерен уровень освещенности - цветовая температура и световой поток. Например, цветовая температура дневного света от 6500 К до 7500 К. В то же время температура ламп накаливания, люминесцентной лампы или ксеноновой лампы варьируется в диапазоне от 2200 К до 5000 К. Днем освещенность на улице составляет от 2000 до 100000 лк (Люкс), в то время как в помещении значение освещенности обычно не превышает 750 лк (например, согласно европейскому стандарту для освещения рабочих помещений EN12464-1, освещение в офисе, где работа связана с чтением, письмом и работой за компьютером, составляет 500 лк). Для корректировки показателей цветовой температуры и светового потока может быть использован датчик приближения. Правила 2-3 таблицы 2 иллюстрируют пример правил определения нахождения устройства 101 пользователя внутри помещения в зависимости от уровня освещенности окружения.

Еще одним примером определения местонахождения устройства в помещении или вне помещения может служить сравнение схожести изображения, получаемого с камеры устройства с набором заранее определенных изображений (например, комнат квартиры пользователя, цвета пола, улицы, рабочего офиса, характерных предметов и пр.). При этом набор изображений может быть заранее сформирован пользователем или взят из удаленной базы данных. В данном примере изображения могут сравниваться с использованием известных из уровня техники алгоритмов распознавания изображений. Например, с использованием алгоритмов распознавания и классификации образов на основе машинного обучения, например метода опорных векторов. Распознавание изображений также может быть осуществлено путем бинаризации изображения (операция порогового разделения, которая в результате дает бинарное изображение), уменьшения его размера и последующего извлечения хэш-суммы для сравнения с базой данных хэш-сумм для известных изображений.

Для определения факта нахождения устройства пользователя в помещении или вне помещения также может использоваться датчик магнитных полей и различные беспроводные интерфейсы. Так, например, в помещении, вероятно, будет больше Wi-Fi точек доступа, домашняя точка доступа и наличие знакомых устройств поблизости (например, домашний ПК), а также сигнал приема W-Fi будет выше, чем на улице.

Для определения большого скопления людей может быть использован один из известных из уровня техники методов. Например, существуют методы автоматического определения лиц на фотографии, широко используемые в современных фотоаппаратах, а также методы локализации людей в системах видеонаблюдения. Существуют механизмы определения количества различных голосов в аудиопотоке, а также выделение речи каждого отдельного источника звука и определение расстояния до него с помощью микрофонной решетки - массива из нескольких микрофонов (например, проект LOUD - Large acoustic data array project). Кроме того, с использованием дополнительных данных можно также определить местонахождение более точно, например: в кафе, в общественном транспорте, парке и пр. Например, если по показателям приемника геолокации 210 выявлено перемещение устройств пользователя 101 со скоростью 20 и более километров в час и одновременное нахождение их в месте большого скопления людей, вероятно, пользователь находится в общественном транспорте. Если кроме нахождения в месте большого скопления людей было выявлено наличие точек доступа к сетям Wi-Fi, характерных для кафе или ресторанов, то, вероятно, пользователь находится в кафе.

Под физиологическими показателями пользователя понимается значения показателей датчиков, определяющих физиологическое состояние пользователя устройств 101. Такими датчиками являются, например, датчики 201-208. В то же время остальные датчики 209-227 могут быть также использованы для определения физиологических показателей пользователя. Например, с помощью акселерометра 222, гироскопа 223, шагомера 203 и приемника геолокации 210 можно определить, что устройства 101 и соответственно пользователь находятся в движении или в состоянии покоя. Кроме того, может быть определен характер движения, например: поступательная ходьба, бег, хаотические движения. Определенный характер движения в совокупности с показаниями датчиков 201-208 может свидетельствовать о физиологическом состоянии пользователя, например: нормальное состояние, испуг, остановка сердца, состояние алкогольного опьянения и пр. Ниже, в таблице 3 приведен возможный пример определения физиологических показателей пользователя по показаниям датчиков 201-208 и определенного с помощью датчиков 209-227 характера движения.

Согласно первому правилу таблицы 3 при пребывании устройств пользователя 101 в состоянии покоя, но в то же время при резком увеличении частоты сердцебиения, одновременного увеличения размера зрачка глаза физиологические показатели пользователя могут быть охарактеризованы испугом. Второе правило таблицы также применимо при нахождении пользователя в покое, однако показания датчиков 201-208 свидетельствуют об уменьшении частоты сердцебиения, отсутствии морганий глазами и закатывании зрачков глаз (показания камеры, направленной на глаза 206). Физиологические показатели пользователя в этом случае будут охарактеризованы как остановка сердца. Согласно третьему правилу таблицы характер движения был определен как хаотичный, кроме этого было определено увеличения размера зрачка глаз - все это свидетельствует в пользу нахождения пользователя в состоянии алкогольного опьянения.