Способ и система для оказания помощи пациенту

Способ и система для оказания помощи пациенту

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Изобретение относится к способу и системе для оказания помощи людям, имеющим ухудшение памяти, например, которое вызвано болезнью Альцгеймера, в социальных взаимодействиях.

УРОВЕНЬ ТЕХНИКИ

Люди с ранней и средней стадией болезни Альцгеймера (AD), которые демонстрируют снижение умственной деятельности, такой как потеря памяти, ослабленная исполнительная функция и ослабленное внимание, могут в целом все еще выполнять свои ежедневные задачи разумно хорошо, обычно с помощью члена семьи, друга или медицинского работника.

Однако люди с AD (или в целом с ухудшенной памятью и ухудшенными познавательными способностями) могут испытывать трудности при социальных взаимодействиях, таком как разговор с другим человеком (который может быть опекуном больного, доктором, другом), так как они обычно не помнят этого человека или соответствующую информацию о нем и, возможно, не способны полностью следовать за разговором. Потеря памяти при таких взаимодействиях приводит к стрессу человека с AD, и это обычно отражается в нежелательном поведении человека, таким образом, усложняя ему поддержание здоровой социальной жизни.

Хотя существуют системы для помощи пожилым людям выполнять их основные задачи и действия, данные системы не являются специально разработанными для людей, которые имеют существенное мысленное ухудшение памяти, такое как болезнь Альцгеймера, и поэтому не подходят в частности для данного использования.

Поэтому существует потребность в способе и системе для оказания помощи человеку, имеющему ухудшение памяти, в социальных взаимодействиях.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Различные аспекты изобретения излагаются в последующих утверждениях.

1. Система для использования при оказании помощи пользователю при социальном взаимодействии с другим человеком, причем система сконфигурирована с возможностью определения, узнает ли пользователь человека и, если определено, что пользователь не узнает человека, обеспечения информации пользователю о человеке.

2. Система согласно утверждению 1, причем система сконфигурирована с возможностью определения, узнает ли пользователь человека посредством определения эмоционального состояния пользователя.

3. Система согласно утверждению 2, причем система содержит один или более датчиков для измерения физиологических характеристик пользователя, и причем система сконфигурирована с возможностью определения эмоционального состояние пользователя на основе измеренных физиологических характеристик.

4. Система согласно утверждению 2 или 3, причем система сконфигурирована с возможностью определения эмоционального состояния пользователя посредством анализа речи пользователя в течение взаимодействия.

5. Система согласно любому из утверждений 1-4, причем система сконфигурирована с возможностью определения, узнает ли пользователь человека, посредством проигрывания аудио- и/или видеосообщения и наблюдения за реакцией пользователя на сообщение.

6. Система согласно любому из утверждений 1-4, причем система сконфигурирована с возможностью определения, узнает ли пользователь человека, посредством использования алгоритма распознавания речи для анализа речи пользователя и/или человека в течение взаимодействия.

7. Система согласно любому из утверждений 1-6, причем система содержит:

средство захвата изображения для захвата изображения или последовательности изображений человека;

процессор для применения алгоритма распознавания лиц к захваченному изображению, чтобы идентифицировать человека, и для получения информации об идентифицированном человеке; и

пользовательский интерфейс для представления информации, полученной об идентифицированном человеке, пользователю, если определено, что пользователь не узнает человека.

8. Система согласно любому из утверждений 1-7, причем система содержит:

микрофон для записи речи человека в течение взаимодействия;

процессор для обработки записанной речи с использованием алгоритма распознавания голоса, чтобы идентифицировать человека, и для получения информации об идентифицированном человеке; и

пользовательский интерфейс для представления информации, полученной об идентифицированном человеке, пользователю, если определено, что пользователь не узнает человека.

9. Система согласно любому предыдущему утверждению, причем система дополнительно сконфигурирована с возможностью обеспечения информации человеку, если определено, что пользователь не узнает человека, при этом информация указывает человеку, что пользователь не узнает его.

10. Система согласно любому предыдущему утверждению, причем система содержит микрофон для записи речи в течение взаимодействия между пользователем и человеком, и причем система дополнительно сконфигурирована с возможностью, при определении, что взаимодействие завершено, генерирования сводки взаимодействия для пользователя и обеспечения сводки в пользовательский интерфейс для представления пользователю.

11. Система согласно утверждению 10, причем система дополнительно сконфигурирована с возможностью определения эмоционального состояния пользователя в течение взаимодействия, и причем система дополнительно сконфигурирована с возможностью генерирования сводки взаимодействия для пользователя на основе записанной речи и определенного эмоционального состояния.

12. Система согласно любому предыдущему утверждению, причем система дополнительно сконфигурирована с возможностью определения, помнит или понимает ли пользователь цель взаимодействия с человеком, и если определено, что пользователь не помнит или не понимает цели взаимодействия, система сконфигурирована с возможностью обеспечения информации пользователю о цели взаимодействия.

13. Система согласно любому предыдущему утверждению, причем система дополнительно сконфигурирована с возможностью наблюдения за взаимодействием для определения, следует и понимает ли пользователь взаимодействие, пока развивается взаимодействие, и если определено, что пользователь не следует или не понимает взаимодействие, система сконфигурирована с возможностью обеспечения информации пользователю о взаимодействии.

14. Система согласно утверждению 13, причем система сконфигурирована с возможностью определения контекста взаимодействия так, чтобы система могла обеспечить особую для контекста информацию пользователю о взаимодействии, если определено, что пользователь не следует или не понимает взаимодействие.

15. Система согласно утверждению 12, 13 или 14, причем система сконфигурирована с возможностью наблюдения за (i) речью пользователя для определения, способен ли пользователь начать и следовать за взаимодействием; (ii) речью пользователя для определения эмоционального состояния пользователя; (iii) речью, как пользователя, так и человека для определения контекста взаимодействия и текущего диалога; и/или (iv) физиологической реакцией пользователя в течение взаимодействия для определения, помнит или понимает ли пользователь цель взаимодействия с человеком, и/или для определения, следует и понимает ли пользователь взаимодействие, пока развивается взаимодействие.

16. Способ для использования при оказании помощи пользователю при социальном взаимодействии с другим человеком, причем способ содержит этапы, на которых:

определяют, узнает ли пользователь человека и;

если определено, что пользователь не узнает человека, обеспечивают информацию пользователю о человеке.

17. Способ согласно утверждению 16, в котором этап определения, узнает ли пользователь человека, содержит этап, на котором определяют эмоциональное состояние пользователя.

18. Способ согласно утверждению 17, причем способ дополнительно содержит этап, на котором измеряют физиологические характеристики пользователя; и причем на этапе определения эмоционального состояние пользователя используют измеренные физиологические характеристики.

19. Способ согласно утверждению 17 или 18, в котором этап определения эмоционального состояния пользователя дополнительно содержит этап, на котором анализируют речь пользователя в течение взаимодействия.

20. Способ согласно любому из утверждений 16-19, в котором этап определения, узнает ли пользователь человека, содержит этап, на котором проигрывают аудио- и/или видеосообщение и наблюдают за реакцией пользователя на сообщение.

21. Способ согласно любому из утверждений 16-19, в котором этап определения, узнает ли пользователь человека, содержит этап, на котором анализируют речь пользователя и/или человека в течение взаимодействия.

22. Способ согласно любому из утверждений 16-21, причем способ дополнительно содержит этапы, на которых:

захватывают изображение или последовательность изображений человека;

применяют алгоритм распознавания лиц к захваченному изображению для идентификации человека;

получают информацию об идентифицированном человеке; и

представляют информацию, полученную об идентифицированном человеке, пользователю, если определено, что пользователь не узнает человека.

23. Способ согласно любому из утверждений 16-22, причем способ дополнительно содержит этапы, на которых:

записывают речь человека в течение взаимодействия;

обрабатывают записанную речь с использованием алгоритма распознавания голоса для идентификации человека;

получают информацию об идентифицированном человеке; и

представляют информацию, полученную об идентифицированном человеке, пользователю, если определено, что пользователь не узнает человека.

24. Способ согласно любому из утверждений 16-23, причем способ дополнительно содержит этап, на котором обеспечивают информацию человеку, если определено, что пользователь не узнает человека, при этом информация указывает человеку, что пользователь не узнает его.

25. Способ согласно любому из утверждений 16-24, причем способ дополнительно содержит этапы, на которых:

записывают речь в течение взаимодействия между пользователем и человеком, и

при определении, что взаимодействие завершено, генерируют сводку взаимодействия для пользователя; и

обеспечивают сводку в пользовательский интерфейс для представления пользователю.

26. Способ согласно утверждению 25, причем способ дополнительно содержит этапы, на которых определяют эмоциональное состояние пользователя в течение взаимодействия; и

генерируют сводку взаимодействия для пользователя на основе записанной речи и определенного эмоционального состояния.

27. Способ согласно любому из утверждений 16-26, причем способ дополнительно содержит этапы, на которых определяют, помнит или понимает ли пользователь цель взаимодействия с человеком; и

если определено, что пользователь не помнит или не понимает цели взаимодействия, обеспечивают информацию пользователю о цели взаимодействия.

28. Способ согласно любому из утверждений 16-27, причем способ дополнительно содержит этапы, на которых наблюдают за взаимодействием для определения, следует и понимает ли пользователь взаимодействие, пока развивается взаимодействие; и

если определено, что пользователь не следует или не понимает взаимодействие, обеспечивают информацию пользователю о взаимодействии.

29. Способ согласно утверждению 28, причем способ содержит этап, на котором определяют контекст взаимодействия так, чтобы особая для контекста информация могла быть обеспечена пользователю о взаимодействии, если определено, что пользователь не следует или не понимает взаимодействие.

30. Способ согласно утверждению 27, 28 или 29, причем способ дополнительно содержит этап, на котором наблюдают за (i) речью пользователя для определения, способен ли пользователь начать и следовать за взаимодействием; (ii) речью пользователя для определения эмоционального состояния пользователя; (iii) речью, как пользователя, так и человека для определения контекста взаимодействия и текущего диалога; и/или (iv) физиологической реакцией пользователя в течение взаимодействия для определения, помнит или понимает ли пользователь цель взаимодействия с человеком, и/или для определения, следует и понимает ли пользователь взаимодействие, пока развивается взаимодействие.

31. Компьютерный программный продукт, содержащий считываемый компьютером код, при этом код сконфигурирован так, что, при исполнении посредством подходящего компьютера или процессора, компьютер или процессор выполняет способ по любому из утверждений 16-30.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Далее описаны примерные варианты осуществления изобретения, только в качестве примера, со ссылкой на чертежи, на которых:

Фиг. 1 является блок-схемой системы согласно изобретению;

Фиг. 2 является блок-схемой последовательности операций, изображающей способ согласно первому варианту осуществления;

Фиг. 3 является схемой, изображающей возможные эмоциональные состояния пользователя;

Фиг. 4 является блок-схемой последовательности операций, изображающей способ согласно второму варианту осуществления;

Фиг. 5 изображает модули для наблюдения за взаимодействием в одном варианте осуществления изобретения; и

Фиг. 6 является блок-схемой последовательности операций, показывающей функционирование системы согласно одному варианту осуществления изобретения.

ПОДРОБНОЕ ОПИСАНИЕ ПРЕДПОЧТИТЕЛЬНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

Хотя изобретение будет описано ниже со ссылкой на систему и способ для человека, страдающего болезнью Альцгеймера (AD), следует учесть, что изобретение подходит для использования любым человеком, имеющим ухудшение памяти, которое влияет на его способность взаимодействовать в социальном отношении.

Примерный вариант осуществления системы 2 согласно изобретению показан на Фиг. 1. Система 2 содержит переносное или мобильное устройство 4, которое надевается или носится пользователем системы 2 (то есть человеком, имеющим ухудшение памяти). Мобильное устройство 4 может принимать любую подходящую форму, однако в предпочтительном варианте осуществления мобильное устройство 4 является подвеской, которая носится вокруг шеи пользователя, хотя в альтернативных вариантах осуществления мобильное устройство 4 может быть мобильным телефоном (например, смартфоном) или PDA.

Мобильное устройство 4 содержит схему 6 приемопередатчика и связанную антенну 8 для осуществления связи с базовым блоком 10. Схема 10 приемопередатчика может быть сконфигурирована с возможностью использования любого подходящего протокола связи для осуществления связи с базовым блоком 10, включая, например, Bluetooth или Wi-Fi, или протокол мобильной связи, такой как GSM, и т.д.

Мобильное устройство 4 также содержит компонент 14 для визуального отображения, громкоговоритель 16, микрофон 18, камеру 20, датчик 21 ориентации или движения (такой как акселерометр и/или магнитометр) и пользовательский ввод 22, каждый из которых соединен с процессором 12. Данные компоненты формируют пользовательский интерфейс, который позволяет пользователю взаимодействовать с мобильным устройством 4 и наоборот. Мобильное устройство 4 может также включать в себя память 23 для хранения данных, собранных посредством микрофона 18 и камеры 20 до передачи посредством схемы 6 приемопередатчика. В некоторых вариантах осуществления изобретения мобильное устройство 4 также включает в себя один или более датчиков 24 для восприятия физиологических характеристик пользователя (например, частоты сердцебиения, частоты дыхания и/или потоотделения), следует учитывать, что данные датчики 24 могут быть обеспечены внешним образом или могут быть отдельны от мобильного устройства 4 (например, так чтобы они могли быть прикреплены непосредственно к коже пользователя) и могут быть связаны с мобильным устройством 4 для сообщения измерений в процессор 12.

Когда датчики 24 являются внешними по отношению к мобильному устройству 4, они могут формировать нательную сеть (BAN) или персональную сеть (PAN). Данные, собранные датчиками 24, могут быть переданы непосредственно в базовый блок 10 для того, чтобы быть оцененными, или они могут быть отправлены сначала в мобильное устройство 4 для того, чтобы быть обработанными, если существует какое-либо строго ограниченное во времени требование внутри системы.

Следует учесть, что мобильное устройство 4 может включать в себя дополнительные компоненты к компонентам, изображенным на Фиг. 1. Например, устройство 4 может включать в себя датчик ориентации и светочувствительный датчик.

Компонент 14 для отображения обеспечивается для показа текстовых или графических сообщений и/или видеоклипов пользователю. Громкоговоритель 16 обеспечивается для вывода аудиоданных (обычно речи, хотя может быть обеспечено и другое аудиосодержимое), которое может быть связано с визуальной информацией, обеспечиваемой компонентом 14 для отображения.

Микрофон 18 используется для обнаружения и записи звука вблизи устройства 4, прежде всего речи пользователя и человека или людей, с которыми взаимодействует пользователь.

Камера 20 используется для захвата изображений, в частности изображений человека или людей, с которыми пользователь взаимодействует. Изображения могут быть неподвижными изображениями или последовательностью видео.

Пользовательский ввод 22 позволяет пользователю взаимодействовать с мобильным устройством 4 и может содержать один компонент для ввода, такой как кнопка или клавиша, множество компонентов для ввода, таких как клавиатура, или другую форму пользовательского ввода, например, сенсорный экран, связанный с компонентом 14 для отображения.

В изображенном варианте осуществления базовый блок 10 содержит схему 25 приемопередатчика и связанную антенну 26 для осуществления связи с мобильным устройством 4. Как и в мобильном устройстве 4, схема 25 приемопередатчика в базовом блоке 10 может быть сконфигурирована с возможностью использования любого подходящего протокола связи, включая, например, Bluetooth или Wi-Fi, или протокол мобильной связи, такой как GSM, и т.д. В данном варианте осуществления базовый блок 10 является компьютером или сервером, расположенным в доме пользователя, или сервером в отдаленном местоположении, который осуществляет связь беспроводным образом с мобильным устройством 4.

В альтернативных вариантах осуществления следует учесть, что там, где базовый блок 10 находится в удаленном местоположении, мобильное устройство 4 может осуществлять связь беспроводным образом с промежуточным устройством, таким как маршрутизатор и/или домашний компьютер, который осуществляет связь с базовым блоком 10 через Интернет, и поэтому схема 25 приемопередатчика и антенна 26 в базовом блоке 10 могут быть заменены подходящими компонентами для соединения базового блока 10 с Интернетом.

Базовый блок 10 содержит процессор 28, память 30, базу 31 данных и пользовательский ввод 32. База 31 данных используется для хранения информации о людях, с которыми пользователь взаимодействовал или мог взаимодействовать, прошлых взаимодействиях, данных пациента для пользователя, различных проблемах при общении, которые может иметь пользователь, поддержке, которая должна быть оказана пользователю, когда происходят данные проблемы, темах разговора, и другой соответствующей информации. Пользовательский ввод 32 позволяет пользователю или медицинскому работнику взаимодействовать с базовым блоком 10 и может содержать клавиатуру, сенсорный экран и т.д.

Как описано выше, люди с AD (и другими ухудшениями памяти) могут испытывать трудности при социальных взаимодействиях, таких как разговор с другим человеком (который может быть опекуном больного, доктором, другом), так как человек может не узнавать человека, с которым он говорит, или он может забыть нить разговора. Однако система 2 согласно вариантам осуществления изобретения обеспечивает информацию, которая помогает пользователю (у которого есть AD или другое ухудшение памяти) узнавать человека, с которым он общается, уменьшая первоначальное смущение у пользователя и помогая предотвратить возникновение стресса из-за отсутствия памяти у пользователя.

В течение взаимодействия система 2 может наблюдать за пользователем для определения, узнал ли он человека, с которым он общается, и контекст взаимодействия, и для определения эмоциональной реакции пользователя или того, становится ли пользователь подвергнутым стрессу из-за взаимодействия, и по необходимости системой 2 может быть обеспечена дополнительная поддержка.

Согласно вариантам осуществления изобретения, система 2 может идентифицировать контекст и тему разговора для того, чтобы обеспечить соответствующую контексту поддержку, чтобы лучше оказывать помощь пользователю в течение взаимодействия.

Варианты осуществления изобретения могут также обеспечивать обратную связь с человеком, с которым пользователь взаимодействует, при этом обратная связь указывает, узнает ли пользователь его или нуждается в помощи при или в течение взаимодействия, и это позволяет человеку адаптировать способ, посредством которого он взаимодействует с пользователем.

Кроме того, как только пользователь завершил свое взаимодействие с человеком, система 2 может обеспечить пользователю информацию о взаимодействии для улучшения воспоминания пользователя о разговоре.

Система 2 может обрабатывать смешанные данные, такие как аудио, видео, текст, свет и тактильные данные, чтобы помочь человеку с AD или ухудшением памяти взаимодействовать в социальном отношении, учитывая его ухудшение памяти, а также его эмоциональное состояние. Наличие такой системы 2 помощи, которая описана в данном документе, может помочь улучшить качество жизни, в частности общественной жизнь, людей с AD.

Теперь будет описан первый вариант осуществления со ссылкой на блок-схему последовательности операций способа на Фиг. 2. В изображенном варианте осуществления, если пользователь не узнает человека, с которым он взаимодействуют, система 2 идентифицирует человека с использованием технологии распознавания лиц и обеспечивает пользователю информацию об этом человеке для того, чтобы помочь пользователю узнать человека и цель взаимодействия. Система 2 также наблюдает за эмоциональным состоянием/уровнем стресса пользователя на всем протяжении взаимодействия, и обеспечивает дополнительную поддержку по необходимости.

Способ может быть приведен в действие при обнаружении человека перед пользователем (например, посредством анализа изображений, полученных посредством камеры 20, или света, обнаруженного другим светочувствительным датчиком) или при обнаружении речи пользователя (например, анализа звука, записанного посредством микрофона 18), либо планируется, что будет иметь место предварительно определенное время перед взаимодействием, (которое может быть записано в электронном календаре для пользователя, сохраненном в мобильном устройстве 4).

Способ начинается с этапа 101, на котором система 2 определяет, узнает ли пользователь человека, с которым он собирается взаимодействовать (или уже начал взаимодействовать). Данный этап может содержать осуществление широковещательной передачи мобильным устройством 4 аудиосообщения, непосредственно спрашивая пользователя, узнает ли он человека. В данном случае, пользователь может ответить с помощью ответа да/нет, который может быть идентифицирован посредством обработки выходного сигнала от микрофона 18 в мобильном устройстве 4.

Данный этап может также содержать осуществление записи первоначальной части разговора с использованием микрофона 18 и осуществление анализа речи пользователя и человека с использованием алгоритма распознавания речи. Содержимое разговора на данном этапе может указывать, узнал ли пользователь человека.

Альтернативно, или в дополнение, данный этап может содержать осуществление наблюдения за эмоциональным состоянием пользователя касательно знаков о том, узнал или не узнал пользователь человека. Например, данный этап может вовлекать осуществление измерения одной или более физиологических характеристик пользователя, таких как частота сердцебиения, изменчивость частоты сердцебиения, проводимость кожи, частота дыхания, потоотделение или любой другой характеристики, которая является указателем уровня стресса или эмоционального состояния пользователя. Характеристики могут быть измерены посредством, например, выделенного датчика (датчиков) 24 в мобильном устройстве 4. Альтернативно, частота дыхания может быть измерена посредством обработки выходного сигнала микрофона 18 для идентификации звука, связанного с дыханием пользователя, а частота сердцебиения может быть измерена из видеоданных кожи пользователя.

Эмоциональное состояние пользователя может также быть определено из измерений уровня голоса или тона пользователя, полученных через микрофон 18.

Там, где должны быть определены эмоциональное состояние или уровень стресса, измерения характеристик (или необработанные данные от датчиков 24, микрофона 18 и/или камеры 20) передаются в базовый блок 10, и процессор 28 обрабатывает измерения или данные для определения уровня стресса или эмоциональное состояние пользователя. Результат обработки (то есть эмоциональный уровень или уровень стресса) будет связанным вероятностным значением, указывающим, насколько достоверным является определение. Затем результат обработки может использоваться в качестве указателя того, узнает ли пользователь человека, с которым он взаимодействует.

Первая часть обработки вовлекает осуществление классификации и определение количества измеренных физиологических характеристик, и установление их соответствия с эмоциональным состоянием. Установление соответствия предпочтительно осуществляется согласно простой схеме, например, как показано на Фиг. 3, в которой эмоциональное состояние пользователя характеризуется дискретными значениями в двух размерностях.

Эти две основные размерности эмоциональной реакции могут полезно характеризовать почти любые ситуации. Валентность представляет собой счастье в целом, закодированное как положительный (например, счастливый), нейтральный или отрицательный (например, печальный, сердитый), а возбуждение представляет собой уровень интенсивности эмоции, закодированной как взволнованный, нейтральный или спокойный. На фигуре валентности-возбуждения может легко быть помещено множество широко упоминаемых эмоций (особенно те, которые соответствуют физическим реакциям на окружение). Специалистам в данной области техники известны методы для установления соответствия измеренных физиологических характеристик, таких как частота сердцебиения, изменчивость частоты сердцебиения, температура кожи, частота дыхания, потоотделение и гальваническая реакция кожи, с фигурой валентности-возбуждения, и эти методы не описываются подробно в данном документе.

Специалистам в данной области техники должно быть понятно, что система 2 может обрабатывать данные датчика иным образом по отношению к тому, как описано выше, чтобы характеризовать большее количество эмоциональных состояний для пользователя. Например, к схеме может быть добавлена третья размерность, указывающая на стресс или напряжение пользователя.

Если пользователь не узнал человека (как определено на этапе 103), способ переходит к этапам 105-113, на которых система 2 идентифицирует человека с использованием технологии распознавания лиц и обеспечивает пользователю информацию об этом человеке для того, чтобы помочь пользователю узнать человека и цель взаимодействия.

На этапе 105 обнаруживается лицо человека, взаимодействующего с пользователем. Это предпочтительно выполняется посредством камеры 20 в мобильном устройстве 4, которая непрерывно или периодически (например, каждые 5 секунд) собирает изображения территории вокруг пользователя (например, территории перед пользователем, если мобильное устройство 4 представлено в форме подвески), и обнаруживает, присутствуют ли какие-либо лица на изображении. Такая технология хорошо известна в уровне техники (в частности в уровне техники цифровых камер), и нет необходимости описывать ее подробно в данном документе. Данная обработка может быть выполнена посредством процессора 12 в мобильном устройстве 4, хотя она может альтернативно быть выполнена посредством процессора 28 в базовом блоке 10. В некоторых вариантах реализации, для того чтобы только обнаружить лицо человека, фактически взаимодействующего с пользователем, а не любое попавшееся лицо, обнаруженное в ближайшем окружении, алгоритм может потребовать, чтобы обнаруженное лицо имело, по меньшей мере, конкретный размер (чтобы удостовериться, что обнаруженный человек находится близко к пользователю).

Как только лицо обнаружено в изображении, изображение может быть захвачено (этап 107) и отправлено в базовый блок 10 через схему 6 приемопередатчика и антенну 8 для обработки посредством процессора 28. Альтернативно, изображения могут захватываться независимо от того, было ли лицо обнаружено, и сохраняться для последующего использования в качестве вспомогательного средства ретроспективной памяти для пользователя.

Затем процессор 28 исполняет алгоритм распознавания лиц, чтобы попытаться и идентифицировать лицо в захваченном изображении (этап 109). Данная обработка может использовать информацию, сохраненную в памяти 30, относящуюся к людям, которых пользователь знает или с которыми взаимодействовал ранее. Данная информация может включать в себя одно или более изображений лица человека. Процессор 28 может идентифицировать человека в изображении с использованием любого известного типа алгоритма распознавания лиц. Например, процессор 28 может использовать основанный на собственных лицах алгоритм для обеспечения самого быстрого возможного результата, хотя специалистам в уровне техники известны другие алгоритмы распознавания лиц, которые могут быть использованы.

Перед исполнением алгоритма распознавания лиц может быть выполнена предварительная обработка, в которой введенное изображение лица нормируется относительно геометрических свойств, таких как размер и позы, и затем дополнительно нормируется относительно фотометрических свойств, таких как освещение и шкала серого, чтобы стандартизировать изображения, которые следует поставлять в алгоритм распознавания лиц. Дополнительно, пиксели в изображении вокруг лица, которые не используются, такие как задний фон изображения, могут быть удалены, так как они изменяются больше, чем лицо.

Как упомянуто выше, может использоваться алгоритм распознавания лиц на основе собственных лиц. В данном алгоритме на первом этапе следует преобразовать цветные изображения к шкале серого и затем применить выравнивание гистограммы в качестве способа автоматической стандартизации яркости и контрастности каждого изображения лица. Полезно применять фильтр низких частот для того, чтобы вычесть помехи, которые все еще присутствуют в изображении после начальной предварительной обработки. Собственные лица используют анализ главных компонентов для уменьшения «размерности» изображений (количества пикселей в изображении). Изображения лиц проецируются в «пространство лиц» (пространство признаков), которое наилучшим образом задает вариации известных проверочных изображений. Пространство лиц задано «собственными лицами», которые являются собственными векторами набора лиц. Данные собственные лица не обязательно соответствуют явным признакам, воспринимаемым как уши, глаза и носы. Затем проекции нового изображения в данном пространстве признаков сравниваются с доступными проекциями обучающих наборов для идентификации человека. Подход является надежным, простым, легким и быстрым в реализации по сравнению с другими алгоритмами, такими как формирование 3-D изображений. Он обеспечивает практическое решение проблемы распознавания в автоматизированной системе, которой необходимо вычислительное время, близкое к реальному времени.

Как только человек в захваченном изображении идентифицирован, процессор 28 извлекает информацию, связанную с этим человеком, из памяти 30 (этап 111). Информация может содержать, например, информацию о его личности, его отношениях с пользователем и предыдущие темы разговора с пользователем. Информация может также относиться к цели взаимодействия с человеком, который может быть извлечен из записи в планировании или календаре для пользователя. Информация о человеке и/или взаимодействии может быть сохранена, например, в форме видео, аудио или файла с текстовыми данными.

Затем извлеченная информация отправляется базовым блоком 10 в мобильное устройство 4 через схему 24 приемопередатчика и антенну 26, и мобильное устройство 4 представляет информацию пользователю (этап 113). Информация может быть представлена пользователю посредством любого или обоих из компонента 14 для отображения и громкоговорителя 16, в зависимости от формата информации (то есть аудио, видео, текст и т.д.), извлеченной из памяти 30. Было обнаружено, что визуальное представление информации более эффективно при активировании памяти пользователя с ухудшениями памяти или AD, таким образом, по меньшей мере, визуальное представление информации является предпочтительным.

Таким образом, система 2 обеспечивает информацию о человеке, с которым пользователь взаимодействует или собирается взаимодействовать, и в качестве дополнительной возможности также о цели взаимодействия и представляет это в простой форме пользователю системы 2, что уменьшает влияние эффекта плохой памяти пользователя на его взаимодействие с человеком.

Следует учесть, что этапы обработки, описанные выше, могут быть выполнены в альтернативных компонентах системы 2 по отношению к тем, которые указаны. Например, алгоритм распознавания лиц может быть выполнен посредством процессора 12 в мобильном устройстве 4, и в базовый блок 6 может передаваться только запрос информации об идентифицированном человеке. Альтернативно, все изображения, собранные посредством камеры 20, могут быть переданы в базовый блок 10 для того, чтобы обнаружить лица в изображениях.

В дополнение к выполнению обработки распознавания лиц над изображениями человека, с которым взаимодействует пользователь, также можно использовать обработку распознавания голоса над аудиозаписью человека, захваченной с использованием микрофона 18 в мобильном устройстве 4. Результаты обоих типов обработки (который может включать в себя предварительную идентификацию и значение вероятности/достоверности того, что распознавание является точным) могут быть объединены, и принимается конечное решение по идентификации. Использование обоих типов обработки увеличивает надежность идентификации человека.

В альтернативном, менее предпочтительном, варианте реализации, можно использовать обработку распознавания голоса для идентификации человека, с которым взаимодействует пользователь, вместо обработки распознавания лиц, описанной выше. Однако, в отличие от варианта реализации распознавания лиц, данный вариант реализации требует, чтобы человек начал говорить с пользователем перед тем, как какая-либо идентификация сможет быть выполнена, таким образом немного задерживая обеспечение информации о человеке пользователю.

Возвращаясь к этапу 103, в качестве необязательного этапа наряду с процессом распознавания лиц, если пользователь не узнает человека, мобильным устройством 4 может быть обеспечена обратная связь с человеком (этап 115). По такому принципу, человек может быть проинформирован о том, что пользователь не узнает его, и он может адаптировать свое поведение в течение взаимодействия соответствующим образом. Обратная связь с человеком может содержать визуальное (например, текстовое или основанное на свете) и/или аудиосообщение от мобильного устройства 4. Подходящая визуальная подсказка может быть красным светом, который указывает, что пользователь не узнает человека, или основанным на тексте сообщением, которое предлагает то, как человек должен вести себя, чтобы помочь пользователю, поскольку пользователь не является полностью реагирующим.

После этапа 113 и/или 115 способ переходит к этапу 117, на котором си