Способ и устройство для управления приложением посредством распознавания нарисованного от руки изображения

Способ и устройство для управления приложением посредством распознавания нарисованного от руки изображения

Реферат

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к способу и устройству для управления приложением посредством распознавания нарисованного от руки изображения. В частности, настоящее изобретение относится к устройству и способу управления функцией текущего исполняемого приложения посредством распознавания рукописного ввода в электронном устройстве, имеющем сенсорную панель.

УРОВЕНЬ ТЕХНИКИ

Вместе с нынешним ростом количества переносных электронных устройств увеличиваются требования к пользовательским интерфейсам (UI), которые обеспечивают возможность интуитивного ввода/вывода. Например, традиционные пользовательские интерфейсы, в которых информация вводится посредством дополнительного устройства, такого как клавиатура, кнопочная панель, мышь и т.п., развились в интуитивные пользовательские интерфейсы, в которых информация вводится непосредственным прикосновением пальца или электронного пера к экрану или посредством голоса.

Кроме того, технология пользовательского интерфейса разрабатывалась таким образом, чтобы она являлась интуитивной и ориентированной на человека, а также удобной для пользователя. С помощью технологии пользовательского интерфейса пользователь может обращаться к переносному электронному устройству с помощью голоса, чтобы ввести намеченную информацию или получить желаемую информацию.

Как правило, в популярном переносном электронном устройстве, таком как смартфон, установлено много приложений, и из установленных приложений доступны новые функции.

Как правило, множество приложений, установленных в смартфоне, исполняются независимо, не обеспечивая пользователю новые функции или результат совместно друг с другом.

Например, приложение планировщика дает возможность ввода информации только в своем поддерживаемом пользовательском интерфейсе, несмотря на то, что пользовательский терминал поддерживает интуитивный пользовательский интерфейс.

Кроме того, пользователь использует сенсорную панель или пользовательский терминал, поддерживающий функцию заметок через сенсорную панель, только для написания заметок с помощью таких средств ввода, как палец или электронное перо, но не имеется конкретного метода для использования заметок совместно с другими приложениями.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

ТЕХНИЧЕСКАЯ ПРОБЛЕМА

Таким образом, существует потребность в устройстве и способе обмена информацией с пользователем в пользовательском интерфейсе на основании рукописного ввода в пользовательском терминале.

Приведенная выше информация представлена только как вводная информация для помощи в понимании настоящего раскрытия. Не были сделаны никакие определения и не были сделаны никакие утверждения относительно того, может ли что-либо, упомянутое выше, быть применимо в качестве уровня техники относительно настоящего изобретения.

РЕШЕНИЕ ПРОБЛЕМЫ

Аспекты настоящего изобретения состоят в том, чтобы решить по меньшей мере упомянутые выше проблемы и/или устранить недостатки и обеспечить по меньшей мере описанные ниже преимущества. В соответствии с этим аспект настоящего изобретения состоит в создании устройства и способа обмена информацией с пользователем в пользовательском интерфейсе (UI) на основании рукописного ввода в пользовательском терминале.

Другой аспект настоящего изобретения состоит в создании устройства и способа управления функцией текущего исполняемого приложения посредством распознавания рукописного текста в электронном устройстве, имеющем сенсорную панель. В частности, аспект настоящего изобретения состоит в создании устройства и способа управления функцией текущего исполняемого приложения посредством распознавания нарисованного от руки изображения, которое пользователь ввел на сенсорной панели. Пользовательский терминал является электронным устройством, имеющим сенсорную панель. Сенсорная панель используется в различных электронных устройствах для обеспечения пользовательского интерфейса для отображения графики и текста и поддержки взаимодействия между пользователем и электронным устройством.

Другой аспект настоящего изобретения состоит в создании устройства пользовательского интерфейса и способа исполнения заданной команды посредством функции заметок на основании рукописного ввода в пользовательском терминале.

Другой аспект настоящего изобретения состоит в создании устройства пользовательского интерфейса и способа обмена вопросами и ответами с пользователем посредством функции заметок на основании рукописного ввода в пользовательском терминале.

Другой аспект настоящего изобретения состоит в создании устройства пользовательского интерфейса и способа приема команды для обработки выбранной всей или части заметки, которая была написана на экране посредством функции заметок в пользовательском терминале.

Другой аспект настоящего изобретения состоит в создании устройства пользовательского интерфейса и способа поддержки переключения между режимом заметки и режимом обработки команды в пользовательском терминале, поддерживающем функцию заметок, через электронное перо.

Другой аспект настоящего изобретения состоит в создании устройства пользовательского интерфейса и способа обеспечения возможности ввода команды для управления текущим активным приложением или другим приложением посредством функции заметок в пользовательском терминале.

Другой аспект настоящего изобретения состоит в создании устройства пользовательского интерфейса и способа анализа структуры заметки пользователя и определения ввода информации посредством функции заметок с учетом проанализированной структуры заметки в пользовательском терминале.

В соответствии с аспектом настоящего изобретения предложен способ для пользовательского интерфейса в пользовательском терминале, поддерживающем функцию заметок на основании рукописного ввода. Способ содержит этапы, на которых во время исполнения заданного текущего приложения отображают слой заметки, позволяющий рукописный ввод, над экраном исполнения заданного приложения по пользовательскому запросу, распознают намерение пользователя на основании заметки, которую пользователь написал в слое заметки, и управляют операцией заданного приложения в соответствии с распознанным намерением пользователя. Слой заметки может принять вид окна заметки. Таким образом, слой заметки и окно заметки являются взаимозаменяемыми в одном и том же значении.

В соответствии с другим аспектом настоящего изобретения предложено устройство пользовательского интерфейса в пользовательском терминале, поддерживающем функцию заметок на основе рукописного ввода. Устройство включает в себя электронное устройство, имеющее сенсорную панель, на которой во время исполнения заданного текущего приложения слой заметки, позволяющий рукописный ввод, отображается над экраном исполнения заданного приложения по пользовательскому запросу, намерение пользователя распознается на основании заметки, которую пользователь написал в слое заметки, и работой заданного приложения управляют в соответствии с распознанным намерением пользователя.

В соответствии с другим аспектом настоящего изобретения предложен способ управления приложением в электронном устройстве, имеющем сенсорную панель. Способ содержит этапы, на которых отображают исполняемое приложение на сенсорной панели, отображают заданный пользовательский ввод, отображают окно заметки, включающее в себя область рукописного ввода и область без рукописного ввода, над приложением в ответ на обнаруженный пользовательский ввод, принимают и распознают нарисованное от руки изображение в области рукописного ввода окна заметки и управляют функцией приложения в соответствии с результатом распознавания.

По меньшей мере одно из текста и изображения, принятых от приложения, может быть отображено в области без рукописного ввода окна заметки.

Когда обнаружено прикосновение к области без рукописного ввода, окно заметки может распознать ввод нарисованного от руки изображения в области рукописного ввода, преобразовать распознанное нарисованное от руки изображение в текст, соответствующий нарисованному от руки изображению, и передать текст в приложение.

Приложение может разделить текст, принятый от окна заметки, на команду для управления функцией приложения и данные, относящиеся к команде.

В соответствии с другим аспектом настоящего изобретения предложен способ управления приложением в электронном устройстве, имеющем сенсорную панель. Способ содержит этапы, на которых отображают графический объект, представляющий информацию, относящуюся к исполняемому приложению, и кнопку для управления функцией приложения на сенсорной панели, управляют функцией приложения, соответствующей кнопке, отображают после обнаружения прикосновения к кнопке окно заметки, включающее в себя область рукописного ввода и область без рукописного ввода, над графическим объектом и кнопку на сенсорной панели, принимают и распознают после обнаружения заданного ввода на сенсорной панели нарисованное от руки изображение в области рукописного ввода окна заметки и управляют функцией приложения в соответствии с результатом распознавания.

По меньшей мере одно из текста и изображения, принятых от приложения, может быть отображено в области без рукописного ввода окна заметки.

Когда обнаружено прикосновение к тексту и изображению, окно заметки может распознать ввод нарисованного от руки изображения в области рукописного ввода, преобразовать распознанное нарисованное от руки изображение в текст, соответствующий нарисованному от руки изображению, и передать текст в приложение.

Когда окно заметки отображено над кнопкой, кнопка может быть деактивирована.

В соответствии с другим аспектом настоящего изобретения предложен способ управления приложением в электронном устройстве, имеющем сенсорную панель. Способ содержит этапы, на которых после обнаружения ввода прикосновения управляют функцией исполняемого приложения в первом режиме и определяют заданный ввод на сенсорной панели во время исполнения текущего приложения, отображают окно заметки, которое позволяет рукописный ввод, над приложением в соответствии с определенным вводом, распознают ввод нарисованного от руки изображения в окне заметки и управляют функцией исполняемого приложения в соответствии с распознанным нарисованным от руки изображением во втором режиме.

Первый режим может быть деактивирован во втором режиме.

В соответствии с другим аспектом настоящего изобретения предложено электронное устройство. Электронное устройство включает в себя сенсорную панель для обнаружения прикосновения и контроллер для отображения исполняемого приложения на сенсорной панели для отображения окна заметки, включающего в себя область рукописного ввода и область без рукописного ввода, над приложением в ответ на заданный ввод, обнаруженный от сенсорной панели, для распознавания нарисованного от руки изображения в области рукописного ввода окна заметки и для управления функцией приложения в соответствии с результатом распознавания.

Контроллер может управлять отображением текста и изображения, принятых от приложения, в области без рукописного ввода окна заметки.

После обнаружения прикосновения к тексту и изображению контроллер может распознать ввод нарисованного от руки изображения в области рукописного ввода, преобразовать распознанное нарисованное от руки изображение в текст, соответствующий нарисованному от руки изображению, и управлять функцией приложения, соответствующей тексту. Контроллер может разделить текст на команду для управления функцией приложения и данные, относящиеся к команде.

В соответствии с другим аспектом настоящего изобретения предложено электронное устройство. Электронное устройство включает в себя сенсорную панель для обнаружения прикосновения и контроллер для отображения по меньшей мере одного из графического объекта, представляющего информацию, относящуюся к исполняемому приложению, и кнопки для управления функцией приложения на сенсорной панели, для отображения функции приложения, соответствующей кнопке, после обнаружения прикосновения к кнопке, для отображения окна заметки, включающего в себя область рукописного ввода и область без рукописного ввода, над графическим объектом и кнопкой на сенсорной панели после обнаружения заданного ввода на сенсорной панели, для распознавания ввода нарисованного от руки изображения в области рукописного ввода окна заметки и для управления выполнением функции приложения в соответствии с результатом распознавания.

Контроллер может управлять отображением текста и изображения, принятых от приложения, в области без рукописного ввода окна заметки. После обнаружения прикосновения к тексту и изображению контроллер может распознать ввод нарисованного от руки изображения в области рукописного ввода, преобразовать распознанное нарисованное от руки изображение в текст, соответствующий нарисованному от руки изображению, и управлять функцией приложения, соответствующей тексту. Когда окно заметки отображено над кнопкой, контроллер может управлять деактивацией кнопки.

В соответствии с другим аспектом настоящего изобретения предложено электронное устройство. Электронное устройство включает в себя сенсорную панель для обнаружения прикосновения и контроллер для работы в первом режиме, в котором контроллер управляет функцией исполняемого приложения после обнаружения ввода прикосновения, и работы во втором режиме, в котором контроллер идентифицирует заданный ввод на сенсорной панели во время исполнения текущего приложения, отображает окно заметки, которое позволяет рукописный ввод, над приложением в соответствии с идентифицированным вводом, распознает ввод нарисованного от руки изображения в окне заметки и управляет функцией исполняемого приложения в соответствии с распознанным нарисованным от руки изображением.

В соответствии с другим аспектом настоящего изобретения предложено электронное устройство. Электронное устройство включает в себя сенсорную панель для обнаружения прикосновения и контроллер для отображения по меньшей мере одного из графического объекта, представляющего информацию, относящуюся к исполняемому приложению, и кнопки для управления функцией приложения на сенсорной панели, причем контроллер управляет исполнением функции приложения, соответствующей кнопке, после обнаружения прикосновения к кнопке, отображает окно заметки, позволяющее рукописный ввод, на экране, отображающем графический объект и кнопку на сенсорной панели, после обнаружения заданного ввода на сенсорной панели, распознает ввод нарисованного от руки изображения в окне заметки и управляет исполнением функции приложения в соответствии с результатом распознавания.

Другие аспекты, преимущества и признаки изобретения станут ясны для специалистов в данной области техники из нижеследующего подробного описания, которое совместно с приложенными чертежами раскрывает иллюстративные варианты осуществления изобретения.

ПОЛЕЗНЫЕ ЭФФЕКТЫ ИЗОБРЕТЕНИЯ

Иллюстративные варианты осуществления настоящего изобретения могут повысить удобство пользователя, поддерживая функцию заметок в различных приложениях, и тем самым обеспечить интуитивное управление приложениями.

Иллюстративные варианты осуществления настоящего изобретения отличаются тем, что когда пользователь запускает слой заметки на экране и пишет информацию на слое заметки, пользовательский терминал распознает информацию и выполняет операцию, соответствующую информации. Для этого будет предпочтительно дополнительно определить методику для запуска слоя заметки на экране.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Изложенные выше и другие аспекты, признаки и преимущества некоторых иллюстративных вариантов осуществления настоящего изобретения будут более понятны из следующего описания, рассмотренного совместно с прилагаемыми чертежами.

Фиг. 1 - блок-схема пользовательского терминала, поддерживающего взаимодействие на естественном языке (NLI) на основе рукописного ввода в соответствии с иллюстративным вариантом осуществления настоящего изобретения;

фиг. 2 - блок-схема процессора команд для поддержки технологии NLI на основе рукописного ввода в пользовательском терминале в соответствии с иллюстративным вариантом осуществления настоящего изобретения;

фиг. 3 - блок-схема, иллюстрирующая операцию управления для поддержки пользовательского интерфейса (UI) с использованием технологии NLI на основе рукописного ввода в пользовательском терминале в соответствии с иллюстративным вариантом осуществления настоящего изобретения;

фиг. 4 иллюстрирует запрос операции на основе заданного приложения или функции посредством функции заметок в соответствии с иллюстративным вариантом осуществления настоящего изобретения;

фиг. 5 иллюстрирует фактическую структуру заметки пользователя в соответствии с иллюстративным вариантом осуществления настоящего изобретения;

фиг. 6 иллюстрирует один символ, интерпретируемый как различные значения, в соответствии с иллюстративным вариантом осуществления настоящего изобретения;

фиг. 7 иллюстрирует входную информацию, включающую в себя комбинацию текста и символа, интерпретируемую как имеющую разные значения в зависимости от символа, в соответствии с иллюстративным вариантом осуществления настоящего изобретения;

фиг. 8 иллюстрирует использование знаков и символов в семиотике в соответствии с иллюстративным вариантом осуществления настоящего изобретения;

фиг. 9 иллюстрирует использование знаков и символов в механике, электротехнике, вычислительной технике и химии в соответствии с иллюстративным вариантом осуществления настоящего изобретения;

фиг. 10-17 иллюстрируют сценарии работы на основе приложений, поддерживающих функцию заметок, в соответствии с иллюстративным вариантом осуществления настоящего изобретения;

фиг. 18 иллюстрирует конфигурацию для управления активированным приложением посредством функции заметок в пользовательском терминале в соответствии с иллюстративным вариантом осуществления настоящего изобретения;

фиг. 19 - блок-схема, иллюстрирующая операцию управления для управления приложением нижнего слоя посредством вызова слоя заметки в пользовательском терминале в соответствии с иллюстративным вариантом осуществления настоящего изобретения;

фиг. 20a-20c иллюстрируют операции вызова слоя заметки в пользовательском терминале в соответствии с иллюстративным вариантом осуществления настоящего изобретения;

фиг. 21a-21d иллюстрируют, как пользователь пишет заметку на слое заметки, отображенном на экране в пользовательском терминале, в соответствии с иллюстративным вариантом осуществления настоящего изобретения;

фиг. 22 иллюстрирует управление текущим исполняемым заданным приложением с использованием слоя заметки в пользовательском терминале в соответствии с иллюстративным вариантом осуществления настоящего изобретения;

фиг. 23-28 иллюстрируют сценарии вызова приложения, поддерживающего функцию заметок, после активации заданного приложения и исполнения активированного приложения вызванным приложением в соответствии с иллюстративными вариантами осуществления настоящего изобретения;

фиг. 29 и 30 иллюстрируют сценарии, относящиеся к семиотике, в соответствии с иллюстративными вариантами осуществления настоящего изобретения;

фиг. 31 - блок-схема, иллюстрирующая операцию управления для управления приложением нижнего слоя посредством вызова слоя заметки в пользовательском терминале в соответствии с иллюстративным вариантом осуществления настоящего изобретения;

фиг. 32a-36b иллюстрируют операционные сценарии управления текущим исполняемым приложением нижнего слоя с использованием окна заметки в электронном устройстве, имеющем сенсорную панель, в соответствии с иллюстративными вариантами осуществления настоящего изобретения; и

фиг. 37a и 37b иллюстрируют программные модули, включенные в приложение нижнего слоя и приложение слоя заметки (окна заметки), в соответствии с иллюстративным вариантом осуществления настоящего изобретения.

На всех чертежах одинаковые номера ссылочных позиций должны пониматься как относящиеся к одинаковым частям, компонентам и структурам.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Нижеследующее описание со ссылкой на прилагаемые чертежи приведено, чтобы помочь всестороннему пониманию иллюстративных вариантов осуществления изобретения, определенных посредством формулы изобретения и ее эквивалентов. Оно включает в себя различные конкретные подробные сведения, чтобы помочь этому пониманию, но они должны рассматриваться лишь как иллюстративные. В соответствии с этим специалисты в данной области техники поймут, что могут быть сделаны различные изменения и модификации вариантов осуществления без отступления от объема и сущности изобретения. Кроме того, описания общеизвестных функций и конструкций опущены для ясности и краткости.

Термины и слова, используемые в нижеследующем описании и формуле изобретения, не ограничены библиографическими значениями, а лишь используются автором изобретения для обеспечения возможности ясного и непротиворечивого понимания изобретения. В соответствии с этим специалистам в данной области техники должно быть очевидно, что нижеследующее описание иллюстративных вариантов осуществления настоящего изобретения приведено только для иллюстрации, а не для ограничения изобретения, определенного приложенной формулой изобретения и ее эквивалентами.

Следует понимать, что формы единственного числа включают в себя и обозначения множественных объектов, если контекст ясно не указывает иначе. Таким образом, например, отсылка к «поверхности компонента» включает в себя отсылку к одной или более таким поверхностям.

Термин «по существу» подразумевает, что упомянутая характеристика, параметр или значение не обязательно должны быть достигнуты точно, и у величин могут возникнуть отклонения или изменения, в том числе, например, допуски, погрешности измерения, ограничения точности измерения и другие известные специалистам в данной области техники факторы, не препятствующие эффекту, который характеристика предназначена обеспечивать.

Иллюстративные варианты осуществления настоящего изобретения будут приведены для достижения описанных выше технических аспектов настоящего изобретения. В иллюстративной реализации определенные объекты могут иметь одинаковые названия, которыми настоящее изобретение не ограничено. Таким образом, иллюстративные варианты осуществления настоящего изобретения могут быть реализованы с такими же готовыми модификациями в системе, имеющей аналогичную техническую основу.

Иллюстративные варианты осуществления настоящего изобретения предназначены для обеспечения возможности диалоговой процедуры с пользователем посредством функции заметок в пользовательском терминале, к которой применена технология пользовательского интерфейса (UI) на основе рукописного ввода через взаимодействие на естественном языке (NLI) (в дальнейшем называемая «технология NLI на основе рукописного ввода»).

Технология NLI обычно включает в себя понимание и создание. С помощью функций понимания и создания компьютер понимает ввод и отображает текст, легко понятный людям. Таким образом, можно сказать, что технология NLI является приложением для понимания естественного языка, которое обеспечивает возможность диалога на естественном языке между человеком и электронным устройством.

Например, пользовательский терминал исполняет команду, принятую от пользователя, или собирает требуемую информацию, чтобы исполнить входную команду от пользователя в диалоговой процедуре через технологию NLI на основе рукописного ввода.

Чтобы применить технологию NLI на основе рукописного ввода к пользовательскому терминалу, предпочтительно, чтобы переключение между режимом заметок и режимом обработки команд через технологию NLI на основе рукописного ввода в иллюстративных вариантах осуществления настоящего изобретения было выполнено органично. В режиме заметок пользователь пишет заметку на экране, отображаемом активированным приложением, с помощью средств ввода, таких как палец или электронное перо, в пользовательском терминале, тогда как в режиме обработки команд заметка, написанная в режиме заметок, обрабатывается вместе с информацией, связанной с текущим активированным приложением.

Например, после нажатия кнопки электронного пера, то есть после формирования сигнала в аппаратных средствах, может произойти переключение между режимом заметок и режимом обработки команд.

Хотя нижеследующее описание дано в контексте электронного пера, используемого в качестве главного средства ввода для поддержания функции заметок, иллюстративные варианты осуществления настоящего изобретения не ограничены пользовательским терминалом, использующим электронное перо в качестве средства ввода. Другими словами, следует понимать, что любое устройство, с помощью которого пользователь может ввести информацию на сенсорной панели, может использоваться в качестве средства ввода в иллюстративных вариантах осуществления настоящего изобретения.

Предпочтительно информация совместно используется пользовательским терминалом и пользователем по предварительному взаимному соглашению таким образом, чтобы пользовательский терминал мог принять намеченную информацию от пользователя посредством обмена вопросами и ответами с пользователем и тем самым мог обеспечить результат обработки принятой информации пользователю через технологию NLI на основе рукописного ввода иллюстративных вариантов осуществления настоящего изобретения. Например, может быть согласовано, что для запроса переключения режима работы используется по меньшей мере одно из символа, структуры, текста и их комбинации, или используется движение посредством функции распознавания жестового ввода. Главным образом, может запрашиваться переключение из режима заметок в режим обработки команд или переключение из режима обработки команд в режим заметок.

В отношении соглашения относительно входной информации, соответствующей символу, структуре, тексту или их комбинации, предпочтительно проанализировать структуру заметки пользователя и рассмотреть результат анализа, чтобы тем самым позволить пользователю интуитивно и удобно ввести намеченную информацию.

Различные сценарии управления различными активированными приложениями посредством функции заметок, основанной на технологии NLI на основе рукописного ввода, и выдачи результатов управления будут описаны как отдельные иллюстративные варианты осуществления настоящего изобретения.

Например, будет дано описание сценария выбора всех или части заметок и обработки выбранного содержания заметки посредством заданной команды, сценария ввода заданной информации на экран заданного активированного приложения посредством функции заметок, сценария обработки заданной команды в диалоговой процедуре с использованием технологию NLI на основе рукописного ввода и т.п.

Обратимся к иллюстративным вариантам осуществления настоящего изобретения в отношении приложенных чертежей. Аналогичные номера ссылочных позиций обозначают одинаковые компоненты на чертежах. Описания общеизвестных функций и структур иллюстративных вариантов осуществления настоящего изобретения будут опускаться, чтобы они не затрудняли понимание предмета настоящего изобретения.

Фиг. 1 является блок-схемой пользовательского терминала, поддерживающего технологию NLI на основе рукописного ввода, в соответствии с иллюстративным вариантом осуществления настоящего изобретения. Хотя на фиг. 1 показаны только компоненты пользовательского терминала, требуемые для поддержки технологии NLI на основе рукописного ввода, понятно, что к пользовательскому терминалу могут быть добавлены компоненты для выполнения других функций. Также возможно сконфигурировать каждый компонент, проиллюстрированный на фиг. 1, в виде программного функционального блока, а также аппаратного функционального блока.

Согласно фиг. 1 блок 110 исполнения приложений устанавливает приложение, принятое через сеть или внешний интерфейс, совместно с запоминающим устройством (не показано) по запросу пользователя. Блок 110 исполнения приложений активирует одно из установленных приложений по запросу пользователя и управляет активированным приложением в соответствии с внешней командой. Внешняя команда относится почти к любой из внешних введенных команд, отличающихся от внутренних сформированных команд.

Например, внешняя команда может представлять собой команду, соответствующую вводу информации через технологию NLI на основе рукописного ввода пользователем, а также команду, соответствующую вводу информации через сеть. В иллюстративной реализации внешняя команда ограничена командой, соответствующей вводу информации через технологию NLI на основе рукописного ввода пользователем, что не должно быть истолковано как ограничение иллюстративных вариантов осуществления настоящего изобретения.

Блок 110 исполнения приложений выдает результат установки или активации заданного приложения пользователю через технологию NLI на основе рукописного ввода. Например, блок 110 исполнения приложений выдает результат установки или активации заданного приложения на дисплее блока 130 сенсорной панели. Блок 130 сенсорной панели может обнаружить прикосновение.

Блок 130 сенсорной панели выполнен с возможностью обрабатывать ввод/вывод информации через технологию NLI на основе рукописного ввода. Блок 130 сенсорной панели выполняет функцию отображения и функцию ввода. Функция отображения в общем относится к функции отображения информации на экране, и функция ввода в общем относится к функции приема информации от пользователя.

Однако очевидно, что пользовательский терминал может включать в себя дополнительную структуру для выполнения функции отображения и функции ввода. Например, пользовательский терминал может дополнительно включать в себя камеру для обнаружения движения.

В иллюстративной реализации блок 130 сенсорной панели будет описан как выполняющий функцию отображения и функцию ввода без какого-либо различения между функцией отображения и функцией ввода относительно операций блока 130 сенсорной панели. Блок 130 сенсорной панели распознает заданную информацию или заданную команду от пользователя и передает распознанную информацию или команду блоку 110 исполнения приложений и/или процессору 120 команд.

Информация может представлять собой информацию о заметке, написанной пользователем, или информацию об ответе в диалоговой процедуре на основе технологии NLI на основе рукописного ввода. Кроме того, информация может представлять собой информацию для выбора целой или части заметки, отображенной на текущем экране.

Команда может являться командой, запрашивающей установку заданного приложения, или командой, запрашивающей активацию заданного приложения среди уже установленных приложений. Команда может являться командой, запрашивающей исполнение заданной операции, функции и т.п., поддерживаемой выбранным приложением.

Информация или команда могут быть введены в виде линии, символа, структуры или их комбинации, а также текста. Такие линия, символ, структура и т.п. могут быть заданы посредством соглашения.

Блок 130 сенсорной панели отображает на экране результат активации заданного приложения или выполнения заданной функции активированного приложения посредством блока 110 исполнения приложений.

Блок 130 сенсорной панели также отображает на экране вопрос или результат в диалоговой процедуре. Например, когда пользователь вводит заданную команду, блок 130 сенсорной панели отображает результат обработки заданной команды, принятый от процессора 120 команд, или отображает запрос для сбора дополнительной информации, необходимой для обработки заданной команды от пользователя. После получения от пользователя дополнительной информации в качестве ответа на вопрос блок 130 сенсорной панели передает принятую дополнительную информацию процессору 120 команд.

Затем блок 130 сенсорной панели отображает дополнительный запрос для сбора другой информации относительно запроса процессора 120 команд или отображает результат обработки заданной команды, отражающий принятую дополнительную информацию.

Процессор 120 команд принимает введенный пользователем текст, символ, изображение, структуру и т.п. от блока 130 сенсорной панели и определяет намеченный пользователем ввод посредством текста, символа, изображения, структуры и т.п.

Например, процессор 120 команд может распознать намеченный пользователем ввод посредством естественно-языковой обработки принятого текста, символа, изображения, структуры и т.п. Для естественно-языковой обработки процессор 120 команд использует технологию NLI на основе рукописного ввода. Намеченный пользователем ввод включает в себя команду, запрашивающую активацию заданного приложения или исполнение заданной функции в текущем активном приложении, или ответ на вопрос.

Когда процессор 120 команд определяет, что намеченный пользователем ввод является командой, запрашивающей некоторую операцию, процессор 120 команд обрабатывает определенную команду. В частности, процессор 120 команд может дать блоку 110 исполнения приложений команду активировать заданное приложение или исполнить заданную функцию текущего активного приложения в соответствии с определенной командой. В этом случае процессор 120 команд принимает результат обработки от блока 110 исполнения приложений и передает результат обработки блоку 130 сенсорной панели.

Блок 110 исполнения приложений может передать результат обработки непосредственно блоку 130 сенсорной панели, а не процессору 120 команд.

Если для обработки определенной команды необходима дополнительная информация, процессор 120 команд создает запрос для сбора дополнительной информации и передает запрос блоку 130 сенсорной панели. После этого процессор 120 команд может принять ответ на запрос от блока 130 сенсорной панели.

Процессор 120 команд может постоянно обмениваться вопросами и ответами с пользователем, то есть может продолжить диалог с пользователем через блок 130 сенсорной панели, пока не получит достаточно информации для обработки определенной команды. Например, процессор 120 команд может повторять диалоговую процедуру через блок 130 сенсорной панели.

Для выполнения описанной выше операции процессор 120 команд применяет технологию NLI на основе рукописного ввода посредством взаимодействия с блоком 130 сенсорной панели. Например, процессор 120 команд обеспечивает возможность вопросов и ответов, то есть диалога между пользователем и электронным устройством посредством функции заметок через естественно-языковой интерфейс на основе рукописного ввода. Пользовательский терминал обрабатывает команду пользователя или обеспечивает пользователю результат обработки команды пользователя в диалоге.

Блок 130 сенсорной панели может обнаруживать прикосновение. Процессор 120 команд и блок 110 исполнения приложений могут быть включены в состав контроллера (не показан), или контроллер может быть выполнен с возможностью выполнять операции процессора 120 команд и блока 110 исполнения приложений. Контроллер может отображать исполняемое приложение на сенсорной панели и может отображать окно заметки над приложением в ответ на заданный жест, обнаруженный с сенсорной панели. Окно заметки разделено на область рукописного ввода и область без рукописного ввода. Ввод прикосновения пользователя может быть обнаружен в области рукописного ввода, тогда как вводом прикосновения пользователя в области без рукописного ввода можно пренебречь. Заданный жест может представлять собой прикосновение и перетаскивание, кот