Способ и устройство пользовательского интерфейса для пользовательского терминала

Способ и устройство пользовательского интерфейса для пользовательского терминала

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[1] Настоящее изобретение относится к способу и устройству пользовательского интерфейса (UI) для пользовательского терминала и, в частности, к устройству с основанным на написании от руки UI в пользовательском терминале и способу поддержки того же самого.

УРОВЕНЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ

[2] Наряду с недавним ростом переносных электронных устройств повышаются требования к Пользовательским Интерфейсам (User Interface (UI)), которые позволяют осуществлять интуитивный ввод/вывод. Например, традиционные UI, на которых информация вводится посредством дополнительного устройства, такого как клавиатура, клавишная панель, координатный манипулятор типа «мышь» и т.д., развились до интуитивных UI, на которых информация вводится посредством прямого прикосновения к экрану пальцем или электронным пером для прикосновения или голосом.

[3] Кроме того, вследствие развития технология UI стала интуитивной и ориентированной на человека, а также удобной для пользователя. С помощью технологии UI пользователь может разговаривать с переносным электронным устройством посредством голоса для того, чтобы вводить надлежащую информацию или получать желаемую информацию.

[4] Как правило, устанавливается некоторое количество приложений, и новые функции становятся доступными из установленных приложений в популярном переносном электронном устройстве, смартфоне.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

ТЕХНИЧЕСКАЯ ЗАДАЧА

[5] Несмотря на это, множество приложений, установленных в смартфоне, в целом исполняются независимо, не обеспечивая новой функции или результата пользователю совместно друг с другом.

[6] Например, приложение планирования позволяет осуществлять ввод информации только в своем поддерживаемом UI несмотря на поддержку пользовательским терминалом интуитивного UI.

[7] Кроме того, пользовательский терминал, поддерживающий функцию заметки, предоставляет пользователю возможность записывания записей с использованием такого средства ввода, как его или ее палец или электронное перо, но не предлагает какого-либо заданного способа использования записей совместно с другими приложениями.

РЕШЕНИЕ ЗАДАЧИ

[8] Один аспект вариантов осуществления настоящего изобретения должен быть направлен на решение по меньшей мере упомянутых проблем и/или недостатков и обеспечивать по меньшей мере преимущества, описанные ниже. Соответственно, один аспект вариантов осуществления настоящего изобретения должен обеспечивать устройство и способ обмена информацией с пользователем в основанном на написании от руки Пользовательском Интерфейсе (UI) в пользовательском терминале.

[9] Другой аспект вариантов осуществления настоящего изобретения должен обеспечивать способ и устройство UI для исполнения особой команды с использованием основанной на написании от руки функции заметки в пользовательском терминале.

[10] Другой аспект вариантов осуществления настоящего изобретения должен обеспечивать способ и устройство UI для обмена вопросами и ответами с пользователем посредством основанной на написании от руки функции заметки в пользовательском терминале.

[11] Еще один аспект вариантов осуществления настоящего изобретения должен обеспечивать способ и устройство UI для приема команды для обработки выбранной всей или часть записи, написанной на экране, посредством функции заметки в пользовательском терминале.

[12] Другой аспект вариантов осуществления настоящего изобретения должен обеспечивать способ и устройство UI для поддержки переключения между режимом заметки и режимом обработки команды в пользовательском терминале, поддерживающем функцию заметки, посредством электронного пера.

[13] Еще один аспект вариантов осуществления настоящего изобретения должен обеспечивать способ и устройство UI, в то время как приложение задействовано, предоставляя возможность ввода команды для управления задействованным приложением или другим приложением в пользовательском терминале.

[14] Дополнительный аспект вариантов осуществления настоящего изобретения должен обеспечивать способ и устройство UI для анализа шаблона заметки пользователя и определения ввода информации посредством запоминающей функции, принимая во внимание проанализированный шаблон заметки, в пользовательском терминале.

[15] В соответствии с одним вариантом осуществления настоящего изобретения предлагается способ UI в пользовательском терминале, в котором событие ввода посредством пера принимают согласно вводу посредством пера, примененному на экране заметки пользователем, содержимое ввода посредством пера распознают согласно событию ввода посредством пера, команду и содержимое записи, для которого должна быть исполнена упомянутая команда, определяют из распознанного содержимого ввода посредством пера, исполняют приложение, соответствующее упомянутой определенной команде, и упомянутое определенное содержимое записи используют в качестве входных данных для приложения.

[16] В соответствии с другим вариантом осуществления настоящего изобретения предлагается устройство UI в пользовательском терминале, в котором блок сенсорной панели отображает экран заметки и выводит событие ввода посредством пера согласно вводу посредством пера, примененному на экране заметки пользователем, командный процессор распознает содержимое ввода посредством пера согласно событию ввода посредством пера, определяет команду и содержимое записи, для которого должна быть исполнена упомянутая команда, из распознанного содержимого ввода посредством пера, и предоставляет упомянутую команду и содержимое записи, для которого должна быть исполнена упомянутая команда, и блок исполнения приложения исполняет приложение, соответствующее упомянутой определенной команде, и использует упомянутое определенное содержимое записи в качестве входных данных для упомянутого приложения.

ПРЕИМУЩЕСТВЕННЫЕ РЕЗУЛЬТАТЫ ИЗОБРЕТЕНИЯ

[17] Представленные варианты осуществления настоящего изобретения могут предоставлять больше удобства пользователю посредством поддержки функции заметки в различных приложениях и таким образом управления приложениями интуитивным образом.

[18] Представленные варианты осуществления настоящего изобретения характеризуются тем, что, когда пользователь запускает слой заметки на экране и записывает информацию на слое заметки, пользовательский терминал распознает информацию и выполняет действие, соответствующее информации.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[19] Вышеупомянутые и другие задачи, признаки и преимущества некоторых вариантов осуществления настоящего изобретения станут более очевидны из последующего подробного описания, рассматриваемого совместно с сопроводительными чертежами, на которых:

[20] Фиг. 1 является схематической блок-схемой пользовательского терминала, поддерживающего основанное на написании от руки Взаимодействие посредством Естественного Языка (Natural Language Interaction (NLI)), согласно одному варианту осуществления настоящего изобретения;

[21] Фиг. 2 является подробной блок-схемой пользовательского терминала, поддерживающего основанное на написании от руки NLI, согласно одному варианту осуществления настоящего изобретения;

[22] На Фиг. 3 изображена конфигурация пера для прикосновения, поддерживающего основанное на написании от руки NLI, согласно одному варианту осуществления настоящего изобретения;

[23] На Фиг. 4 изображено действие по распознаванию ввода посредством прикосновения и ввода посредством прикосновения пером через сенсорную панель и панель распознавания пера согласно одному варианту осуществления настоящего изобретения;

[24] Фиг. 5 является подробной блок-схемой контроллера в пользовательском терминале, поддерживающем основанное на написании от руки NLI, согласно одному варианту осуществления настоящего изобретения;

[25] Фиг. 6 является блок-схемой командного процессора для поддержки основанного на написании от руки NLI в пользовательском терминале согласно одному варианту осуществления настоящего изобретения;

[26] Фиг. 7 является блок-схемой последовательности операций, изображающей управляющее действие для поддержки Пользовательского Интерфейса (UI) с использованием основанного на написании от руки NLI в пользовательском терминале согласно одному варианту осуществления настоящего изобретения;

[27] На Фиг. 8 изображен пример требования действия на основе заданного приложения или функции посредством функции заметки;

[28] На Фиг. 9 изображен пример фактического пользовательского шаблона заметки для использования в реализации вариантов осуществления настоящего изобретения;

[29] На Фиг. 10 изображен пример, в котором один символ может быть интерпретирован в качестве различных значений;

[30] На Фиг. 11 изображен пример, в котором введенная информация, включающая в себя сочетание текста и символа, может интерпретироваться в качестве различных значений в зависимости от символа;

[31] На Фиг. 12 изображены примеры использования знаков и символов в семиотике;

[32] На Фиг. 13 изображены примеры использования знаков и символов в машиностроении/электротехнике/вычислительной технике и химии;

[33] На Фиг. 14-22 изображены сценарии действия технологии UI согласно одному варианту осуществления настоящего изобретения;

[34] На Фиг. 23-28 изображены примерные сценарии запуска приложения, поддерживающего функцию заметки, после того, как задействуется заданное приложение, и затем исполнения задействованного приложения запущенным приложением и

[35] На Фиг. 29 и 30 изображены примерные сценарии, относящиеся к семиотике.

[36] Следует понимать, что повсюду на чертежах одни и те же чертежные ссылочные позиции обозначают одни и те же элементы, признаки и структуры.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

[37] Для достижения вышеописанных технических задач настоящего изобретения должны предлагаются представленные варианты осуществления настоящего изобретения. Для удобства описания заданные объекты могут иметь одни и те же имена, которые не накладывают ограничений на настоящее изобретение. Таким образом, настоящее изобретение может быть реализовано с теми же самыми или готовыми модификациями в системе, имеющей схожий технический уровень.

[38] Варианты осуществления настоящего изобретения, которое будет описано позже, предназначены для осуществления процедуры вопроса и ответа с пользователем посредством функции заметки в пользовательском терминале, в котором технология основанного на написании от руки Пользовательского Интерфейса (User Interface (UI)) применяется через Взаимодействие посредством Естественного Языка (Natural Language Interaction (NLI)) (далее упоминаемого в качестве «основанного на написании от руки NLI»).

[39] NLI в целом включает в себя понимание и создание. С помощью функций понимания и создания вычислительное устройство понимает ввод и отображает текст, легко понятный людям. Таким образом, можно сказать, что NLI является понимающим естественный язык приложением, которое позволяет осуществлять диалог на естественном языке между человеком и электронным устройством.

[40] Например, пользовательский терминал исполняет команду, принятую от пользователя, или получает информацию, необходимую для исполнения команды ввода от пользователя в процедуре вопроса и ответа через NLI.

[41] Для применения основанного на написании от руки NLI к пользовательскому терминалу предпочтительно, чтобы переключение выполнялось органически между режимом заметки и режимом обработки команды через основанное на написании от руки NLI в настоящем изобретении. В режиме заметки пользователь пишет запись на экране, отображаемом задействованным приложением, с помощью такого средства ввода, как палец или электронное перо, в пользовательском терминале, тогда как в режиме обработки команды запись, написанная в режиме заметки, обрабатывается совместно с информацией, относящейся к текущему задействованному приложению.

[42] Например, переключение может произойти между режимом заметки и режимом обработки команды посредством нажатия кнопки электронного пера, то есть, посредством создания сигнала в аппаратном обеспечении.

[43] Несмотря на то, что последующее описание предоставлено в контексте электронного пера, используемого в качестве главного инструмента ввода для поддержки функции заметки, настоящее изобретение не ограничивается пользовательским терминалом, использующим электронное перо в качестве средства ввода. Другими словами, следует понимать, что любое устройство, выполненное с возможностью ввода информации на сенсорной панели, может использоваться в качестве средства ввода в вариантах осуществления настоящего изобретения.

[44] Предпочтительно, информация используется совместно между пользовательским терминалом и пользователем по предварительно взаимному согласию так, чтобы пользовательский терминал мог принимать надлежащую информацию от пользователя посредством обмена вопросом и ответом с пользователем, и таким образом мог предоставлять результат обработки принятой информации пользователю через основанное на написании от руки NLI настоящего изобретения. Например, можно согласиться с тем, чтобы в случае запрашивания переключения режима функционирования использовалось по меньшей мере одно из символа, шаблона, текста и их сочетания, либо функцией распознавания ввода посредством жеста использовалось движение (или жест). Главным образом может потребоваться переключение с режима заметки на режим обработки команды или переключение с режима обработки команды на режим заметки.

[45] В отношении согласия на введенную информацию, соответствующую символу, шаблону, тексту или их сочетанию предпочтительным является анализ пользовательского шаблона заметки и рассмотрение результата анализа, чтобы тем самым предоставить возможность пользователю интуитивно вводить надлежащую информацию.

[46] Различные сценарии, в которых управление текущим задействованным приложением посредством функции заметки, на основе основанного на написании от руки NLI и вывод результата управления происходят в одно время, будут подробно описаны в качестве отдельных вариантов осуществления настоящего изобретения.

[47] Например, будет дано подробное описание сценария выбора всей или части записи и обработки выбранного содержимого записи посредством заданной команды, сценария ввода заданной информации на экран заданного приложения посредством функции заметки, сценария обработки заданной команды в процедуре вопроса и ответа с использованием основанного на написании от руки NLI, и т.д.

[48] Предпочтительные варианты осуществления настоящего изобретения будут упомянуты со ссылкой на прилагаемые чертежи. Подробное описание общеизвестной функции и структуры настоящего изобретения будет исключено, чтобы не затруднять понимание предмета изобретения настоящего изобретения.

[49] Фиг.1 является схематической блок-схемой пользовательского терминала, поддерживающего основанное на написании от руки NLI, согласно одному варианту осуществления настоящего изобретения. Несмотря на то, что на Фиг. 1 изображены только составляющие пользовательского терминала, необходимые для поддержки основанного на написании от руки NLI согласно одному варианту осуществления настоящего изобретения, для выполнения других функций к пользовательскому терминалу могут быть добавлены другие составляющие. Также возможно сконфигурировать каждую составляющую, изображенную на Фиг. 1, в виде функционального блока программного обеспечения, так же как и функционального блока аппаратного обеспечения.

[50] На Фиг. 1 блок 110 исполнения приложения устанавливает приложение, принятое через сеть или внешний интерфейс, совместно с запоминающим устройством (не изображено) по требованию пользователя. Блок 110 исполнения приложения задействует одно из установленных приложений по требованию пользователя или в ответ на прием внешней команды и управляет задействованным приложением согласно внешней команде. К внешней команде относится почти любая из внешне введенных команд, отличающихся от внутренне созданных команд.

[51] Например, внешняя команда может быть командой, соответствующей информации, введенной пользователем через основанное на написании от руки NLI, а также командой, соответствующей информации, введенной через сеть. Для удобства описания внешняя команда ограничена командой, соответствующей информации, введенной пользователем через основанное на написании от руки NLI, что не следует рассматривать в качестве ограничения настоящего изобретения.

[52] Блок 110 исполнения приложения предоставляет результат установки или задействования заданного приложения пользователю через основанное на написании от руки NLI. Например, блок 110 исполнения приложения выводит результат установки или задействования заданного приложения или исполнения функции заданного приложения на устройстве отображения блока 130 сенсорной панели.

[53] Блок 130 сенсорной панели обрабатывает ввод/вывод информации через основанное на написании от руки NLI. Блок 130 сенсорной панели выполняет функцию отображения и функцию ввода. К функции отображения в общем случае относится функция отображения информации на экране, а к функции ввода в общем случае относится функция приема информации от пользователя.

[54] Однако, очевидно, что пользовательский терминал может включать в себя дополнительную структуру для выполнения функции отображения и функции ввода. Например, пользовательский терминал может дополнительно включать в себя модуль обнаружения движения для обнаружения ввода посредством движения или модуль оптического обнаружения для обнаружения ввода оптических символов. Модуль обнаружения движения включает в себя камеру и датчик близости и может обнаруживать перемещение предмета в пределах заданного расстояния от пользовательского терминала с использованием камеры и датчика близости. Модуль оптического обнаружения может обнаруживать свет и выводить сигнал обнаружения света. Для удобства описания предполагается, что блок 130 сенсорной панели выполняет как функцию отображения, так и функцию ввода без разделения своего функционирования на функцию отображения и функцию ввода.

[55] Блок 130 сенсорной панели принимает заданную информацию или заданную команду от пользователя и предоставляет принятую информацию или команду в блок 110 исполнения приложения и/или командный процессор 120. Данная информация может быть информацией о записи, написанной пользователем, то есть, записи, написанной от руки на экране заметки пользователем, или информацией об ответе в процедуре вопроса и ответа на основе основанное на написании от руки NLI. Кроме того, информация может быть информацией для выбора всей или части записи, отображаемой на текущем экране.

[56] Команда может быть командой, требующей установку заданного приложения, или командой, требующей задействования или исполнения заданного приложения из числа уже установленных приложений. Кроме того, команда может быть командой, требующей исполнения заданного действия, функции и т.д., поддерживаемых выбранным приложением.

[57] Информация или команда могут быть введены в виде линии, символа, шаблона или их сочетания, а также в тексте. Такая линия, символ, шаблон и т.д. могут быть предварительно установленными по согласию или изучению.

[58] Блок 130 сенсорной панели отображает результат задействования заданного приложения или выполнения заданной функции задействованного приложения блоком 110 исполнения приложения на экране.

[59] Блок 130 сенсорной панели также отображает вопрос или результат в процедуре вопроса и ответа на экране. Например, когда пользователь вводит заданную команду, то блок 130 сенсорной панели отображает результат обработки заданной команды, принятый от командного процессора 120, или вопрос на получение дополнительной информации, необходимой для обработки заданной команды. После приема дополнительной информации в качестве ответа на вопрос от пользователя блок 130 сенсорной панели предоставляет принятую дополнительную информацию в командный процессор 120.

[60] Впоследствии, блок 130 сенсорной панели отображает дополнительный вопрос для получения другой информации по требованию командного процессора 120 или результат обработки заданной команды, отражающий принятую дополнительную информацию.

[61] При этом блок 130 сенсорной панели отображает экран заметки и выводит событие ввода посредством пера согласно вводу посредством пера, примененному пользователем на экране заметки.

[62] Командный процессор 120 принимает событие ввода посредством пера, например, введенный пользователем текст, символ, фигуру, шаблон и т.д., от блока 130 сенсорной панели и идентифицирует надлежащий для пользователя ввод по тексту, символу, фигуре, шаблону и т.д. Например, командный процессор 120 принимает запись, написанную на экране заметки пользователем, от блока 130 сенсорной панели и распознает содержимое принятой записи. Другими словами, командный процессор распознает содержимое ввода посредством пера согласно событию ввода посредством пера.

[63] Например, командный процессор 120 может распознавать надлежащий для пользователя ввод посредством обработки принятого текста, символа, фигуры, шаблона и т.д. с использованием естественного языка. Для обработки с использованием естественного языка командный процессор 120 использует основанное на написании от руки NLI. Надлежащий для пользователя ввод включает в себя команду, требующую задействование заданного приложения или исполнение заданной функции в текущем задействованном приложении, или ответ на вопрос.

[64] Когда командный процессор 120 определяет, что надлежащий для пользователя ввод является командой, требующей конкретного действия, то командный процессор 120 обрабатывает определенную команду. В частности, командный процессор 120 выводит распознанный результат, соответствующий определенной команде, блоку 110 исполнения приложения. Блок 110 исполнения приложения может задействовать заданное приложение или исполнить заданную функцию в текущем задействованном приложении на основе результата распознавания. В данном случае командный процессор 120 принимает обработанный результат от блока 110 исполнения приложения и предоставляет обработанный результат в блок 130 сенсорной панели. Очевидно, что блок 110 исполнения приложения может предоставлять обработанный результат напрямую в блок 130 сенсорной панели, а не в командный процессор 120.

[65] Если необходима дополнительная информация для обработки определенной команды, то командный процессор 120 создает вопрос для получения данной дополнительной информации и предоставляет вопрос в блок 130 сенсорной панели. Затем командный процессор 120 может принять ответ на вопрос от блока 130 сенсорной панели.

[66] Командный процессор 120 может непрерывно обмениваться вопросами и ответами с пользователем, то есть, может продолжать диалог с пользователем через блок 130 сенсорной панели пока не получит достаточной информации, чтобы обработать определенную команду. Таким образом, командный процессор 120 может повторять процедуру вопроса и ответа через блок 130 сенсорной панели.

[67] Для выполнения вышеописанного действия командный процессор 120 внедряет основанное на написании от руки NLI посредством взаимодействия с блоком 130 сенсорной панели. Таким образом командный процессор 120 позволяет осуществлять вопросы и ответы, то есть диалог между пользователем и электронным устройством, посредством функции заметки через основанный на написании от руки интерфейс естественного языка. Пользовательский терминал обрабатывает пользовательскую команду или предоставляет результат обработки пользовательской команды пользователю в диалоге.

[68] Относительно вышеописанной конфигурации пользовательского терминала согласно настоящему изобретению пользовательский терминал может включать в себя другие составляющие в дополнение к командному процессору 120, блоку 110 исполнения приложения и блоку 130 сенсорной панели. Командный процессор 120, блок 110 исполнения приложения и блок 130 сенсорной панели могут быть сконфигурированы согласно различным вариантам осуществления настоящего изобретения.

[69] Например, командный процессор 120 и блок 110 исполнения приложения могут быть включены в контроллер 160, который предоставляет полное управление пользовательскому терминалу, либо контроллер 160 может быть сконфигурирован так, чтобы выполнять действия командного процессора 120 и блока 110 исполнения приложения.

[70] Блок 130 сенсорной панели ответственен за обработку ввода/выхода информации, участвующих в применении основанного на написании от руки NLI. Блок 130 сенсорной панели может включать в себя панель отображения для отображения выводимой информации пользовательского терминала и панель ввода, к которой пользователь применяет ввод. Панель ввода может быть реализована по меньшей мере в одной панели, выполненной с возможностью обнаружения различных вводов, таких как ввод пользователем посредством одиночного прикосновения или множества прикосновений, ввод посредством перетаскивания, ввод посредством написания от руки, ввод посредством черчения и т.д.

[71] Панель ввода может быть сконфигурирована с возможностью включения в себя одиночной панели, выполненной с возможностью обнаружения как ввода посредством пальца, так и ввода посредством пера, или двух панелей, например, сенсорной панели, выполненной с возможностью обнаружения ввода посредством пальца, и панели распознавания пера, выполненной с возможностью обнаружения ввода посредством пера.

[72] Фиг. 2 является подробной блок-схемой пользовательского терминала, поддерживающего основанное на написании от руки NLI, согласно одному варианту осуществления настоящего изобретения.

[73] На Фиг. 2 пользовательский терминал 100 согласно одному варианту осуществления настоящего изобретения может включать в себя контроллер 160, блок 180 ввода, блок 130 сенсорной панели, аудио процессор 140, запоминающее устройство 150 и модуль 170 связи.

[74] Блок 130 сенсорной панели может включать в себя панель 132 отображения, сенсорную панель 134 и панель 136 распознавания пера. Блок 130 сенсорной панели может отображать экран заметки на сенсорной панели 132 и принимать написанную от руки запись, написанную на экране заметки пользователем, через по меньшей мере одну из сенсорной панели 134 и панели 136 распознавания пера. Например, после обнаружения ввода посредством прикосновения пальца пользователя или предмета в режиме ввода посредством прикосновения блок 130 сенсорной панели может вывести событие ввода посредством прикосновения через сенсорную панель 134. После обнаружения ввода посредством пера, соответствующего пользовательскому манипулированию пером в режиме ввода посредством пера, блок 130 сенсорной панели может вывести событие ввода посредством пера через панель 136 распознавания пера.

[75] Касательно обнаружения пользовательского ввода посредством пера через панель 136 распознавания пера пользовательский терминал 100 собирает информацию о состоянии пера о пере 20 для прикосновения и информацию распознавания ввода посредством пера, соответствующую жесту ввода посредством пера, через панель 136 распознавания пера. Затем пользовательский терминал 100 может идентифицировать предварительно заданную команду для функции пера, соотносимую с собранной информацией о состоянии пера и информацию распознавании пера, и исполняет функцию, соответствующую команде для функции пера. Кроме того, пользовательский терминал 100 может собирать информацию о типе функции текущего задействованного приложения, а также информацию о состоянии пера и информацию распознавания ввода посредством пера, и может создавать предварительно заданную команду для функции пера, соотнесенную с информацией о состоянии пера, информацией распознавании ввода посредством пера и информацией о типе функции.

[76] С целью распознавания ввода посредством пера панель 136 распознавания пера может быть размещена в предварительно определенном местонахождении в пользовательском терминале 100 и может быть задействована после создания заданного события или по умолчанию. Панель 136 распознавания пера может быть выполнена над предварительно определенной областью при панели 132 отображения, например, над областью, покрывающей область отображения панели 132 отображения. Панель 136 распознавания пера может принимать информацию о состоянии пера согласно приближению пера 20 для прикосновения и манипулирования пером 20 для прикосновения и может предоставлять информацию о состоянии пера в контроллер 160. Дополнительно, панель 143 распознавания пера может принимать информацию распознавания ввода посредством пера согласно жесту ввода, совершенному с помощью пера 20 для прикосновения, и предоставлять информацию распознавания ввода посредством пера в контроллер 160.

[77] Панель 136 распознавания пера сконфигурирована так, чтобы принимать значение местонахождения пера 20 для прикосновения на основе электромагнитной индукции и пера 20 для прикосновения, имеющего катушку. Панель 136 распознавания пера может собирать значение электромагнитной индукции, соответствующее близости пера 20 для прикосновения, и предоставлять данное значение электромагнитной индукции в контроллер 160. Данное значение электромагнитной индукции может соответствовать информации о состоянии пера, то есть, информации, указывающей, находится ли перо для прикосновения в состоянии нависания или в состоянии контакта. Перо 20 для прикосновения нависает над панелью 136 распознавания пера или сенсорной панелью 134 на величину предварительно определенного зазора в состоянии нависания, тогда как перо 20 для прикосновения контактирует с панелью 132 отображения или сенсорной панелью 134 или отдалено от панели 132 отображения или сенсорной панели 134 на величину другого предварительно определенного зазора.

[78] Теперь будет более подробно описана конфигурация пера 20 для прикосновения. На Фиг. 3 изображена конфигурация пера 20 для прикосновения для поддержки основанного на написании от руки NLI согласно одному варианту осуществления настоящего изобретения. На Фиг. 3 перо 20 для прикосновения может включать в себя тело 22 пера, острие 21 пера на конце тела 22 пера, катушку 23, размещенную в теле 22 пера по близости острия 21 пера, и кнопку 24 для изменения значения электромагнитной индукции, создаваемой от катушки 23. Перо 20 для прикосновения, имеющее данную конфигурацию, согласно настоящему изобретению поддерживает электромагнитную индукцию. Катушка 23 формирует магнитное поле в заданной точке панели 136 распознавания пера так, чтобы панель 136 распознавания пера могла распознавать точку, к которой осуществлено прикосновение, посредством обнаружения местонахождения магнитного поля.

[79] Острие 21 пера контактирует с панелью 132 отображения или панелью 136 распознавания пера, когда панель 136 распознавание пера размещена на панели 132 отображения, чтобы тем самым указывать заданную точку на панели 132 отображения. Поскольку острие 21 пера помещено на концевом наконечнике тела 22 пера, и катушка 23 отдалена от острия 21 пера на предварительно определенное расстояние, то, когда пользователь пишет, захватив перо 20 для прикосновения, расстояние между местонахождением прикосновения острия 21 пера и местонахождением магнитного поля, созданного катушкой 23, может быть скомпенсировано. Вследствие компенсации расстояния пользователь может выполнять действие ввода, такое как написание от руки (записывание) или черчение, прикосновение (выбор), прикосновение и перетаскивание (выбор и затем перемещение) и т.д., указывая заданную точку панели 132 отображения с помощью острия 21 пера. В частности, пользователь может применять ввод посредством пера, включающий в себя заданное написание от руки или черчение, прикасаясь к панели 132 отображения с помощью острия 21 пера.

[80] Когда перо 20 для прикосновения оказывается в пределах предварительно определенного расстояния до панели 136 распознавания пера, катушка 36 может создавать магнитное поле в заданной точке панели 136 распознавания пера. Таким образом, пользовательский терминал 100 может сканировать магнитное поле, сформированное на панели 136 распознавания пера, в режиме реального времени или через каждый предварительно определенный интервал времени. Панель 136 распознавания пера может быть задействована в момент, когда задействуется перо 20 для прикосновения. В частности, панель 136 распознавания пера может распознавать различные состояния пера согласно близости пера 20 к панели 136 распознавания пера.

[81] Пользователь может нажать на кнопку 24 пера 20 для прикосновения. При нажатии кнопки 24 может происходить создание заданного сигнала из пера 20 для прикосновения и предоставление данного заданного сигнала в панель 136 распознавания пера. Для такого действия вблизи кнопки 24 могут быть размещены заданный конденсатор, дополнительная катушка или заданное устройство для вызывания изменения электромагнитной индукции. Когда происходит прикосновение к кнопке 24 или нажатие на кнопку 24, то конденсатор, дополнительная катушка или заданное устройство могут соединяться с катушкой 23 и таким образом изменять значение электромагнитной индукции, создаваемое от панели 136 распознавания пера, так, чтобы можно было распознать нажатие кнопки 24. Либо конденсатор, дополнительная катушка, либо заданное устройство могут создавать беспроводной сигнал, соответствующий нажатию кнопки 24, и предоставлять данный беспроводной сигнал в приемник (не изображен), выполненный в пользовательском терминале 100, так, чтобы пользовательский терминал 100 мог распознать нажатие кнопки 24 пера 20 для прикосновения.

[82] Как описано выше, пользовательский терминал 100 может собирать информацию о различных состояниях пера согласно разному смещению пера 20 для прикосновения. Таким образом, пользовательский терминал 100 может принимать информацию, указывающую, находится ли перо 20 для прикосновения в состоянии нависания или состоянии контакта, и информацию, указывающую, была ли нажата кнопка 24 пера 20 для прикосновения или кнопка 24 пера 20 для прикосновения находится в своем исходном состоянии. Пользовательский терминал 100 может определять заданную написанную от руки команду на основе информации о состоянии пера, принятой от пера 20 для прикосновения, и информации распознавании ввода посредством пера, соответствующей жесту ввода посредством пера, принятой от катушки 23 пера 20 для прикосновения, и может исполнять функцию, соответствующую упомянутой определенной команде.

[83] На Фиг. 2 снова, когда перо 20 для прикосновения помещено внутри первого расстояния (предварительно определенного расстояния контактирования) от панели 136 распознавания пера, панель 136 распознавания пера может распознать, что перо 20 для прикосновения находится в состоянии контакта. Если перо 20 для прикосновения отдалено от панели 136 распознавания пера на расстояние, находящееся в пределах диапазона между первым расстоянием и вторым расстоянием (предварительно определенное расстояние близости), панель 136 распознавания пера может распознать, что перо 20 для прикосновения находится в состоянии нависания. Если перо 20 для прикосновения помещено за пределами второго расстояния от панели 136 распознавания пера, то панель 136 распознавания пера может распознать, что перо 20 для прикосновения находится в состоянии отрыва. По такому принципу панель 136 распознавания пера может предоставлять информацию о различных состояниях пера согласно расстоянию до пера 20 для прикосновения.

[84] Относительно обнаружения пользовательского ввода посредством прикосновения через сенсорную панель 134 сенсорная панель 134 может быть размещена на или под панелью 132 отображения. Сенсорная панель 134 предоставляет информацию местонахождения, к которому осуществлено прикосновение, и состояния прикосновения согласно изменению емкости, сопротивления или напряжении, вызванному прикосновением предмета, в контроллер 160. Сенсорная панель 134 может быть размещена по меньшей мере в некоторой части панели 132 отображения. Сенсорная панель 134 может быть задействована од