Способ и устройство поиска информации и компьютерно-читаемый носитель записи для этого

Способ и устройство поиска информации и компьютерно-читаемый носитель записи для этого

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящая общая идея изобретения относится к способу и устройству поиска информации и, в частности, к способу и устройству поиска информации на основе отображаемого изображения.

Уровень техники

Поскольку емкость памяти, установленной в устройствах, и объем хранения данных с использованием облачных серверов увеличились, были предложены способы поиска информации для быстрого и точного обеспечения информация, желаемые пользователями.

Сущность изобретения

Техническая задача

Однако стандартные способы поиска информации в общем случае выполняются на основе запросов пользователя, например запросов пользователя, в которых пользователь должен ввести множество ключевых слов и возможно также ввести указание того, как ключевые слова должны быть использованы или скомбинированы при поиске. Таким образом, требуются более простые и более интуитивные способы поиска информации.

Решение задачи

Назначением конкретных вариантов осуществления изобретения является решить, смягчить или избежать по меньшей мере частично по меньшей мере одну из задач и/или недостатков, ассоциированных с предшествующим уровнем техники. Конкретные варианты осуществления направлены на обеспечение по меньшей мере одного из преимуществ, описанных ниже.

Конкретные варианты осуществления настоящего изобретения обеспечивают способ и устройство интуитивного поиска информации на основе отображаемого изображения и компьютерно-читаемый носитель записи для этого.

Конкретные варианты осуществления настоящего изобретения также обеспечивают способ и устройство поиска информации на основе поискового отношения между множеством объектов, выбранных согласно отображаемому изображению, и компьютерно-читаемый носитель записи для этого.

Конкретные варианты осуществления настоящего изобретения также обеспечивают способ и устройство обеспечения услуг на основе отношения между множеством объектов, выбранных согласно отображаемому изображению, и компьютерно-читаемый носитель записи для этого.

Положительные эффекты изобретения

Согласно вышеупомянутым вариантам осуществления существует возможность проще и более интуитивно искать информацию посредством использования изображения, отображаемого на экране устройства.

Краткое описание чертежей

Эти и/или другие признаки и полезные свойства некоторых аспектов и вариантов осуществления настоящего изобретения станут очевидны и с большей готовностью понятны из последующего описания вариантов осуществления, воспринимаемых в сочетании с сопроводительными чертежами, среди которых:

Фиг. 1а изображает структурную схему, иллюстрирующую устройство согласно одному варианту осуществления настоящей общей идеи изобретения;

Фиг. 1b изображает пример программ и/или наборов команд, которые хранятся в блоке хранения устройства с Фиг. 1а и классифицируются согласно модулям;

Фиг. 2 изображает блок-схему, иллюстрирующую способ поиска информации на основе изображения согласно одному варианту осуществления настоящей общей идеи изобретения;

Фиг. 3 изображает примеры экрана введения первого ввода в способе поиска информации на основе изображения согласно одному варианту осуществления настоящей общей идеи изобретения;

Фиг. 4 изображает примеры экрана введения второго ввода в способе поиска информации на основе изображения согласно одному варианту осуществления настоящей общей идеи изобретения;

Фиг. 5 изображает примеры экрана введения второго ввода в способе поиска информации на основе изображения согласно другому варианту осуществления настоящей общей идеи изобретения;

Фиг. 6 изображает примеры экрана изображений для соответствия примерам экрана второго ввода с Фиг. 5;

Фиг. 7-9 изображают примеры экрана первого ввода, второго ввода и найденной информации;

Фиг. 10 изображает блок-схему, иллюстрирующую способ поиска информации на основе изображения согласно одному варианту осуществления настоящей общей идеи изобретения;

Фиг. 11-13 изображают примеры экрана отображения получающейся в результате информации, полученной путем распознавания первого ввода с Фиг. 10;

Фиг. 14 изображает блок-схему, иллюстрирующую способ поиска информации на основе изображения согласно одному варианту осуществления настоящей общей идеи изобретения;

Фиг. 15 изображает примеры экрана, отображаемые согласно блок-схеме с Фиг. 14;

Фиг. 16 изображает примеры экрана отображения множества единиц поиска;

Фиг. 17 изображает структурную схему, иллюстрирующую устройство согласно одному варианту осуществления настоящей общей идеи изобретения;

Фиг. 18 изображает структурную схему, иллюстрирующую сеть для соединения устройств с Фиг. 1 и 17; и

Фиг. 19 изображает блок-схему, иллюстрирующую способ обеспечения услуг согласно одному варианту осуществления настоящей общей идеи изобретения.

Предпочтительный вариант осуществления изобретения

Дополнительные признаки и полезные свойства некоторых аспектов и вариантов осуществления настоящего изобретения будут частично изложены в описании, которое следует далее, и частично будут очевидны из описания или могут быть поняты путем применения на практике общей идеи изобретения.

Один аспект настоящего изобретения обеспечивает способ поиска информации на основе изображения, отображаемого на устройстве, причем способ включает в себя распознавание первого ввода, указывающего выбор, относящийся к множеству объектов (например, их выбор), включенных в изображение, распознавание второго ввода, указывающего поисковое отношение между выбранным множеством объектов, и поиск информации на основе первого ввода и второго ввода; и выведение найденной информации посредством устройства.

Например, в конкретных вариантах осуществления способ дополнительно содержит выбор соответственного поискового термина (содержащего одно или несколько слов) для каждого из выбранных объектов, и поиск основан на выбранных поисковых терминах. Выбор каждого соответственного поискового термина может быть полностью автоматизирован в конкретных вариантах осуществления, но в других вариантах осуществления пользователь может принимать участие, например, путем того, что ему обеспечивается предложение множества предлагаемых поисковых терминов, соответствующих выбранному объекту, из которых пользователь может выбрать термин, который должен быть использован в поиске, например, путем обеспечения дополнительного сенсорного ввода. Второй ввод может быть использован для установления отношения между выбранными поисковыми терминами, например, путем установления того, должны ли поисковые термины быть скомбинированы способом логического И или же логического ИЛИ.

Поисковое отношение между выбранным множеством объектов может включать в себя одно из отношения одного и того же слоя, указывающего, что отношение между множеством объектов имеет один и тот же уровень при поиске информации (иными словами, множество объектов может иметь, ему может быть выдан или выделен один и тот же (т.е. равный) приоритет, вес, важность или ранг в поиске), и отношения разных (например, верхнего и нижнего) слоев, указывающего, что отношение между множеством объектов имеет различный приоритет, вес, важность или ранг (например, верхний и нижний уровень) при поиске информации.

В случае, когда поисковое отношение между выбранным множеством объектов является отношением одного и того же слоя, второй ввод может включать в себя один из жеста на основе прикосновения, указывающего сбор выбранного множества объектов, и жеста на основе прикосновения, указывающего перемещение выбранного множества объектов в по меньшей мере одно местоположение помимо местоположения отображения выбранного множества объектов.

В конкретных вариантах осуществления множество отдельных прикосновений на сенсорном экране может быть использовано для выбора множества объектов, на которых поиск должен быть основан. Прикосновения могут, например, осуществляться одновременно или по существу в одно и то же время, например, с использованием множества пальцев одной руки или двух рук. Множество объектов, выбранных таким образом, может иметь равный приоритет, вес и т.д. в поиске. В конкретных вариантах осуществления жест, содержащий или указывающий на перетаскивание выбранных объектов вместе (например, перетаскивание соответственных точек прикосновения вместе), может быть использован в качестве второго ввода для указания, что поиск должен выполняться для единицы, включающей в себя элементы, соответствующие всем из выбранных объектов (иными словами, жест перетаскивания вместе может быть использован интуитивно для указания отношения "И" между поисковыми терминами, соответствующими выбранным объектам). В качестве альтернативы, жест, содержащий или указывающий на перемещение каждого из выбранных объектов из его соответственной исходной позиции, к которой осуществлено прикосновение, в другую соответственную позицию, но без перетаскивания единиц вместе, может быть использован для указания, что поиск должен выполняться так, чтобы искать результаты, содержащие элемент, соответствующий по меньшей мере одному из выбранных объектов. Иными словами, такой ввод может быть использован в качестве второго ввода для указания отношения логического "ИЛИ" между выбранными единицами, или, иными словами, между поисковыми терминами, генерируемыми в соответствии с выбранными единицами.

В случае, когда поисковое отношение между выбранным множеством объектов является отношением разных (например, верхнего и нижнего) слоев, второй ввод может включать в себя один из жеста на основе прикосновения, указывающего перемещение остатка выбранных объектов, исключая один объект из выбранного множества объектов, в местоположение отображения исключенного одного объекта, и жеста на основе прикосновения, указывающего перемещение по меньшей мере одного из выбранного множества объектов в местоположение отображения одного из выбранного множества объектов.

В конкретных вариантах осуществления первый жест, содержащий одновременное прикосновение к двум объектам (первому объекту и второму объекту), может быть использован для выбора этих двух объектов в качестве основы для поиска. Затем второй жест, содержащий перетаскивание, или кажущееся перетаскивание, второго объекта к первому объекту (например, так близко, что объекты накладываются друг на друга или кажутся наложенными друг на друга), может быть использован для указания, что первому объекту должно быть назначено более высокое ранжирование, вес или приоритет в поиске, чем второму объекту. Иными словами, такой жест может быть использован для инструктирования поиска сначала искать единицы, содержащие элементы, соответствующие первому объекту (или первому поисковому термину, выбранному для первого объекта), и затем искать те единицы, которые дополнительно включают в себя элемент, соответствующий второму объекту (или его соответствующему второму поисковому термину).

Жест на основе прикосновения может включать в себя, или может содержать, прикосновение и перетаскивание.

В случае, когда поисковое отношение между выбранным множеством объектов является отношением одного и того же слоя, поиск информации может включать в себя поиск информации, включающей в себя все из выбранного множества объектов. В случае, когда поисковое отношение между выбранным множеством объектов является отношением верхнего и нижнего слоя, поиск информации может включать в себя поиск информации согласно отношению верхнего и нижнего слоя между выбранным множеством объектов.

В случае, когда поисковое отношение между выбранным множеством объектов является отношением одного и того же слоя, поиск информации может включать в себя поиск информации, касающейся по меньшей мере один из выбранного множества объектов. В случае, когда поисковое отношение между выбранным множеством объектов является отношением верхнего и нижнего слоя, поиск информации может включать в себя поиск информации согласно отношению верхнего и нижнего слоя между выбранным множеством объектов.

В случае, когда поисковое отношение между выбранным множеством объектов является отношением одного и того же слоя, поиск информации может включать в себя отображение информации, используемой для выбора одной из единицы поиска информации, включающей в себя по меньшей мере один из выбранного множества объектов, и единицы поиска информации, включающей в себя все из выбранного множества объектов, и поиск информации согласно единице поиска информации, выбранной на основе отображаемой информации. В случае, когда поисковое отношение между выбранным множеством объектов является отношением верхнего и нижнего слоя, поиск информации может включать в себя поиск информации согласно отношению верхнего и нижнего слоя между выбранным множеством объектов.

В конкретном варианте осуществления способ может дополнительно содержать обеспечение пользователю средства для выбора либо отношения И, либо отношения ИЛИ между выбранным множеством объектов (или их соответствующими поисковыми терминами).

Первый ввод может включать в себя, или содержать, один из жеста на основе прикосновения, указывающего долгое прикосновение к выбранному множеству объектов или каждому объекту, и жеста на основе прикосновения, указывающего замкнутую область на выбранном множестве объектов или каждом объекте. Иными словами, объект может быть выбран путем прикосновения к нему, или осуществления жеста приблизительно вокруг (по меньшей мере частично вокруг) объекта (например, окружение его или перемещение позиции прикосновения приблизительно вокруг него, например по кругу или по многоугольной форме, чтобы очевидным образом сформировать рамку или очертить периметр вокруг объекта).

Поиск информации может включать в себя: отображение по меньшей мере одной единицы поиска, определенной согласно первому вводу и второму вводу; и поиск информации на основе единицы поиска, выбранной из отображаемой по меньшей мере одной единицы поиска.

Способ может дополнительно включать в себя отображение информации, указывающей распознавание, относящееся к первому вводу, посредством устройства.

Информация, указывающая распознавание, относящееся к первому вводу посредством устройства, может включать в себя одну из информации, указывающей замкнутые области на основе контуров выбранного множества объектов или каждого объекта, информации на основе вырезанного изображения на основе контуров выбранного множества объектов или каждого объекта, и множественного экрана на основе вырезанного изображения.

Способ может дополнительно включать в себя отображение информации, указывающей распознавание, относящееся ко второму вводу, посредством устройства.

Поиск информации может выполняться в отношении по меньшей мере одного из устройства и по меньшей мере одного внешнего устройства, соединенного с устройством.

Найденная информация может включать в себя по меньшей мере одну из информации на основе изображения и информации на основе текста.

Другой аспект изобретения обеспечивает устройство, выполненное с возможностью осуществления способа в соответствии с любым из вышеописанных или нижеописанных аспектов или вариантов осуществления.

Другой аспект изобретения обеспечивает устройство, включающее в себя блок хранения для хранения по меньшей мере одного элемента информации и по меньшей мере одной программы, сенсорный экран для отображения изображения, для приема первого ввода, указывающего выбор, относящийся к множеству объектов (например, их выбор), включенных в изображение, для приема второго ввода, указывающего поисковое отношение между выбранным множеством объектов, и для отображения информации, поиск которой осуществляется на основе первого ввода и второго ввода, и процессор для обеспечения пользовательского интерфейса на основе сенсорного экрана, для распознавания первого ввода и второго ввода, принятых посредством сенсорного экрана, для поиска информации от блока хранения согласно первому вводу и второму вводу и для вывода найденной информации на сенсорном экране. Конкретные варианты осуществления этого аспекта могут быть выполнены с возможностью осуществления любого из способов, осуществляющих изобретение и описанных в этом техническом описании.

Таким образом, в конкретных вариантах осуществления поисковое отношение между выбранным множеством объектов содержит одно из отношения одного и того же слоя, указывающего, что множество объектов имеет один и тот же уровень при поиске информации, и отношения верхнего и нижнего слоя, указывающего, что множество объектов имеет верхний и нижний уровень при поиске информации.

В конкретных вариантах осуществления, когда поисковое отношение между выбранным множеством объектов является отношением одного и того же слоя, второй ввод содержит один из жеста на основе прикосновения, указывающего сбор выбранного множества объектов, и жеста на основе прикосновения, указывающего перемещение выбранного множества объектов в по меньшей мере одно местоположение за исключением местоположений отображения выбранного множества объектов.

В конкретных вариантах осуществления, когда поисковое отношение между выбранным множеством объектов является отношением верхнего и нижнего слоя, второй ввод содержит один из жеста на основе прикосновения для перемещения остатка выбранных объектов, исключая один объект из выбранного множества объектов, в местоположение отображения исключенного одного объекта и жеста на основе прикосновения для перемещения по меньшей мере одного из выбранного множества объектов в местоположение отображения одного из выбранного множества объектов.

В конкретных вариантах осуществления жест на основе прикосновения содержит прикосновение и перетаскивание.

В конкретных вариантах осуществления, когда поисковое отношение между выбранным множеством объектов является отношением одного и того же слоя, процессор выполняет поиск информации, включающей в себя все из выбранного множества объектов; и когда поисковое отношение между выбранным множеством объектов является отношением верхнего и нижнего слоя, процессор выполняет поиск информации согласно отношению верхнего и нижнего слоя между выбранным множеством объектов.

В конкретных вариантах осуществления, когда поисковое отношение между выбранным множеством объектов является отношением одного и того же слоя, процессор выполняет поиск информации, включающей в себя по меньшей мере один из выбранного множества объектов; и когда поисковое отношение между выбранным множеством объектов является отношением верхнего и нижнего слоя, процессор выполняет поиск информации согласно отношению верхнего и нижнего слоя между выбранным множеством объектов.

В конкретных вариантах осуществления, когда поисковое отношение между выбранным множеством объектов является отношением одного и того же слоя, процессор отображает информацию, используемую для выбора единицы поиска информации, содержащей по меньшей мере один из выбранного множества объектов, и единицы поиска информации, содержащей все из выбранного множества объектов, выполняет поиск информации согласно единице поиска информации, выбранной на основе отображаемой информации, и, когда поисковое отношение между выбранным множеством объектов является отношением верхнего и нижнего слоя, процессор выполняет поиск информации согласно отношению верхнего и нижнего слоя между выбранным множеством объектов.

В конкретных вариантах осуществления первый ввод содержит по меньшей мере один из жеста на основе прикосновения, указывающего долгое прикосновение к выбранному множеству объектов или каждому объекту, и жеста на основе прикосновения, указывающего замкнутую область на выбранном множестве объектов или каждом объекте.

В конкретных вариантах осуществления процессор отображает по меньшей мере одну единицу поиска, определенную согласно первому вводу и второму вводу на сенсорном экране, и выполняет поиск информации на основе единицы поиска, выбранной из отображаемой по меньшей мере одной единицы поиска посредством сенсорного экрана.

В конкретных вариантах осуществления процессор отображает информацию, указывающую распознавание, относящееся к первому вводу, посредством устройства.

В конкретных вариантах осуществления информация, указывающая распознавание, относящееся к первому вводу, содержит одну из информации, указывающей замкнутые области на основе контуров выбранного множества объектов или каждого объекта, информации на основе вырезанного изображения на основе контуров выбранного множества объектов или каждого объекта и множественный экран на основе вырезанного изображения.

В конкретных вариантах осуществления процессор отображает информацию, указывающую распознавание, относящееся ко второму вводу на устройстве на сенсорном экране.

В конкретных вариантах осуществления процессор выполняет поиск информации в отношении по меньшей мере одного из блока хранения и по меньшей мере одного внешнего устройства, соединенного с устройством.

В конкретных вариантах осуществления найденная информация содержит по меньшей мере одну из информации на основе изображения и информации на основе текста.

Другой аспект изобретения обеспечивает устройство, включающее в себя сенсорный экран для отображения изображения и для приема ввода пользователя на основе отображаемого изображения, процессор для обеспечения пользовательского интерфейса на основе сенсорного экрана и блок хранения для хранения по меньшей мере одной программы, сконфигурированной для исполнения процессором, и информации, которая может быть доступной для поиска на основе изображения, причем программа включает в себя команды для распознавания первого ввода, указывающего выбор, относящийся к множеству объектов (например, их выбор), включенных в изображение, для распознавания второго ввода, указывающего поисковое отношение между выбранным множеством объектов, для поиска информации, поиск которой осуществляется на основе первого ввода и второго ввода, и для вывода найденной информация на сенсорном экране. Конкретные варианты осуществления этого аспекта могут быть выполнены с возможностью осуществления любого из способов, осуществляющих изобретение и описанных в этом техническом описании.

Другой аспект изобретения обеспечивает способ обеспечения услуги на основе отображаемого изображения, причем способ включает в себя распознавание первого ввода, указывающего выбор, относящийся к множеству объектов (например, их выбор), включенных в изображение, распознавание второго ввода, указывающего отношение между выбранным множеством объектов, и отображение по меньшей мере одной единицы услуги, обеспеченной на основе первого ввода и второго ввода, и исполнение услуги согласно единице услуги, выбранной на основе отображения по меньшей мере одной единицы услуги.

В конкретных вариантах осуществления отношение между выбранным множеством объектов содержит одно из отношения одного и того же слоя, указывающего, что множество объектов имеет один и тот же уровень, и отношения верхнего и нижнего слоя, указывающего, что множество объектов имеет верхний и нижний уровень.

В конкретных вариантах осуществления отображение по меньшей мере одной единицы услуги содержит: когда поисковое отношение между выбранным множеством объектов является отношением одного и того же слоя, отображаемая по меньшей мере одна единица услуги содержит единицы услуги, обеспеченные каждому из выбранного множества объектов; и когда поисковое отношение между выбранным множеством объектов является отношением верхнего и нижнего слоя, отображаемая по меньшей мере одна единица услуги содержит единицы услуги, обеспеченные согласно отношению верхнего и нижнего слоя между выбранным множеством объектов.

В конкретных вариантах осуществления первый ввод содержит по меньшей мере один из жеста на основе прикосновения, указывающего долгое прикосновение к выбранному множеству объектов или каждому объекту, и жеста на основе прикосновения, указывающего замкнутую область на выбранном множестве объектов или каждом объекте.

Другой аспект изобретения обеспечивает компьютерно-читаемый носитель записи, хранящий одну или несколько программ, включающих в себя командный язык для исполнения способа поиска информации на основе изображения, отображаемого на устройстве, причем способ поиска информации на основе изображения, отображаемого на устройстве, выполняется тем же самым образом, что и вышеописанный способ поиска информации на основе изображения, отображаемого на устройстве.

Другой аспект изобретения обеспечивает компьютерно-читаемый носитель записи, хранящий одну или несколько программ, включающих в себя командный язык для исполнения способа обеспечения услуги на основе отображаемого изображения, причем способ обеспечения услуги на основе отображаемого изображения выполняется тем же самым образом, что и вышеописанный способ обеспечения услуги на основе отображаемого изображения.

Другой аспект изобретения обеспечивает устройство для выполнения способа поиска информации, причем устройство включает в себя панель отображения для отображения изображения, включающего в себя один или несколько объектов, на ее экране, и процессор, сконфигурированный для управления панелью отображения для приема выбора объектов с изображения на панели отображения в качестве первого ввода, для приема перемещения по меньшей мере одной позиции выбранных объектов относительно другого одного из выбранных объектов в качестве второго ввода и для отображения одного или нескольких изображений, поиск которых осуществляется согласно первому вводу и второму вводу.

Панель отображения может различным образом отображать выбранные объекты и невыбранные объекты согласно существованию ввода пользователя на ней.

Панель отображения может отображать по меньшей мере одну позицию выбранных объектов в другой позиции.

Экран панели отображения может включать в себя первый экран для отображения изображения, включающего в себя объекты, второй экран для отображения выбора объектов, третий экран для отображения указания перемещения и четвертый экран для отображения одного или нескольких изображений, для которых осуществляется поиск.

Панель отображения может отображать второй экран и третий экран согласно взаимодействию пользователя с панелью отображения. Панель отображения может отображать первый экран и четвертый экран согласно операциям процессора без взаимодействия пользователя с панелью отображения.

Второй экран может включать в себя первый экран.

Второй экран может отличаться от первого экрана.

Третий экран может включать в себя первый экран и второй экран.

Третий экран может отличаться от первого экрана и второго экрана.

Другой аспект изобретения обеспечивает способ поиска информации на основе отображаемого изображения, причем способ включает в себя отображение изображения, включающего в себя один или несколько объектов, на экране панели отображения, прием выбора объектов с изображения на панели отображения в качестве первого ввода, прием перемещения по меньшей мере одной позиции выбранных объектов относительно другого одного из выбранных объектов в качестве второго ввода и отображение одного или нескольких изображений, поиск которых осуществляется согласно первому вводу и второму вводу.

Вариант осуществления изобретения

Поскольку настоящее изобретение обеспечивает возможность для различных изменений и множества вариантов осуществления, конкретные варианты осуществления будут проиллюстрированы на чертежах и описаны подробно в текстовом описании. Однако это не предназначено для ограничения настоящей общей идеи изобретения конкретными вариантами применения на практике, и следует понимать, что все изменения, эквиваленты и замены, которые не выходят за рамки сущности и технического объема настоящей общей идеи изобретения, охватываются настоящей общей идеей изобретения. В описании настоящей общей идеи изобретения конкретные подробные объяснения родственной области техники опускаются, когда считается, что они могут излишне затемнить суть общей идеи изобретения.

Ссылка теперь будет сделана подробно на варианты осуществления настоящей общей идеи изобретения, примеры которых иллюстрируются на сопроводительных чертежах, причем подобные ссылочные позиции везде ссылаются на подобные элементы. Варианты осуществления описаны ниже для того, чтобы объяснить настоящую общую идея изобретения, при этом ссылаясь на чертежи.

Такие термины, как "первый" и "второй", используются здесь исключительно для описания множества различных составляющих элементов, но составляющие элементы не ограничиваются этими терминами. Термины используются только в целях различения одного составляющего элемента от другого составляющего элемента.

Большинство терминов, используемых здесь, является общими терминами, которые широко используются в области техники, к которой настоящая общая идея изобретения принадлежит. Однако некоторые из терминов, используемых здесь, могут создаваться для отражения намерений технических специалистов в данной области техники, прецедентов или новых технологий. Кроме того, некоторые из терминов, используемых здесь, могут быть произвольно выбраны настоящим лицом, подающим заявку. В этом случае эти термины подробно определяются ниже. Соответственно, конкретные термины, используемые здесь, должны пониматься на основе их уникальных значений и полного контекста настоящей общей идеи изобретения.

Используемые здесь формы единственного числа подразумеваются как включающие в себя также и формы множественного числа, если только контекст явным образом не указывает другое. Следует дополнительно понимать, что термины "содержит" или "содержащий", когда используются в этом техническом описании, указывают наличие описанных признаков, целых чисел, этапов, операций, элементов, компонентов и/или их групп, но не препятствуют наличию или добавлению одного или нескольких других признаков, целых чисел, этапов, операций, элементов, компонентов и/или их групп.

На протяжении этого технического описания термин "ввод" может быть использован для ссылок на пользовательский ввод, который является вводом на основе прикосновения. Ввод на основе прикосновения может включать в себя запрос пользователя, выбор пользователя (например, выбор множества объектов на изображении) или команду пользователя (например, команду для установления поискового отношения между множеством выбранных объектов), но не ограничивается этим. Ввод на основе прикосновения может зависеть от пользовательского жеста на основе прикосновения. Пользовательский жест на основе прикосновения может включать в себя, например, касание (или прикосновение), долгое касание (или долгое прикосновение), прикосновение и удерживание, прикосновение и перетаскивание, двойное касание, перетаскивание, прокрутку, щелчок, перетаскивание и отпускание, сметание и т. п., но не ограничивается этим.

Ввод не ограничивается вышеописанными пользовательскими жестами на основе прикосновения. Например, ввод может быть определен как ввод на основе движения или ввод на основе вида.

Ввод на основе движения может быть основан на пользовательском жесте на основе движения устройства (например, встряхивания устройства, удара по устройству, и т.д.), выполняемого пользователем. Например, поисковое отношение между выбранными объектами, которое будет описано в вариантах осуществления позже, может быть установлено как отношение верхнего и нижнего слоя или отношение одного и того же слоя согласно схеме или направлению встряхивания устройства. Схема или направление встряхивания устройства, используемые для установления поискового отношение между выбранными объектами в качестве отношения верхнего и нижнего слоя или отношения одного и того же слоя, могут быть установлены заранее. Например, в случае, когда устройство встряхивается вверх и вниз, ввод на основе движения определяется заранее таким образом, что поисковое отношение между выбранными объектами может быть установлено как отношение верхнего и нижнего слоя. Отношение верхнего и нижнего слоя между объектами может называться отношением слоев "родитель-потомок" между объектами.

Ввод на основе вида может основываться на пользовательском жесте, распознанном посредством анализа входного изображения, полученного посредством камеры без контактирования с устройством. Например, поисковое отношение между выбранными объектами, которые будут описаны в вариантах осуществления далее, может быть установлено как независимое отношение или зависимое отношение посредством анализа входного изображения, полученного посредством камеры, причем ввод пользователя включает в себя пользовательский пространственный жест (например, пространственный жест с пальцами вместе), такой как пользовательский жест на основе прикосновения. Пользовательский пространственный жест, используемый для установления поискового отношения между выбранными объектами в качестве независимого отношения или зависимого отношения, может быть установлен заранее.

Настоящая общая идея изобретения будет описана далее более полно со ссылками на сопроводительные чертежи, на которых иллюстрируются примерные варианты осуществления общей идеи изобретения.

Используемый здесь термин "и/или" включает в себя любые и все комбинации одного или нескольких из ассоциированных перечисленных элементов. Такие выражения, как "по меньшей мере один из", когда предшествуют списку элементов, модифицируют весь список элементов и не модифицируют отдельные элементы из списка.

Фиг. 1а изображает структурную схему, иллюстрирующую устройство 100 согласно одному варианту осуществления настоящей общей идеи изобретения. Примеры устройства 100 с Фиг. 1а могут включать в себя интеллектуальный телефон, интеллектуальный телевизор, персональный компьютер (PC), настольный компьютер, интеллектуальную доску, планшетный PC, мобильное устройство, карманное устройство или карманный компьютер, мультимедийный проигрыватель, терминал электронной книги, "электронный помощник" (PDA), цифровую камеру с возможностью введения ввода пользователя на основе прикосновения, устройство цифровой бытовой электроники (CE) (например, устройство, имеющее функцию отображения изображения и введения пользовательского жеста на основе прикосновения) и т.д., но не ограничиваются этим.

Устройство 100 включает в себя блок 101 ввода информации, считывающий блок 102, сенсорный экран 103, камеру 104, блок 105 аудиоввода, блок 106 аудиовывода, блок 107 хранения, блок 108 беспроводной связи, блок 109 проводной связи, процессор 110 и блок 111 мощности. Однако строение устройства 100 не ограничивается иллюстрируемым на Фиг. 1A. То есть устройство 100 может включать в себя больше или меньше элементов, чем количество элементов с Фиг. 1, согласно осуществлению или предпочтению пользователя.

Блок 101 ввода информации может принимать входные данные для управления операцией устройства 100 и информацией, обеспечивающей возможность запрашивать исполнение способа поиска информации на основе изображения согласно одному варианту осуществления настоящей общей идеи изобретения, но не ограничивается этим. Блок 101 ввода информации может включать в себя клавиатуру, купольную клавиатуру, толчковое колесо, толчковый переключатель, аппаратную кнопку, горячую клавишу, сенсорную панель и т.д., но не ограничивается этим.

Считывающий блок 102 может обнаруживать текущее состояние устройства 100, такое как местоположение устройства 100, то, есть ли контакт пользователя с устройством 100, перемещение устройства 100, направление устройства 100, ускорение или замедление устройства 100 и т.д., и генерировать считанный сигнал для управления операцией устройств