Устройство и способ обработки информации, и компьютерная программа

Устройство и способ обработки информации, и компьютерная программа

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству обработки информации и способу обработки информации, и компьютерной программе, и, более конкретно, к устройству обработки информации и способу обработки информации, и компьютерной программе, которые позволяют пользователю легко находить произвольные изображения или находить только характерные изображения среди изображений, сфотографированных к этому моменту времени, и просматривать изображения.

Уровень техники

В цифровой фотокамере (см. JP-A-2007-019685) количество фотографируемых изображений с каждым годом увеличивается, по мере того, пользователь использует цифровую фотокамеру. В результате, пользователь часто сохраняет слишком много изображений, чтобы разобраться с ними, во встроенной памяти типа флэш или на съемном носителе записи.

В таком случае, в цифровых камерах в последние годы, в качестве способа представления изображений, часто используют способ представления изображений в виде одной группы (папки и т.д.) на основе даты, времени или тому подобное (ниже называется способом представления в прошлом).

Сущность изобретения

Однако когда используют способ представления в прошлом для пользователя, одна группа означает группу определенных событий. Поэтому, даже если принять способ представления в прошлом, по мере того, как пользователь использует цифровую камеру в течение нескольких лет, количество групп событий также увеличивается. Это затрудняет для пользователя управление группами событий.

В последние годы было предъявлен ряд требований к поиску произвольных изображений или поиску только характерных изображений среди изображений, сфотографированных до настоящего времени, и просмотру изображений, в частности, например, поиску только изображений, в которых показан один и тот же человек, и просмотру этих изображений.

Для удовлетворения таких требований, используя способ представления в прошлом, хотя изображения, включенные в группу событий, связаны друг с другом, трудно проверить взаимосвязь с другими событиями. Поэтому пользователь должен полностью проверять группы событий, используя экран указателей и т.п. или используя программные средства поиска, которые имеют функцию поиска.

Однако даже когда пользователь использует программное средство поиска в прошлом, пользователю трудно найти требуемое изображение, если только пользователь не установит правильно слово признака. Многие пользователи не способны в достаточной степени представить изображения, используя нормальные строки знаков и выражений при поиске изображения, и желают получать изображения с использованием абстрактных слов и значений. Однако когда такие пользователи используют программное средство поиска в прошлом, пользователям трудно получить ожидаемые результаты.

Как пояснялось выше, в представленной ситуации трудно удовлетворить требованиям поиска произвольных изображений или поиска только характерных изображений среди изображений, сфотографированных до настоящего момента времени, и просмотра этих изображений.

Поэтому желательно обеспечить для пользователя возможность простого поиска произвольных изображений или поиска характерных изображений среди изображений, сфотографированных до настоящего времени, и просмотра этих изображений.

В соответствии с вариантом воплощения настоящего изобретения, предложено устройство обработки информации, включающее в себя: средство дисплея, предназначенное для отображения изображения; средство приема входной операции, предназначенное для приема операции, вводимой пользователем; и средство управления дисплеем, предназначенное для выполнения, когда средство приема входной операции принимает заданную операцию для корневого изображения, отображаемого в средстве дисплея, управления дисплеем для обеспечения отображения средством дисплея взаимосвязанного изображения, которое взаимосвязано с корневым изображением.

Степень взаимосвязи между всеми изображениями, которые могли бы представлять корневое изображение или связанные с ним изображения, и/или другие изображения, рассчитывают на основе одного или больше пунктов классификации. Средство управления дисплеем находит одно или больше взаимосвязанных изображений из всех изображений на основе степени взаимосвязи между корневым изображением и другими изображениями и обеспечивает отображение средством дисплея найденного одного или больше взаимосвязанных изображений.

Элементы классификации определяют заранее на основе дополнительной информации, относящейся к изображениям.

Когда средство управления дисплеем обеспечивает отображение средством дисплея корневого изображения, средство управления дисплеем находит одно или больше взаимосвязанных изображений.

Средство управления дисплеем обеспечивает, когда операция, выполняемая пользователем, который передвигает палец в заданном направлении на заданное расстояние, при поддержании контакта пальца со средством дисплея, представлена как операция передвижения, отображение средством дисплея соответствующего изображения, когда средство приема входной операции принимает операцию передвижения.

Средство управления дисплеем обеспечивает отображение средством дисплея соответствующего изображения в положении, в котором закончилась операция передвижения.

Заданные один или больше пунктов классификации связаны с каждым из направлений операций передвижения. Средство управления дисплеем находит одно или больше взаимосвязанных изображений на основе степени взаимосвязи, рассчитанной на основе пунктов классификации, соответствующих направлениям операции передвижения.

Средство управления дисплеем обеспечивает последовательное отображение средством дисплея новых взаимосвязанных изображений каждый раз, когда средство приема входной операции принимает операцию передвижения.

Средство управления дисплеем устанавливает, когда средство приема входной операции принимает операцию передвижения для взаимосвязанного изображения, это взаимосвязанное изображение как новое корневое изображение и обеспечивает отображение средством дисплея нового взаимосвязанного изображения, относящегося к новому корневому изображению.

Операцию передвижения выполняют, начиная с корневого изображения или взаимосвязанного изображения.

Средство управления дисплеем дополнительно обеспечивает, когда средство приема входной операции принимает операцию контакта с корневым изображением пальца пользователя, отображение средством дисплея изображений пунктов классификации, обозначающих соответствующие один или больше пунктов классификации, и находит, когда детектируют операцию контакта пальца пользователя с заданными одним или больше изображениями пунктов классификации, одно или больше взаимосвязанных изображений на основе степени взаимосвязи, рассчитанной на основе пункта классификации, обозначенного изображением пункта классификации, для которого была выполнена операция контакта.

Средство управления анализирует, когда средство приема входной операции принимает операцию контакта пальца пользователя с корневым изображением, изображение на основе положения, где была выполнена операция контакта, устанавливает элемент классификации на основе результата анализа, и выполняет поиск одного или больше взаимосвязанных изображений на основе степени взаимосвязи, рассчитанной на основе установленного элемента классификации.

Устройство обработки информации дополнительно включает в себя средство сохранения, предназначенное для сохранения информации предыстории управления дисплеем средством управления дисплеем.

В качестве управления дисплеем средство управления дисплеем дополнительно обеспечивает, когда средство приема входной операции принимает операцию контакта пальца пользователя с корневым изображением или взаимосвязанным изображением, отображение средством дисплея информации предыстории, сохраненной в средстве сохранения.

Средство управления дисплеем выполняет поиск, когда средство приема входной операции принимает операцию контакта пальца пользователя с изображением, включенным в информацию предыстории, одного или больше изображений, взаимосвязанных с изображением, установленным как корневое изображение, и обеспечивает отображение средством дисплея взаимосвязанных изображений.

В соответствии с другими вариантами воплощения настоящего изобретения предложен способ обработки информации и компьютерная программа, соответствующие устройству обработки информации.

В способе обработки информации и в компьютерной программе в соответствии с вариантами воплощения настоящего изобретения в устройстве обработки информации, которое отображает изображение и принимает входную операцию пользователя, когда принимают заданную операцию для отображения корневого изображения, отображают взаимосвязанное изображение, взаимосвязанное с корневым изображением.

Как пояснялось выше, в соответствии с вариантами воплощения настоящего изобретения, поскольку изображения, сфотографированные до настоящего времени, устанавливают как корневые изображения или взаимосвязанные изображения, становится возможным легко находить произвольные изображения или находить только характерные изображения среди изображений, сфотографированных до настоящего времени, и просматривать эти изображения.

Краткое описание чертежей

На фиг.1 показана блок-схема примера конфигурации устройства формирования изображения в качестве примера устройства обработки информации в соответствии с вариантом воплощения настоящего изобретения;

на фиг.2А и 2В показаны виды в перспективе примера внешней конфигурации устройства формирования изображения, показанного на фиг.1;

на фиг.3А-3Е показаны схемы, поясняющие первый пример способа работы при поиске взаимосвязанных изображений устройства формирования изображения;

на фиг.4 показана блок-схема последовательности операций, поясняющая пример первой обработки поиска взаимосвязанного изображения;

на фиг.5 показана блок-схема последовательности операций, поясняющая пример обработки поиска взаимосвязанного изображения 1А;

на фиг.6 показана блок-схема последовательности операций, поясняющая пример обработки поиска взаимосвязанного изображения 1В;

на фиг.7А-7Е показаны схемы, поясняющие второй пример способа работы при поиске взаимосвязанного изображения устройства формирования изображения;

на фиг.8 показана блок-схема последовательности операций, поясняющая пример второй обработки поиска взаимосвязанного изображения;

на фиг.9А-9F показаны схемы, поясняющие третий пример способа работы при поиске взаимосвязанного изображения устройства формирования изображения;

на фиг.10 показана блок-схема последовательности операций, поясняющая пример третьей обработки поиска взаимосвязанного изображения;

на фиг.11 показана схема, поясняющая пример способа использования уменьшенных изображений, в качестве способа представления пунктов классификации;

на фиг.12А - 12Е показаны схемы, поясняющие четвертый пример способа работы при поиске взаимосвязанного изображения устройства формирования изображения;

на фиг.13 показана блок-схема последовательности операций, поясняющая пример четвертой обработки поиска взаимосвязанного изображения;

на фиг.14 показана блок-схема последовательности операций, поясняющая подробный пример обработки анализа изображения по площади контакта на этапе S65 обработки поиска четвертого взаимосвязанного изображения;

на фиг.15 показана блок-схема последовательности операций, подробно поясняющая пример обработки анализа и поиска изображения на этапе S66 обработки поиска четвертого взаимосвязанного изображения;

на фиг.16 показана схема, поясняющая пример операции поиска взаимосвязанного меню устройства формирования изображения;

на фиг.17 показана схема, поясняющая другой пример операции поиска взаимосвязанного меню устройства формирования изображения;

на фиг.18А-18С показаны схемы, поясняющие пятый пример способа работы при поиске взаимосвязанного изображения устройства формирования изображения;

на фиг.19 показан блок-схема последовательности операций, поясняющая пример пятой обработки поиска взаимосвязанного изображения;

на фиг.20А-20С показаны схемы, поясняющие пример способа работы, связанного с обработкой отображения увеличенного/уменьшенного изображения;

на фиг.21 показана блок-схема последовательности операций, поясняющая пример обработки отображения увеличенного/уменьшенного изображения; и

на фиг.22 показана блок-схема примера конфигурации устройства обработки информации в соответствии с вариантом воплощения настоящего изобретения, который отличается от примера конфигурации, показанного на фиг.1.

Подробное описание изобретения

Варианты воплощения настоящего изобретения подробно поясняются ниже со ссылкой на прилагаемые чертежи.

На фиг.1 показана блок-схема примера конфигурации устройства формирования изображения в качестве примера устройства обработки информации в соответствии с вариантом воплощения настоящего изобретения.

В примере, показанном на фиг.1, устройство формирования изображения включает в себя компоненты от модуля 11 объектива до сенсорной панели 28.

Модуль 11 объектива включает в себя фотографический объектив, стопор и линзы фокусирования. Устройство 12 формирования изображения, такое как CCD (ПЗС, прибор с зарядовой связью) установлено на оптическом пути света объекта, который проходит через модуль 11 объектива.

Устройство 12 формирования изображения, модуль 13 обработки аналогового сигнала, модуль 14 A/D (А/Ц, аналого-цифрового) преобразования и модуль 15 обработки цифрового сигнала соединены в указанном порядке.

Жидкокристаллическая панель 17, устройство 19 записи и сенсорная панель 28 соединены с модулем 15 обработки цифрового сигнала.

Исполнительный элемент 20, предназначенный для регулировки стопора, включенного в модуль 11 объектива, и движения линз фокусирования, соединен с модулем 11 объектива. Привод 21 с двигателем также соединен с исполнительным элементом 20. Привод 21 с двигателем выполняет управление приводом для исполнительного элемента 20.

CPU (ЦПУ, центральное процессорное устройство) 23 управляет всем устройством формирования изображения. Поэтому модуль 13 обработки аналогового сигнала, модуль 14 А/Ц преобразования, модуль 15 обработки цифрового сигнала, привод 21 с двигателем, TG (ГС, генератор синхронизации) 22, модуль 24 операций, EEPROM (ЭСППЗУ, электрически стираемое программируемое ПЗУ) 25, ROM (ПЗУ, постоянное запоминающее устройство) 26 программы, RAM (ОЗУ, оперативное запоминающее устройство) 27, сенсорная панель 16 и сенсорная панель 28 соединены с ЦПУ 23.

Сенсорный экран 18 включает в себя сенсорную панель 16 и жидкокристаллическую панель 17. Сенсорная панель 28 расположена на поверхности устройства формирования изображения, противоположной сенсорному экрану 18, то есть на поверхности на стороне объектива формирования изображения (см. фиг.2А и 2В, которые описаны ниже).

Устройство 19 записи включает в себя оптический диск, такой как DVD (ЦУД, цифровой универсальный диск), полупроводниковое запоминающее устройство, такое как карта памяти, или другие съемные носители записи. Устройство 19 записи можно устанавливать с возможностью отсоединения в основной корпус устройства формирования изображения.

В СППЗУ 25 сохраняется информация различного рода. Другая информация, такая как информация, которая должна быть сохранена, даже когда состояние питания установлено в положение "выключено", содержится в СППЗУ 25.

В ПЗУ 26 программы содержится программа, выполняемая ЦПУ 23, и данные, необходимые для выполнения программы.

В ОЗУ 27 временно сохраняется программа и данные, необходимые как рабочая область, когда ЦПУ 23 выполняет различного рода обработку.

Ниже представлен обзор работы всего устройства формирования изображения, имеющего конфигурацию, показанную на фиг.1.

ЦПУ 23 выполняет программу, сохраненную в ПЗУ 26 программы, для управления, таким образом, модулями устройства формирования изображения. ЦПУ 23 выполняет заданную обработку в соответствии с сигналом из сенсорной панели 16 или сенсорной панели 28, и сигналом из модуля 24 операций. Конкретный пример такой обработки поясняется ниже со ссылкой на блок-схемы последовательности операций.

Пользователь выполняет операции с модулем 24 операций, и из этого модуля сигнал, соответствующий операции, поступает в ЦПУ 23.

Когда палец пользователя введен в контакт с сенсорным экраном 18 или сенсорной панелью 28, например, палец прикасается в произвольном положении к сенсорному экрану 18 или к сенсорной панели 28, то есть пользователь выполняет ввод заданной операции, сенсорный экран 18 или сенсорная панель 28 детектирует координату положения контакта. Сенсорный экран 18 или сенсорная панель 28 передает электрический сигнал, обозначающий детектированную координату (ниже называется сигналом координаты), в ЦПУ 23. ЦПУ 23 распознает координату положения контакта из сигнала координаты, получает заданную информацию, связанную с этой координатой, и выполняет заданную обработку на основе информации.

В данном описании "контакт" включает в себя не только статистический контакт (контакт только в одной заданной области), но также и динамический контакт (контакт объекта контакта, такого как палец, который движется, вычерчивая заданную траекторию). Например, передвижение пальцем по изображению, такое как при переворачивании листа бумаги, представляет собой форму контакта.

Модуль 11 объектива выдвигается из корпуса или помещается внутри корпуса устройства формирования изображения в соответствии с приводом исполнительного элемента 20. Кроме того, регулировку стопора, включенного в модуль 11 объектива и движение линзы фокусирования, включенной в модуль 11 объектива, выполняют в соответствии с приводом исполнительного элемента 20.

ГС 22 обеспечивает сигнал синхронизации в устройстве 12 формирования изображения на основе управления ЦПУ 23. В соответствии с сигналом синхронизации управляют временем экспозиции и т.п. в устройстве 12 формирования изображения.

Устройство 12 формирования изображения работает на основе сигнала синхронизации, который поступает из ГС 22, принимая, таким образом, свет объекта, падающий через модуль 11 объектива, и выполняя фотоэлектрическое преобразование. Устройство 12 формирования изображения передает в модуль 13 обработки аналогового сигнала аналоговый сигнал изображения, соответствующий принятому количеству света. Привод 21 с двигателем осуществляет привод исполнительного элемента 20 под управлением ЦПУ 23.

Модуль 13 обработки аналогового сигнала применяет, на основе управления ЦПУ 23, обработку аналогового сигнала, такую как усиление аналогового сигнала изображения, поступающего из устройства 12 формирования изображения. Модуль 13 обработки аналогового сигнала предоставляет в модуль 14 А/Ц преобразования аналоговый сигнал изображения, полученный в результате обработки аналоговых сигналов.

Модуль 14 А/Ц преобразования выполняет А/Ц преобразование аналогового сигнала изображения из модуля 13 обработки аналогового сигнала на основе управления ЦПУ 23. Модуль 14 А/Ц преобразования предоставляет в модуль 15 обработки цифрового сигнала цифровой сигнал изображения, полученный в результате А/Ц преобразования.

Модуль 15 обработки цифрового сигнала применяет на основе управления, выполняемого ЦПУ 23, обработку цифровых сигналов, такую как обработку удаления шумов в цифровом сигнале изображения, предоставленном из модуля 14 А/Ц преобразования. Модуль 15 обработки цифрового сигнала обеспечивает отображение жидкокристаллической панелью 17 изображения, соответствующего цифровому сигналу изображения, в качестве сфотографированного изображения.

Модуль 15 обработки цифрового сигнала выполняет кодирование со сжатием, в соответствии с заданной системой кодирования со сжатием, такой как JPEG (ОГЭФ, объединенная группа экспертов по машинной обработке фотографических изображений), цифрового сигнала изображения, представляемого из модуля 14 А/Ц преобразования. Модуль 15 обработки цифрового сигнала обеспечивает запись устройством 19 записи кодированного со сжатием цифрового сигнала изображения.

Модуль 15 обработки цифрового сигнала считывает кодированный со сжатием цифровой сигнал изображения из устройства 19 записи, декодирует с расширением цифровой сигнал изображения в соответствии с системой декодирования с расширением, которая соответствует заданной системе кодирования со сжатием. Модуль 15 обработки цифрового сигнала обеспечивает отображение на жидкокристаллической панели 17 изображения, соответствующего цифровому сигналу изображения, в качестве записанного изображения.

Кроме того, модуль 15 обработки цифрового сигнала генерирует, на основе управления ЦПУ 23, изображение кадра, используемое для представления функции AF (АФ, автофокус) (ниже называется кадром АФ), и обеспечивает отображение изображения на жидкокристаллической панели 17.

Изображение, снятое устройством 12 формирования изображения (сфотографированное изображение), отображают на жидкокристаллической панели 17. В этом случае, кадр АФ устанавливают в изображении, отображаемом на жидкокристаллической панели 17. Фокусированием управляют на основе изображения в кадре АФ.

Как пояснялось выше, устройство формирования изображения имеет функцию АФ. Функция АФ включает в себя, помимо функции управления фокусом, функцию установки кадра АФ в произвольном положении на изображении, отображаемом на жидкокристаллической панели 17. Кроме того, функция АФ включает в себя функцию управления положением, размером и т.п. кадра АФ в соответствии с любой операцией, выполняемой на сенсорном экране 18, включающем в себя жидкокристаллическую панель 17 и сенсорную панель 16.

Обработка для реализации функции АФ реализуется с помощью ЦПУ 23, которое считывает программу из ПЗУ 26 программы и выполняет эту программу. Кроме того, устройство формирования изображения имеет функцию АЕ (АЭ, автоматической экспозиции) и функцию AWB (АББ, автоматической регулировки баланса белого цвета). Эти функции также реализуются с помощью ЦПУ 23, которое считывает программу из ПЗУ 26 программы.

Кроме того, функция АФ, функция АЭ и функция АББ представляют собой просто иллюстрации функций устройства формирования изображения. Устройство формирования изображения имеет различные функции, относящиеся к фотографированию изображения. Помимо различных видов функций основные функции, относящиеся к фотографированию, называются основными функциями, и прикладные функции, относящиеся к фотографированию, называются прикладными функциями. В качестве основных функций, помимо функции АФ, функции АЭ и функции АББ, например, можно использовать "функцию выбора режима фотографирования" и "функцию установки таймера фотографирования". В качестве прикладной функции, например, можно использовать "функцию изменения количества пикселей" и "функцию регулировки цветности".

На фиг.2А и 2В показаны виды в перспективе примера внешней конфигурации устройства формирования изображения в соответствии с примером, показанным на фиг.1.

Из поверхностей устройства формирования изображения поверхность, противоположная объекту, когда пользователь фотографирует объект, то есть поверхность, на которой расположен модуль 11 объектива, называется передней поверхностью. С другой стороны, из поверхностей устройства формирования изображения поверхность, противоположная пользователю, когда пользователь фотографирует объект, то есть поверхность на противоположной стороне от передней поверхности, называется задней поверхностью. Кроме того, из поверхностей устройства формирования изображения поверхность, расположенная на верхней стороне, и поверхность, расположенная на нижней стороне, когда пользователь фотографирует объект, называются верхней поверхностью и нижней поверхностью соответственно.

На фиг.2А показан вид в перспективе примера внешней конфигурации передней поверхности устройства формирования изображения. На фиг.2В показан вид в перспективе примера внешней конфигурации задней поверхности устройства формирования изображения.

Передняя поверхность устройства формирования изображения может быть закрыта крышкой 47 объектива. Когда крышка 47 объектива на передней поверхность открывается вниз, как показано на чертеже, устройство формирования изображения изменяет свое состояние с переходом в состояние, показанное на фиг.2А. Как показано на фиг.2А, в верхней части передней поверхности, с которой снята закрывающая объектив крышка 47, находятся объектив 45 фотографирования и осветитель 46 АФ, включенный в модуль 11 объектива, расположенные в этом порядке с правой стороны в верхней части. В нижней части передней поверхности, которая закрыта крышкой 47 объектива, расположена сенсорная панель 28 на участке рядом с центром устройства формирования изображения, за который пользователь не держит устройство, когда фотографирует объект.

Осветитель 46 АФ также выполняет функцию лампы автоспуска. На верхней поверхности устройства формирования изображения расположены рычаг 41 степени увеличения (ТЕЛЕИЗОБРАЖЕНИЕ/ШИРОКОУГОЛЬНОЕ ИЗОБРАЖЕНИЕ), кнопка 42 затвора, кнопка 43 воспроизведения и кнопка 44 питания в данном порядке слева направо на фиг.2А. Рычаг 41 степени увеличения, кнопка 42 затвора, кнопка 43 воспроизведения и кнопка 44 питания включены в модуль 24 операций, показанный на фиг.1.

Как показано на фиг.2В, сенсорный экран 18 расположен по всей задней поверхности устройства формирования изображения.

Как пояснялось выше, поскольку сенсорный экран 18 расположен на задней поверхности устройства формирования изображения, когда пользователь фотографирует объект, пользователь может выполнять операцию GUI (ТИП, графический интерфейс пользователя) с использованием сенсорного экрана 18, удерживая переднюю поверхность устройства формирования изображения направленной на объект.

В качестве операции ГИП для сенсорного экрана 18, например, в данном варианте воплощения, принята операция поиска и возврата изображения, имеющего сильную взаимосвязь с корневым изображением (ниже называется взаимосвязанное изображение), в отношении корневого изображения (ниже называется корневым изображением). Такая операция представляет собой операцию, для которой нет необходимости обеспечивать специальный экран поиска или тому подобное и операция выполняется интуитивно с использованием сенсорного экрана 18. Поэтому эта операция представляет собой операцию, которая позволяет пользователю легко находить взаимосвязанное изображение. Поэтому такая операция ниже называется операцией поиска взаимосвязанного изображения.

В качестве исходного условия операции поиска взаимосвязанного изображения предполагается, что цели, которые могут представлять собой корневое изображение или взаимосвязанное изображение (ниже называются целевыми изображениями поиска), представляют собой все изображения, записанные в устройстве 19 записи. Предполагается, что для всех целевых изображений поиска степень силы взаимосвязи уже была получена из базы данных или тому подобное заранее на основе, например, дополнительной информации, поясняющейся ниже.

Поиск, относящийся к степени силы взаимосвязи, не ограничивается примером, пояснявшимся выше. Степень силы взаимосвязи может быть определена каждый раз, когда выполняют операцию поиска взаимосвязанного изображения. Однако для упрощения пояснения предполагается, что степень силы взаимосвязи уже была заранее определена во всех вариантах воплощения, описанных в данном описании.

В качестве дополнительной информации, например, в данном варианте воплощения предполагается, что применяется информация лица, информация положения/места, информация времени и информация цвета. Информация лица означает информацию, относящуюся к лицу человека, и информацию, достаточную для идентификации человека. Информация положения/места означает информацию, относящуюся к широте и долготе, полученную с помощью GPS (СГН, Система глобальной навигации) или тому подобное, или информацию (название места), которую можно распознавать как специфическое место с помощью распознавания изображения для изображения. Информация времени означает информацию, относящуюся к времени фотографирования. Информация цвета означает информацию, относящуюся к цвету, использованному в большинстве мест на изображении.

Целевое изображение поиска не ограничивается неподвижным изображением и включает в себя движущееся изображение. Однако когда движущееся изображение представляет собой целевое изображение поиска, дополнительная информация движущегося изображения представляет собой группу информации, получаемую из соответствующих единичных изображений (полей, кадров и т.п.), формирующих движущееся изображение.

Корневое изображение отличается от других изображений, и его отображают для ясного представления корневого изображения. Например, корневое изображение может отображаться более крупно, чем другие изображения, может отображаться более ярко, чем другие изображения, или может быть окружено рамкой.

Первый пример операции поиска взаимосвязанного изображения поясняется ниже со ссылкой на фиг.3А-3Е.

Вначале пользователь выбирает произвольное изображение как корневое изображение P1. Сама операция выбора не ограничена конкретно. Когда выбирают корневое изображение Р1, состояние отображения сенсорного экрана 18 изменяется на состояние, показанное на фиг.3А. Состояние, в котором корневое изображение Р1 отображают на сенсорном экране 18, показано на фиг.3А.

В то время как состояние отображения сенсорного экрана 18 представляет собой состояние, показанное на фиг.3А, пользователь вводит палец f1 в контакт с корневым изображением Р1 (область на сенсорном экране 18, в котором отображается корневое изображение Р1), как показано на фиг.3В. Затем, как показано на фиг.3С, пользователь выполняет операцию передвижения пальца f1 в заданном направлении на заданное расстояние (в примере, показанном на фиг.3А-3Е, расстояние, обозначенное пунктирной стрелкой), начиная с корневого изображения Р1, с поддержанием контакта с сенсорным экраном 18. Такая операция ниже называется операцией передвижения.

Далее, когда пользователь отпускает палец f1, состояние отображения сенсорного экрана 18 переходит в состояние, показанное на фиг.3D. На сенсорном экране 18 взаимосвязанное изображение Р2 для корневого изображения Р1 отображается в области, где палец f1 был отпущен, в то время как корневое изображение Р1 отображалось в исходной области. Взаимосвязанное изображение Р2 может представлять собой любое одно из множества взаимосвязанных изображений, относящихся к корневому изображению Р1. Однако, в данном варианте воплощения, изображение, имеющее наибольшую степень силы взаимосвязи с корневым изображением Р1, отображается как взаимосвязанное изображение Р2.

Далее, когда пользователь отпускает палец f1 после ввода пальца f1 в контакт с взаимосвязанным изображением Р2 и выполнения операции передвижения, как показано на фиг.3Е, взаимосвязанное изображение Р3 отображается в области, где был отпущен палец f1.

Взаимосвязанное изображение Р3 в некотором случае представляет собой взаимосвязанное изображение для корневого изображения Р1 и в других случаях представляет собой взаимосвязанное изображение для взаимосвязанного изображения Р2.

Когда пользователь снимает палец f1 с сенсорного экрана 18, это означает конец операции передвижения. Поэтому каждый раз, когда выполняется операция передвижения, взаимосвязанные изображения корневого изображения Р1 последовательно отображаются в области, в точке, в которой была закончена операция передвижения на сенсорном экране 18, в порядке степени силы взаимосвязи взаимосвязанных изображений. Другими словами, пользователь может выполнять операцию, как если бы пользователь выполнял поиск взаимосвязанных изображений с повторением операции передвижения.

Кроме того, также возможно придать значение направлению операции передвижения. Соответствующие пункты классификации взаимосвязи с корневым изображением Р1 ассоциированы с соответствующими направлениями операции передвижения. Вследствие этого, когда многократно выполняют операцию передвижения в заданном направлении, взаимосвязанные изображения последовательно отображаются на сенсорном экране 18 в порядке степени силы взаимосвязи пунктов классификации, ассоциированных с заданным направлением. Такие пункты классификации можно определять как условия поиска для взаимосвязанных изображений. Поэтому пункты классификации также называются условиями сужения, в соответствующих случаях.

В частности, например, в данном варианте воплощения предполагается, что "человек", "место", "время" и "цвет" приняты как условия сужения (пунктов классификации). В этом случае предполагается, что степень силы взаимосвязи "человека", "места", "времени" и "цвета" уже была получена заранее, соответственно, используя информацию лица, информацию положения/места, информацию времени и информацию цвета из дополнительной информации.

Например, предполагается, что условие "время" связано с наклонным направлением вверх и вправо операции передвижения, и условие "человек" взаимосвязано с наклонным направлением вниз и вправо операции передвижения.

В этом случае, например, взаимосвязанное изображение Р2, показанное на фиг.3Е, то есть взаимосвязанное изображение Р2, отображаемое после выполнения операции передвижения в наклонном направлении вниз и вправо, представляет собой взаимосвязанное изображение, имеющее сильную взаимосвязь в отношении условия "человек", с корневым изображением Р1, например, взаимосвязанное изображение, включающее в себя того же человека, что и корневое изображение Р1.

С другой стороны, например, взаимосвязанное изображение Р4, показанное на фиг.3Е, то есть взаимосвязанное изображение Р4, отображаемое после выполнения операции передвижения в наклонном направлении вверх и вправо, представляет собой взаимосвязанное изображение, имеющее сильную взаимосвязь в отношении условия "время" с корневым изображением Р1, например, взаимосвязанное изображение, сфотографированное во время, близкое к времени фотографирования корневого изображения Р1.

Далее поясняется обработка, выполняемая устройством формирования изображения, показанным на фиг.1, в ответ на пример операции в соответствии с фиг.3А-3Е, то есть операция в соответствии с первым примером операции поиска взаимосвязанного изображения. Обработка, выполняемая устройством формирования изображения, в ответ на операцию поиска взаимосвязанного изображения, ниже называется обработкой поиска взаимосвязанного изображения. В частности, обработка поиска взаимосвязанного изображения в ответ на операцию К-го примера (К представляет собой целое значение, равное или больше 1) операции поиска взаимосвязанного изображения в соответствии с данным вариантом воплощения называется К-ой обработкой поиска взаимосвязанного изображения.

Подробный пример обработки поиска первого взаимосвязанного изображения, выполняемой, когда взаимосвязанное изображение, найденное в результате операции поиска взаимосвязанного изображения, представляет собой взаимосвязанное изображение (в примере, показанном на фиг.3А-3Е, взаимосвязанное изображение Р2 или Р4) для корневого изображения (в примере, показанном на фиг.3А-3Е, корневое изображение Р1), представляет собой обработку поиска взаимосвязанного изображения 1А. Подробный пример первой обработки поиска взаимосвязанного изображения, выполняемой с взаимосвязанным изображением, найденным с помощью операции поиска изображения, представляет собой взаимосвязанное изображение (в примере, показанном на фиг.3А-3Е, взаимосвязанное изображение Р3) для взаимосвязанного изображения (в примере, показанном н