Способ и устройство обработки изображений

Способ и устройство обработки изображений

Иллюстрации

Показать все

Реферат

Настоящая заявка основана на и испрашивает приоритет китайской патентной заявки №2015108131405, поданной 20 ноября 2015 г., все содержание которой включено в настоящий документ посредством ссылки.

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0001] Настоящее изобретение относится к области обработки изображений, в частности, к способу и устройству обработки изображений.

УРОВЕНЬ ТЕХНИКИ

[0002] В настоящее время по мере развития распознавания изображений проводится все больше исследований глубоких смыслов, выраженных изображениями. Однако существующие системы автоматического текстового описания изображений предоставляют только простые описания людей или объектов изображений, а, следовательно, пользователь не может получить информацию о взаимоотношениях между людьми в соответствии с такими описаниями.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0003] Варианты осуществления настоящего изобретения предлагают способ и устройство обработки изображений, как описано далее.

[0004] В соответствии с первым аспектом вариантов осуществления настоящего изобретения предлагается способ обработки изображений, содержащий следующие этапы:

распознают лицо на изображении пользователя;

получают информацию о личности, соответствующей распознанному лицу, содержащую по крайней мере однозначный идентификатор человека, соответствующего данному лицу, и отношения между человеком, соответствующим лицу, и пользователем;

получают информацию о съемке изображения, где информация о съемке содержит по крайней мере один из аспектов: время съемки и место съемки изображения; и

формируют описание изображения в соответствии с информацией о личности и информацией о съемке.

[0005] В некоторых случаях получение информации о личности, соответствующей распознанному лицу, содержит следующие этапы:

получают заданную базу личных данных, содержащую соответствующие связи между лицами и информацией о личности;

сравнивают распознанное лицо с лицами из заданной базы личных данных для поиска лица в заданной базе личных данных, соответствующего распознанному лицу; и

получают информацию о личности, соответствующей распознанному лицу из заданной базы личных данных, соответствующему распознанному лицу.

[0006] В некоторых случаях получение информации о личности, соответствующей распознанному лицу, содержит следующие этапы:

получают контактную информацию пользователя, содержащую головные портреты и информацию о личности контактных лиц;

сравнивают распознанное лицо с головными портретами контактных лиц для поиска головного портрета контактного лица, соответствующего распознанному лицу; и

получают информацию о личности, соответствующей головному портрету контактного лица, соответствующему распознанному лицу.

[0007] В некоторых случаях формирование описания изображения в соответствии с информацией о личности и информацией о съемке содержит следующие этапы:

распознают объект на изображении для определения наименования этого объекта; и

формируют описание изображения в соответствии с информацией о личности, информацией о съемке и наименованием объекта.

[0008] В некоторых случаях указанный способ дополнительно содержит следующие этапы:

группируют изображения пользователя; и

формируют описание каждой группы изображений в соответствии с описанием каждого изображения в группе.

[0009] В некоторых случаях группировка изображений пользователя содержит следующие этапы:

группируют изображения по крайней мере по одному из следующих признаков: время съемки, место съемки и лиц на изображениях.

[0010] В некоторых случаях указанный способ дополнительно содержит следующие этапы:

демонстрируют группы и описания каждой группы изображений при получении команды просмотра, направляемой пользователем.

[0011] В некоторых случаях демонстрация групп и описаний каждой группы изображений дополнительно содержит следующие этапы:

демонстрируют изображения в каждой группе и описания изображений в режиме показа слайдов.

[0012] В соответствии со вторым аспектом вариантов осуществления настоящего изобретения предлагается устройство обработки изображений, содержащее:

распознающий модуль, выполненный с возможностью распознавания лиц на изображении пользователя;

определяющий модуль, выполненный с возможностью определения информации о личности, соответствующей лицу, распознанному распознающим модулем; при этом информация о личности содержит по крайней мере однозначный идентификатор человека в соответствии с лицом и отношения между этим человеком и пользователем;

запрашивающий модуль, выполненный с возможностью получения информации о съемке, содержащей по крайней мере один из аспектов: время съемки и место съемки; и

первый формирующий модуль, выполненный с возможностью формирования описания изображения в соответствии с информацией о личности, определенной определяющим модулем, и информацией о съемке, полученной запрашивающим модулем.

[0013] В некоторых случаях определяющий модуль дополнительно содержит:

первый запрашивающий субмодуль, выполненный с возможностью получения заданной базы личных данных, содержащей соответствующие связи между лицами и информацией о личности;

первый сравнивающий субмодуль, выполненный с возможностью сравнения лица, распознанного распознающим модулем, с лицами в заданной базе личных данных, полученной первым запрашивающим субмодулем, для поиска лица в заданной базе личных данных, соответствующего распознанному лицу; и

второй запрашивающий субмодуль, выполненный с возможностью определения информации о личности, соответствующей лицу в заданной базе личных данных, соответствующему распознанному лицу.

[0014] В некоторых случаях определяющий модуль содержит:

третий запрашивающий субмодуль, выполненный с возможностью получения контактной информации пользователя, содержащей головные портреты и информацию о личности контактных лиц;

второй сравнивающий субмодуль, выполненный с возможностью сравнения лица, распознанного распознающим модулем, с головными портретами контактных лиц для поиска головного портрета контактного лица, соответствующего распознанному лицу; и

четвертый запрашивающий субмодуль, выполненный с возможностью получения информации о личности, соответствующей головному портрету контактного лица, соответствующему распознанному лицу.

[0015] В некоторых случаях первый формирующий модуль содержит:

распознающий субмодуль, выполненный с возможностью распознавания объекта на изображении для определения наименования такого объекта; и

формирующий субмодуль, выполненный с возможностью формирования описания изображения в соответствии с информацией о личности, определенной определяющим модулем, информацией о съемке, полученной запрашивающим модулем, и наименованием объекта, распознанного распознающим субмодулем.

[0016] В некоторых случаях устройство дополнительно содержит:

группирующий модуль, выполненный с возможностью группировки изображений пользователя; и

второй формирующий модуль, выполненный с возможностью формирования описания каждой группы изображений в соответствии с описанием каждого изображения в группе, сформированным первым формирующим модулем.

[0017] В некоторых случаях группирующий модуль выполнен с возможностью группировки изображений по крайней мере по одному из следующих признаков: время съемки и место съемки изображений, определенные запрашивающим модулем, и лица на изображениях, распознанные распознающим модулем.

[0018] В некоторых случаях устройство дополнительно содержит:

демонстрационный модуль, выполненный с возможностью демонстрации групп и описаний каждой группы изображений, сформированных вторым формирующим модулем, при получении команды просмотра, направляемой пользователем.

[0019] В некоторых случаях демонстрационный модуль выполнен с возможностью демонстрации изображений в каждой группе и описаний изображений, сформированных первым формирующим модулем, в режиме показа слайдов.

[0020] В соответствии с третьим аспектом вариантов осуществления настоящего изобретения предлагается устройство для обработки изображений, содержащее:

процессор; и

память, выполненную с возможностью хранения команд, исполняемых процессором,

при этом процессор выполнен с возможностью:

распознавания лица на изображении пользователя;

получения информации о личности, соответствующей распознанному лицу, содержащей по крайней мере однозначный идентификатор человека, соответствующего лицу, и отношения между человеком, соответствующим лицу, и пользователем;

получения информации о съемке изображения, где информация о съемке содержит по крайней мере один из аспектов: время съемки и место съемки изображения; и

формирования описания изображения в соответствии с информацией о личности и информацией о съемке.

[0021] В соответствии с техническими решениями в вариантах осуществления настоящего изобретения могут быть достигнуты следующие технические результаты.

[0022] В варианте осуществления изобретения распознают лицо на изображении и формируют описание изображения в соответствии с информацией о личности, соответствующей лицу, а также информацией о съемке изображения, таким образом, формируют более точное описание изображения, способность к автоматическому описанию изображения улучшается и приближается к способности описания изображения человеком, пользователь может оперативно получать точную информацию о каждом изображении, и пользовательский опыт улучшается.

[0023] В другом варианте осуществления из обретения могут точно получить информацию о личности на изображении, следовательно, могут сформировать более точное описание изображения, способность к автоматическому описанию изображения улучшается и приближается к способности описания изображения человеком, пользователь может оперативно получать точную информацию о каждом изображении, и пользовательский опыт улучшается.

[0024] Еще в одном варианте осуществления изобретения формируют описание изображения в сответствии с разными типами соответствующей информации об изображении, делая описание, таким образом, более точным, способность к автоматическому описанию изображения улучшается и приближается к способности описания изображения человеком, пользователь может оперативно получать точную информацию о каждом изображении, и пользовательский опыт улучшается.

[0025] Еще в одном варианте осуществления изобретения изображения описывают группой, демонстрируя сгруппированные изображения и их описание, таким образом, пользователь может оперативно получать точную информацию о каждой группе изображений, и пользовательский опыт улучшается.

[0026] Следует понимать, что как предшествующие общие описания, так и нижеследующие подробные описания являются лишь примерами, служат лишь для пояснения и не ограничивают настоящее изобретение.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0027] Сопровождающие чертежи, включенные в настоящий документ и составляющие его часть, иллюстрируют варианты осуществления изобретения, соответствующие настоящему раскрытию, и вместе с настоящим описанием служат для пояснения принципов настоящего изобретения.

[0028] Фиг. 1 представляет собой схему, иллюстрирующую способ обработки изображений в соответствии с примерным вариантом осуществления настоящего изобретения.

[0029] Фиг. 2 представляет собой схему, иллюстрирующую способ обработки изображений в соответствии с другим примерным вариантом осуществления настоящего изобретения.

[0030] Фиг. 3 представляет собой схему, иллюстрирующую способ обработки изображений в соответствии с другим примерным вариантом осуществления настоящего изобретения.

[0031] Фиг. 4 представляет собой схему, иллюстрирующую способ обработки изображений в соответствии с другим примерным вариантом осуществления настоящего изобретения.

[0032] Фиг. 5 представляет собой схему, иллюстрирующую способ обработки изображений в соответствии с другим примерным вариантом осуществления настоящего изобретения.

[0033] Фиг. 6 представляет собой блок-схему, иллюстрирующую устройство обработки изображений в соответствии с примерным вариантом осуществления настоящего изобретения.

[0034] Фиг. 7 представляет собой блок-схему, иллюстрирующую определяющий модуль в соответствии с примерным вариантом осуществления настоящего изобретения.

[0035] Фиг. 8 представляет собой блок-схему, иллюстрирующую определяющий модуль в соответствии с другим примерным вариантом осуществления настоящего изобретения.

[0036] Фиг. 9 представляет собой блок-схему, иллюстрирующую первый формирующий модуль в соответствии с примерным вариантом осуществления настоящего изобретения.

[0037] Фиг. 10 представляет собой блок-схему, иллюстрирующую устройство обработки изображений в соответствии с другим примерным вариантом осуществления настоящего изобретения.

[0038] Фиг. 11 представляет собой блок-схему, иллюстрирующую устройство обработки изображений в соответствии с другим примерным вариантом осуществления настоящего изобретения.

[0039] Фиг. 12 представляет собой блок-схему, иллюстрирующую устройство обработки изображений в соответствии с примерным вариантом осуществления настоящего изобретения.

[0040] Фиг. 13 представляет собой блок-схему, иллюстрирующую устройство обработки изображений в соответствии с примерным вариантом осуществления настоящего изобретения.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

[0041] Далее будут подробно рассмотрены примерные варианты осуществления изобретения, иллюстрируемые сопровождающими чертежами. Дальнейшее описание ссылается на сопровождающие чертежи, в которых одинаковые номера на разных чертежах обозначают одинаковые или подобные элементы, если не указано иное. Варианты осуществления, рассмотренные в нижеследующем описании примерных вариантов осуществления изобретения, не представляют все варианты осуществления, соответствующие настоящему изобретению. Напротив, они представляют собой лишь примеры устройств и способов, соответствующих аспектам, относящимся к настоящему изобретению согласно прилагаемой формуле изобретения.

[0042] Варианты осуществления настоящего изобретения представляют техническое решение, относящееся к терминалу или серверу. В соответствии с данным решением распознают лицо на изображении, получают информацию о личности, соответствующей распознанному лицу, и формируют описание изображения в соответствии с информацией о личности.

[0043] Терминал может быть представлен любым устройством с функцией обработки изображений, таким как мобильный телефон, компьютер, цифровой передающий терминал, устройство рассылки сообщений, игровая консоль, планшетный компьютер, медицинское устройство, тренировочное оборудование, карманный персональный компьютер и т.д.

[0044] Фиг. 1 представляет собой схему, иллюстрирующую способ обработки изображений в соответствии с примерным вариантом осуществления настоящего изобретения. Как показано на Фиг. 1, способ обработки изображения, применяемый терминалом или сервером, содержит следующие этапы.

[0045] На этапе S11 распознают лицо на изображении.

[0046] Например, могут использовать способы, основанные на выделении геометрических признаков, матричные способы и способы, основанные на использовании модели. Среди них матричные способы можно классифицировать на способы, основанные на корреляционном распознавании, способы собственных лиц, способы линейного дискриминантного анализа, способы разложения по сингулярным числам матрицы, способы нейросетей, способы сопоставления динамических связей и т.п. Способы, основанные на использовании модели, включают в себя способы, основанные на скрытой Марковской модели, активной модели формы и активной наглядной модели и т.д.

[0047] На этапе S12 получают информацию о личности, соответствующей распознанному лицу. Информация о личности содержит по крайней мере однозначный идентификатор человека, соответствующего лицу, и отношения между человеком, соответствующим лицу, и пользователем.

[0048] Идентификатор человека может представлять собой идентификатор, определяющий личность человека, например, имя, сетевой аккаунт, ник, кодовое имя человека и т.д. Отношения между человеком и пользователем могут подразумевать семейные отношения, родство, отношения одноклассников, отношения коллег, отношения друзей и т.д.

[0049] На этапе S13 получают информацию о съемке изображения. Информация о съемке содержит по крайней мере один из аспектов: время съемки и место съемки изображения.

[0050] Информацию о съемке изображения могут получать из заменяемого файла образа (сокращенно - ЗФ О (exif)) изображения. ЗФ О содержит метаданные, специально сформированные для фотографий цифровой камеры и содержащие по крайней мере следующие типы информации о записи цифровых фотографий:

время съемки, фотооборудование (например, основной блок оборудования, линзы, фотовспышка и т.д.), параметры съемки (например, выдержка затвора, апертурное число объектива, скорость ISO, фокусное расстояние, режим измерения экспозиции и т.д.), параметры обработки изображения (например, резкость, контраст, цветовая насыщенность, баланс белого и т.д.), описание изображения и информация об авторском праве, место съемки (например, данные системы глобального позиционирования (GPS) и т.д.), уменьшенное изображение и т.д.

[0051] На этапе S14 формируют описание изображения в соответствии с информацией о личности и информацией о съемке.

[0052] Например, путем распознавания лица (лиц) на изображении могут определить, что лица на изображении являются лицами родителей пользователя, а полученная информация об изображении содержит время съемки - 1 октября 2015 г. - и место съемки - Тяньанымэнь. Таким образом, в процессе анализа изображения получают следующую информацию: "родители", "1 октября 2015 г.", "Тяньанымэнь" и т.д. Затем могут сформировать описание изображения (например, "с родителями на Тяньанымэнь 1 октября 2015 г.", "поездка в Пекин с родителями 1 октября 2015 г." и т.д.) с использованием абстрактной формирующей технологии из технологий обработки естественного языка (например, извлекающего алгоритма или абстрагирующего алгоритма).

[0053] В данном варианте осуществления распознают лицо(а) и формируют описание изображения в соответствии с информацией о личности, соответствующей лицу(ам) и информацией о съемке изображения, таким образом, формируют более точное описание изображения, способность к автоматическому описанию изображения улучшается и приближается к способности описания изображения человеком, пользователь может оперативно получать точную информацию о каждом изображении, и пользовательский опыт улучшается.

[0054] В другом варианте осуществления изобретения информацию о личности, соответствующей распознанному лицу, могут получать с использованием одного из следующих вариантов реализации.

[0055] I. Информацию о личности, соответствующей лицу, получают с использованием заданной базы личных данных

[0056] Фиг. 2 представляет собой схему, иллюстрирующую способ обработки изображений в соответствии с другим примерным вариантом осуществления настоящего изобретения. Как показано на Фиг. 2, получение информации о личности, соответствующей распознанному лицу, содержит следующие этапы.

[0057] На этапе S21 получают заданную базу личных данных, где заданная база личных данных со держит соответствующие св язи между лицами и информацией о личности.

[0058] На этапе S22 распознанное лицо сравнивают с лицами в заданной базе личных данных для поиска лица в заданной базе личных данных, соответствующего распознанному лицу.

[0059] На этапе S23 получают информацию о личности, соответствующей лицу из заданной базы личных данных, соответствующему распознанному лицу.

[0060] Пользователь может заранее установить заданную базу личных данных. Например, заданную базу личных данных формируют, получая фотографии лиц членов семьи и указывая идентификатор или семейные отношения, соответствующие фотографии лица каждого члена семьи. Дополнительно или вместо этого в заданную базу личных данных могут добавлять одноклассников, друзей, коллег и т.п.

[0061] II. Информацию о личности, соответствующей лицу, получают с использованием контактной информации пользователя

[0062] Фиг. 3 представляет собой схему, иллюстрирующую способ обработки изображений в соответствии с другим примерным вариантом осуществления настоящего изобретения. Как показано на Фиг. 3, получение информации о личности, соответствующей распознанному лицу, содержит следующие этапы.

[0063] На этапе S31 получают контактную информацию пользователя. Контактная информация содержит головные портреты и информацию о личности контактных лиц.

[0064] На этапе S32 распознанное лицо сравнивают с головными портретами контактных лиц для поиска головного портрета контактного лица, соответствующего распознанному лицу.

[0065] На этапе S33 получают информацию о личности, соответствующей головному портрету контактного лица, соответствующему распознанному лицу.

[0066] Таким образом, информацию о личности, соответствующей лицу на изображении, могут получить с использованием головных портретов контактных лиц из списка контактов.

[0067] В данном варианте осуществления эти два варианта реализации могут также объединять, то есть получают информацию о личности, соответствующей лицу на изображении, в соответствии как с заданной базой личных данных, так и с контактной информацией из списка контактов.

[0068] В данном варианте осуществления можно получить точную информацию о личности людей на изображении путем определения информации о личности, соответствующей лицу, с использованием одного из указанных выше вариантов реализации или их комбинации, таким образом, в соответствии с информацией о личности можно затем сформировать более точное описание изображения, способность к автоматическому описанию изображения улучшается и приближается к способности описания изображения человеком, пользователь может оперативно получать точную информацию о каждом изображении, и пользовательский опыт улучшается.

[0069] В другом варианте осуществления изобретения для формирования более точного описания изображения могут дополнительно получать другую информацию об изображении (например, информацию о съемке, информацию о других объектах, помимо лиц на изображении и т.д.).

[0070] Фиг. 4 представляет собой схему, иллюстрирующую способ обработки изображений в соответствии с другим примерным вариантом осуществления настоящего изобретения. Как показано на Фиг. 4, формирование описания изображения в соответствии с информацией о личности и информацией о съемке изображения дополнительно содержит следующие этапы.

[0071] На этапе S41 распознают объект на изображении для определения наименования этого объекта.

[0072] Для распознавания объекта(ов), присутствующего(их) на изображении, могут использовать такие алгоритмы как R-CNN и fast-CNN. Например, сначала выделяют возможные подходящие участки на изображении, а затем к объектам, изображенным на выделенных участках, применяют классификацию сверточной нейронной сети СНС (CNN).

[0073] На этапе S42 формируют описание изображения в соответствии с информацией о личности, информацией о съемке и наименованием объекта.

[0074] Например, если время съемки изображения - 1 октября 2015 г., место съемки - площадь Тяньанымэнь, лица на изображении - лица родителей пользователя, а распознанные объекты, представленные на изображении, включают цветы, национальный флаг и т.п., то сформированное описание может быть таким: "на церемонии поднятия флага с родителями на площади Тяньанымэнь 1 октября 2015 г."

[0075] Кроме того, помимо информации о личности, информации о съемке и наименования объекта, при автоматическом описании изображения могут принимать во внимание другую информацию (например, информацию о погоде в день, когда было сделано изображение, событие, происходящее во время и в месте съемки и т.д.)

[0076] В данном варианте осуществления описание формируют в соответствии с разными типами соответствующей информации об изображении, делая описание, таким образом, более точным, способность к автоматическому описанию изображения улучшается и приближается к способности описания изображения человеком, пользователь может оперативно получать точную информацию о каждом изображении, и пользовательский опыт улучшается.

[0077] В другом варианте осуществления изобретения изображения могут группировать и формировать общее описание для каждой группы изображений. Фиг. 5 представляет собой схему, иллюстрирующую способ обработки изображений в соответствии с данным примерным вариантом осуществления настоящего изобретения. Как показано на Фиг. 5, способ дополнительно содержит следующие этапы.

[0078] На этапе S51 группируют изображения пользователя.

[0079] На этапе S52 формируют описание каждой группы изображений в соответствии с описанием каждого изображения в группе изображений.

[0080] Например, могут выделять некоторые репрезентативные фрагменты текста из описаний отдельных изображений в каждой группе с использованием извлекающего алгоритма, а затем объединять их для формирования описания каждой группы изображений.

[0081] Изображения могут группировать по обстановке съемки. Группировка изображений пользователя содержит следующие этапы:

группировка изображений по крайней мере по одному из следующих факторов: время съемки и место съемки изображений и лица на изображениях.

[0082] Например, пользователь может сгруппировать фотографии, снятые 1 октября 2015 г., в одну группу, фотографии, снятые на площади Тяньанымэнь, в одну группу, все фотографии, на которых изображены лица родителей пользователя, в одну группу, фотографии, снятые на площади Тяньанымэнь 1 октября 2015 г., в одну группу, фотографии, на которых изображены лица родителей пользователя, снятые 1 октября 2015 г., одну группу, фотографии, на которых изображены лица родителей пользователя, снятые на площади Тяньанымэнь, в одну группу, или фотографии, на которых изображены лица родителей пользователя, снятые на площади Тяньанымэнь 1 октября 2015 г., в одну группу.

[0083] Фотографии, снятые в одной и той же обстановке, могут точно разделять, группируя эти фотографии на основании такой информации, как информация о съемке фотографий и лица на фотографиях, обеспечивая, таким образом, последующее точное автоматическое описание каждой группы фотографий.

[0084] Пользователь может просматривать изображения группами, и соответствующие группы и описание каждой группы изображений демонстрируются при получении команды просмотра, направляемой пользователем. Кроме того, изображения в каждой группе и описания изображений могут демонстрироваться в режиме показа слайдов.

[0085] В данном варианте осуществления изображения описывают группами, демонстрируя сгруппированные изображения и их описание, благодаря чему пользователь может оперативно получать точную информацию о каждой группе изображений, и пользовательский опыт улучшается.

[0086] Далее раскрываются ваарианты осуществления устройства, представленного в настоящем изобретении, которое могут применять для реализации вариантов осуществления способа, представленного в настоящем изобретении.

[0087] Фиг. 6 представляет собой блок-схему, иллюстрирующую устройство обработки изображений в соответствии с примерным вариантом осуществления настоящего изобретения. Данное устройство может быть реализовано как часть электронного устройства или как целое электронное устройство с использованием программного обеспечения, аппаратного обеспечения или и программного и аппаратного обеспечения. Как показано на Фиг. 6, устройство обработки изображений содержит:

распознающий модуль 61, выполненный с возможностью распознавания лица на изображении пользователя.

[0088] Например, распознающий модуль 61 может использовать способы, основанные на выделении геометрических признаков, матричные способы и способы, основанные на использовании модели. Среди них матричные способы можно классифицировать на способы, основанные на корреляционном распознавании, способы собственных лиц, способы линейного дискриминантного анализа, способы разложения по сингулярным числам матрицы, способы нейросетей, способы сопоставления динамических связей и т.п. Способы, основанные на использовании модели, включают в себя способы, основанные на скрытой Марковской модели, активной модели формы и активной наглядной модели и т.д.

[0089] Определяющий модуль 62 выполнен с возможностью определения информации о личности, соответствующей лицу, распознанному распознающим модулем 61; при этом информация о личности содержит по крайней мере однозначный идентификатор человека в соответствии с лицом и отношения между этим человеком и пользователем.

[0090] Идентификатор человека может представлять собой идентификатор, определяющий личность человека, например, имя, сетевой аккаунт, ник, кодовое имя человека и т.д. Отношения между человеком и пользователем могут подразумевать семейные отношения, родство, отношения одноклассников, отношения коллег, отношения друзей и т.д.

[0091] Запрашивающий модуль 63 выполнен с возможностью получения информации о съемке, содержащей по крайней мере один из аспектов: время съемки и место съемки.

[0092] Информацию о съемке изображения могут получать из заменяемого файла образа (сокращенно - ЗФО) изображения. ЗФО содержит метаданные, специально сформированные для фотографий цифровой камеры и содержащие по крайней мере следующие типы информации о записи цифровых фотографий:

время съемки, фотооборудование (например, основной блок оборудования, линзы, фотовспышка и т.д.), параметры съемки (например, выдержка затвора, апертурное число объектива, скорость ISO, фокусное расстояние, режим измерения экспозиции и т.д.), параметры обработки изображения (например, резкость, контраст, цветовая насыщенность, баланс белого и т.д.), описание изображения и информация об авторском праве, место съемки (например, данные системы глобального позиционирования (GPS) и т.д.), уменьшенное изображение и т.д.

[0093] Первый формирующий модуль 64 выполнен с возможностью формирования описания изображения в соответствии с информацией о личности, определенной определяющим модулем 62 и информацией о съемке, полученной запрашивающим модулем 63.

[0094] Например, распознающий модуль 61 распознает лицо(а) на изображении, определяющий модуль 62 определяет, что лица на изображении являются лицами родителей пользователя, а информация об изображении, полученная запрашивающим модулем 63, содержит время съемки - 1 октября 2015 г. - и место съемки - Тяньанымэнь. Тогда первый формирующий модуль 64 может использовать абстрактную формирующую технологию из технологий обработки естественного языка для формирования следующего описания изображения: "с родителями на Тяньанымэнь 1 октября 2015 г.", "поездка в Пекин с родителями 1 октября 2015 г." и т.д.

[0095] В данном варианте осуществления распознающий модуль 61 распознает лицо(а) на изображении, а первый формирующий модуль 64 формирует описание изображения в соответствии с информацией о личности, соответствующей лицу(ам), определенными определяющим модулем 62, и информацией о съемке изображения, полученной запрашивающим модулем 63, таким образом, формируют более точное описание изображения, способность к автоматическому описанию изображения улучшается и приближается к способности описания изображения человеком, пользователь может оперативно получать точную информацию о каждом изображении, и пользовательский опыт улучшается.

[0096] В другом варианте осуществления изобретения информацию о личности, соответствующей распознанному лицу, могут получать с использованием одного из следующих вариантов реализации.

[0097] I. Информацию о личности, соответствующей лицу, получают с использованием заданной базы личных данных

[0098] Фиг. 7 представляет собой блок-схему, иллюстрирующую определяющий модуль в соответствии с примерным вариантом осуществления настоящего изобретения. Как показано на Фиг. 7, определяющий модуль 62 содержит:

первый запрашивающий субмодуль 71, выполненный с возможностью получения заданной базы личных данных, содержащей данные о соответствующей связи между лицами и информацией о личности;

первый сравнивающий субмодуль 72, выполненный с возможностью сравнения лица, распознанного распознающим модулем 61, с лицами в заданной базе личных данных, полученной первым запрашивающим субмодулем 71, для поиска лица в заданной базе личных данных, соответствующего распознанному лицу;

второй запрашивающий субмодуль 73, выполненный с возможностью определения информации о личности, соответствующей лицу в заданной базе личных данных, соответствующему распознанному лицу.

[0099] Пользователь может заранее установить заданную базу личных данных. Например, заданную базу личных данных формируют, получая фотографии лиц членов семьи и указывая идентификатор или семейные отношения, соответствующие фотографии лица каждого члена семьи. Дополнительно или вместо этого в заданную базу личных данных могут добавлять одноклассников, друзей, коллег и т.п.

[00100] II. Информацию о личности, соответствующей лицу, получают с использованием контактной информации пользователя

[00101] Фиг. 8 представляет собой блок-схему, иллюстрирующую определяющий модуль в соответствии с другим примерным вариантом осуществления настоящего изобретения. Как показано на Фиг. 8, определяющий модуль 62 содержит:

третий запрашивающий субмодуль 81, выполненный с возможностью получения контактной информации пользователя, содержащей головные портреты и информацию о личности контактных лиц;

второй сравнивающий субмодуль 82, выполненный с возможностью сравнения лица, распознанного распознающим модулем, с головными портретами контактных лиц для поиска головного портрета контактного лица, соответствующего распознанному лицу;

четвертый запрашивающий субмодуль 83, выполненный с возможностью определения информации о личности, соответствующей головному портрету контактного лица, соответствующему распознанному лицу.

[00102] Таким образом, информацию о личности, соответствующей лицу на изображении, могут получать с использованием головных портретов контактных лиц из списка контактов.

[00103] В данном варианте осуществления эти два варианта реализации могут также объединять, то есть получают информацию о личности, соответствующей лицу на изображении, в соответствии как с заданной базой личных данных, так и с контактной информацией из списка контактов.

[00104] В данном варианте осуществления могут получать точную информацию о личности людей на изображении путем определения информации о личности, соответствующей лицу, с использованием одного из указанных выше вариантов реализации или их комбинации, таким образом, в соответствии с информацией о личности могут затем сформировать более точное описание изображения, способность к автоматическому описанию изображения улучшается и приближается к способности описания изображения человеком, пользователь может оперативно получать точную информацию о каждом изображении, и пользовательский опыт улучшается.

[00105] В другом варианте осуществления изобретения для формирования более точного описания изображения могут дополнительно получать другую информацию об изображении (например, информацию о съемке, информацию о других объектах, помимо лиц на изображении и т.д.).

[00106] Фиг. 9 представляет собой блок-схему, иллюстрирующую первый формирующий модуль в соответствии с примерным вариантом осуществления настоящего изобретения. Как показано на Фиг. 9, в некоторых случаях первый формирующий модуль 64 содержит:

распознающий субмодуль 91, выполненный с возможностью распознавания объекта на изображении для определения наименования такого объекта. Для распознавания объекта(ов), присутствующего(их) на изображении, могут использовать такие алгоритмы как R-CNN и fast-CNN. Например, сначала выделяют возможные подходящие участки на изображении, а затем к объектам, изображенным на выделенных участках, применяют кл