Сбор данных о пользовательском поведении при веб-поиске для повышения релевантности веб-поиска

Сбор данных о пользовательском поведении при веб-поиске для повышения релевантности веб-поиска

Иллюстрации

Показать все

Реферат

Уровень техники

При существующей распространенности «Всемирной паутины» и сети Internet пользователи могут получать информацию почти по любой теме из большого числа источников информации. Для поиска информации пользователи обычно применяют различные поисковые машины для решения информационно-поисковой задачи. Поисковые машины дают пользователям возможность нахождения веб-страниц, содержащих информацию или другой материал в сети Internet, который содержит конкретные слова или фразы.

В общем, поиск по ключевым словам может находить, в полную меру возможностей компьютера, все веб-сайты, которые содержат любую информацию, связанную с любыми ключевыми словами и фразами, которые заданы. Сайт поисковой машины будет содержать окно для ввода пользователями ключевых слов и кнопку для нажатия, чтобы начать поиск. Многие поисковые машины содержат рекомендации относительно того, как пользоваться ключевыми словами для эффективного поиска. Обычно упомянутые рекомендации помогают пользователям задавать узкие поисковые условия, чтобы не получать обратно постороннюю и нерелевантную информацию, и чтобы процесс поиска информации не становился беспорядочным. Подобное ручное сужение условий может подавить получение нескольких тысяч сайтов путем сортировки при просмотре определенной информации.

В некоторых случаях темы поиска предварительно организуют на тематические области и подтематические области. Например, поисковая машина «Yahoo» обеспечивает иерархически организованный заданный список возможных тем (например, бизнес, государственное управление, наука и т.п.), из которых пользователь будет выбирать в списке тему и затем дополнительно выбирать подтему. Другой пример заданных списков тем широко применяется в справочных утилитах настольных персональных компьютеров, в которых пользователю предлагается список справочных тем и относящихся к ним подтем. Хотя упомянутые заданные иерархические структуры могут быть полезны в некоторых контекстах, пользователи часто нуждаются в поиске/запросе информации, находящейся за пределами упомянутых заданных списков и/или не содержащейся в них. Следовательно, часто используют поисковые машины или другие поисковые системы для предоставления пользователям возможности прямых запросов, чтобы находить требуемую информацию. Тем не менее, во время производимого пользователями поиска получают много нерелевантных результатов, поскольку пользователи не могут быть уверены в том, как создать или построить конкретный запрос. Более того, упомянутые системы обычно требуют от пользователей неоднократного видоизменения запросов и уточнения найденных результатов поиска для получения разумного числа результатов для изучения.

Нередко случается, что в поле ввода запроса поисковой системы вводят слово или фразу и затем получают несколько миллионов результатов в качестве возможных подходящих вариантов. Чтобы разобраться с большим числом полученных подходящих вариантов, пользователю часто потребуется попробовать другие комбинации слов для дополнительного сужения списка.

В общем, поисковая система будет ранжировать результаты в соответствии с прогнозируемой релевантностью результатов относительно запроса. Ранжирование обычно основано на функции, которая объединяет много параметров, включая сходство веб-страницы с запросом, а также собственное качество документа, часто логически выводимое из информации о веб-топологии. Качество впечатлений пользователя от поиска прямо зависит от качества функции ранжирования, так как пользователь обычно не просматривает результаты низкого ранга.

В общем, поисковая система будет пробовать подбирать или находить все темы, связанные с введенным пользовательским запросом, независимо от того, имеют ли «искомые» темы какую-либо контекстную связь с тематической(ким) областью или классом, которые фактически интересуют пользователя. Например, если пользователь, который проявил интерес к астрономии, собрался ввести запрос «Сатурн» в обычную поисковую машину, то, вероятно, должны быть получены все типы нерелевантных результатов, включая результаты, относящиеся к автомобилям, автомобильным дилерам, компьютерным играм и другим сайтам, содержащим слово «Сатурн». Другая проблема реализаций обычного поиска состоит в том, что поисковые машины работают одинаковым образом для всех пользователей, независимо от различия потребностей и обстоятельств пользователей. Следовательно, если два пользователя вводят одинаковый поисковый запрос, они обычно получают одинаковые результаты, независимо от их интересов или характеристик, предыстории поиска, текущего контекста вычислений (например, открытых файлов) или контекста среды (например, местоположения, применяемой машины, времени суток, дня недели).

Настройка функций ранжирования поиска для получения релевантных результатов во главе обычно требует значительных усилий. Общий подход к современным поисковым машинам заключается в том, чтобы обучать функции ранжирования и настраивать параметры и весовые коэффициенты функций автоматически, на основе примеров результатов поиска, оцениваемых ручным способом. Ручные аннотаторы могут в явном виде оценивать набор страниц для запроса в соответствии с ощущаемой релевантностью и создавать «золотой стандарт», по которому можно настраивать и оценивать разные алгоритмы ранжирования. Однако явные ручные оценки являются дорогостоящими и сложными для получения, часто приводящими к недостаточно обученным и неоптимальным функциям ранжирования.

Сущность изобретения

Ниже представлена упрощенная сущность изобретения, чтобы обеспечить понимание основ некоторых аспектов заявленного предмета изобретения. Упомянутая сущность изобретения не дает всестороннего общего представления. Сущность изобретения не предназначена для обозначения ключевых/критических элементов или определения объема заявленного предмета изобретения. Единственной целью является представление некоторых концепций в упрощенной форме в качестве вводной части к более подробному описанию, которое приведено в дальнейшем.

Настоящее изобретение улучшает ранжирование поиска в информационно-поисковой системе путем применения компонента пользовательского поведения, который облегчает автоматическую интерпретацию коллективного пользовательского поведения, чтобы оценивать пользовательские предпочтения в отношении одной позиции по сравнению с другой позицией. Затем упомянутые предпочтения можно использовать для различных целей, например для совершенствования ранжирования результатов. Компонент пользовательского поведения может взаимодействовать с поисковой(выми) машиной(нами) и содержать возможности обратной связи, которые ослабляют шум, который обычно сопутствует пользовательскому поведению (например, злонамеренной и/или иррациональной деятельности пользователя). При использовании совокупного пользовательского поведения (например, без рассмотрения каждого пользователя как отдельного эксперта) настоящее изобретение может ослаблять шум и формировать релевантные оценки на основе обратной связи с пользователями. Компонент пользовательского поведения может использовать неявную или явную обратную связь с пользователями и их взаимодействие с результатами предшествующих запросов. Ключевые поведенческие признаки содержат презентационные признаки, которые могут помогать пользователю при определении того, является ли результат релевантным, путем просмотра заголовка и описания результата; признаки поиска и просмотра, например время, проводимое на странице, способ получения доступа к результатам поиска (например, посредством других ссылок), отклонение от среднего времени на домене и т.п.; признаки щелчка мышью, например число щелчков мышью на конкретном результате по запросу. Для данной пары запрос-результат изобретение обеспечивает несколько наблюдаемых и производных значений признаков для каждого типа признака.

Компонент пользовательского поведения может использовать управляемую данными модель пользовательского поведения. Например, компонент пользовательского поведения может моделировать пользовательское поведение при веб-поиске, как если бы оно формировалось двумя компонентами: «фоновым» компонентом (например, пользовательских беспорядочных щелчков мышью) и компонентом «релевантности», (например, поведением, обусловленным запросом, которое направляется релевантностью результата по отношению к запросу).

В соответствии с дополнительным аспектом настоящего изобретения, компонент пользовательского поведения может формировать и/или моделировать отклонения от ожидаемого пользовательского поведения. Следовательно, возможно вычисление производных признаков, при этом такие производные признаки в явном виде отражают отклонение наблюдаемого значения признака для данного результата поиска от ожидаемых значений для результата без информации, зависящей от запроса.

Кроме того, компонент пользовательского поведения в соответствии с настоящим изобретением может использовать модели, содержащие два типа признаков для описания пользовательского поведения, а именно прямой и девиационный, при этом первый тип относится к непосредственно измеренным значениям, и второй тип относится к отклонению от ожидаемых значений, оцениваемых на основе общих (не зависящих от запроса) распределений для соответствующих непосредственно наблюдаемых признаков. Соответственно, наблюдаемое значение o признака f для запроса q и результата r может быть выражено как сумма двух компонентов:

где C(r, f) означает предшествующее «фоновое» распределение для значений f, собранных по всем запросам, соответствующим r, и rel(q, r, f) означает компонент «релевантности» поведения, на который влияет релевантность результата по отношению к запросу. Например, оценка релевантности пользовательского поведения может быть получена с помощью признака щелчка мышью путем вычитания фонового распределения из наблюдаемой частоты щелчка мышью в данном положении. Для ослабления эффекта индивидуальных вариаций пользовательского поведения, в соответствии с настоящим изобретением, можно усреднять значения признаков по всем пользователям и поисковым сеансам для каждой пары запрос-результат. Такое объединение может обеспечить дополнительную надежность, при этом не полагаются на сопряженные «с шумом» индивидуальные пользовательские взаимодействия.

Соответственно, пользовательское поведение применительно к паре запрос-ответ можно представить вектором признаков, который содержит значения как непосредственно наблюдаемых признаков, так и производных, «скорректированных», признаков. Различные методы обучения машины можно также применять в сочетании с обучением алгоритмов ранжирования для информационно-поисковых систем. Например, сначала могут обеспечиваться явные ручные оценки релевантности для различных поисковых запросов и затем применяться для последующего обучения алгоритмов ранжирования.

В соответствии со связанным аспектом, коллективное поведение пользователей, взаимодействующих с поисковой машиной для веб-сайтов, можно автоматически интерпретировать для прогнозирования будущих пользовательских приоритетов; следовательно, система может адаптироваться к изменению характеров поведения пользователей и разным параметрам настройки поиска посредством автоматического переобучения системы с помощью самых последних данных о пользовательском поведении.

Для достижения вышеописанных и связанных целей некоторые наглядные аспекты заявленного предмета изобретения поясняются в настоящей заявке в связи с нижеследующим описанием и прилагаемыми чертежами. Упомянутые аспекты характеризуют различные способы, с помощью которых можно практически реализовать предмет настоящего изобретения и которые считаются находящимися в пределах объема заявленного изобретения. Другие преимущества и элементы новизны могут стать очевидными из нижеследующего подробного описания при его изучении в связи с чертежами.

Краткое описание чертежей

Фиг.1 - блок-схема компонента пользовательского поведения в соответствии с примерным аспектом настоящего изобретения.

Фиг.2 - блок-схема системы, которая включает в себя компонент пользовательского поведения и взаимодействует с моделью обучения поисковой машины, в соответствии с аспектом настоящего изобретения.

Фиг.3 - блок-схема системы, которая включает в себя компонент ранжирования, функционально соединенный с компонентом пользовательского поведения, и поисковую машину, в соответствии с примерным аспектом настоящего изобретения.

Фиг.4 - таблица признаков, которые отражают операции пользователя по поиску и просмотру, в соответствии с аспектом настоящего изобретения.

Фиг.5 - изображение автоматизированной информационно-поисковой системы, которая использует компонент обучения машины, в соответствии с аспектом настоящего изобретения.

Фиг.6 - изображение компонента пользовательского поведения, который взаимодействует с множеством системных признаков, которые отражают действия пользователя, в соответствии с конкретным аспектом настоящего изобретения.

Фиг.7 - примерная методология интерпретации пользовательского поведения для оценки пользовательских предпочтений в соответствии с аспектом настоящего изобретения.

Фиг.8 - методология реализации пользовательского поведения как части ранжирования значений в соответствии с аспектом настоящего изобретения.

Фиг.9 - примерная среда для реализации различных аспектов изобретения.

Фиг.10 - структурная схема дополнительной вычислительной среды, которую можно использовать для реализации различных аспектов изобретения.

Подробное описание

Различные аспекты изобретения описаны ниже со ссылкой на прилагаемые чертежи, на которых одинаковые позиции служат сквозными обозначениями сходных или соответствующих элементов. Однако следует понимать, что чертежи и подробное описание, относящееся к ним, не предназначены для ограничения заявленного предмета изобретения конкретным предложенным вариантом. Наоборот, изобретение должно охватывать все модификации, эквиваленты и альтернативные варианты, не выходящие за пределы сущности и объема заявленного предмета изобретения.

В целях настоящего описания, термины «компонент», «система», «признак» и т.п. предназначены также для обозначения объекта, имеющего отношение к компьютерам, либо аппаратного обеспечения, комбинации из аппаратного обеспечения и программного обеспечения, программного обеспечения или программного обеспечения в процессе исполнения. Например, компонент может быть, но не в качестве ограничения, процессом, выполняемым в процессоре, процессором, объектом, исполняемым файлом, потоком выполнения, программой и/или компьютером. В качестве иллюстрации, как приложение, выполняемое в компьютере, так и компьютер могут быть компонентом. По меньшей мере, один компонент может постоянно находиться в процессе и/или потоке выполнения, и компонент может быть локализован в одном компьютере и/или распределен между двумя или более компьютерами.

Термин «примерный» применяется в настоящей заявке для обозначения примера, отдельного случая или пояснения. Любой аспект или схему, описанные в настоящей заявке в качестве «примерных», не обязательно следует толковать как предпочтительные или выигрышные по сравнению с другими аспектами или схемами.

Кроме того, предлагаемый предмет изобретения можно реализовать в виде системы, способа, устройства или изделия, использующего стандартное программирование и/или технические методы для создания программного обеспечения, встроенных программ, аппаратного обеспечения или любой их комбинации для управления компьютером или процессорным устройством, чтобы реализовать аспекты, подробно описанные в настоящей заявке. Термин компьютерная программа, в целях настоящей заявки, предназначен для охвата компьютерной программы, которую можно выбрать из любого компьютерночитаемого устройства, носителя или среды. Например, машиночитаемые носители могут содержать, но не в качестве ограничения, магнитные запоминающие устройства (например, жесткий диск, гибкий диск, магнитные ленты…), оптические диски (например, компакт-диск (CD), цифровой универсальный диск (DVD) …), смарт-карты и устройства флэш-памяти (например, плату, карту). Кроме того, следует понимать, что можно использовать электромагнитный сигнал передачи модулированной информации для передачи машиночитаемых электронных данных, например данных, применяемых при передаче и приеме электронной почты или при доступе к сети, например сети Internet или локальной сети (LAN). Разумеется, специалисты в данной области техники смогут понять, что возможно создание множества модификаций представленной конфигурации без выхода за пределы объема или сущности заявленного предмета изобретения.

На фиг.1 представлена блок-схема системы 100, которая включает в себя компонент пользовательского поведения, который взаимодействует с поисковой машиной, в соответствии с примерным аспектом настоящего изобретения. Компонент 104 пользовательского поведения, связанный с поисковой машиной 102, может автоматически интерпретировать коллективное поведение пользователей 101, 103, 105 (1-N, где N является целым числом). Такой компонент 104 пользовательского поведения может содержать возможности обратной связи, которые ослабляют шум, который обычно сопутствует пользовательскому поведению (например, злонамеренные и/или иррациональные действия пользователя). При использовании совокупного пользовательского поведения пользователей 101, 103, 105 (например, без рассмотрения каждого пользователя как отдельного эксперта) система 100 может ослаблять шум и формировать релевантные оценки на основе обратной связи с пользователями.

Компонент 104 пользовательского поведения может взаимодействовать с компонентом ранжирования. Для данного запроса компонент 104 пользовательского поведения выбирает прогнозные данные, полученные на основе ранее обученной поведенческой модели для данного запроса, и изменяет порядок результатов для запроса так, что результаты, которые представляются релевантными для предшествующих пользователей, получают более высокий ранг. Например, для данного запроса q неявную оценку IS _r можно вычислить для каждого результата r по имеющимся признакам пользовательского взаимодействия, что имеет следствием неявный ранг I _r для каждого результата. Объединенную оценку SM(r) можно вычислить для r посредством объединения рангов, полученных на основе неявной обратной связи, Ir, с исходным рангом r, O _r.

Весовой коэффициент является эвристически настраиваемым масштабным коэффициентом, который отражает относительную «значимость» неявной обратной связи. Результаты запроса могут упорядочиваться по уменьшающимся значениям SM(r) для получения окончательного ранжирования. Один конкретный случай подобной модели возникает при установке очень большого значения , фактически предписывающего присваивать результатам, на которых производился щелчок мышью, более высокий ранг, чем результатам, на которых не производился щелчок мышью, что является интуитивной и эффективной эвристической процедурой, которую можно применять в качестве базовой. В общем, вышеописанный подход предполагает, что не существует никаких взаимодействий между базовыми признаками, формирующими исходное ранжирование веб-поиска, и признаками неявной обратной связи. Другие аспекты настоящего изобретения смягчают упомянутое предположение путем включения признаков неявной обратной связи непосредственно в процесс ранжирования, как подробно поясняется ниже. Кроме того, следует понимать, что применимы более сложное пользовательское поведение и алгоритмы объединения средств ранжирования, и они не выходят за пределы настоящего изобретения.

На фиг.2 представлен дополнительный аспект настоящего изобретения, в котором поисковая машина 202 дополнительно содержит обучающую модель 204 в соответствии с аспектом настоящего изобретения. Обучающая модель 204 может дополнительно содержать модели дополнительных типов для описания пользовательского поведения, а именно наблюдаемый поведенческий признак 201 и производный поведенческий признак 203. Наблюдаемый поведенческий признак 201 представляет собой непосредственно измеряемые значения, и производный поведенческий признак 203 представляет собой отклонение от ожидаемых значений, оцениваемых на основе общих (не зависящих от запроса) распределений для соответствующих непосредственно наблюдаемых признаков. Соответственно, наблюдаемое значение o признака f для запроса q и результата r может быть выражено как сумма двух компонентов:

где C(r, f) означает предшествующее «фоновое» распределение для значений f, собранных по всем запросам, соответствующим r, и rel(q, r, f) означает компонент поведения, на которое влияет релевантность результатов. Например, оценку релевантности пользовательского поведения можно получить с помощью признака щелчка мышью путем вычитания фонового распределения (например, шума) из наблюдаемой частоты щелчка мышью в данном положении. Для ослабления эффекта индивидуальных вариаций пользовательского поведения, в соответствии с настоящим изобретением, возможно усреднение значений прямых признаков по всем пользователям и поисковым сеансам для каждой пары запрос-URL. Такое объединение может обеспечить дополнительную надежность, при этом не полагаются на сопряженные «с шумом» индивидуальные пользовательские взаимодействия. Соответственно, пользовательское поведение для пары запрос-URL можно отразить вектором признаков, который содержит значения как непосредственно наблюдаемых признаков, так и производных, «скорректированных», признаков.

На фиг.3 представлена блок-схема системы 300, которая включает в себя компонент 310 ранжирования, функционально соединенный с компонентом 315 пользовательского поведения, и поисковую машину 340, в соответствии с примерным аспектом настоящего изобретения. Обычно поисковая машина 340 может ранжировать результаты 350 поиска с учетом большого числа признаков, включая признаки на основе контента (например, насколько близко запрос соответствует тексту или заголовку, или тексту ссылки документа) и признаки качества страницы, не зависимые от запроса (например, PageRank (ранг страницы) документа или домена), как подробно описано ниже. Кроме того, поисковая машина 340 может применять автоматические (или полуавтоматические) способы для настройки конкретной функции ранжирования, которая объединяет значения таких признаков. Например, можно предположить, что пользователь, который подает запрос 360, будет выполнять конкретные действия. Такие действия могут содержать щелчки мышью, навигацию, введение уточнений запроса, пока не найден релевантный документ и т.п. После нахождения релевантного документа пользователь может решить, что его требование удовлетворено, и изменить поведение (например, читать документ). Настоящее изобретение позволяет разрабатывать достаточно богатый набор признаков, которые позволяли бы обнаруживать, когда пользователь удовлетворен найденным результатом. Упомянутые признаки зависят от представленных запросов и, следовательно, обусловлены запросом. Например, признаки/действия пользователя можно классифицировать на презентационные признаки, признаки поиска и просмотра и признаки щелчка мышью, что поясняется со ссылкой на фиг.4.

На фиг.4 приведена таблица признаков 400, которые представляют поисковые и просмотровые действия пользователя. Презентационные признаки 410 обычно предназначены для отражения квалификации пользователя, так как они влияют на некоторые или все аспекты поведения (например, пользователь может решиться на щелчок мышью на результате, исходя из презентационных признаков). Для моделирования такого аспекта квалификации пользователя настоящее изобретение может использовать такие признаки, как совпадение слов в заголовке и слов в запросе (TitleOverlap) и части слов, совместно используемых заголовком и резюме результата, так как упомянутые слова часто принимаются во внимание пользователями при принятии решения о том, щелкать ли мышью на резюме результата, чтобы просмотреть весь документ.

Аналогично, признак 420 поиска и просмотра может собирать и количественно выражать аспекты пользовательских взаимодействий с веб-страницей. Например, настоящее изобретение может вычислять отклонение времени выполнения операции от ожидаемого времени выполнения операции на страницу для запроса, что позволяет моделировать разброс поведения при поиске и просмотре страницы внутри запроса. Упомянутый признак может дополнительно содержать как прямые признаки, так и производные признаки, как подробно изложено выше. Аналогично, признаки 430 щелчка мышью являются примером пользовательского взаимодействия с результатами поисковой машины. Например, признаки щелчка мышью могут содержать число щелчков для пары запрос-результат или отклонение от ожидаемой вероятности щелчка.

Как показано на фиг.4, признак щелчка мышью поясняет один аспект пользовательских взаимодействий с поисковой машиной для веб-сайтов. Настоящее изобретение может использовать автоматически получаемые прогнозирующие модели пользовательского поведения. Соответственно, для данного запроса каждый результат можно представить с признаками, сведенными в таблицу на фиг.4. Затем относительные пользовательские предпочтения можно оценить с использованием обученной модели пользовательского поведения, как подробно изложено выше. Применение таких моделей пользовательского поведения позволяет поисковой машине выгодно использовать здравый смысл множества людей, взаимодействующих с результатами поиска, а также более сложные признаки, характеризующие поведение при поиске и просмотре за пределами страницы результатов поиска.

На фиг.5 представлена автоматизированная информационно-поисковая система 500, которая использует компонент 535 обучения машины, в соответствии с аспектом настоящего изобретения. Для автоматического обучения модели пользовательских приоритетов можно применить общую стратегию интерпретации с неявной обратной связью (например, вместо опоры на эвристическую процедуру или интуитивные решения). Система 500 содержит компонент 510 ранжирования, который можно обучать, например, на основе журнала 520 данных или взаимодействий с компонентом 515 пользовательского поведения. Данные в журнале 520 могут быть собраны из локальных или удаленных источников данных и содержать информацию, связанную с данными предшествующего поиска или действиями 530 множества пользователей. После обучения компонент 510 ранжирования может взаимодействовать с поисковой машиной 540 для облегчения или улучшения будущих результатов поиска, которые показаны как релевантные результаты 550. Например, один или более новый поисковый запрос 560 может быть обработан поисковой машиной 540, частично, на основе обучения по данным 530 предшествующего поиска и/или информации из компонента 515 пользовательского поведения. В общем, система 500 может использовать различные методы сбора данных для совершенствования релевантности поисковой машины. Упомянутые методы могут заключаться в использовании классификаторов релевантности в компоненте 510 ранжирования для формирования высококачественных обучающих данных для классификаторов времени выполнения, которые применяются с поисковой машиной 540 для генерации результатов 550 поиска. На фиг.6 представлен компонент 610 пользовательского поведения, который взаимодействует с множеством системных признаков, которые отражают действия пользователя. В соответствии с одним аспектом, настоящее изобретение рассматривает особенности поведения при веб-поиске как сочетание «фонового» компонента (например, шум, независимый от запроса и релевантности, в поведении пользователя и т.п.) и компонента «релевантности» (например, обусловленного запросом поведения, характеризующего релевантность результата запросу). Подобная схема может использовать преимущества совокупного пользовательского поведения, когда набор признаков состоит из непосредственно наблюдаемых признаков (вычисляемых непосредственно по наблюдениям для каждого запроса), а также зависимых от запроса, производных признаков, вычисленных как отклонение от общего, независимого от запроса распределения значений, для соответствующих значений непосредственно наблюдаемых признаков. Как показано на фиг.6, примерные системные признаки, например признак(и) 612 щелчка мышью, признак(и) 614 поиска и просмотра и презентационные признаки 616, которые можно использовать для представления пользовательских взаимодействий с результатами веб-поиска через посредство компонента 610 пользовательского поведения. Кроме того, могут также рассматриваться такие признаки, как отклонение наблюдаемого числа щелчков мышью для данной пары запрос-URL от ожидаемого числа щелчков на результате в данном положении. Кроме того, поведение при поиске и просмотре можно моделировать, например, после того, как сделан щелчок на результате, и затем среднее время выполнения операции на страницу для данной пары запрос-URL, а также его отклонение от ожидаемого (среднего) времени выполнения операции используют для такой модели. Кроме того, например, пользователи веб-поиска часто могут определять, является ли результат релевантным на основе просмотра заголовка результата, URL и резюме, при этом, во многих случаях, просмотр исходного документа обычно не обязателен. Для моделирования упомянутого аспекта квалификации пользователя можно также использовать такие признаки, как совпадение слов в заголовке и слов в запросе.

На фиг.7 представлена примерная методология 700 интерпретации пользовательского поведения для оценки пользовательских предпочтений в соответствии с аспектом настоящего изобретения. Хотя в настоящей заявке представлен и описан примерный способ в виде последовательности этапов, характеризующих различные события и/или операции, настоящее изобретение не ограничено представленным порядком упомянутых этапов. Например, некоторые операции или события могут происходить в различном порядке и/или параллельно с другими операциями или событиями, отдельно от порядка, изображенного в настоящей заявке, в соответствии с изобретением. Кроме того, не все изображенные этапы, события или операции могут потребоваться для реализации методологии в соответствии с настоящим изобретением. Кроме того, следует понимать, что примерный способ и другие способы в соответствии с изобретением могут быть реализованы в связи со способом, представленным и описанным в настоящей заявке, а также в связи с другими, не показанными и не описанными системами и устройствами. Сначала, на этапе 710, могут быть собраны данные, относящиеся к пользовательскому взаимодействию с поисковой машиной, например пользовательскому поведению после поиска. Затем, на этапе 720, пользовательское поведение может быть суммировано, например, с применением методов статистического анализа. Затем, на этапе 730, может применяться обучение машины для обучения модели пользовательских приоритетов. И затем, на этапе 740, прогнозы пользовательских предпочтений могут поставляться для результата будущих запросов.

На фиг.8 представлена методология 800 реализации пользовательского поведения как составной части ранжирования в соответствии с аспектом настоящего изобретения. Сначала, на этапе 810, могут быть собраны данные, относящиеся к пользовательскому поведению. Упомянутое пользовательское поведение можно затем использовать для обучения и/или автоматического формирования поведенческой модели на этапе 820. Затем подобную модель (например, прогнозирующую поведенческую модель) можно включать в состав поисковой машины для ранжирования результатов и/или формирования неявных оценок релевантности на основе обратной связи с пользователями, на этапе 830. Затем, на этапе 840, частично на основе сформированной и/или обученной поведенческой модели может быть ранжирована информация, найденная поисковой машиной.

Чтобы обеспечить контекст для различных аспектов предложенного предмета изобретения, фиг.9 и 10, а также нижеследующее пояснение предназначены для представления краткого общего описания подходящей среды, в которой могут быть реализованы различные аспекты предложенного предмета изобретения. Хотя предмет изобретения описан выше в общем контексте машиноисполняемых инструкций компьютерной программы, которая работает на компьютере и/или компьютерах, специалистам в данной области техники будет очевидно, что изобретение можно также реализовать в комбинации с другими программными модулями. В общем, программные модули содержат подпрограммы, программы, компоненты, структуры данных и т.п., которые выполняют конкретные задачи и/или реализуют определенные абстрактные типы данных. Кроме того, специалистам в данной области техники будет очевидно, что новые способы можно практически реализовать в компьютерных системах других конфигураций, включая однопроцессорные или многопроцессорные компьютерные системы, миникомпьютерные устройства, основные компьютеры, а также персональные компьютеры, ручные вычислительные устройства (например, персональный цифровой секретарь (PDA), телефон, часы …), микропроцессорные или программируемые бытовые или промышленные электронные устройства и т.п. Изложенные аспекты можно также практически реализовать в распределенных вычислительных средах, в которых задачи выполняются удаленными устройствами обработки, которые связаны по сетям связи. Однако некоторые, если не все, аспекты изобретения можно практически реализовать на отдельно установленных компьютерах. В распределенной вычислительной среде программные модули могут находиться как в локальных, так и в удаленных запоминающих устройствах.

Со ссылкой на фиг.9 описана примерная среда 910 для реализации различных аспектов настоящего изобретения, которая содержит компьютер 912. Компьютер 912 содержит блок 914 обработки, системную память 916 и системную шину 918. Системная шина 918 связывает системные компоненты, включая, но не в качестве ограничения, системную память 916 с блоком 914 обработки. Блок 914 обработки может быть любым из различных доступных процессоров. В качестве блока 914 обработки можно также применять сдвоенные микропроцессоры и другие мультипроцессорные архитектуры.

Системная шина 918 может относиться к любому из нескольких типов шинных структур, включая шину памяти или контроллер памяти, периферийную шину или внешнюю шину и/или локальную шину, использующих любое число разнообразных доступных шинных архитектур, включая, но не в качестве ограничения, 11-разрядную шину, архитектуру шины промышленного стандарта (ISA), микроканальную архитектуру (MSA), расширенную ISA (EISA), интеллектуальное электронное оборудование дисковых накопителей (IDE), локальную шину VESA (VLB), межсоединение периферийных компонентов (шину PCI), универсальную последовательную шину (USB), универсальный графический порт (AGP), шину по спецификации PCMCIA (Международной ассоциации производителей карт памяти для персональных компьютеров и интерфейс малых вычислительных систем (SCSI).

Системная память 916 содержит энергозависимую память 920 и энергонезависимую память 922. Базовая система ввода/вывода (BIOS), содержащая основные подпрограммы для передачи информации между элементами внутри компьютера 912, например, во время запуска, хранится в энергонезависимой памяти 922. К примеру, а не в качестве ограничения, энергонезависимая память 922 может содержать постоянную память (ROM), программируе