Способ и устройство для планирования web-обходчиков в соответствии с поиском по ключевым словам

Способ и устройство для планирования web-обходчиков в соответствии с поиском по ключевым словам

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ

Настоящее изобретение относится к области техники, касающейся поисковых агентов для сети Интернет (Web crawler, Web-обходчиков, пауков), в частности, к способу и системе для планирования Web-обходчиков в соответствии с поиском по ключевым словам.

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

Поисковые агенты для сети Интернет (Web) (Web-обходчики, Web-сборщики, ʺчервякиʺ, краулеры), основанные на поиске по ключевым словам, являются основой для получения информации ключевых слов. Однако обновление информации вызвало бы случаи повторных или неполных обходов Web-обходчиков, особенно на целевых вебсайтах, где информация обновляется довольно часто, например, вебсайтах микроблогов, таких как Sina Microblog, и поисковых вебсайтах, таких как Baidu и т.д. В случае популярных ключевых слов, для Web-обходчиков было бы затруднительно получить полный обход данных вследствие довольно быстрого обновления информации, в то время как в случае непопулярных ключевых слов будут иметься повторные обходы информации, ввиду относительно медленного обновления информации.

В существующей практике, для ключевых слов устанавливаются различные уровни популярности, и затем ключевые слова обходятся (просматриваются при поиске) в соответствии с их уровнями популярности, так что ключевые слова с высоким уровнем популярности обходятся более часто.

Однако существующая практика имеет следующие недостатки: (1) необходимо получать уровень популярности для каждого ключевого слова и затем устанавливать частоту обхода в соответствии с уровнем популярности; и (2) многие запросы адресов ссылок вторичной загрузки вовлекаются в процесс первоначального запроса, и существующая схема не различает их.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Ввиду вышеуказанного, необходимо создать способ и систему для планирования веб-обходчиков в соответствии с поиском по ключевым словам, чтобы решить техническую проблему, состоящую в том, что частота обхода является неточной ввиду необходимости предварительного определения уровня популярности для ключевого слова в существующем уровне техники, когда частота обхода устанавливается посредством установки уровня популярности для ключевого слова.

Способ планирования Web-обходчиков в соответствии с поиском по ключевым словам характеризуется тем, что он содержит:

этап 12 приема планирующей стороной команды запроса задания, посланной выполняющим обход узлом;

этап 13 получения планирующей стороной адреса ссылки вторичной загрузки из приоритетного сегмента памяти, который хранит адреса ссылок вторичной загрузки, генерации заданий, добавления сгенерированных заданий в список заданий, и если достигнуты количества, разрешенные для добавления в список заданий из приоритетного сегмента памяти, выполнения этапа (16), в противном случае выполнения этапа (14), при этом адреса ссылок вторичной загрузки являются адресами ссылок, которые требуют вторичной загрузки, полученными из анализа просмотренных страниц, обход которых выполнен выполняющим обход узлом, в соответствии с заданием в списке заданий;

этап 14 получения планирующей стороной адресов ссылок ключевых слов из динамического сегмента памяти, который хранит адреса многостраничных ссылок ключевых слов, вывода адресов производных ссылок количеств страниц, соответствующих адресам ссылок ключевых слов, генерации заданий количеств страниц в соответствии с адресами производных ссылок количеств страниц, добавления заданий количеств страниц в список заданий, и если количества, разрешенные для добавления в список заданий из динамического сегмента памяти, достигнуты, выполнения этапа (16), в противном случае выполнения этапа (15), при этом адреса ссылок ключевых слов являются адресами ссылок страниц результатов поиска, сгенерированных в целевом вебсайте в соответствии с ключевым словом, и страницы результатов поиска, соответствующие адресам ссылок ключевых слов в динамическом сегменте памяти, составляют количества страниц не меньше, чем предварительно установленный порог для количеств страниц, который не меньше, чем 2;

этап 15 получения планирующей стороной адреса ссылки ключевого слова из базового сегмента памяти, который хранит адреса ссылок ключевых слов, генерации заданий, добавления сгенерированных заданий в список заданий, и если количества, разрешенные для добавления в список заданий из базового сегмента памяти, достигнуты, выполнения этапа (16), при этом адреса ссылок ключевых слов являются адресами ссылок страниц результатов поиска, сгенерированных в целевом вебсайте в соответствии с ключевым словом, и страницы результатов поиска, соответствующие адресам ссылок ключевых слов в базовом сегменте памяти, составляют количества страниц не меньше, чем предварительно установленный порог для количеств страниц, который не меньше, чем 2; и

этап 16 возврата планирующей стороной списка заданий к выполняющему обход узлу, при этом выполняющий обход узел выполняет задание из списка заданий в соответствии с принятым списком заданий.

Система для планирования Web-обходчиков в соответствии с поиском по ключевым словам характеризуется тем, что она содержит планирующую сторону и по меньшей мере один выполняющий обход узел, который осуществляет связь с планирующей стороной,

планирующая сторона содержит:

модуль приема команды запроса задания для приема команды запроса задания, посланной выполняющим обход узлом;

модуль генерации заданий приоритетного сегмента памяти для получения адреса ссылки вторичной загрузки из приоритетного сегмента памяти, который хранит адреса ссылок вторичной загрузки, генерации заданий и добавления сгенерированных заданий в список заданий, и если достигнуты количества, разрешенные для добавления в список заданий из приоритетного сегмента памяти, то исполняется модуль возврата списка заданий, в противном случае исполняется модуль генерации заданий динамического сегмента памяти, при этом адреса ссылок вторичной загрузки являются адресами ссылок, которые требуют вторичной загрузки, полученными из анализа просмотренных страниц, обход которых выполнен выполняющим обход узлом в соответствии с заданием в списке заданий;

модуль генерации заданий динамического сегмента памяти для получения адресов ссылок ключевых слов из динамического сегмента памяти, который хранит адреса многостраничных ссылок ключевых слов, вывода адресов производных ссылок количеств страниц, соответствующих адресам ссылок ключевых слов, генерации заданий количеств страниц в соответствии с адресами производных ссылок количеств страниц, добавления заданий количеств страниц в список заданий, и если количества, разрешенные для добавления в список заданий из динамического сегмента памяти, достигнуты, то исполняется модуль возврата списка заданий, в противном случае исполняется модуль генерации заданий динамического сегмента памяти, при этом адреса ссылок ключевых слов являются адресами ссылок страниц результатов поиска, сгенерированных в целевом вебсайте в соответствии с ключевым словом, и страницы результатов поиска, соответствующие адресам ссылок ключевых слов в динамическом сегменте памяти, составляют количества страниц не меньше, чем предварительно установленный порог для количеств страниц, который не меньше, чем 2;

модуль генерации заданий базового сегмента памяти для получения адреса ссылки ключевого слова из базового сегмента памяти, который хранит адреса ссылок ключевых слов, генерации заданий, добавления сгенерированных заданий в список заданий, и если количества, разрешенные для добавления в список заданий из базового сегмента памяти, достигнуты, то исполняется модуль возврата списка заданий, при этом адреса ссылок ключевых слов являются адресами ссылок страниц результатов поиска, сгенерированных в целевом вебсайте в соответствии с ключевым словом, и страницы результатов поиска, соответствующие адресам ссылок ключевых слов в базовом сегменте памяти, составляют количества страниц не меньше, чем предварительно установленный порог для количеств страниц, который не меньше, чем 2; и

модуль возврата списка заданий к выполняющему обход узлу;

и выполняющий обход узел содержит:

модуль отсылки команды запроса задания для отсылки команды запроса задания к планирующей стороне, и

модуль выполнения задания для выполнения задания из списка заданий в соответствии с принятым списком заданий.

В настоящем изобретении, приоритетный сегмент памяти, динамический сегмент памяти и базовый сегмент памяти все являются виртуальными сегментами памяти. Виртуальные сегменты памяти предоставляются с различными уровнями приоритета, и адреса ссылок различных типов сохраняются в виртуальных сегментах памяти так, что адреса ссылок с относительно высокими уровнями популярности помещаются в виртуальные сегменты памяти с относительно высокими уровнями приоритета. Путем настройки количеств заданий, разрешенных для добавления из каждого виртуального сегмента памяти, количества адресов ссылок различных типов настраиваются гибким образом. Кроме того, уровень популярности адресов ссылок не устанавливается искусственным образом, а устанавливается в соответствии с действительными количествами страниц, просмотренных в соответствии с адресом ссылки, так что популярные ключевые слова просматриваются более часто, чтобы избежать пропуска данных, в то время как повторный просмотр непопулярных ключевых слов сокращается.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1 - блок-схема последовательности операций способа для планирования Web-обходчиков в соответствии с поиском по ключевым словам в соответствии с настоящим изобретением.

Фиг. 2 - схематичное представление модулей системы для планирования Web-обходчиков в соответствии с поиском по ключевым словам в соответствии с настоящим изобретением.

Фиг. 3 - схематичное представление структуры системы в соответствии с примерным вариантом настоящего изобретения.

Фиг. 4 - блок-схема последовательности операций планировщика сегментов памяти (модуля планирования и управления сегментами памяти) в соответствии с примерным вариантом настоящего изобретения.

Фиг. 5 - блок-схема последовательности операций модуля обновления сегментов памяти в соответствии с примерным вариантом настоящего изобретения.

ДЕТАЛЬНОЕ ОПИСАНИЕ ПРЕДПОЧТИТЕЛЬНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

Настоящее изобретение описывается ниже детально со ссылками на чертежи и конкретные варианты осуществления.

Фиг. 1 иллюстрирует блок-схему последовательности операций способа для планирования Web-обходчиков в соответствии с поиском по ключевым словам в соответствии с настоящим изобретением, причем способ содержит:

этап 11 посылки выполняющим обход узлом команды запроса задания к планирующей стороне;

этап 12 приема планирующей стороной команды запроса задания, посланной выполняющим обход узлом;

этап 13 получения планирующей стороной адреса ссылки вторичной загрузки из приоритетного сегмента памяти, который хранит адреса ссылок вторичной загрузки, генерации заданий, добавления заданий в список заданий, и если достигнуты количества, разрешенные для добавления в список заданий из приоритетного сегмента памяти, выполнения этапа (16), в противном случае выполнения этапа (14), при этом адреса ссылок вторичной загрузки являются адресами ссылок, которые требуют вторичной загрузки, полученными из анализа просмотренных страниц, обход которых выполнен выполняющим обход узлом, в соответствии с заданием в списке заданий;

этап 14 получения планирующей стороной адресов ссылок ключевых слов из динамического сегмента памяти, который хранит адреса многостраничных ссылок ключевых слов, вывода адресов производных ссылок количеств страниц, соответствующих адресам ссылок ключевых слов, генерации заданий количеств страниц в соответствии с адресами производных ссылок количеств страниц, добавления заданий количеств страниц в список заданий, и если количества, разрешенные для добавления в список заданий из динамического сегмента памяти, достигнуты, то выполнения этапа (16), в противном случае выполнения этапа (15), при этом адреса ссылок ключевых слов являются адресами ссылок страниц результатов поиска, сгенерированных в целевом вебсайте в соответствии с ключевым словом, и страницы результатов поиска, соответствующие адресам ссылок ключевых слов в динамическом сегменте памяти, составляют количества страниц не меньше, чем предварительно установленный порог для количеств страниц, который не меньше, чем 2;

этап 15 получения планирующей стороной адреса ссылки ключевого слова из базового сегмента памяти, который хранит адреса ссылок ключевых слов, генерации заданий, добавления сгенерированных заданий в список заданий, и если количества, разрешенные для добавления в список заданий из базового сегмента памяти, достигнуты, выполнения этапа (16), при этом адреса ссылок ключевых слов являются адресами ссылок страниц результатов поиска, сгенерированных в целевом вебсайте в соответствии с ключевым словом, и страницы результатов поиска, соответствующие адресам ссылок ключевых слов в базовом сегменте памяти, составляют количества страниц не меньше, чем предварительно установленный порог для количеств страниц, который не меньше, чем 2; и

этап 16 возврата планирующей стороной списка заданий к выполняющему обход узлу, при этом выполняющий обход узел выполняет задание из списка заданий в соответствии с принятым списком заданий.

На этапе 13, обработка является специализированной для адресов ссылок вторичной загрузки. Адреса ссылок вторичной загрузки являются адресами ссылок, которые требуют вторичной загрузки, полученными из анализа просмотренных страниц, пройденных выполняющим обход узлом в соответствии с заданием в списке заданий. Например, когда выполняется поиск ʺJingdongʺ в Baidu, страница результатов поиска, включающая в себя множество результатов поиска, будет показывать каждый результат поиска в соответствии с адресом ссылки, и адрес ссылки является адресом ссылки вторичной загрузки. Адреса ссылок, которые требуют вторичной загрузки, могут быть получены из анализа просмотренных страниц, и имеются относительно зрелые методы анализа, которые здесь не будут приводиться повторно.

На этапах 14 и 15 адреса ссылок ключевых слов обозначают адреса ссылок страниц результатов поиска, сгенерированных на целевом вебсайте в соответствии с ключевым словом. Например, когда выполняется поиск ʺJingdongʺ в Baidu, будет показана страница результатов поиска, сгенерированная в соответствии с ключевым словом ʺJingdongʺ. Если ключевое слово является популярным, одна страница результатов поиска не могла бы включать в себя все результаты поиска, и количества страниц будут показаны на странице поиска. Количества страниц используются для указания, что имеются страницы результатов поиска в некоторых количествах страниц, включающих в себя ключевое слово. Так, чем больше количества страниц, тем более популярным является ключевое слово. Таким образом, адреса ссылок ключевых слов с количествами страниц, превышающими предварительно установленный порог для количеств страниц, помещаются в динамический сегмент памяти и обрабатываются с приоритетом на этапе 14. Решение принимается в соответствии с действительными количествами страниц, таким образом, уровень популярности ключевого слова может быть отражен более объективно.

Количества, разрешенные для добавления из приоритетного сегмента памяти, обозначают количества адресов ссылок вторичной загрузки в приоритетном сегменте памяти, разрешенные для добавления в список заданий; количества, разрешенные для добавления из динамического сегмента памяти, обозначают количества адресов ссылок ключевых слов в динамическом сегменте памяти, разрешенные для добавления в список заданий; и количества, разрешенные для добавления из базового сегмента памяти, обозначают количества адресов ссылок ключевых слов в базовом сегменте памяти, разрешенные для добавления в список заданий.

В одном из вариантов осуществления, этап 13 конкретно содержит:

получение адреса ссылки вторичной загрузки из приоритетного сегмента памяти, который хранит адреса ссылок вторичной загрузки;

генерацию заданий;

добавление сгенерированных заданий в список заданий;

удаление адресов ссылок вторичной загрузки, для которых было сгенерировано задание, из приоритетного сегмента памяти; и

если количества, разрешенные для добавления в список заданий из приоритетного сегмента памяти, достигнуты, выполнение этапа 16,

в противном случае, если приоритетный сегмент памяти дополнительно хранит адреса ссылок вторичной загрузки, выполнение этапа 13, и

если все адреса ссылок вторичной загрузки удалены из приоритетного сегмента памяти, выполнение этапа 14.

В этом варианте осуществления, адреса ссылок вторичной загрузки исполняются с приоритетом и удаляются после исполнения только однократно, чтобы избежать повторных обходов.

В одном из вариантов осуществления, этап 14 конкретно содержит:

получение незапланированных адресов ссылок ключевых слов из динамического сегмента памяти, который хранит адреса ссылок ключевых слов;

вывод адресов производных ссылок количеств страниц в соответствии с адресами ссылок ключевых слов;

генерацию заданий количеств страниц в соответствии с адресами производных ссылок количеств страниц и добавление заданий в список заданий;

установку состояний адресов ссылок ключевых слов, для которых были сгенерированы задания, в запланированные; и

если количества, разрешенные для добавления в список заданий из динамического сегмента памяти, достигнуты, выполнение этапа 16, и установку состояний всех адресов ссылок ключевых слов в динамическом сегменте памяти в незапланированные,

в противном случае, если динамический сегмент памяти дополнительно хранит незапланированные адреса ссылок ключевых слов, выполнение этапа 14, и

если динамический сегмент памяти не хранит незапланированные адреса ссылок ключевых слов, выполнение этапа 15.

В данном варианте осуществления, адреса ссылок ключевых слов в динамическом сегменте памяти, в качестве адресов ссылок, соответствующих популярным ключевым словам, будут вызываться многократно, чтобы избежать пропуска обходов (просмотров) популярных ключевых слов.

В одном из вариантов осуществления, базовый сегмент памяти содержит активный сегмент памяти и приостановленный сегмент памяти;

этап 15 конкретно содержит:

получение адреса ссылки ключевого слова с самым ранним временем планирования из активного сегмента памяти, который хранит адреса ссылок ключевых слов, генерацию заданий и добавление сгенерированных заданий в список заданий, и

увеличение времен планирования для адресов ссылок ключевых слов, для которых были сгенерированы задания, на предварительно установленное увеличение времени планирования и затем перемещение их в приостановленный сегмент памяти; и

если количества, разрешенные для добавления в список заданий из базового сегмента памяти, достигнуты, выполнение этапа 16,

в противном случае, если активный сегмент памяти дополнительно содержит адреса ссылок ключевых слов, выполнение этапа 15, и если активный сегмент памяти не хранит адресов ссылок ключевых слов, выполнение этапа 16.

В данном варианте осуществления, поскольку адреса ссылок ключевых слов в базовом сегменте памяти являются адресами ссылок, соответствующих непопулярным ключевым словам, он дополнительно конфигурируется так, что базовый сегмент памяти содержит активный сегмент памяти и приостановленный сегмент памяти, причем адреса ссылок в активном сегменте памяти будут перемещаться в приостановленный сегмент памяти, после того как они исполнены однократно, и исполняться вновь с интервалом увеличения времени планирования, чтобы избегать повторных просмотров непопулярных кодовых слов.

В одном из вариантов осуществления способ дополнительно содержит:

обход выполняющим обход узлом просматриваемых страниц в соответствии с заданием в списке заданий, анализ просмотренных страниц для получения данных анализа, включающих в себя адреса ссылок вторичной загрузки, детали информации или количества страниц, и посылку данных анализа к планирующей стороне;

прием планирующей стороной данных анализа;

если данные анализа являются адресами ссылок вторичной загрузки, помещение адресов ссылок вторичной загрузки в приоритетный сегмент памяти;

если данные анализа являются деталями информации, помещение деталей информации в сегмент памяти данных;

если данные анализа являются количествами страниц, настройку адресов ссылок ключевых слов соответствующих количеству страниц в динамическом сегменте памяти и базовом сегменте памяти.

Различные данные анализа помещаются в различные виртуальные сегменты памяти, чтобы реализовать обновление адресов ссылок в виртуальных сегментах памяти.

В одном из вариантов осуществления, настройка адресов ссылок ключевых слов соответствующих количеству страниц в динамическом сегменте памяти и базовом сегменте памяти планирующей стороной конкретно содержит:

установку количеств страниц, принятых в текущий момент, в качестве новых количеств страниц, и установку количеств страниц, принятых ранее для тех же самых адресов ссылок ключевых слов, в качестве старых количеств страниц; и

если старые количества страниц не согласуются с новыми количествами страниц:

если старые количества страниц составляют не меньше, чем порог для количеств страниц, и новые количества страниц составляют не меньше, чем порог для количеств страниц, то изменение соответствующих количеств страниц, соответствующих адресам ссылок ключевых слов, на новые количества страниц;

если старые количества страниц составляют не меньше, чем порог для количеств страниц, и новые количества страниц составляют меньше, чем порог для количеств страниц, перемещение соответствующих адресов ссылок ключевых слов в базовый сегмент памяти; или

если старые количества страниц составляют меньше, чем порог для количеств страниц, и новые количества страниц составляют не меньше, чем порог для количеств страниц, перемещение соответствующих адресов ссылок ключевых слов в динамический сегмент памяти.

В данном варианте осуществления, имеется дополнительное ограничение, что адреса ссылок ключевых слов, соответствующие количествам страниц в динамическом сегменте памяти и базовом сегменте памяти, настраиваются в соответствии со сравнением старых количеств страниц и новых количеств страниц.

В одном из вариантов осуществления, способ содержит:

обход выполняющим обход узлом просматриваемых страниц в соответствии с заданием в списке заданий, анализ просмотренных страниц для получения данных анализа, включающих в себя адреса ссылок вторичной загрузки, детали информации или количества страниц, и посылку данных анализа к планирующей стороне;

прием планирующей стороной данных анализа;

если данные анализа являются адресами ссылок вторичной загрузки, помещение адресов ссылок вторичной загрузки в приоритетный сегмент памяти;

если данные анализа являются деталями информации, помещение деталей информации в сегмент памяти данных;

если данные анализа являются количествами страниц, установку количеств страниц, принятых в текущий момент, в качестве новых количеств страниц, и установку количеств страниц, принятых ранее для тех же самых адресов ссылок ключевых слов, в качестве старых количеств страниц; и если старые количества страниц не согласуются с новыми количествами страниц:

если старые количества страниц составляют не меньше, чем порог для количеств страниц, и новые количества страниц составляют не меньше, чем порог для количеств страниц, изменение соответствующих количеств страниц, соответствующих адресам ссылок ключевых слов, на новые количества страниц; или

если старые количества страниц составляют не меньше, чем порог для количеств страниц, и новые количества страниц составляют меньше, чем порог для количеств страниц, перемещение соответствующих адресов ссылок ключевых слов в активный сегмент памяти; или

если старые количества страниц составляют меньше, чем порог для количеств страниц, и новые количества страниц составляют не меньше, чем порог для количеств страниц, перемещение соответствующих адресов ссылок ключевых слов в динамический сегмент памяти; или

если старые количества страниц составляют меньше, чем порог для количеств страниц, и новые количества страниц составляют меньше, чем порог для количеств страниц, поиск в приостановленном сегменте памяти и перемещение адресов ссылок ключевых слов, времена планирования для которых в приостановленном сегменте памяти достигли текущего времени, в активный сегмент памяти.

В данном варианте осуществления имеется дополнительное ограничение, что адреса ссылок ключевых слов, соответствующие количествам страниц в динамическом сегменте памяти и базовом сегменте памяти, настраиваются в соответствии со сравнением старых количеств страниц и новых количеств страниц, и в приостановленном сегменте памяти выполняется поиск, если необходимо избегать длительного сохранения адресов ссылок в приостановленном сегменте памяти.

В одном из вариантов осуществления, количества, разрешенные для добавления из динамического сегмента памяти, составляют больше, чем количества, разрешенные для добавления из базового сегмента памяти. За счет конфигурирования таким образом, что количества, разрешенные для добавления из динамического сегмента памяти, составляют больше, чем количества, разрешенные для добавления из базового сегмента памяти, больше ресурсов используется для поиска по популярным ключевым словам.

Фиг. 2 является схематичным представлением модулей системы для планирования Web-обходчиков в соответствии с поиском по ключевым словам в соответствии с настоящим изобретением, характеризуемой тем, что система содержит планирующую сторону 21 и по меньшей мере один выполняющий обход узел 22, который осуществляет связь с планирующей стороной 21,

планирующая сторона 21 содержит:

модуль 211 приема команды запроса задания для приема команды запроса задания, посланной выполняющим обход узлом;

модуль 212 генерации заданий приоритетного сегмента памяти для получения адреса ссылки вторичной загрузки из приоритетного сегмента памяти, который хранит адреса ссылок вторичной загрузки, генерации заданий и добавления сгенерированных заданий в список заданий, и если достигнуты количества, разрешенные для добавления в список заданий из приоритетного сегмента памяти, то исполняется модуль возврата списка заданий, в противном случае исполняется модуль генерации заданий динамического сегмента памяти, при этом адреса ссылок вторичной загрузки являются адресами ссылок, которые требуют вторичной загрузки, полученными из анализа просмотренных страниц, обход которых выполнен выполняющим обход узлом в соответствии с заданием в списке заданий;

модуль 213 генерации заданий динамического сегмента памяти для получения адресов ссылок ключевых слов из динамического сегмента памяти, который хранит адреса многостраничных ссылок ключевых слов, получения адресов производных ссылок количеств страниц, соответствующих адресам ссылок ключевых слов, генерации заданий количеств страниц в соответствии с адресами производных ссылок количеств страниц, добавления заданий количеств страниц в список заданий, и если количества, разрешенные для добавления в список заданий из динамического сегмента памяти, достигнуты, то исполняется модуль возврата списка заданий, в противном случае исполняется модуль генерации заданий динамического сегмента памяти, при этом адреса ссылок ключевых слов являются адресами ссылок страниц результатов поиска, сгенерированных в целевом вебсайте в соответствии с ключевым словом, и страницы результатов поиска, соответствующие адресам ссылок ключевых слов в динамическом сегменте памяти, составляют количества страниц не меньше, чем предварительно установленный порог для количеств страниц, который не меньше, чем 2;

модуль 214 генерации заданий базового сегмента памяти для получения адреса ссылки ключевого слова из базового сегмента памяти, который хранит адреса ссылок ключевых слов, генерации заданий, добавления сгенерированных заданий в список заданий, и если количества, разрешенные для добавления в список заданий из базового сегмента памяти, достигнуты, то исполняется модуль возврата списка заданий, при этом адреса ссылок ключевых слов являются адресами ссылок страниц результатов поиска, сгенерированных в целевом вебсайте в соответствии с ключевым словом, и страницы результатов поиска, соответствующие адресам ссылок ключевых слов в базовом сегменте памяти, составляют количества страниц не меньше, чем предварительно установленный порог для количеств страниц, который не меньше, чем 2; и

модуль 215 возврата списка заданий для возврата списка заданий к выполняющему обход узлу;

и выполняющий обход узел 22 содержит:

модуль 221 посылки команды запроса задания для посылки команды запроса задания к планирующей стороне, и

модуль 222 выполнения задания для выполнения задания из списка заданий в соответствии с принятым списком заданий.

В одном из вариантов осуществления, модуль 212 генерации заданий приоритетного сегмента памяти конкретно используется для:

получения адреса ссылки вторичной загрузки из приоритетного сегмента памяти, который хранит адреса ссылок вторичной загрузки;

генерации заданий;

добавления сгенерированных заданий в список заданий и

удаления адресов ссылок вторичной загрузки, для которых было сгенерировано задание, из приоритетного сегмента памяти;

и

если количества, разрешенные для добавления в список заданий из приоритетного сегмента памяти, достигнуты, то исполняется модуль 215 возврата списка заданий,

в противном случае, если приоритетный сегмент памяти дополнительно хранит адреса ссылок вторичной загрузки, то исполняется модуль 212 генерации заданий приоритетного сегмента памяти, и

если все адреса ссылок вторичной загрузки удалены из приоритетного сегмента памяти, то исполняется модуль 213 генерации заданий динамического сегмента памяти.

В одном из вариантов осуществления, модуль 213 генерации заданий динамического сегмента памяти конкретно используется для:

получения незапланированных адресов ссылок ключевых слов из динамического сегмента памяти, который хранит адреса ссылок ключевых слов;

вывода адресов производных ссылок количеств страниц соответствующих адресам ссылок ключевых слов;

генерации заданий количеств страниц в соответствии с адресами производных ссылок количеств страниц и добавления заданий в список заданий и

установки состояний адресов ссылок ключевых слов, для которых были сгенерированы задания, в запланированные; и

если количества, разрешенные для добавления в список заданий из динамического сегмента памяти, достигнуты, то исполняется модуль 215 возврата списка заданий, и состояния всех адресов ссылок ключевых слов в динамическом сегменте памяти устанавливаются в незапланированные,

в противном случае, если динамический сегмент памяти дополнительно хранит незапланированные адреса ссылок ключевых слов, то исполняется модуль 213 генерации заданий динамического сегмента памяти, и

если динамический сегмент памяти не хранит незапланированные адреса ссылок ключевых слов, то исполняется модуль 214 генерации заданий базового сегмента памяти.

В одном из вариантов осуществления, базовый сегмент памяти содержит активный сегмент памяти и приостановленный сегмент памяти; модуль 214 генерации заданий базового сегмента памяти конкретно используется для:

получения адреса ссылки ключевого слова с самым ранним временем планирования из активного сегмента памяти, который хранит адреса ссылок ключевых слов, генерации заданий и добавления сгенерированных заданий в список заданий, и

увеличения времен планирования для адресов ссылок ключевых слов, для которых были сгенерированы задания, на предварительно установленное увеличение времени планирования и затем перемещения их в приостановленный сегмент памяти; и

если количества, разрешенные для добавления в список заданий из базового сегмента памяти, достигнуты, то исполняется модуль 215 возврата списка заданий,

в противном случае, если активный сегмент памяти дополнительно хранит адреса ссылок ключевых слов, то исполняется модуль 214 генерации заданий базового сегмента памяти, и

если активный сегмент памяти не хранит адресов ссылок ключевых слов, то исполняется модуль 215 возврата списка заданий.

В одном из вариантов осуществления, модуль выполнения задания конкретно используется для: обхода просматриваемых страниц в соответствии с заданием в списке заданий, анализа просмотренных страниц для получения данных анализа, включающих в себя адреса ссылок вторичной загрузки, детали информации или количества страниц, и посылки данных анализа к планирующей стороне;

планирующая сторона дополнительно содержит модуль приема данных анализа для:

приема данных анализа и

если данные анализа являются адресами ссылок вторичной загрузки, то помещения адресов ссылок вторичной загрузки в приоритетный сегмент памяти;

если данные анализа являются деталями информации, то помещения деталей информации в сегмент памяти данных;

если данные анализа являются количествами страниц, то настройки адресов ссылок ключевых слов соответствующих количеству страниц в динамическом сегменте памяти и базовом сегменте памяти.

В одном из вариантов осуществления, настройка адресов ссылок ключевых слов соответствующих количеству страниц в динамическом сегменте памяти и базовом сегменте памяти посредством модуля приема данных анализа конкретно содержит:

установку количеств страниц, принятых в текущий момент, в качестве новых количеств страниц, и установку количеств страниц, принятых ранее для тех же самых адресов ссылок ключевых слов, в качестве старых количеств страниц; и

если старые количества страниц не согласуются с новыми количествами страниц:

если старые количества страниц составляют не меньше, чем порог для количеств страниц, и новые количества страниц составляют не меньше, чем порог для количеств страниц, то изменение соответствующих количеств страниц, соответствующих адресам ссылок ключевых слов, на новые количества страниц; или

если старые количества страниц составляют не меньше, чем порог для количеств страниц, и новые количества страниц составляют меньше, чем порог для количеств страниц, перемещение соответствующих адресов ссылок ключевых слов в базовый сегмент памяти; или

если старые количества страниц составляют меньше, чем порог для количеств страниц, и новые количества страниц составляют не меньше, чем порог для количеств страниц, перемещение соответствующих адресов ссылок ключевых слов в динамический сегмент памяти.

В одном из вариантов осуществления, модуль выполнения задания конкретно используется для:

обхода просматриваемых страниц в соответствии с заданием в списке заданий, анализа просмотренных страниц для получения данных анализа, включающих в себя адреса ссылок вторичной загрузки, детали информации или количества страниц, и посылки данных анализа к планирующей стороне;

и планирующая сторона дополнительно содержит модуль приема данных анализа для:

приема данных анализа, и

если данные анализа являются адресами ссылок вторичной загрузки, то помещения адресов ссылок вторичной загрузки в приоритетный сегмент памяти;

если данные анализа являются деталями информации, то помещения деталей информации в сегмент памяти данных; и

если данные анализа являются количествами страниц, то установки количеств страниц, принятых в текущий момент, в качестве новых количеств страниц, установки количеств страниц, принятых ранее для тех же самых адресов ссылок ключевых слов, в качестве старых количеств страниц; и если с