Способ и сервер определения изменений в пользовательском интерактивном взаимодействии со страницей результатов поиска

Способ и сервер определения изменений в пользовательском интерактивном взаимодействии со страницей результатов поиска

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

[01] Настоящее техническое решение относится к системам и способам определения изменений в пользовательском интерактивном взаимодействии между первой и второй версией страницы результатов поиска (SERP).

Уровень техники

[02] За последние годы А/В тестирование воплотилось в современном уровне техники как инструмент улучшения веб-сервисов на основе ориентированных на данные решений. Они используются многими компаниями, связанными с сетью и поисковыми системами, включая такие поисковые системы как Bing и Google, социальные сети, например, Facebook и т.д. Самые большие веб-сервисы создали специальные экспериментальные платформы, которые позволяют им запускать А/В тестирование крупномасштабно. А/В тестирование сравнивает два варианта сервиса одновременно, обычно его текущую версию (контроль) и новую (опыт), предлагая их двум группам пользователей.

[03] Целью эксперимента с контролем является определение причинно-следственного влияния обновлений системы на ее производительность, основываясь на критерии, который коррелирует с качеством системы. Открытой проблемой является выбор подходящего критерия, применимого на практике, поскольку критерий должен соответствовать двум определяющим условиям, которые часто противоречат друг другу.

[04] Во-первых, критерий должен предоставлять количественное значение, которое позволит сделать заключение об изменении качества системы, в частности, о признаке и степени этого изменения. Другими словами, значение критерия должно обладать четкой интерпретацией. В данной области техники известно, что многие критерии могут привести к противоречивым интерпретациям, и их использование на практике может вводить в заблуждение. Следовательно, верный выбор подходящего критерия является сложной задачей.

[05] Во-вторых, когда существует эффект условий опыта (например, эффект модификаций на поведении пользователя), критерий должен определять различие двух версий системы на высоком уровне статистической значимости для различения эффекта условий опыта в шуме, наблюдаемом, когда эффект условий опыта не проявляется. Это качество называется чувствительностью измерения. Распространенной проблемой является низкая чувствительность показателей в тех случаях, когда тестируется лишь незначительная модификация, или когда изменение в системе влияет лишь на небольшой объем пользовательского трафика.

[06] Критерии текущего уровня техники для оценки производительности двух версий, в основном, основаны на средних значениях показателей пользовательского поведения. Однако основным недостатком этих критериев является то, что средние значения показателей пользовательского поведения могут и не измениться, даже если их распределения изменились значительно.

[07] В случае поисковой системы существуют разнообразные компоненты, и их модификации могут влиять на распределение показателей пользовательского поведения по-разному. Наиболее важными компонентами страницы результатов поиска (SERP) являются те, что обыкновенно представляют данные из разных источников: органические поисковые результаты, рекламные результаты, вертикальные результаты и другие. Если обновление влияет только на рекламные результаты, то сложно оценить общее качество всей страницы результатов поиска (SERP), потому что реклама занимает менее 10% трафика поисковой системы. Следовательно, проблема низкой чувствительности подходящего критерия встает особенно остро в этом случае.

Раскрытие изобретения

[08] Задачей предлагаемого технического решения является устранение по меньшей мере некоторых недостатков, присущих известному уровню техники.

[09] Первым объектом настоящего технического решения является способ определения изменений в пользовательском интерактивном взаимодействии между первой и второй версиями страницы результатов поиска (SERP); причем вторая версия страницы результатов поиска (SERP) является модифицированной версией страницы результатов поиска (SERP), а способ выполняется на сервере. Способ включает в себя: представление первой страницы результатов поиска (SERP) первой группе пользователей, а второй страницы результатов поиска (SERP) второй группе пользователей; оценку первых и вторых показателей пользовательского взаимодействия с первой и второй версиями страницы результатов поиска (SERP) соответственно, причем пользовательские взаимодействия принадлежат к предварительно выбранному типу пользовательских взаимодействий; определение первого и второго распределений первых показателей и вторых показателей пользовательских взаимодействий соответственно; анализ первого и второго распределений совместно для определения степени изменений в пользовательском интерактивном взаимодействии. Анализ включает в себя: определение набора соотношений, причем каждое соотношение в наборе соотношений является соотношением между значением первого распределения и соответствующим значением второго распределения для каждого показателя пользовательского интерактивного взаимодействия соответственно; определение самого низкого соотношения и самого высокого соотношения в наборе соотношений, причем самое низкое соотношение указывает на самое малое относительное изменение между первым и вторым распределениями, а самое высокое соотношение указывает на самое большое относительное изменение между первым и вторым распределениями; определение степени изменений в пользовательском интерактивном взаимодействии на основе сочетания самого низкого и самого высокого соотношения; определение статистической значимости степени изменений в пользовательском интерактивном взаимодействии. Способ также включает в себя, в ответ на тот факт, что степень изменения в пользовательском интерактивном взаимодействии статистически значима, определение того, что в пользовательском интерактивном взаимодействии между первой и второй версиями страницы результатов поиска (SERP) произошло изменение.

[10] В некоторых вариантах осуществления способа анализ дополнительно включает в себя: определение пары распределений по меньшей мере частично на основе самого высокого и самого низкого соотношений; определение включает в себя разложение первого и второго распределений на первую и вторую взвешенные суммы пары распределений соответственно, и определение того, является ли определенное изменение в пользовательском интерактивном взаимодействии положительным или отрицательным, на основе пары распределений.

[11] В некоторых вариантах осуществления технологии определение первого и второго распределений включает в себя дискретизацию первых показателей и вторых показателей пользовательских взаимодействий на бины (от англ. bin - ячейка, столбик гистограммы) показателей пользовательских взаимодействий, причем анализ включает в себя каждое соотношение в наборе соотношений, которое является соотношением между значением первого распределения и соответствующего значения второго распределения для каждого бина показателей пользовательских взаимодействий, соответственно.

[12] В некоторых вариантах осуществления способа сочетание самого низкого и самого высокого соотношения определяется с использованием:

[13] В некоторых вариантах осуществления способа определение статистической значимости степени изменений в пользовательских интерактивных взаимодействиях включает в себя применение по меньшей мере одного из: критерия Колмогорова-Смирнова или сочетания способа «вытаскивания»/бутстреппинга (bootstrapping technique) с одновыборочным критерием Стьюдента.

[14] В некоторых вариантах осуществления способа определение того, положительно или отрицательно определенное изменение в пользовательском интерактивном взаимодействии, основанное на паре распределений, включает в себя сравнение соответствующих средних значений каждого распределения в паре распределений с учетом предварительно определенного типа пользовательских взаимодействий. Технический результат заключается в повышении качества тестирования изменений в пользовательском взаимодействии между первой версией и второй версией страницы результатов поиска.

[15] В некоторых вариантах осуществления способа у бинов первых показателей пользовательских взаимодействий такие же интервалы, как у бинов вторых показателей пользовательских взаимодействий.

[16] Вторым объектом настоящего технического решения является сервер, включающий в себя процессор и машиночитаемые инструкции для определения

изменений в пользовательском интерактивном взаимодействии между первой и второй версиями страницы результатов поиска (SERP); причем вторая версия страницы результатов поиска (SERP) является модифицированной версией страницы результатов поиска (SERP). Процессор выполнен с возможностью осуществлять: представление первой страницы результатов поиска (SERP) первой группе пользователей, а второй страницы результатов поиска (SERP) второй группе пользователей; оценку первых и вторых показателей пользовательского взаимодействия с первой и второй версиями страницы результатов поиска (SERP) соответственно, причем пользовательские взаимодействия принадлежат к предварительно выбранному типу пользовательских взаимодействий; определение первого и второго распределений первых показателей и вторых показателей пользовательских взаимодействий соответственно; анализ первого и второго распределений совместно для определения степени изменений в пользовательском интерактивном взаимодействии. Анализ включает в себя: определение набора соотношений, причем каждое соотношение в наборе соотношений является соотношением между значением первого распределения и соответствующим значением второго распределения для каждого показателя пользовательского интерактивного взаимодействия соответственно; определение самого низкого соотношения и самого высокого соотношения в наборе соотношений, причем самое низкое соотношение указывает на самое малое относительное изменение между первым и вторым распределениями, а самое высокое соотношение указывает на самое большое относительное изменение между первым и вторым распределениями; определение степени изменений в пользовательском интерактивном взаимодействии на основе сочетания самого низкого и самого высокого соотношения; определение статистической значимости степени изменений в пользовательском интерактивном взаимодействии. Сервер также выполнен с возможностью осуществлять, в ответ на тот факт, что степень изменения в пользовательском интерактивном взаимодействии статистически значима, определение того, что в пользовательском интерактивном взаимодействии между первой и второй версиями страницы результатов поиска (SERP) произошло изменение.

[17] В некоторых вариантах осуществления сервера анализ также включает в себя: определение пары распределений по меньшей мере частично на основе самого высокого и самого низкого соотношений; определение пары распределений, по меньшей мере, частично основанных на самых высоких и самых низких соотношениях, включает в себя разложение первого и второго распределений на первую и вторую взвешенные суммы пары распределений соответственно, и определение того, является ли определенное изменение в пользовательском интерактивном взаимодействии положительным или отрицательным, на основе пары распределений.

[18] В некоторых вариантах осуществления сервера определение первого и второго распределений включает в себя дискретизацию первых показателей и вторых показателей пользовательских взаимодействий на бины показателей пользовательских взаимодействий, причем анализ включает в себя каждое соотношение в наборе соотношений, которое является соотношением между значением первого распределения и соответствующего значения второго распределения для каждого бина показателей пользовательских взаимодействий, соответственно.

[19] В некоторых вариантах осуществления сервера сочетание самого низкого и самого высокого соотношения определяется с использованием: .

[20] В некоторых вариантах осуществления сервера определение статистической значимости степени изменений в пользовательских интерактивных взаимодействиях включает в себя применение по меньшей мере одного критерия из: критерия Колмогорова-Смирнова или сочетания способа «вытаскивания»/бутстреппинга (bootstrapping technique) в одном выборочном исследовании критерия Стьюдента.

[21] В некоторых вариантах осуществления сервера определение того, положительно или отрицательно определенное изменение в пользовательском интерактивном взаимодействии, основанное на паре распределений, включает в себя сравнение соответствующих средних значений каждого распределения в паре распределений с учетом предварительно определенного типа пользовательских взаимодействий.

[22] В некоторых вариантах осуществления сервера у бинов первых показателей пользовательских взаимодействий такие же интервалы, как и у бинов вторых показателей пользовательских взаимодействий.

[23] В контексте настоящего описания, если конкретно не указано иное, «сервер» подразумевает под собой компьютерную программу, работающую на соответствующем оборудовании, которая способна получать запросы (например, от клиентских устройств) по сети и выполнять эти запросы или инициировать выполнение этих запросов. Оборудование может представлять собой один физический компьютер или одну физическую компьютерную систему, но ни то, ни другое не является обязательным для настоящего технического решения. В контексте настоящего технического решения использование выражения «сервер» не означает, что каждая задача (например, полученные команды или запросы) или какая-либо конкретная задача будет получена, выполнена или инициирована к выполнению одним и тем же сервером (то есть одним и тем же программным обеспечением и/или аппаратным обеспечением); это означает, что любое количество элементов программного обеспечения или аппаратных устройств может быть вовлечено в прием/передачу, выполнение или инициирование выполнения любого запроса или последствия любого запроса, связанного с клиентским устройством, и все это программное и аппаратное обеспечение может быть одним сервером или несколькими серверами, оба варианта включены в выражение «по меньшей мере один сервер».

[24] В контексте настоящего описания, если конкретно не указано иное, «клиентское устройство» подразумевает под собой аппаратное устройство, способное работать с программным обеспечением, подходящим к решению соответствующей задачи. Примерами клиентских устройств, среди прочего, являются персональные компьютеры (настольные компьютеры, ноутбуки и т.д.), смартфоны и планшеты. Следует иметь в виду, что устройство, ведущее себя как клиентское устройство в настоящем контексте, может вести себя как сервер по отношению к другим клиентским устройствам. Использование выражения «клиентское устройство» не исключает возможности использования множества клиентских устройств для получения/отправки, выполнения или инициирования выполнения любой задачи или запроса, или же последствий любой задачи или запроса, или же этапов любого вышеописанного способа.

[25] В контексте настоящего описания, если конкретно не указано иное, термин «база данных» подразумевает под собой любой структурированный набор данных, не зависящий от конкретной структуры, программного обеспечения по управлению базой данных, аппаратного обеспечения компьютера, на котором данные хранятся, используются или иным образом оказываются доступны для использования. База данных может находиться на том же оборудовании, выполняющем процесс, который сохраняет или использует информацию, хранящуюся в базе данных, или же она может находиться на отдельном оборудовании, например, выделенном сервере или множестве серверов.

[26] В контексте настоящего описания, если конкретно не указано иное, термин «компонент» подразумевает под собой программное обеспечение (соответствующее конкретному аппаратному контексту), которое является необходимым и достаточным для выполнения конкретной(ых) указанной(ых) функции(й).

[27] В контексте настоящего описания, если конкретно не указано иное, термин «используемый компьютером носитель компьютерной информации» подразумевает под собой носитель абсолютно любого типа и характера, включая ОЗУ, ПЗУ, диски (компакт диски, DVD-диски, дискеты, жесткие диски и т.д.), USB флеш-накопители, твердотельные накопители, накопители на магнитной ленте и т.д.

[28] В контексте настоящего описания, если конкретно не указано иное, термин «интерактивный» подразумевает под собой, что нечто (или по меньшей мере его часть) может реагировать на пользовательский ввод.

[29] В контексте настоящего описания, если четко не указано иное, «указание» информационного элемента может представлять собой сам информационный элемент или указатель, отсылку, ссылку или другой косвенный способ, позволяющий получателю указания найти сеть, память, базу данных или другой машиночитаемый носитель, из которого может быть извлечен информационный элемент. Например, указание на файл может включать в себя сам файл (т.е. его содержимое), или же оно может являться уникальным дескриптором файла, идентифицирующим файл по отношению к конкретной файловой системе, или каким-то другими средствами передавать получателю указание на сетевую папку, адрес памяти, таблицу в базе данных или другое место, в котором можно получить доступ к файлу. Как будет понятно специалистам в данной области техники, степень точности, необходимая для такого указания, зависит от степени первичного понимания того, как должна быть интерпретирована информация, которой обмениваются получатель и отправитель указателя. Например, если до установления связи между отправителем и получателем понятно, что указание информационного элемента принимает вид ключа базы данных для записи в конкретной таблице заранее установленной базы данных, включающей в себя информационный элемент, то передача ключа базы данных - это все, что необходимо для эффективной передачи информационного элемента получателю, несмотря на то, что сам по себе информационный элемент не передавался между отправителем и получателем указания. Каждый вариант осуществления настоящего технического решения преследует по меньшей мере одну из вышеупомянутых целей и/или объектов. Следует иметь в виду, что некоторые объекты настоящего технического решения, полученные в результате попыток достичь вышеупомянутой цели, могут удовлетворять и другим целям, отдельно не указанным здесь.

[30] Дополнительные и/или альтернативные характеристики, аспекты и преимущества вариантов осуществления настоящего технического решения станут очевидными из последующего описания, прилагаемых чертежей и прилагаемой формулы изобретения.

Краткое описание чертежей

[31] Для лучшего понимания настоящего технического решения, а также других его аспектов и характерных черт сделана ссылка на следующее описание, которое должно использоваться в сочетании с прилагаемыми чертежами, где:

На Фиг. 1 схематически представлена сетевая система, выполненная в соответствии с вариантом осуществления настоящего технического решения;

На Фиг. 2 представлены первые показатели пользовательских взаимодействий, обработанных сервером и сохраненных в хранилище;

На Фиг. 3 представлены вторые показатели пользовательских взаимодействий, обработанных сервером и сохраненных в хранилище;

На Фиг. 4 представлен пример набора решений для весовых коэффициентов, обработанных сервером в варианте осуществления настоящего технического решения;

На Фиг. 5 представлена блок-схема способа определения изменений в пользовательском интерактивном взаимодействии между первой и второй версией страницы результатов поиска (SERP).

На Фиг. 6 представлен первый сценарий определения того, является ли определенное изменение в пользовательском интерактивном взаимодействии положительным или отрицательным;

На Фиг. 7 представлен второй сценарий определения того, является ли определенное изменение в пользовательском интерактивном взаимодействии положительным или отрицательным; и

На Фиг. 8 представлен третий сценарий определения того, является ли определенное изменение в пользовательском интерактивном взаимодействии положительным или отрицательным.

На Фиг. 9 представлен четвертый сценарий определения того, является ли определенное изменение в пользовательском интерактивном взаимодействии положительным или отрицательным.

На Фиг. 10 представлена таблица результатов трех экспериментов.

Осуществление изобретения

[32] На Фигуре 1 схематически изображена сетевая система 100, которая соединена по сети 114 передачи данных. Важно иметь в виду, что нижеследующее описание сетевой системы 100 представляет собой описание показательных вариантов осуществления настоящего технического решения. Таким образом, следующее описание должно рассматриваться только как описание иллюстративного варианта осуществления настоящего технического решения. Это описание не предназначено для определения объема или установления границ настоящего технического решения. Некоторые полезные примеры модификаций сетевой системы 100 также могут быть охвачены нижеследующим описанием. Целью этого является также исключительно помощь в понимании, а не определение объема и границ настоящего технического решения. Эти модификации не представляют собой исчерпывающий список, и специалистам в данной области техники будет понятно, что возможны и другие модификации. Кроме того, те случаи, в которых не были представлены примеры модификаций, не должны интерпретироваться как то, что никакие модификации невозможны, и/или что то, что было описано, является единственным вариантом осуществления этого элемента настоящего технического решения. Как будет понятно специалисту в данной области техники, это, скорее всего, не так. Кроме того, следует иметь в виду, что сетевая система 100 представляет собой в некоторых конкретных проявлениях достаточно простой вариант осуществления настоящего технического решения, и в подобных случаях представлена здесь с целью облегчения понимания. Как будет понятно специалисту в данной области техники, многие варианты осуществления настоящего технического решения будут обладать гораздо большей сложностью.

[33] Реализация линии (не изображена) передачи данных никак конкретно не ограничена и будет зависеть от того, какие устройства подключены к сети 114 передачи данных. В качестве неограничивающего примера, соединение сервера 116 с сетью 114 передачи данных может быть выполнено с помощью проводного соединения (например, соединение на основе сети Ethernet). В то же время другие устройства могут быть соединены другим способом. В тех примерах, где присоединенное устройство (не изображено) представляет собой беспроводное устройство связи (например, смартфон), соединение представляет собой беспроводную сеть передачи данных (например, среди прочего, линию передачи данных 3G, линию передачи данных 4G, беспроводной интернет Wireless Fidelity или коротко WiFi®, Bluetooth® и т.п.). В тех примерах, где первое электронное устройство 104 и второе электронное устройство 110 представляют собой стационарные компьютеры, линия передачи данных может быть как беспроводной, так и проводной (соединение на основе сети Ethernet).

Сетевая система 100 может включать в себя сервер 116. Сервер 116 может представлять собой обычный компьютерный сервер. В примере варианта осуществления настоящего технического решения, сервер 116 может представлять собой сервер Dell™ PowerEdge™, на котором используется операционная система Microsoft™ Windows Server™. Излишне говорить, что сервер 116 может представлять собой любое другое подходящее аппаратное и/или прикладное программное, и/или системное программное обеспечение или их комбинацию. В представленном варианте осуществления настоящего технического решения, не ограничивающем его объем, сервер 116 является одиночным сервером. В других вариантах осуществления настоящего технического решения, не ограничивающих его объем, функциональность сервера 116 может быть разделена, и может выполняться с помощью нескольких серверов. В некоторых вариантах осуществления настоящего технического решения сервер 116 может включать в себя программное обеспечение поисковой системы (не изображено) и может также управляться поставщиком поисковой системы, например, Яндекс.

[34] Сервер 116 включает в себя носитель 118 информации, который может использоваться сервером 116. В общем случае носитель 118 информации может быть выполнен как носитель любого характера и вида, включая ОЗУ, ПЗУ, диски (компакт диски, DVD-диски, дискеты, жесткие диски и т.д.), USB флеш-накопители, твердотельные накопители, накопители на магнитной ленте и т.д., а также их комбинацию.

[35] Варианты осуществления сервера 116 хорошо известны. Таким образом, достаточно отметить, что сервер 116 включает в себя, среди прочего, интерфейс сетевой связи (например, модем, сетевую карту и тому подобное) для двусторонней связи по сети 114 передачи данных; и процессор (не изображен), соединенный с интерфейсом сетевой связи, который выполнен с возможностью выполнять различные процедуры, включая те, что описаны ниже. С этой целью процессор может сохранять или иметь доступ к машиночитаемым инструкциям, хранящимся на носителе 118 информации, выполнение которых инициирует процессор выполнять различные описанные здесь процедуры. Носитель 118 информации сервера 116 выполнен с возможностью хранить данные, включая машиночитаемые инструкции и базы данных.

[36] В некоторых вариантах осуществления настоящего технического решения носитель 118 информации выполнен с возможностью сохранять различные данные, например, индексы веб-страниц, с которых была собрана информация, с помощью приложения поискового робота (не изображен) программного обеспечения поисковой системы, доступного на сервере 116. В других вариантах осуществления настоящего технического решения носитель 118 информации может хранить иные данные, полученные сервером 116.

[37] Сетевые системы 100 включают в себя первое электронное устройство 104 и второе электронное устройство 110. Первое электронное устройство 104 связано с первой группой 102 пользователей, а второе устройство 110 связано со второй группой 108 пользователей. Следует отметить, что тот факт, что первое электронное устройство 104 связано с первой группой 102 пользователей, а второе устройство 110 связано со второй группой 108 пользователей, не подразумевает какого-либо конкретного режима работы, равно как и необходимости входа в систему, регистрации, или чего-либо подобного. В некоторых вариантах осуществления настоящего технического решения первое электронное устройство 104 и второе электронное устройство 110 могут быть реализованы как одно и то же электронное устройство. В других вариантах осуществления настоящего технического решения первая группа 102 пользователей и вторая группа 108 пользователей могут включать в себя по меньшей мере одного общего пользователя. Другими словами, первое электронное устройство 104, второе электронное устройство 110, первая группа 102 пользователей и вторая группа 108 пользователей показаны на Фиг. 1 как отдельные исключительно с целью облегчения понимания. В дополнительных вариантах осуществления настоящего технического решения первое электронное устройство 104 может быть первым множеством электронных устройств, а второе электронное устройство 110 может быть вторым множеством электронных устройств. Другими словами, первое и второе электронные устройства 104 и 110 были изображены как одиночные электронные устройства на Фиг. 1 исключительно для упрощения.

[38] В некоторых вариантах осуществления настоящего технического решения размер первой группы 102 пользователей и размер второй группы 108 пользователей может быть идентичен. Другими словами, число пользователей в первой группе 102 пользователей может быть идентично числу пользователей во второй группе 108 пользователей. В альтернативных вариантах осуществления настоящего технического решения размер первой группы 102 пользователей и размера второй группы 108 пользователей может быть сравним. Другими словами, число пользователей в первой группе 102 пользователей может быть близко к числу пользователей во второй группе 108 пользователей. Например, число пользователей в первой группе 102 пользователей и число пользователей во второй группе 108 пользователей может составлять сотни тысяч. Однако, следует отметить, что число пользователей в первой группе 102 пользователей и второй группе 108 пользователей не должно являться ограничивающим фактором настоящего технического решения.

[39] Первое электронное устройство 104 и второе электронное устройство 110 каждое включают в себя носитель информации (не изображен). В общем случае носитель информации может быть выполнен как носитель любого характера и вида, включая ОЗУ, ПЗУ, диски (компакт диски, DVD-диски, дискеты, жесткие диски и т.д.), USB флеш-накопители, твердотельные накопители, накопители на магнитной ленте и т.д., а также их комбинацию. Носитель информации может хранить файлы пользователя и программные инструкции. В частности, носитель информации может хранить программное обеспечение для реализации браузерного приложения. В некоторых вариантах осуществления настоящего технического решения первое электронное устройство 104 может реализовать браузер 106, а второе электронное устройство 110 может реализовать браузер 112. В общем случае задачей браузера 106 и браузера 112 является предоставление первой группе 102 пользователей и второй группе 108 пользователей возможности запрашивать данные веб-страниц и отображать их. В некоторых вариантах осуществления настоящего технического решения браузер 106 и браузер 112 могут быть предоставлены одним и тем же поставщиком, а в других вариантах осуществления настоящего технического решения браузер 106 и браузер 112 могут быть предоставлены разными поставщиками.

[40] Варианты осуществления первого электронного устройства 104 и второго электронного устройства 110 никак конкретно не ограничены, но в качестве примера первое электронное устройство 104 и второе электронное устройство 110 могут быть реализованы как персональные компьютеры (настольные компьютеры, ноутбуки, нетбуки и т.п.) или беспроводное устройство передачи данных (мобильные телефоны, смартфоны, планшеты и т.п.). На Фиг. 1 первое электронное устройство 104 и второе электронное устройство 110 выполнены как ноутбуки, например, как Apple™ MacBook Pro™. Первое электронное устройство 104 может реализовать браузер 106, который является браузерным приложением Яндекс. Второе электронное устройство 110 может реализовать браузер 112, который является иным браузерным приложением. В некоторых вариантах осуществления настоящего технического решения браузер 106 может быть идентичен браузеру 112. Важно иметь в виду, что любое другое коммерчески доступное или собственное браузерное приложение может быть использовано для реализации вариантов осуществления настоящего технического решения, не ограничивающих его объем. Кроме того, следует отметить, что браузер 106, а также и браузер 112, и поисковая система, доступная на сервере 116, могут иметь общего или разных поставщиков.

[41] Каждый пользователь в первой группе 102 пользователей может получить доступ к веб-сайту поисковой системы поставщика, например, www.yandex.com например, через браузер 106, для просмотра набора поисковых результатов, связанных с пользовательским запросом. Другими словами, пакет 120 данных может быть создан браузером 106 и может быть отправлен серверу 116 по сети 114 передачи данных. Пакет 120 данных включает в себя пользовательский запрос на получение страницы результатов поиска (SERP). В некоторых вариантах осуществления настоящего технического решения программное обеспечение поисковой системы сервера 116 может определять набор поисковых результатов и может создавать и отправлять пакет 124 данных первому электронному устройству 104. Пакет 124 данных может включать в себя первую версию страницы результатов поиска SERP и инструкции для браузера 106 на отображение первой версии страницы результатов поиска SERP на экране первого электронного устройства 104. То, как создается страница результатов поиска SERP, никак конкретно не ограничено, и для ее создания могут использоваться любые известные методы.

[42] В некоторых вариантах осуществления настоящего технического решения пакет 120 данных может включать в себя первое множество пакетов данных, причем каждый пакет данных из первого множества пакетов данных отправлен с соответствующего электронного устройства из первого множества электронных устройств. Аналогично, пакет 124 данных может включать в себя второе множество пакетов данных, причем каждый пакет данных из второго множества пакетов данных отправлен с соответствующего электронного устройства из первого множества электронных устройств.

[43] Аналогично, каждый пользователь во второй группе 108 пользователей может получить доступ к веб-сайту поисковой системы поставщика, например, через браузер 112, для просмотра набора поисковых результатов, связанных с пользовательским запросом. Другими словами, пакет 122 данных может быть создан браузером 112 и может быть отправлен серверу 116 по сети 114 передачи данных. Пакет 122 данных включает в себя пользовательский запрос на получение страницы результатов поиска (SERP). В некоторых вариантах осуществления настоящего технического решения программное обеспечение поисковой системы сервера 116 может определять набор поисковых результатов и может создавать и отправлять пакет 126 данных второму электронному устройству 110. Пакет 126 данных может включать в себя вторую версию страницы результатов поиска SERP и инструкции для браузера 112 на отображение второй версии страницы результатов поиска SERP на экране второго электронного устройства 110.

[44] В некоторых вариантах осуществления настоящего технического решения пакет 122 данных может включать в себя третье множество пакетов данных, причем каждый пакет данных из третьего множества пакетов данных отправлен с соответствующего электронного устройства из второго множества электронных устройств. Аналогично, пакет 126 данных может включать в себя четвертое множество пакетов данных, причем каждый пакет данных из четвертого множества пакетов данных отправлен с соответствующего электронного устройства из второго множества электронных устройств.

[45] Вторая версия страницы результатов поиска (SERP) отличается от первой версии страницы результатов поиска (SERP). В некоторых вариантах осуществления настоящего технического решения вторая версия страницы результатов поиска (SERP) может быть модифицированной версией страницы результатов поиска (SERP). Другими словами, вторая версия страницы результатов поиска (SERP) может быть первой версией страницы результатов поиска (SERP), включающей в себя модификацию (т.е., модифицированной первой версией страницы результатов поиска (SERP). Например, модификации может подвергнуться пользовательский интерфейс страницы результатов поиска (SERP), или алгоритм ранжирования страницы результатов поиска (SERP), расположение элементов на странице результатов поиска (SERP) и так далее, или комбинация перечисленного. В других вариантах осуществления настоящего технического решения вторая версия страницы результатов поиска (SERP) может обладать, по сравнению с первой версией страницы результатов поиска (SERP), модифицированным дизайном рекламы, модифицированным фоновым цветом, модифициронными фрагментами информации (сниппетами, от англ. Snippets), модифицированным представлением рекламы в конкретном расположении на странице результатов поиска (SERP) или любой комбинацией вышеперечисленного. В другом варианте осуществления настоящего технического решения первая версия страницы результатов поиска (SERP) может быть текущей выпускаемой версией страницы результатов поиска (SERP), реализованной программным обеспечением поисковой системы, а вторая версия страницы результато