Способ и сервер проведения контролируемого эксперимента с использованием прогнозирования будущего пользовательского поведения

Способ и сервер проведения контролируемого эксперимента с использованием прогнозирования будущего пользовательского поведения

Иллюстрации

Показать все

Реферат

Область техники

[01] Настоящее техническое решение относится к системам и способам проведения контролируемого эксперимента с использованием прогнозирования будущего пользовательского поведения.

Уровень техники

[02] За последние годы контролируемые эксперименты, также известные как А/В тестирование, стали на современном уровне техники инструментом улучшения онлайн-сервисов на основе решений ориентированных на данные. Современные онлайн-компании, например Майкрософт, Гугл и Яндекс, используют онлайн контролируемые эксперименты повсеместно для улучшения своих сервисов, в том числе представления страниц результатов поиска (SERP), посредством ориентированных на данные решений, основанных на результатах, полученных из таких экспериментов. Самые крупные компании, предоставляющие веб-сервисы, разработали специальные экспериментальные платформы, которые позволяют проводить А/В тестирование в больших масштабах.

[03] Контролируемый эксперимент сравнивает два варианта сервиса единовременно, посредством представления вариантов двум группам пользователей и измерения разницы по ключевым показателям между ними, обычно это показатель степени вовлеченности пользователя в контексте онлайн-сервисов (например, число посещений, число щелчков (кликов) и т.д.). Способность показателя определять статистически значимую разницу при эффекте условий эксперимента упоминается как чувствительность эксперимента. Компании, предоставляющие онлайн-сервисы, постоянно предпринимают попытки улучшать чувствительность своих контролируемых экспериментов, поскольку чем больше чувствительность, тем более приближенными к реальности получаются результаты, что, в свою очередь, позволяет этим компаниям улучшать свои сервисы более успешно и эффективно.

[04] Подходы текущего уровня техники для улучшения чувствительности контролируемых экспериментов сводятся к увеличению количества наблюдаемых статистических данных, что может быть осуществлено либо увеличением количества пользователей, участвующих в эксперименте, либо увеличением длительности эксперимента. Однако оба эти подхода обладают значительными недостатками. Во-первых, количество пользователей ограничивается трафиком веб-сервиса, и, таким образом, не всегда возможно увеличить количество пользователей, участвующих в онлайн контролируемом эксперименте. Во-вторых, повышение длительности контролируемого эксперимента сокращает количество экспериментов, которые могут быть проведены за данный промежуток времени, что особенно критично при учете того, что контролируемые эксперименты обычно проводятся для оценки нового элемента или обновления сервиса, и чем быстрее будет завершен эксперимент, тем быстрее новый элемент может быть запущен или, при необходимости, преобразован.

Раскрытие

[05] Задачей предлагаемого технического решения является устранение по меньшей мере некоторых недостатков, присущих известному уровню техники. Технический результат заключается в уменьшении времени необходимого для проведения А/В теста.

[06] Первым объектом настоящего технического решения является способ проведения контролируемого эксперимента с использованием прогнозирования будущего пользовательского поведения. Способ включает в себя: сбор данных о поведении пользователей из первой группы пользователей и пользователей из второй группы пользователей за первый промежуток времени, где: первой группе пользователей представляют контрольный вариант сервиса; второй группе пользователей представляют экспериментальный вариант сервиса; и данные о поведении относятся к параметру качества контролируемого эксперимента; на основе по меньшей мере одной модели прогнозирования, примененной к данным о поведении, определение спрогнозированных значений параметра качества для каждого пользователя из первой группы пользователей и каждого пользователя из второй группы пользователей за второй промежуток времени; и определение того, существует ли статистически значимая разница между спрогнозированными значениями параметра качества для каждого пользователя из первой группы пользователей и спрогнозированными значениями параметра качества для каждого пользователя из второй группы пользователей.

[07] В некоторых вариантах осуществления способа способ дополнительно включает в себя: вычисление среднего значения спрогнозированных значений параметра качества для каждого пользователя из первой группы пользователей; вычисление среднего значения спрогнозированных значений параметра качества для каждого пользователя из второй группы пользователей; и определение того, существует ли статистически значимая разница между средним значением спрогнозированных значений параметра качества для каждого пользователя из первой группы пользователей и средним значением спрогнозированных значений параметра качества для каждого пользователя из второй группы пользователей.

[08] В некоторых вариантах осуществления способа способ дополнительно включает в себя: получение действительного значения параметра качества для каждого пользователя из первой группы пользователей и для каждого пользователя из второй группы пользователей на основе данных о поведении, собранных за первый промежуток времени; комбинирование каждого действительного значения параметра качества для каждого пользователя из первой группы пользователей с соответствующим спрогнозированным значением параметра качества для каждого пользователя из первой группы пользователей с получением комбинированного значения параметра качества для каждого пользователя из первой группы пользователей; комбинирование каждого действительного значения параметра качества для каждого пользователя из второй группы пользователей с соответствующим спрогнозированным значением параметра качества для каждого пользователя из второй группы пользователей с получением комбинированного значения параметра качества для каждого пользователя из второй группы пользователей; определение среднего значения комбинированных значений параметра качества для каждого пользователя из первой группы пользователей; определение среднего значения комбинированных значений параметра качества для каждого пользователя из второй группы пользователей; и определение того, существует ли статистически значимая разница между средним значением комбинированных значений параметра качества для каждого пользователя из первой группы пользователей и средним значением комбинированных значений параметра качества для каждого пользователя из второй группы пользователей.

[09] В некоторых вариантах осуществления способа сервис является онлайн-сервисом.

[10] В некоторых вариантах осуществления способа контролируемый эксперимент оценивает изменение в исполнении онлайн-сервиса.

[11] В некоторых вариантах осуществления способа онлайн-сервис является поисковой системой.

[12] В некоторых вариантах осуществления способа изменение в исполнении является по меньшей мере одним из: изменением в алгоритме ранжирования поисковой системы, изменением во времени ответа поисковой системы или изменением в пользовательском интерфейсе поисковой системы.

[13] В некоторых вариантах осуществления способа данные о поведении включают в себя показатели пользовательских взаимодействий с поисковой системой.

[14] В некоторых вариантах осуществления способа параметр качества включает в себя предварительно выбранный тип пользовательского взаимодействия с поисковой системой.

[15] В некоторых вариантах осуществления способа предварительно выбранный тип пользовательского взаимодействия включает в себя по меньшей мере одно из: число сессий в расчете на каждого пользователя; число запросов в расчете на каждого пользователя; число щелчков в расчете на каждого пользователя; время присутствия пользователя; число щелчков в расчете на запрос пользователя; время отсутствия в расчете на сессию пользователя.

[16] В некоторых вариантах осуществления способа первый промежуток времени соответствует длительности контролируемого эксперимента.

[17] В некоторых вариантах осуществления способа первый промежуток времени соответствует промежутку времени, меньшему, чем длительность контролируемого эксперимента.

[18] В некоторых вариантах осуществления способа контролируемый эксперимент завершается раньше окончания длительности контролируемого эксперимента.

[19] В некоторых вариантах осуществления способа модель прогнозирования является либо моделью дерева принятия решений, построенной с помощью метода градиентного спуска (англ. gradient boosting decision tree model), либо моделью линейной регрессии.

[20] В некоторых вариантах осуществления способа получают по меньшей мере один признак, извлеченный из данных о поведении, и обрабатывают моделью прогнозирования для выполнения определения спрогнозированных значений параметра качества.

[21] В некоторых вариантах осуществления способа по меньшей мере один признак, извлеченный из данных о поведении, является одним из: общий признак, признак временных рядов, статистический признак, признак периодичности, производный признак.

[22] Другим объектом настоящего технического решения является сервер, включающий в себя процессор и машиночитаемые инструкции для проведения контролируемого эксперимента с использованием прогнозирования будущего пользовательского поведения. Процессор выполнен с возможностью осуществлять: сбор данных о поведении пользователей из первой группы пользователей и пользователей из второй группы пользователей за первый промежуток времени, где: первой группе пользователей представляют контрольный вариант сервиса; второй группе пользователей представляют экспериментальный вариант сервиса; и данные о поведении относятся к параметру качества контролируемого эксперимента; на основе по меньшей мере одной модели прогнозирования, примененной к данным о поведении, определение спрогнозированных значений параметра качества для каждого пользователя из первой группы пользователей и каждого пользователя из второй группы пользователей за второй промежуток времени; и определение того, существует ли статистически значимая разница между спрогнозированными значениями параметра качества для каждого пользователя из первой группы пользователей и спрогнозированными значениями параметра качества для каждого пользователя из второй группы пользователей.

[23] В некоторых вариантах осуществления способа сервер дополнительно выполнен с возможностью осуществлять: вычисление среднего значения спрогнозированных значений параметра качества для каждого пользователя из первой группы пользователей; вычисление среднего значения спрогнозированных значений параметра качества для каждого пользователя из второй группы пользователей; и определение того, существует ли статистически значимая разница между средним значением спрогнозированных значений параметра качества для каждого пользователя из первой группы пользователей и средним значением спрогнозированных значений параметра качества для каждого пользователя из второй группы пользователей.

[24] В некоторых вариантах осуществления способа сервер дополнительно выполнен с возможностью осуществлять: получение действительного значения параметра качества для каждого пользователя из первой группы пользователей и для каждого пользователя из второй группы пользователей на основе данных о поведении, собранных за первый промежуток времени; комбинирование каждого действительного значения параметра качества для каждого пользователя из первой группы пользователей с соответствующим спрогнозированным значением параметра качества для каждого пользователя из первой группы пользователей с получением комбинированного значения параметра качества для каждого пользователя из первой группы пользователей; комбинирование каждого действительного значения параметра качества для каждого пользователя из второй группы пользователей с соответствующим спрогнозированным значением параметра качества для каждого пользователя из второй группы пользователей с получением комбинированного значения параметра качества для каждого пользователя из второй группы пользователей; определение среднего значения комбинированных значений параметра качества для каждого пользователя из первой группы пользователей; определение среднего значения комбинированных значений параметра качества для каждого пользователя из второй группы пользователей; и определение того, существует ли статистически значимая разница между средним значением комбинированных значений параметра качества для каждого пользователя из первой группы пользователей и средним значением комбинированных значений параметра качества для каждого пользователя из второй группы пользователей.

[25] В некоторых вариантах осуществления сервера сервис является онлайн-сервисом.

[26] В некоторых вариантах осуществления сервера контролируемый эксперимент оценивает изменение в исполнении онлайн-сервиса.

[27] В некоторых вариантах осуществления сервера онлайн-сервис является поисковой системой.

[28] В некоторых вариантах осуществления сервера изменение в исполнении онлайн-сервиса является по меньшей мере одним из: изменением в алгоритме ранжирования поисковой системы или изменением во времени ответа поисковой системы или изменением в пользовательском интерфейсе поисковой системы.

[29] В некоторых вариантах осуществления сервера данные о поведении включают в себя показатели пользовательских взаимодействий с поисковой системой.

[30] В некоторых вариантах осуществления сервера параметр качества включает в себя предварительно выбранный тип пользовательского взаимодействия с поисковой системой.

[31] В некоторых вариантах осуществления сервера предварительно выбранный тип пользовательского взаимодействия включает в себя по меньшей мере одно из: число сессий в расчете на каждого пользователя; число запросов в расчете на каждого пользователя; число щелчков в расчете на каждого пользователя; время присутствия пользователя; число щелчков в расчете на запрос пользователя; время отсутствия в расчете на сессию пользователя.

[32] В некоторых вариантах осуществления сервера первый промежуток времени соответствует длительности контролируемого эксперимента.

[33] В некоторых вариантах осуществления сервера первый промежуток времени соответствует промежутку времени, меньшему, чем длительность контролируемого эксперимента.

[34] В некоторых вариантах осуществления сервера контролируемый эксперимент завершается раньше окончания длительности контролируемого эксперимента.

[35] В некоторых вариантах осуществления сервера модель прогнозирования является либо моделью дерева принятия решений, построенной с помощью метода градиентного спуска (англ. gradient boosting decision tree model), либо моделью линейной регрессии.

[36] В некоторых вариантах осуществления сервера процессор выполнен с возможностью получать по меньшей мере один признак, извлеченный из данных о поведении, и обрабатывать моделью прогнозирования для выполнения определения спрогнозированных значений параметра качества.

[37] В некоторых вариантах осуществления сервера по меньшей мере один признак, извлеченный из данных о поведении, является одним из: общий признак, признак временных рядов, статистический признак, признак периодичности, производный признак.

[38] В контексте настоящего описания, если конкретно не указано иное, «сервер» подразумевает под собой компьютерную программу, работающую на соответствующем оборудовании, которая способна получать запросы (например, от электронных устройств) по сети и выполнять эти запросы или инициировать выполнение этих запросов. Оборудование может представлять собой один физический компьютер или одну физическую компьютерную систему, но ни то, ни другое не является обязательным для данного технического решения. В контексте настоящего технического решения использование выражения «сервер» не означает, что каждая задача (например, полученные команды или запросы) или какая-либо конкретная задача будет получена, выполнена или инициирована к выполнению одним и тем же сервером (то есть одним и тем же программным обеспечением и/или аппаратным обеспечением); это означает, что любое количество элементов программного обеспечения или аппаратных устройств может быть вовлечено в прием/передачу, выполнение или инициирование выполнения любого запроса или последствия любого запроса, связанного с клиентским устройством, и все это программное и аппаратное обеспечение может быть одним сервером или несколькими серверами; оба варианта включены в выражение «по меньшей мере один сервер».

[39] В контексте настоящего описания, если конкретно не указано иное, «электронное устройство» подразумевает под собой аппаратное устройство, способное работать с программным обеспечением, подходящим к решению соответствующей задачи. Неограничивающими примерами электронных устройств, являются персональные компьютеры (настольные компьютеры, ноутбуки и т.д.), смартфоны и планшеты. Следует иметь в виду, что устройство, ведущее себя как электронное устройство в настоящем контексте, может вести себя как сервер по отношению к другим электронным устройствам. Использование выражения «электронное устройство» не исключает возможности использования множества электронных устройств для получения/отправки, выполнения или инициирования выполнения любой задачи или запроса, или же последствий любой задачи или запроса, или же этапов любого вышеописанного метода.

[40] В контексте настоящего описания, если конкретно не указано иное, термин «база данных» подразумевает под собой любой структурированный набор данных, не зависящий от конкретной структуры, программного обеспечения по управлению базой данных, аппаратного обеспечения компьютера, на котором данные хранятся, используются или иным образом оказываются доступны для использования. База данных может находиться на том же оборудовании, выполняющем процесс, на котором хранится или используется информация, хранящаяся в базе данных, или же база данных может находиться на отдельном оборудовании, например, выделенном сервере или множестве серверов.

[41] В контексте настоящего описания, если конкретно не указано иное, термин «компонент» подразумевает под собой программное обеспечение (соответствующее конкретному аппаратному контексту), которое является необходимым и достаточным для выполнения конкретной(ых) указанной(ых) функции(й).

[42] В контексте настоящего описания, если конкретно не указано иное, термин «используемый компьютером носитель компьютерной информации» подразумевает под собой носитель абсолютно любого типа и характера, включая ОЗУ, ПЗУ, диски (компакт диски, DVD-диски, дискеты, жесткие диски и т.д.), USB флеш-накопители, твердотельные накопители, накопители на магнитной ленте и т.д.

[43] Следует иметь в виду, что некоторые объекты данного технического решения, полученные в результате попыток достичь вышеупомянутой цели, могут удовлетворять и другим целям, отдельно не указанным здесь.

[44] Дополнительные и/или альтернативные характеристики, аспекты и преимущества вариантов осуществления настоящего технического решения станут очевидными из последующего описания, прилагаемых чертежей и прилагаемой формулы изобретения.

Краткое описание чертежей

[45] Для лучшего понимания настоящего технического решения, а также других его аспектов и характерных черт, сделана ссылка на следующее описание, которое должно использоваться в сочетании с прилагаемыми чертежами, где:

[46] На ФИГУРЕ 1 схематически представлена система, выполненная в соответствии с вариантом осуществления настоящего технического решения;

[47] На ФИГУРЕ 2 представлены оцененные показатели пользовательских взаимодействий, обработанные сервером и сохраненные в хранилище;

[48] На ФИГУРЕ 3 представлены спрогнозированные показатели пользовательских взаимодействий, определенные на сервере и сохраненные в хранилище;

[49] На ФИГУРЕ 4 представлена хронологическая шкала показателей пользовательских взаимодействий, возникших за первый промежуток времени, и спрогнозированных показателей пользовательских взаимодействий, возникших за второй промежуток времени;

[50] На ФИГУРЕ 5 представлена блок-схема способа проведения онлайн контролируемого эксперимента с использованием прогнозирования будущего пользовательского поведения.

Осуществление

[51] На Фигуре 1 схематически изображена система 100, которая соединена по сети 114 передачи данных. Важно иметь в виду, что нижеследующее описание системы 100 представляет собой описание показательных вариантов осуществления настоящего технического решения. Таким образом, следующее описание должно рассматриваться только как описание иллюстративного варианта осуществления настоящего технического решения. Это описание не предназначено для определения объема или установления границ настоящего технического решения. Некоторые полезные примеры модификаций системы 100 также могут быть охвачены нижеследующим описанием. Целью этого является также исключительно помощь в понимании, а не определение объема и границ настоящего технического решения. Эти модификации не представляют собой исчерпывающий список, и специалистам в данной области техники будет понятно, что возможны и другие модификации. Кроме того, те случаи, в которых не были представлены примеры модификаций, не должны интерпретироваться как то, что никакие модификации невозможны, и/или что то, что было описано, является единственным вариантом осуществления этого элемента настоящего технического решения. Как будет понятно специалисту в данной области техники, это, скорее всего, не так. Кроме того, следует иметь в виду, что система 100 представляет собой в некоторых конкретных проявлениях достаточно простой вариант осуществления настоящего технического решения, и в подобных случаях этот вариант представлен здесь с целью облегчения понимания. Как будет понятно специалисту в данной области техники, многие варианты осуществления настоящего технического решения будут обладать гораздо большей сложностью.

[52] Реализация линии (не изображена) передачи данных никак конкретно не ограничена и будет зависеть от того, какие устройства подключены к сети 114 передачи данных. В качестве неограничивающего примера, соединение сервера 116 с сетью 114 передачи данных может быть выполнено с помощью проводного соединения (например, соединение на основе сети Ethernet). В то же время другие устройства могут быть соединены другим способом. В тех примерах, где присоединенное устройство (не изображено) представляет собой беспроводное устройство связи (например, смартфон), соединение представляет собой беспроводную сеть передачи данных (например, среди прочего, линию передачи данных 3G, линию передачи данных 4G, беспроводной интернет Wireless Fidelity или коротко WiFi®, Bluetooth® и т.п.). В тех примерах, где первое электронное устройство 104 и второе электронное устройство 110 представляют собой стационарные компьютеры, линия передачи данных может быть как беспроводной, так и проводной (соединение на основе сети Ethernet).

[53] Система 100 может включать в себя сервер 116. Сервер 116 может представлять собой обычный компьютерный сервер. В примере варианта осуществления настоящего технического решения, сервер 116 может представлять собой сервер Dell™ PowerEdge™, на котором используется операционная система Microsoft™ Windows Server™. Излишне говорить, что сервер 116 может представлять собой любое другое подходящее аппаратное и/или прикладное программное, и/или системное программное обеспечение или их комбинацию. В представленном варианте осуществления настоящего технического решения, не ограничивающем его объем, сервер 116 является одиночным сервером. В других вариантах осуществления настоящего технического решения, не ограничивающих его объем, функциональность сервера 116 может быть разделена и может выполняться с помощью нескольких серверов. В некоторых вариантах осуществления настоящего технического решения сервер 116 может включать в себя программное обеспечение поисковой системы (не изображено) и может также управляться поставщиком поисковой системы, например, Яндекс. В соответствии с вариантами осуществления настоящего технического решения и как будет описано подробнее ниже, сервер 116 выполнен с возможностью выполнять контролируемый эксперимент, который оценивает изменение в исполнении страниц результатов поиска (SERP).

[54] Сервер 116 включает в себя носитель 118 информации, который может использоваться сервером 116. В общем случае носитель 118 информации может быть выполнен как носитель любого характера и вида, включая ОЗУ, ПЗУ, диски (компакт диски, DVD-диски, дискеты, жесткие диски и т.д.), USB флеш-накопители, твердотельные накопители, накопители на магнитной ленте и т.д., а также их комбинацию.

[55] Варианты осуществления сервера 116 хорошо известны. Таким образом, достаточно отметить, что сервер 116 включает в себя, среди прочего, интерфейс сетевой связи (например, модем, сетевую карту и тому подобное) для двусторонней связи по сети 114 передачи данных; и процессор (не изображен), соединенный с интерфейсом сетевой связи, который выполнен с возможностью выполнять различные процедуры, включая те, что описаны ниже. С этой целью процессор может хранить машиночитаемые инструкции или иметь доступ к машиночитаемым инструкциям, хранящимся на носителе 118 информации, выполнение которых инициирует процессор выполнять различные описанные здесь процедуры. Носитель 118 информации сервера 116 выполнен с возможностью хранить данные, включая машиночитаемые инструкции и базы данных.

[56] В некоторых вариантах осуществления технического решения носитель 118 информации выполнен с возможностью сохранять различные данные, например, индексы веб-страниц, с которых была собрана информация, с помощью приложения поискового робота (не изображен) программного обеспечения поисковой системы, доступного на сервере 116. В других вариантах осуществления настоящего технического решения носитель 118 информации может хранить иные данные, полученные сервером 116.

[57] Система 100 включает в себя первое электронное устройство 104 и второе электронное устройство 110. Первое электронное устройство 104 связано с первой группой 102 пользователей, а второе электронное устройство 110 связано со второй группой 108 пользователей. Следует отметить, что тот факт, что первое электронное устройство 104 связано с первой группой 102 пользователей, а второе устройство 110 связано со второй группой 108 пользователей, не подразумевает какого-либо конкретного режима работы, равно как и необходимости входа в систему, регистрации, или чего-либо подобного. В дополнительных вариантах осуществления технического решения первое электронное устройство 104 может быть первым множеством электронных устройств, а второе электронное устройство 110 может быть вторым множеством электронных устройств. Таким образом, первое и второе электронные устройства 104 и 110 были изображены как одиночные электронные устройства на Фигуре 1 исключительно для упрощения.

[58] В некоторых вариантах осуществления настоящего технического решения размер первой группы 102 пользователей и размер второй группы 108 пользователей может быть идентичен. Другими словами, число пользователей в первой группе 102 пользователей может быть идентично числу пользователей во второй группе 108 пользователей. В альтернативных вариантах осуществления настоящего технического решения размер первой группы 102 пользователей и размер второй группы 108 пользователей может быть сравним. Другими словами, число пользователей в первой группе 102 пользователей может быть близко к числу пользователей во второй группе 108 пользователей. Например, число пользователей в первой группе 102 пользователей и число пользователей во второй группе 108 пользователей может составлять сотни тысяч. Следует отметить, что число пользователей в первой группе 102 пользователей и во второй группе 108 пользователей не должно являться ограничивающим фактором настоящего технического решения.

[59] Первое электронное устройство 104 и второе электронное устройство 110, каждое, включают в себя носитель информации (не изображен). В общем случае носитель информации может быть выполнен как носитель любого характера и вида, включая ОЗУ, ПЗУ, диски (компакт диски, DVD-диски, дискеты, жесткие диски и т.д.), USB флеш-накопители, твердотельные накопители, накопители на магнитной ленте и т.д. а также их комбинацию. Носитель информации может хранить файлы пользователя и программные инструкции. В частности, носитель информации может хранить программное обеспечение для реализации браузерного приложения. В некоторых вариантах осуществления настоящего технического решения первое электронное устройство 104 может реализовать браузер 106, а второе электронное устройство 110 может реализовать браузер 112. В общем случае задачей браузера 106 и браузера 112 является предоставление первой группе 102 пользователей и второй группе 108 пользователей возможности запрашивать данные веб-страниц и отображать данные на экранах электронных устройств 104 и 110. В некоторых вариантах осуществления настоящего технического решения браузер 106 и браузер 112 могут быть предоставлены одним и тем же поставщиком, а в других вариантах осуществления настоящего технического решения браузер 106 и браузер 112 могут быть предоставлены разными поставщиками.

[60] Варианты осуществления первого электронного устройства 104 и второго электронного устройства 110 никак конкретно не ограничены, но в качестве примера первое электронное устройство 104 и второе электронное устройство 110 могут быть реализованы как персональные компьютеры (настольные компьютеры, ноутбуки, нетбуки и т.п.) или беспроводное устройство передачи данных (мобильные телефоны, смартфоны, планшеты и т.п.). На Фигуре 1 первое электронное устройство 104 и второе электронное устройство 110 выполнены как ноутбуки, например, как Apple™ MacBook Pro™. Первое электронное устройство 104 может реализовать браузер 106, который является браузерным приложением Яндекс. Второе электронное устройство 110 может реализовать браузер 112, который является другим браузерным приложением. В некоторых вариантах осуществления настоящего технического решения браузер 106 может быть идентичен браузеру 112. Важно иметь в виду, что любое другое коммерчески доступное или собственное браузерное приложение может быть использовано для реализации вариантов осуществления настоящего технического решения, не ограничивающих его объем. Кроме того, следует отметить, что браузер 106, а также и браузер 112, и поисковая система, доступная на сервере 116, могут иметь общего поставщика или различных поставщиков.

[61] Каждый пользователь из первой группы пользователей 102 может получить доступ к сервису в сети. В некоторых вариантах осуществления технического решения сервис может быть веб-сайтом. В альтернативных вариантах осуществления технического решения сервис может быть веб-приложением, например, картографическим сервисом или сервисом электронной почты. В других вариантах осуществления технического решения сервис может быть поисковой системой. Таким образом, в некоторых вариантах осуществления настоящего технического решения, каждый пользователь в первой группе 102 пользователей может получить доступ к поисковой системе с помощью, например, перехода на www.yandex.com. через браузер 106, для просмотра набора поисковых результатов, которые отвечают на пользовательский поисковый запрос.

[62] Таким образом, пакет 120 данных может быть создан браузером 106 и может быть отправлен серверу 116 по сети 114 передачи данных. Пакет 120 данных включает в себя пользовательский поисковый запрос на получение страницы результатов поиска (SERP). В некоторых вариантах осуществления настоящего технического решения программное обеспечение поисковой системы сервера 116 может определять набор поисковых результатов и может создавать и отправлять пакет 124 данных первому электронному устройству 104. Пакет 124 данных может включать в себя первую версию SERP и инструкции для браузера 106 на отображение первой версии SERP на экране первого электронного устройства 104. То, как создается SERP, никак конкретно не ограничено, и для ее создания может использоваться любая известная техника.

[63] В некоторых вариантах осуществления настоящего технического решения пакет 120 данных может включать в себя первое множество пакетов данных, причем каждый пакет данных из первого множества пакетов данных отправлен с соответствующего электронного устройства из первого множества электронных устройств. Аналогично, пакет 124 данных может включать в себя второе множество пакетов данных, причем каждый пакет данных из второго множества пакетов данных отправлен с соответствующего электронного устройства из первого множества электронных устройств.

[64] Аналогично, каждый пользователь во второй группе 108 пользователей может получить доступ к веб-сайту поисковой системы поставщика, например, через браузер 112, для просмотра набора поисковых результатов, связанных с пользовательским поисковым запросом. Другими словами, пакет 122 данных может быть создан браузером 112 и может быть отправлен серверу 116 по сети 114 передачи данных. Пакет 122 данных включает в себя пользовательский запрос на получение SERP. В некоторых вариантах осуществления настоящего технического решения программное обеспечение поисковой системы сервера 116 может определять набор поисковых результатов и может создавать и отправлять пакет 126 данных второму электронному устройству 110. Пакет 126 данных может включать в себя вторую версию SERP и инструкции для браузера 112 на отображение второй версии SERP на экране второго электронного устройства 110.

[65] В некоторых вариантах осуществления настоящего технического решения пакет 122 данных может включать в себя третье множество пакетов данных, причем каждый пакет данных из третьего множества пакетов данных отправлен с соответствующего электронного устройства из второго множества электронных устройств. Аналогично, пакет 126 данных может включать в себя четвертое множество пакетов данных, причем каждый пакет данных из четвертого множества пакетов данных отправлен с соответствующего электронного устройства из второго множества электронных устройств.

[66] Вторая версия SERP, в общем случае, отличается от первой версии SERP. В некоторых вариантах осуществления настоящего технического решения вторая версия SERP может быть модифицированной версией SERP. Другими словами, вторая версия SERP может быть первой версией SERP, включающей в себя модификацию (т.е., модифицированной первой версией SERP). Например, модификации может подвергнуться пользовательский интерфейс SERP, или алгоритм ранжирования SERP, изменение во времени ответа поисковой системы для создания SERP, изменение в пользовательском интерфейсе на SERP и так далее, или любая комбинация перечисленного. В других вариантах осуществления технического решения вторая версия SERP может обладать, по сравнению с первой версией SERP, модифицированным дизайном рекламы, модифицированным фоновым цветом, модифицированными фрагментами информации (сниппетами, от англ. snippets), модифицированным представлением рекламы в конкретном расположении на SERP или любой комбинацией вышеперечисленного. В другом варианте осуществления технического решения первая версия SERP может быть текущей выпускаемой версией SERP, реализованной программным обеспечением поисковой системы, а вторая версия SERP может быть обновлением или модификацией текущей выпускаемой версией SERP. Таким образом, в некоторых вариантах осуществления технического решения контролируемый эксперимент оценивает изменение в исполнении SERP. Более того, следует отметить, что настоящим техническим решением могут быть предусмотрены другие модификации, отличные от тех, что перечислены выше. Также следует отметить, что в контексте контролируемого эксперимента первая версия SERP может называться «контрольным» вариантом сервиса, а вторая версия SERP,