Способ определения тренда показателя степени вовлеченности пользователя

Способ определения тренда показателя степени вовлеченности пользователя

Иллюстрации

Показать все

Реферат

Область техники

[01] Настоящее техническое решение относится к способам и системам для определения тренда показателя степени вовлеченности пользователя в отношения с веб-сервисом.

Уровень техники

[02] За последние годы А/В тестирование на современном уровне техники стало инструментом улучшения веб-сервисов на основе ориентированных на данные решений. А/В тестирование сравнивает два варианта сервиса одновременно, обычно его текущую версию (контрольную версию) и новую (тестовую версию, к которой применяется эксперимент), предлагая их двум группам пользователей. Оно используется большим количеством различных поставщиков услуг, включая поисковые системы и социальные сети. Самые большие веб-сервисы разрабатывают специальные экспериментальные платформы, которые позволяют им проводить А/В тестирование на огромных выборках.

[03] Одной из целей А/В тестирования является обнаружение обычного эффекта на пользователя, который использует участвующий в эксперименте веб-сервис. Открытой проблемой является выбор подходящего критерия, применимого на практике, поскольку критерий должен соответствовать двум определяющим условиям, которые часто противоречат друг другу.

[04] Во-первых, критерий должен предоставлять количественное значение, которое позволит сделать заключение об изменении качества системы, в частности, о признаке и степени этого изменения. Другими словами, значение критерия должно обладать четкой интерпретацией. В данной области техники известно, что многие критерии могут привести к противоречивым интерпретациям, и их использование на практике может вводить в заблуждение. Следовательно, верный выбор подходящего критерия является сложной задачей.

[05] Во-вторых, когда существует эффект условий опыта (например, эффект модификаций на поведении пользователя), критерий должен определять различие двух версий системы на высоком уровне статистической значимости для различения эффекта условий опыта в шуме, наблюдаемом, когда эффект условий опыта не проявляется. Это качество называется чувствительностью измерения. Распространенной проблемой является низкая чувствительность показателей в тех случаях, когда тестируется лишь незначительная модификация, или когда изменение в системе влияет лишь на небольшой объем пользовательского трафика.

[06] Критерии текущего уровня техники для оценки производительности двух версий, в основном, основаны на средних значениях показателей пользовательского поведения. Тем не менее, недостатком этого критерия являются средние значения показателей пользовательского поведения, которые усредняются за экспериментальный период, и могут не отражать общий тренд вовлеченности пользователя за экспериментальный период.

Раскрытие

[07] Задачей предлагаемого технического решения является устранение по меньшей мере некоторых недостатков, присущих известному уровню техники.

[08] Одним из объектов настоящего технического решения является исполняемый на компьютере способ определения показателя степени вовлеченности пользователя в отношения с веб-сервисом, способ выполняется сервером. Способ включает в себя получение сервером множества запросов пользовательских устройств, которые относятся к веб-сервису за экспериментальный период, множество запросов пользовательских устройств производятся от множества пользовательских устройств; предоставление сервером тестовой версии веб-сервиса тестовой группе, выбранной из множества пользовательских устройств, тестовая версия веб-сервиса является веб-сервисом, к которому был применен эксперимент; предоставление сервером контрольной версии веб-сервиса контрольной группе, выбранной из множества пользовательских устройств, контрольная версия веб-ресурса является версией веб-сервиса, к которой не был применен эксперимент; получение показателя амплитуды и показателя фазы для каждого из пользовательских устройств из контрольной и тестовой групп. Получение включает в себя, для данного одного из пользовательских устройств из контрольной и тестовой групп, получение сервером множества указаний для данного устройства, множество указаний основано на взаимодействиях данного устройства с соответствующим ему веб-сервисом, получение доступа ко множеству указаний для данного устройства, вычисление периодичности показателя на основе, по меньшей мере частично, на дискретном преобразовании, которое выполняется на множестве указаний, вычисление показателя амплитуды на основе, по меньшей мере частично, на величине показателя периодичности, показатель амплитуды представляет собой величину изменения показателя степени вовлеченности пользователя в отношения с соответствующим веб-сервисом, и вычисление показателя фазы на основе, по меньшей мере частично, на мнимой части показателя периодичности, показатель фазы представляет собой направление изменения показателя степени вовлеченности пользователя в отношения с соответствующим веб-сервисом. Способ дополнительно включает в себя определение сервером средней группы показателей, включая вычисления среднего контрольного показателя амплитуды путем усреднения показателей амплитуды, вычисленных для каждого из пользовательских устройств контрольной группы, вычисление среднего тестового показателя амплитуды путем усреднения показателей амплитуды, вычисленных для каждого из пользовательских устройств тестовой группы, и вычисление среднего тестового показателя фазы путем усреднения показателей фазы, вычисленных для каждого из пользовательских устройств тестовой группы; и определение тренда показателя степени вовлеченности пользователя в отношения с веб-сервисом, определение тренда основано на анализе среднего контрольного показателя амплитуды и средних тестовых показателей амплитуды и фазы.

[09] В некоторых вариантах осуществления настоящего технического решения, анализ среднего контрольного показателя амплитуды и средних тестовых показателей амплитуды и фазы включает в себя определение разницы между средним тестовым показателем амплитуды и средним контрольным показателем амплитуды.

[10] В некоторых вариантах осуществления настоящего технического решения, способ дополнительно включает в себя определение того, что эксперимент, применяемый к веб-сервису, инициировал возрастание тренда показателя степени вовлеченности пользователя по сравнению с веб-сервисом, к которому не применялся эксперимент, причем разница между средним тестовым показателем амплитуды и средним контрольным показателем амплитуды является положительной, и средний тестовый показатель фазы является положительным.

[11] В некоторых вариантах осуществления настоящего технического решения, возрастающее значение показателя степени вовлеченности пользователя указывает на положительный эффект эксперимента на вовлеченность пользователя, и возрастающий тренд в показателе степени вовлеченности пользователя указывает на возрастание вовлеченности пользователя за экспериментальный период.

[12] В некоторых вариантах осуществления настоящего технического решения, способ дополнительно включает в себя определение того, что эксперимент, применяемый к веб-сервису, инициировал возрастание тренда показателя степени вовлеченности пользователя по сравнению с веб-сервисом, к которому не применялся эксперимент, причем разница между средним тестовым показателем амплитуды и средним контрольным показателем амплитуды является отрицательной, и средний тестовый показатель фазы является отрицательным.

[13] В некоторых вариантах осуществления настоящего технического решения, убывающее значение показателя степени вовлеченности пользователя указывает на положительный эффект эксперимента на вовлеченность пользователя, и возрастающий тренд в показателе степени вовлеченности пользователя указывает на снижение вовлеченности пользователя.

[14] В некоторых вариантах осуществления настоящего технического решения, способ дополнительно включает в себя определение того, что эксперимент, применяемый к веб-сервису, инициировал убывание тренда показателя степени вовлеченности пользователя по сравнению с веб-сервисом, к которому не применялся эксперимент, причем разница между средним тестовым показателем амплитуды и средним контрольным показателем амплитуды является положительной, и средний тестовый показатель фазы является отрицательным.

[15] В некоторых вариантах осуществления настоящего технического решения, убывающее значение показателя степени вовлеченности пользователя указывает на положительный эффект эксперимента на вовлеченность пользователя, и убывающий тренд в показателе степени вовлеченности пользователя указывает на снижение вовлеченности пользователя.

[16] В некоторых вариантах осуществления настоящего технического решения, способ дополнительно включает в себя определение того, что эксперимент, применяемый к веб-сервису, инициировал убывание тренда показателя степени вовлеченности пользователя по сравнению с немодифицированной версией веб-сервиса, причем разница между средним тестовым показателем амплитуды и средним контрольным показателем амплитуды является отрицательной, и средний тестовый показатель фазы является положительным.

[17] В некоторых вариантах осуществления настоящего технического решения, убывающее значение показателя степени вовлеченности пользователя указывает на положительный эффект эксперимента на вовлеченность пользователя, и убывающий тренд в показателе степени вовлеченности пользователя указывает на увеличение вовлеченности пользователя.

[18] В некоторых вариантах осуществления настоящего технического решения, взаимодействия данного пользовательского устройства включают в себя по меньшей мере число сеансов.

[19] В некоторых вариантах осуществления настоящего технического решения, взаимодействия данного пользовательского устройства включают в себя по меньшей мере время покоя.

[20] В некоторых вариантах осуществления настоящего технического решения, взаимодействия данного пользовательского устройства включают в себя по меньшей мере время сеанса.

[21] В некоторых вариантах осуществления настоящего технического решения, взаимодействия данного пользовательского устройства включают в себя по меньшей мере число кликов.

[22] В некоторых вариантах осуществления настоящего технического решения, дискретное преобразование выполняется с помощью дискретного преобразования Фурье.

[23] В некоторых вариантах осуществления настоящего технического решения, дискретное преобразование выполняется с помощью по меньшей мере одного из вейвлет преобразования и преобразования Лапласа.

[24] В некоторых вариантах осуществления настоящего технического решения, взаимодействия данного пользовательского устройства включают в себя по меньшей мере число запросов.

[25] В некоторых вариантах осуществления настоящего технического решения, веб-сервис представляет собой поисковую систему.

[26] В некоторых вариантах осуществления настоящего технического решения, веб-сервис представляет собой страницу результатов поиска.

[27] Другим объектом настоящего технического решения является сервер, включающий в себя процессор, который выполнен с возможностью определять тренд показателя степени вовлеченности пользователя по отношению к экспериментальному веб-сервису. Процессор выполнен с возможностью осуществлять: получение сервером множества запросов пользовательских устройств, которые относятся к веб-сервису за экспериментальный период, множество запросов пользовательских устройств производятся от множества пользовательских устройств; предоставление сервером тестовой версии веб-сервиса тестовой группе, выбранной из множества пользовательских устройств, тестовая версия веб-сервиса является веб-сервисом, к которому был применен эксперимент; предоставление сервером контрольной версии веб-сервиса контрольной группе, выбранной из множества пользовательских устройств, контрольная версия веб-ресурса является версией веб-сервиса, к которой не был применен эксперимент; получение показателя амплитуды и показателя фазы для каждого из пользовательских устройств из контрольной и тестовой групп. Получение включает в себя, для данного одного из пользовательских устройств из контрольной и тестовой групп, получение сервером множества указаний для данного устройства, множество указаний основано на взаимодействиях данного устройства с соответствующим ему веб-сервисом, получение доступа ко множеству указаний для данного устройства, вычисление периодичности показателя на основе, по меньшей мере частично, на дискретном преобразовании, которое выполняется на множестве указаний, вычисление показателя амплитуды на основе, по меньшей мере частично, на величине показателя периодичности, показатель амплитуды представляет собой величину изменения показателя степени вовлеченности пользователя в отношения с соответствующим веб-сервисом, и вычисление показателя фазы на основе, по меньшей мере частично, на мнимой части показателя периодичности, показатель фазы представляет собой направление изменения показателя степени вовлеченности пользователя в отношения с соответствующим веб-сервисом. Процессор дополнительно выполнен с возможностью осуществлять определение сервером средней группы показателей, включая вычисление среднего контрольного показателя амплитуды путем усреднения показателей амплитуды, вычисленных для каждого из пользовательских устройств контрольной группы, вычисление среднего тестового показателя амплитуды путем усреднения показателей амплитуды, вычисленных для каждого из пользовательских устройств тестовой группы, вычисление среднего контрольного показателя фазы путем усреднения показателей фазы, вычисленных для каждого из пользовательских устройств контрольной группы, и вычисление среднего тестового показателя фазы путем усреднения показателей фазы, вычисленных для каждого из пользовательских устройств тестовой группы; и определение тренда показателя степени вовлеченности пользователя в отношения с веб-сервисом, определение тренда основано на анализе средних контрольных показателей амплитуды и фазы и средних тестовых показателей амплитуды и фазы.

[28] В некоторых вариантах осуществления настоящего технического решения сервер может быть реализован как поисковая система.

[29] В некоторых вариантах осуществления настоящего технического решения, веб-сервис является страницей результатов поиска.

[30] В контексте настоящего описания, если четко не указано иное, «электронное устройство», «пользовательское устройство», «сервер» и «компьютерная система» подразумевают под собой аппаратное и/или системное обеспечение, подходящее к решению соответствующей задачи. Таким образом, некоторые неограничивающие примеры аппаратного и/или программного обеспечения включают в себя компьютеры (серверы, настольные компьютеры, ноутбуки, нетбуки и так далее), смартфоны, планшеты, сетевое оборудование (маршрутизаторы, коммутаторы, шлюзы и так далее) и/или их комбинацию.

[31] В контексте настоящего описания, если четко не указано иное, "машиночитаемый носитель" и "память" подразумевает под собой носитель абсолютно любого типа и характера, не ограничивающие примеры включают в себя ОЗУ, ПЗУ, диски (компакт диски, DVD-диски, дискеты, жесткие диски и т.д.), USB-ключи, флеш-карты, твердотельные накопители и накопители на магнитной ленте.

[32] В контексте настоящего описания, если конкретно не указано иное, слова «первый», «второй», «третий» и т.д. используются в виде прилагательных исключительно для того, чтобы отличать существительные, к которым они относятся, друг от друга, а не для целей описания какой-либо конкретной взаимосвязи между этими существительными. Так, например, следует иметь в виду, что использование терминов «первый сервер» и «третий сервер» не подразумевает какого-либо порядка, отнесения к определенному типу, хронологии, иерархии или ранжирования (например) серверов/между серверами, равно как и их использование (само по себе) не предполагает, что некий "второй сервер" обязательно должен существовать в той или иной ситуации. В дальнейшем, как указано здесь в других контекстах, упоминание «первого» элемента и «второго» элемента не исключает возможности того, что это один и тот же фактический реальный элемент. Так, например, в некоторых случаях, «первый» сервер и «второй» сервер могут являться одним и тем же программным и/или аппаратным обеспечением, а в других случаях они могут являться разным программным и/или аппаратным обеспечением.

Краткое описание чертежей

[33] Для лучшего понимания настоящего технического решения, а также других его аспектов и характерных черт сделана ссылка на следующее описание, которое должно использоваться в сочетании с прилагаемыми чертежами, где:

[34] На Фиг. 1 изображена принципиальная схема неограничивающего варианта осуществления исполняемой на компьютере системы, выполненного в соответствии с настоящим техническим решением;

[35] На Фиг. 2 изображена другая принципиальная схема неограничивающего варианта осуществления исполняемой на компьютере системы, показанной на Фиг. 1;

[36] На Фиг. 3 показано схематическое изображение неограничивающего варианта осуществления исполняемого на компьютере способа, выполненного в соответствии с настоящим техническим решением.

[37] На Фиг. 4 представлен пример таблицы данных, отображающей множество указаний пользователя для двух пользовательских устройств за десятидневный экспериментальный период, таблица данных расположена на сервере системы, показанной на Фиг. 1; и [38] На Фиг. 5 изображена блок-схема неограничивающего варианта осуществления технического решения, исполняемого на компьютере способа, показанного на Фиг. 3.

Осуществление

[39] Настоящее подробное описание представлено только как описание иллюстративных примеров настоящего технического решения. Это описание не предназначено для определения объема или установления границ настоящего технического решения. В некоторых случаях, полезные примеры модификаций настоящего технического решения также могут быть охвачены нижеследующим описанием с целью помощи в понимании технического решения, а не с целью установления границ настоящего технического решения. Эти модификации не являются исчерпывающим списком, и возможны также и другие модификации. Кроме того, это не должно интерпретироваться так, что там, где не были изложены примеры модификаций, никакие модификации невозможны, и/или что то, что описано, является единственным вариантом осуществления этого конкретного аспекта настоящего технического решения. Кроме того, следует иметь в виду, что настоящее подробное описание представляет собой в некоторых конкретных аспектах достаточно простой вариант осуществления настоящего технического решения, и в подобных случаях представлено в подобном виде только с целью облегчения понимания технического решения. Различные варианты осуществления настоящего технического решения могут обладать гораздо большей сложностью.

[40] На Фиг. 1 и Фиг. 2 представлена упрощенная версия исполняемой на компьютере системы 100 (или просто системы 100), выполненной в соответствии с неограничивающими вариантами осуществления настоящего технического решения. Система 100 включает в себя сеть 150, которая позволяет связываться различным компонентам системы. В других неограничивающих вариантах осуществления технического решения, сеть 150 может быть реализована как сеть 150 Интернет. В других вариантах осуществления настоящего технического решения, сеть 150 может быть реализована иначе - в виде глобальной сети 150 передачи данных, локальной сети 150 передачи данных и т.п.

[41] Пользовательские устройства 1101, 1102, 1103, 1104, 1105, 1106 (1101-1106) также включены в систему 100, каждое пользовательское устройство 1101-1106 является устройством, которое использует пользователь системы 100, на Фиг. 1 явно показаны только пользовательские устройства 1101, 1102 и 1106. Пользовательские устройства 1101-1106 соединены с сетью 150, и пользовательские устройства 1101-1106 могут передавать и получать информацию от других компонентов системы 100. Несмотря на то, что представлено только шесть пользовательских устройств 1101-1106 (все показаны на Фиг. 2, и Фиг. 1), подразумевается, что любое число пользовательских устройств 1101-1106 может быть соединено с системой 100. Далее подразумевается, что в некоторых вариантах осуществления технического решения, число пользовательских устройств 1101-1106, которые включены в систему 100, может достигать десятков или сотен тысяч.

[42] Пользовательские устройства 1101-1106 представляют собой ноутбуки 1101-1106, как показано на Фиг. 1. Тем не менее, различные типы пользовательских устройств 1101-1106 могут быть использованы в контексте настоящего технического решения. Подразумевается, например, что пользовательское устройство 1101-1106 может представлять собой смартфон, планшет, ноутбук, компьютер, телевизор, игровую консоль или любой другой тип пользовательского устройства 1101-1106, с которым возможно осуществлять связь по сети 150. Пользовательское устройство 1101-1106 может быть связано с сетью 150 напрямую или через экстранет-сервер, Wi-Fi точку, поставщика интернет услуг, поставщика мобильной связи и так далее.

[43] Сервер 120 обладает процессором 130, который также включен в систему 100. Сервер 120 соединен через сеть 150, причем сервер 120 может передавать и получать информацию от других компонентов системы 100. На Фиг. 1 представлен только один сервер, но подразумевается, что система 100 может включать в себя два или более серверов 120. Также подразумевается, что сервер 120 может представлять собой множество соединенных серверов 120, которые совместно (параллельно или последовательно) выполняют различные процедуры, которые будут описаны ниже.

[44] Для упрощения настоящего описания, система 100 представлена только с двумя категориями нодов, а именно - пользовательское устройство 1101-1106 и сервер 120, связанные через сеть 150. Подразумевается, тем не менее, что система 100 может включать в себя большее число категорий нодов, и в рамках каждой категории нодов может быть использовано множество типов оборудования. Подразумевается, что система 100 может включать в себя дополнительные серверы 120, серверы веб сайта, серверы предоставляют веб-сервис, системы хранения, базы данных и дальнейшие сети. Каждая категория нодов может связываться с другими категориями нодов в соответствии с установленными протоколами и стандартами. Дополнительно подразумевается, что число каждых нодов может отличаться в других вариантах осуществления технического решения.

[45] Способ 400 для определения тренда степени вовлеченности пользователя в отношении экспериментального веб-сервиса в соответствии с настоящим техническим решением далее будет описан в общем виде со ссылкой на Фиг. 3, на которой представлен общий вид способа 400. Более подробное описание конкретных этапов и характеристик способа 400 будет описано со ссылкой на Фиг. 5; общий вид предоставляется для более общего понимания способа 400, соответствующего настоящему техническому решению.

[46] Первая часть способа 400 представляет собой экспериментальный период 402, за время которого к веб-сервису применяется эксперимент, который проверяется в отношении вовлеченности пользователя. За время экспериментального периода 402, сервер 120 получает множество запросов 1151-1156 на веб-сервис от пользовательских устройств 1101-1106 по сети 150, как показано на Фиг. 1.

[47] Как показано на Фиг. 2, часть пользовательских устройств 1101-1106 выбирается как контрольная группа 210. Контрольная группа 210, которая состоит из пользовательских устройств 1101, 1102, 1103, получает контрольную версию 200 веб-сервиса от сервера 120 на время экспериментального периода 402. Аналогично, часть пользовательских устройств 1101-1106 выбирается как тестовая группа 260. Тестовая группа 260, которая состоит из пользовательских устройств 1104, 1105, 1106, получает тестовую версию 200 веб-сервиса от сервера 120 на время экспериментального периода 402. Тестовая версия 250 веб-сервиса является версией веб-сервиса, к которой применяется эксперимент. Примерами экспериментов могут являться, без установления ограничений: эстетический вид веб-сервиса, алгоритм представления и изменение в ранжировании или способе поиска. Контрольная версия 200 веб-сервиса является версией веб-сервиса, к которой не применяется эксперимент. Часто, контрольная версия 200 представляет собой версию веб-сервиса, которая была ранее протестирована для пользователей и для которой ожидается хорошая степень вовлеченности пользователей. Подразумевается, что контрольная версия 200 может получить менее хорошие отзывы при тестировании.

[48] За время экспериментального периода 402, при каждом запросе 1151-1156, пользовательские устройства 1101-1106 взаимодействуют с соответствующей версией 200, 250 веб-сервиса. Указания на множество взаимодействий пользовательских устройств 1101-1106 с соответствующей версией 200, 250 далее получает 441 сервер 120. Сервер 120 далее может получать 441 множество указаний либо во время экспериментального периода 402, либо после его завершения.

[49] После завершения экспериментального периода 402, способ 400 продолжается на этапе определения показателей амплитуды 342 и фазы 344 в отношении степени вовлеченности пользователя каждого пользовательского устройства 1101-1106. Сначала сервер 120 получает 441 множество указаний, если это не было осуществлено за время экспериментального периода 402, и далее сервер 120 получает 442 доступ к этим указаниям для выполнения серии вычислений. Подразумевается, что получение 441 может включать в себя, без установления ограничений, сохранение указаний в хранилище сервера 120. Аналогично подразумевается, что получение 442 доступа может включать в себя, без установления ограничений, получение множества указаний из хранилища сервера 120 и подготовку множества указаний в виде таблицы данных, например, таблицы 300 данных, которая показана на Фиг. 4, или аналогичной информационной структуры для подготовки данных, с которыми будет работать сервер 120. Пример того как множество указаний на два из пользовательских устройств 1101-1106 организовано в таблицу данных показан на Фиг. 4 и будет более подробно описан далее.

[50] Сервер 120 вычисляет 443 показатель периодичности для каждого пользовательского устройства 1101-1106, в общем случае на основе дискретного преобразования набора данных, созданных из множества указаний. Сервер 120 далее вычисляет 444, 445 показатели амплитуды 342 и фазы 344 на основе величины и мнимых частей показателя периодичности соответственно. Вычисление 443, 444, 445 будет более подробно описано далее.

[51] После того как показатели периодичности, амплитуды 342 и фазы 344 были вычислены 443, 444, 445 для каждого из пользовательских устройств 1101-1106, определяются 450 средние показатели для контрольной и тестовой групп 210, 260. Для контрольной группы 210 сервер вычисляет 451 средний контрольный показатель 351 амплитуды, который в общем случае представляет собой величину изменения в степени вовлеченности пользователя за экспериментальный период 402 в среднем для членов контрольной группы 210. Аналогично, сервер вычисляет 452 средний тестовый показатель 352 амплитуды для тестовой группы 260, который в общем случае представляет собой величину изменения в степени вовлеченности пользователя в среднем для членов тестовой группы 260. Средний тестовый показатель 354 фазы также вычисляется 454, который в общем случае представляет собой тренд изменения в степени вовлеченности пользователя за экспериментальный период 402 в среднем для членов контрольной группы 210.

[52] Способ 400 далее определяет 460 тренд в степени вовлеченности пользователя с учетом применения эксперимента к веб-сервису, конкретно путем анализа средних показателей 351, 352, 354 контрольной группы 210 и тестовой группы 260. Как будет более подробно описано далее, тренд в степени вовлеченности пользователя должен учитываться в отношении конкретного показателя степени вовлеченности пользователя (типа взаимодействия, представленного множеством указателей) для определения того, произвел ли эксперимент положительный или отрицательный эффект на степень вовлеченности пользователя в целом.

[53] Этапы и свойства способа 400 теперь будут описаны более подробно в отношении линейной блок-схемы варианта осуществления способа 400 в соответствии с неограничивающими вариантами осуществления настоящего технического решения настоящего технического решения, как указано на Фиг. 5. Исполняемый на компьютере способ 400 для определения тренда в степени вовлеченности пользователя в отношения с веб-сервисом выполняется сервером 120 компьютерной системы, например, системы 100.

[54] Веб-сервис может предоставляться либо напрямую от сервера 120, либо от сервера веб-сервиса через или по запросу сервера 120. Веб-сервис может включать в себя, без установления ограничений: веб-сайт поисковой системы, страницу результатов поиска, веб-страницу и веб-сайт. Веб-сервис может далее включать в себя любой вычислительный сервис, доступный по сети 150. В некоторых вариантах осуществления настоящего технического решения, подразумевается, что сервер 120 может просто направлять запросы пользовательского устройства, отслеживать взаимодействия и/или получать взаимодействия после экспериментального периода 402.

[55] Конкретный эксперимент, применяемый к веб-серверу, как правило, зависит от типа рассматриваемого веб-сервиса. Подразумевается, что эксперимент может включать в себя огромное количество возможных вариантов, включая, без установления ограничений: эстетические изменения домашней страницы веб-сервиса и экспериментальные алгоритмы ранжирования, которые используются для результатов поиска на странице результатов поиска.

[56] Контрольная версия 200 предоставляется для того чтобы определить, происходят ли перемены в степени вовлеченности пользователя, которые фиксируются за экспериментальный период 402 на пользовательском устройстве 1104, 1105, 1106, из-за самого эксперимента или вызваны иными причинами. Как и во многих других подобных случаях, перемены в результатах контрольной группы 210 сравниваются с соответствующими результатами тестовый группы 260. Любые дополнительные отличия, зафиксированные в тестовой группе 260 за время экспериментального периода 402, считаются связанными с экспериментом.

[57] Способ 400 начинается с получения 410 сервером 120 множества запросов 1151-1156 пользовательского устройства в отношения с веб-сервисом за время экспериментального периода 402, множество запросов 1151-1156 пользовательских устройств поступает от множества пользовательских устройств 1101-1106 (см. Фиг. 1). Поскольку только один запрос 1151-1156 пользовательских устройств показан как исходящий от каждого пользовательского устройства 1101-1106, следует иметь в виду, что он является только примером, и что множество запросов 1151-1156 пользовательских устройств исходит от каждого пользовательского устройства 1101-1106 за экспериментальный период 402.

[58] Запросы 1151 -1156 пользовательских устройств, в случае веб-сервиса, который, например, является страницей результатов поиска, будут представлять собой поисковые запросы, введенные пользователем в поисковую систему. Подразумевается, что запросы 1151-1156 пользовательских устройств могут представлять собой, без установления ограничений, запросы на доступ к веб-сайтам и запросы на получение веб-сервиса. Также подразумевается, что запросы 1151-1156 пользовательских устройств могут быть созданы автоматически пользовательскими устройствами 1101-1106 в некоторых вариантах осуществления настоящего технического решения.

[59] Способ 400 продолжается с тестовой группой 260, которая состоит из пользовательских устройств 1104, 1105, 1106, на которую поступает 420 тестовая версия 250 веб-сервиса от сервера 120 на время экспериментального периода 402. Аналогично, контрольная группа 210, которая состоит из пользовательских устройств 1101, 1102, 1103, получает 430 контрольную версию 200 веб-сервиса от сервера 120 на время экспериментального периода 402.

[60] В настоящем варианте осуществления технического решения, половина пользовательских устройств 1101-1106 выбирается для контрольной группы и половина для тестовой группы 260, подразумевается, что контрольная и тестовая группы 210, 260 могут быть сформированы из больших или меньших частей от общего числа пользовательских устройств 1101-1106. Также подразумевается, что некоторые запросы 1151-1156 пользовательских устройств могут быть полностью исключены из эксперимента, поскольку предоставляются другой версией веб-сервиса.

[61] Подразумевается, что этапы предоставления 420 тестовой версии 250 и предоставления 430 контрольной версии 200 могут происходить в этом порядке или же обратном. Поскольку этапы 420, 430 могут повторяться много раз для каждого или всех пользовательских устройств 1101-1106, поскольку пользователи обращаются к веб-сервису множество раз за время экспериментального периода 402, в некоторых вариантах осуществления технического решения этапы 420 и 430 также выполняются одновременно.

[62] Способ 400 продолжается при получении 440 показателя 342 амплитуды и показателя 344 фазы для каждого из пользовательских устройств 1101-1106 из контрольной и тестовой групп 210, 260. Для простоты назовем одно пользовательское устройство из пользовательских устройств 1101-1106 при выполнении этапов получения 440, пользовательским устройством 110y. Получение 440 включает в себя под-этапы для каждого из пользовательских устройств 1101-1106 из контрольной и тестовой групп 210, 260.

[63] Для каждого пользовательского устройства 110y, получение 440 начинается с получения 441 сервером 120 множества указаний для пользовательского устройства 110y с его соответствующим веб-сервером, либо тестовой версии 250, либо контрольной версии 200.

[64] Эти указания являются данными, которые представляют индикаторы пользователя и взаимодействий пользовательского устройства с веб-сервисом или, конкретнее, соответствующую контрольную 200 или экспериментальную 250 версию веб-сервиса. Эти указания могут включать в себя, без установления ограничений: число сеансов, настоящее время, введение запроса, число введенных запросов, число кликов, число кликов на запрос и время отсутствия. Указания могут представлять собой данные, связанные с любым указанием, которое представляет степень вовлеченности пользователя, включая данные, относящиеся к определению величины или показателя, указывающего на степень вовлеченности пользователя. Следует отметить, что указания, описанные здесь, могут представлять собой или быть взаимозаменяемыми с показателями степени вовлеченности пользователя, поскольку они предоставляют, по меньшей мере, частично, величину степени вовлеченности пользователя в отношения с веб-сервисом. Например, возрастающее время покоя от пользовательского устройства 110y может указывать на возрастающий уровень степени вовлеченности пользователя пользовательского устройства 110y.

[65] Для каждого пользовательского устройства 110y, указания получают 441 путем сбора и сохранения данных и по меньшей мере некоторой информации, связанной со временем взаимодействия, либо напрямую сервером 120, либо через промежуточное хранилище, которое доступно серверу 120 через сеть 150. По меньшей мере некоторые временные данные получаются со множеством указаний на причины, которые будут описаны далее. Указания могут быть далее использованы как временные серии указаний, пример которых представлен на Фиг. 4 для пользователей устройств 1101 и 1106.

[66] Временные серии указаний на пользовательское взаимодействие могут быть представлены сериями пользовательских взаимодействий y, состоящих из ежедневных временных серий взаимодействий (y₀, y₁, y₂, …, y_N-1) за экспериментальный период 402 в N дней. В примерном наборе данных, показанном на Фиг. 4, N=10 дней, причем временные серии для пользовательского устройства 1101 равны y=(1, 2, 1, 3, 4, 1, 2, 5, 4, 1), что представляет собой число сеансов, которые осуществлялись пользовательским устройством 1101 с контрольной версией 200 веб-сервиса каждый день из 10 дней экспериментального периода 402. Аналогично, временные серии для пользовательского устройства 1