Способы и системы для формирования обобщенного параметра метрики для а/в тестирования

Способы и системы для формирования обобщенного параметра метрики для а/в тестирования

Иллюстрации

Показать все

Реферат

Область техники

Изобретение относится к А/В-тестированию и, в частности, к способам и системам для формирования обобщенного параметра метрики.

Уровень техники

В последние годы А/В-тестирование превратилось в передовую технологию для совершенствования веб-сервисов, основанных на решениях, принимаемых с использованием анализа данных. В процессе А/В-тестирования одновременно сравниваются два варианта сервиса, обычно текущая версия (контрольная версия или версия А) и новая версия (тестовая или экспериментальная версия, в которой применено экспериментальное изменение, или версия В), посредством демонстрации их двум группам пользователей. А/В-тестирование используется многими поставщиками веб-сервисов, например поисковыми системами, электронными торговыми площадками и социальными сетями, такими как Amazon™, eBay™, Facebook™, Google™, LinkedIn™, Microsoft™, Netflix™, Yahoo™ и Yandex™. Для наиболее крупных веб-сервисов разработаны специальные экспериментальные платформы для крупномасштабного А/В-тестирования.

Одной из целей управляемых А/В-экспериментов является обнаружение влияния экспериментальных изменений, примененных в веб-сервисе, на степень вовлеченности пользователя. Проблема заключается в выборе применимого на практике подходящего критерия, поскольку он должен соответствовать двум основным требованиям, часто противоречивым.

Во-первых, критерий должен обеспечивать количественное значение, позволяющее сделать заключение об изменении качества системы, в частности, о знаке такого изменения. Иными словами, значение критерия должно четко интерпретироваться и должно соответствовать предпочтениям пользователя. Этот критерий называется направленностью или интерпретируемостью метрики. Как известно в данной области техники, многие критерии могут приводить к противоречивым интерпретациям и их использование на практике может ввести в заблуждение. Поэтому правильный выбор подходящего критерия представляет собой сложную задачу.

Во-вторых, когда экспериментальное изменение производит эффект (например, модификации влияют на поведение пользователя), критерий должен обнаруживать такое отличие для двух версий системы с высоким уровнем статистической значимости, чтобы отличать влияние такого изменения от шумов, наблюдаемых в отсутствие эффекта. Это свойство называется чувствительностью метрики. Общая проблема заключается в низкой чувствительности метрики в случаях, когда тестируется незначительная модификация или изменение системы влияет на небольшой объем пользовательского трафика.

В патенте США №8396875 (Online stratified sampling for classifier evaluation, Bennett et al.) описано определение принадлежности набора элементов к интересующему классу, где набор элементов разделяется на подмножества в зависимости от оценки, рейтинга или иного признака, сопоставленного с каждым элементом. Подмножества могут создаваться на основе оценки, связанной с каждым элементом, например, в виде интервала с одинаковой оценкой, или на основе оценки, связанной с распределением элементов всего множества, например, в виде пропорционального интервала. Определяется, как много элементов требуется выбрать из каждого подмножества, чтобы оценить весь набор элементов. Далее значения точности и отклонения определяются для каждого подмножества и затем объединяются, чтобы обеспечить общие значения точности и отклонения для всего множества.

В патентной заявке США №2016/253311 (Most impactful experiments, Xu et al.) описаны способы проведения А/В-тестирования онлайн-контента. Согласно различным вариантам осуществления изобретения формируется пользовательская спецификация метрики, связанной с работой онлайн-сервиса социальной сети. Затем определяется набор из одного или нескольких А/В-тестов онлайн-контента, причем каждый А/В-тест предназначен для определенного сегмента из числа пользователей онлайн-сервиса социальной сети. Далее каждый А/В-тест классифицируется в зависимости от предполагаемого влияния данного значения метрики на результат применения варианта экспериментального изменения в каждом А/В-тесте онлайн-сервиса социальной сети. Затем список из одного или нескольких классифицированных таким образом А/В-тестов отображается на клиентском устройстве посредством пользовательского интерфейса.

Раскрытие

Разработанные варианты осуществления настоящей технологии основываются на понимании разработчиками, по меньшей мере, одной технической проблемы, связанной с известными решениями.

Разработанные варианты осуществления настоящей технологии основываются понимании разработчиками того, что известные решения ориентированы на повышение чувствительности метрики, т.е. на обнаружение различий между версиями А и В с высоким уровнем статистической значимости, но направленность метрики, т.е. знак обнаруженного результата применения экспериментальной комбинации условий, может оставаться неопределенным.

Поэтому разработчики предложили способ и систему формирования обобщенного параметра метрики для А/В-тестирования.

Обобщенный параметр метрики для А/В-тестирования, обладающий чувствительностью и направленностью, может использоваться в качестве альтернативного или дополнительного параметра метрики для измерения действий пользователя. Кроме того, обобщенный параметр метрики может использоваться, когда отдельные параметры метрики не способны четко обнаруживать различие между тестируемыми вариантами.

Кроме того, формирование обобщенного параметра метрики, обладающего направленностью и чувствительностью, позволяет аналитикам принимать решения при тестировании даже незначительного изменения сервиса, а также позволяет оптимизировать использование вычислительной мощности и полосы пропускания канала, поскольку метрики с меньшей чувствительностью требуют и используют для достижения необходимого уровня чувствительности больше пользовательского трафика, влияющего на использование полосы пропускания канала.

В соответствии с первым аспектом настоящей технологии разработан реализуемый посредством компьютера способ формирования обобщенного параметра метрики, который может использоваться для выполнения реализуемого посредством компьютера А/В-тестирования реализуемого посредством компьютера сервиса, имеющего контрольную и экспериментальную версии, при этом способ выполняется на сервере и включает в себя следующие действия: прием посредством сервера набора данных, содержащего первое множество векторов признаков и второе множество векторов признаков, причем первое множество векторов признаков связано с взаимодействием пользователей из первого множества пользователей с контрольной версией реализуемого посредством компьютера сервиса в течение первого периода времени, а второе множество векторов признаков связано с взаимодействием пользователей из второго множества пользователей с экспериментальной версией реализуемого посредством компьютера сервиса в течение первого периода времени; получение посредством сервера первого контрольного параметра метрики для первого множества векторов признаков и первого экспериментального параметра метрики для второго множества векторов признаков, а также комбинации первого контрольного параметра метрики и первого экспериментального параметра метрики, причем такая комбинация, по меньшей мере, частично указывает на направление изменений в действиях пользователей при переходе от контрольной версии к экспериментальной версии реализуемого посредством компьютера сервиса и это направление может быть отрицательным или положительным; получение посредством сервера второго контрольного параметра метрики для первого множества векторов признаков и второго экспериментального параметра метрики для второго множества векторов признаков, а также комбинации второго контрольного параметра метрики и второго экспериментального параметра метрики, причем такая комбинация, по меньшей мере, частично указывает на величину изменений в действиях пользователей при переходе от контрольной версии к экспериментальной версии реализуемого посредством компьютера сервиса; формирование посредством сервера обобщенного контрольного параметра метрики и обобщенного экспериментального параметра метрики, причем процесс формирования включает в себя следующие действия: вычисление посредством сервера первого весового коэффициента для взвешивания первого контрольного параметра метрики и первого экспериментального параметра метрики и второго весового коэффициента для взвешивания второго контрольного параметра метрики и второго экспериментального параметра метрики; выбор посредством сервера минимального первого весового коэффициента и максимального второго весового коэффициента; получение обобщенного контрольного параметра метрики, содержащего первый контрольный параметр метрики, взвешенный с использованием первого весового коэффициента, и второй контрольный параметр метрики, взвешенный с использованием второго весового коэффициента; получение обобщенного экспериментального параметра метрики, содержащего первый экспериментальный параметр метрики, взвешенный с использованием первого весового коэффициента, и второй экспериментальный параметр метрики, взвешенный с использованием второго весового коэффициента, причем обобщенный контрольный параметр метрики и обобщенный экспериментальный параметр метрики совместно, по меньшей мере, частично указывают на величину и направление изменений в действиях пользователей при переходе от контрольной версии к экспериментальной версии реализуемого посредством компьютера сервиса в течение первого периода времени.

В некоторых вариантах реализации первый весовой коэффициент указывает на относительный вклад первого контрольного параметра метрики в обобщенный контрольный параметр метрики и на относительный вклад первого экспериментального параметра метрики в обобщенный экспериментальный параметр метрики, а второй весовой коэффициент указывает на относительный вклад второго контрольного параметра метрики в обобщенный контрольный параметр метрики и на относительный вклад второго экспериментального параметра метрики в обобщенный экспериментальный параметр метрики.

В некоторых вариантах реализации способ дополнительно включает в себя применение посредством сервера обобщенного контрольного параметра метрики и обобщенного экспериментального параметра метрики к новому набору данных с целью определения величины и направления изменений в действиях пользователей, причем новый набор данных содержит третье множество векторов, связанных с взаимодействием пользователей с контрольной версией реализуемого посредством компьютера сервиса в течение второго периода времени, и четвертое множество векторов, связанных с взаимодействием пользователей с экспериментальной версией реализуемого посредством компьютера сервиса в течение второго периода времени.

В некоторых вариантах реализации известны величина и направление изменений в действиях пользователей при переходе от контрольной версии к экспериментальной версии реализуемого посредством компьютера сервиса в течение первого периода времени.

В некоторых вариантах реализации вычисление первого весового коэффициента и второго весового коэффициента дополнительно включает в себя вычисление посредством сервера для каждого отрезка времени в первом периоде времени знака разности первого экспериментального параметра метрики и первого контрольного параметра метрики, при этом знак разности указывает на направление изменений в действиях пользователей при переходе от контрольной версии к экспериментальной версии реализуемого посредством компьютера сервиса, причем направление может быть отрицательным или положительным, а знак разности определяется по следующей формуле:

,

где - первый контрольный параметр метрики, - первый экспериментальный параметр метрики.

В некоторых вариантах реализации вычисление первого весового коэффициента и второго весового коэффициента дополнительно включает в себя вычисление посредством сервера для каждого отрезка времени в первом периоде времени взвешенной Z-оценки на основе обобщенного контрольного параметра метрики и обобщенного экспериментального параметра метрики, при этом взвешенная Z-оценка указывает на уровень доверия к величине изменений в действиях пользователей при переходе от контрольной версии к экспериментальной версии реализуемого посредством компьютера сервиса и определяется по формуле:

,

где с - весовой вектор, содержащий первый весовой коэффициент с₁ и второй весовой коэффициент с₂; М_СА - обобщенный контрольный параметр метрики; М_СВ - обобщенный экспериментальный параметр метрики; - матрица ковариаций между первым контрольным параметром метрики и вторым контрольным параметром метрики; - матрица ковариаций между первым экспериментальным параметром метрики и вторым экспериментальным параметром метрики.

В некоторых вариантах реализации способ дополнительно включает в себя выполняемое для первого периода времени суммирование знаков разности первого экспериментального параметра метрики и первого контрольного параметра метрики, при этом знаки разности умножаются на взвешенные Z-оценки для каждого отрезка времени в пределах первого периода времени.

В некоторых вариантах реализации вычисление посредством сервера первого весового коэффициента и второго весового коэффициента дополнительно включает в себя решение следующего уравнения:

.

В некоторых вариантах реализации при решении используется алгоритм Бройдена-Флетчера-Голдфарда-Шэнно (BFGS, Broyden-Fletcher-Goldfard-Shanno), градиентный алгоритм или эвристический алгоритм.

В некоторых вариантах реализации сумма первого весового коэффициента и второго весового коэффициента является константой.

В некоторых вариантах реализации выбор посредством сервера минимального первого весового коэффициента и максимального второго весового коэффициента включает в себя выбор оптимального значения для минимального первого весового коэффициента и выбор максимального второго весового коэффициента посредством вычитания первого весового коэффициента из константы.

В некоторых вариантах реализации первый параметр метрики представляет собой суточное число активных пользователей (DAU, daily active users), а второй параметр метрики представляет собой коэффициент переходов (CTR, click-through rate).

В некоторых вариантах реализации первое множество пользователей представляет собой, по меньшей мере, часть пользователей, взаимодействовавших с контрольной версией реализуемого посредством компьютера сервиса в течение первого периода времени.

В некоторых вариантах реализации второе множество пользователей представляет собой, по меньшей мере, часть пользователей, взаимодействовавших с экспериментальной версией реализуемого посредством компьютера сервиса в течение первого периода времени.

В соответствии с другим аспектом настоящей технологии разработана система для формирования обобщенного параметра метрики, который может использоваться для выполнения реализуемого посредством компьютера А/В-тестирования реализуемого посредством компьютера сервиса, имеющего контрольную и экспериментальную версии, при этом система содержит процессор и машиночитаемый физический носитель информации, содержащий команды, при выполнении которых процессор инициирует выполнение следующих действий: прием набора данных, содержащего первое множество векторов признаков и второе множество векторов признаков, причем первое множество векторов признаков связано с взаимодействием пользователей из первого множества пользователей с контрольной версией реализуемого посредством компьютера сервиса в течение первого периода времени, а второе множество векторов признаков связано с взаимодействием пользователей из второго множества пользователей с экспериментальной версией реализуемого посредством компьютера сервиса в течение первого периода времени; получение первого контрольного параметра метрики для первого множества векторов признаков и первого экспериментального параметра метрики для второго множества векторов признаков, а также комбинации первого контрольного параметра метрики и первого экспериментального параметра метрики, причем такая комбинация, по меньшей мере, частично указывает на направление изменений в действиях пользователей при переходе от контрольной версии к экспериментальной версии реализуемого посредством компьютера сервиса и это направление может быть отрицательным или положительным; получение второго контрольного параметра метрики для первого множества векторов признаков и второго экспериментального параметра метрики для второго множества векторов признаков, а также комбинации второго контрольного параметра метрики и второго экспериментального параметра метрики, причем такая комбинация, по меньшей мере, частично указывает на величину изменений в действиях пользователей при переходе от контрольной версии к экспериментальной версии реализуемого посредством компьютера сервиса; формирование обобщенного контрольного параметра метрики и обобщенного экспериментального параметра метрики, причем процесс формирования включает в себя следующие действия: вычисление первого весового коэффициента для взвешивания первого контрольного параметра метрики и первого экспериментального параметра метрики и второго весового коэффициента для взвешивания второго контрольного параметра метрики и второго экспериментального параметра метрики; выбор минимального первого весового коэффициента и максимального второго весового коэффициента; получение обобщенного контрольного параметра метрики, содержащего первый контрольный параметр метрики, взвешенный с использованием первого весового коэффициента, и второй контрольный параметр метрики, взвешенный с использованием второго весового коэффициента; получение обобщенного экспериментального параметра метрики, содержащего первый экспериментальный параметр метрики, взвешенный с использованием первого весового коэффициента, и второй экспериментальный параметр метрики, взвешенный с использованием второго весового коэффициента, причем обобщенный контрольный параметр метрики и обобщенный экспериментальный параметр метрики совместно, по меньшей мере, частично указывают на величину и направление изменений в действиях пользователей при переходе от контрольной версии к экспериментальной версии реализуемого посредством компьютера сервиса в течение первого периода времени.

В некоторых вариантах реализации первый весовой коэффициент указывает на относительный вклад первого контрольного параметра метрики в обобщенный контрольный параметр метрики и на относительный вклад первого экспериментального параметра метрики в обобщенный экспериментальный параметр метрики, а второй весовой коэффициент указывает на относительный вклад второго контрольного параметра метрики в обобщенный контрольный параметр метрики и на относительный вклад второго экспериментального параметра метрики в обобщенный экспериментальный параметр метрики.

В некоторых вариантах реализации способ дополнительно включает в себя применение посредством сервер обобщенного контрольного параметра метрики и обобщенного экспериментального параметра метрики к новому набору данных с целью определения величины и направления изменений в действиях пользователей, при этом новый набор данных содержит третье множество векторов, связанных с взаимодействием пользователей с контрольной версией реализуемого посредством компьютера сервиса в течение второго периода времени, и четвертое множество векторов, связанных с взаимодействием пользователей с экспериментальной версией реализуемого посредством компьютера сервиса в течение второго периода времени.

В некоторых вариантах реализации известны величина и направление изменений в действиях пользователей при переходе от контрольной версии к экспериментальной версии реализуемого посредством компьютера сервиса в течение первого периода времени.

В некоторых вариантах реализации вычисление первого весового коэффициента и второго весового коэффициента дополнительно включает в себя вычисление посредством сервера для каждого отрезка времени в первом периоде времени знака разности первого экспериментального параметра метрики и первого контрольного параметра метрики, при этом знак разности указывает на направление изменений в действиях пользователей при переходе от контрольной версии к экспериментальной версии реализуемого посредством компьютера сервиса, причем направление может быть отрицательным или положительным, а знак разности определяется по следующей формуле:

,

где - первый контрольный параметр метрики; - первый экспериментальный параметр метрики.

В некоторых вариантах реализации вычисление первого весового коэффициента и второго весового коэффициента дополнительно включает в себя вычисление для каждого отрезка времени в первом периоде времени взвешенной Z-оценки на основе обобщенного контрольного параметра метрики и обобщенного экспериментального параметра метрики, при этом взвешенная Z-оценка указывает на уровень доверия к величине изменений в действиях пользователей при переходе от контрольной версии к экспериментальной версии реализуемого посредством компьютера сервиса и определяется по формуле:

,

где с - весовой вектор, содержащий первый весовой коэффициент с₁ и второй весовой коэффициент с₂; М_СА - обобщенный контрольный параметр метрики; М_СВ - обобщенный экспериментальный параметр метрики; - матрица ковариаций между первым контрольным параметром метрики и вторым контрольным параметром метрики; - матрица ковариаций между первым экспериментальным параметром метрики и вторым экспериментальным параметром метрики.

В некоторых вариантах реализации способ дополнительно включает в себя выполняемое для первого периода времени суммирование знаков разности первого экспериментального параметра метрики и первого контрольного параметра метрики, при этом знаки разности умножаются на взвешенные Z-оценки для каждого отрезка времени в пределах первого периода времени.

В некоторых вариантах реализации вычисление первого весового коэффициента и второго весового коэффициента дополнительно включает в себя решение следующего уравнения:

.

В некоторых вариантах реализации при решении используется алгоритм Бройдена-Флетчера-Голдфарба-Шэнно (BFGS), градиентный алгоритм или эвристический алгоритм.

В некоторых вариантах реализации сумма первого весового коэффициента и второго весового коэффициента является константой.

В некоторых вариантах реализации выбор минимального первого весового коэффициента и максимального второго весового коэффициента включает в себя выбор оптимального значения для минимального первого весового коэффициента и выбор максимального второго весового коэффициента посредством вычитания первого весового коэффициента из константы.

В некоторых вариантах реализации первый параметр метрики представляет собой суточное число активных пользователей (DAU), а второй параметр метрики представляет собой коэффициент переходов (CTR).

В некоторых вариантах реализации первое множество пользователей представляет собой, по меньшей мере, часть пользователей, взаимодействовавших с контрольной версией реализуемого посредством компьютера сервиса в течение первого периода времени.

В некоторых вариантах реализации второе множество пользователей представляет собой, по меньшей мере, часть пользователей, взаимодействовавших с экспериментальной версией реализуемого посредством компьютера сервиса в течение первого периода времени.

В контексте настоящего описания, если явно не указано иное, под электронным устройством, пользовательским устройством, сервером и компьютерной системой понимаются любые аппаратные и/или программные средства, подходящие для решения поставленной задачи. Таким образом, некоторые не имеющие ограничительного характера примеры аппаратных и/или программных средств включают в себя компьютеры (серверы, настольные, ноутбуки, нетбуки и т.п.), смартфоны, планшеты, сетевое оборудование (маршрутизаторы, коммутаторы, шлюзы и т.п.) и/или их сочетания.

В контексте настоящего описания, если явно не указано иное, выражения «носитель, пригодный для чтения компьютером» и «запоминающее устройство» означают носители любого типа и вида, не имеющие ограничительного характера, примеры которых включают в себя оперативное запоминающее устройство (ОЗУ), постоянное запоминающее устройство (ПЗУ), диски (CD-ROM, DVD, гибкие диски, жесткие диски и т.д.), USB-накопители, карты флэш-памяти, твердотельные накопители и накопители на магнитных лентах.

В контексте настоящего описания, если явно не указано иное, прилагательные «первый», «второй», «третий» и т.д. используются только для указания различия между существительными, к которым они относятся, но не для описания каких-либо определенных взаимосвязей между этими существительными. Например, должно быть понятно, что использование терминов «первый сервер» и «третий сервер» не подразумевает какого-либо определенного порядка, типа, хронологии, иерархии или классификации, в данном случае, серверов, и что их использование (само по себе) не подразумевает обязательного наличия «второго сервера» в любой ситуации. Кроме того, как встречается в настоящем описании в другом контексте, ссылка на «первый» элемент и «второй» элемент не исключает того, что эти два элемента могут быть одним и тем же реальным элементом. Таким образом, например, в некоторых случаях «первый» сервер и «второй» сервер могут представлять собой одно и то же программное и/или аппаратное средство, а в других случаях - различные программные и/или аппаратные средства.

Краткое описание чертежей

Дальнейшее описание приведено для лучшего понимания настоящей технологии, а также других аспектов и их признаков, и должно использоваться совместно с приложенными чертежами.

На фиг. 1 представлена схема не имеющего ограничительного характера варианта реализации клиентского устройства согласно настоящей технологии.

На фиг. 2 представлена схема не имеющего ограничительного характера варианта реализации системы связи согласно настоящей технологии.

На фиг. 3 представлена блок-схема, иллюстрирующая не имеющий ограничительного характера вариант реализуемого посредством компьютера способа объединения метрик для А/В-тестирования согласно настоящей технологии.

Осуществление изобретения

Дальнейшее подробное описание представляет собой лишь описание примеров, иллюстрирующих настоящую технологию. Это описание не предназначено для определения объема или границ настоящей технологии. В некоторых случаях приводятся полезные примеры модификаций, которые способствуют пониманию, но не определяют объем или границы настоящей технологии. Эти модификации не составляют исчерпывающего списка, возможны и другие модификации. Кроме того, если в некоторых случаях примеры модификаций не описаны, это не означает, что модификации невозможны и/или описание содержит единственный вариант реализации определенного аспекта настоящей технологии. Кроме того, следует понимать, что настоящее подробное описание в некоторых случаях касается упрощенных вариантов реализации настоящей технологии, и что такие варианты представлены для того, чтобы способствовать лучшему ее пониманию. Различные варианты реализации настоящей технологии могут быть значительно сложнее.

Учитывая вышеизложенные принципы, далее рассмотрены некоторые не имеющие ограничительного характера примеры, иллюстрирующие различные варианты реализации аспектов настоящей технологии.

На фиг. 1 показано первое клиентское устройство 100, пригодное для использования в некоторых вариантах реализации настоящей технологии и содержащее различные аппаратные части, включая один или несколько одно- или многоядерных процессоров, которые совместно представлены процессором 110, графический процессор (GPU, graphics processing unit) 111, твердотельный накопитель 120, ОЗУ 130, интерфейс 140 дисплея и интерфейс 150 ввода-вывода.

Связь между различными частями первого клиентского устройства 100 может осуществляться через одну или несколько внутренних и/или внешних шин 160 (таких как шина PCI, шина USB, шина Fire Wire стандарта IEEE 1394, шина SCSI, шина Serial-ATA и т.д.), с которыми различные аппаратные части соединены электронными средствами.

Интерфейс 150 ввода-вывода может соединяться с сенсорным экраном 190 и/или с одной или несколькими внутренними и/или внешними шинами 160. Сенсорный экран 190 может быть частью дисплея. В некоторых вариантах осуществления сенсорный экран 190 представляет собой дисплей. Сенсорный экран 190 может также называться экраном 190. В варианте осуществления, представленном на фиг. 1, сенсорный экран 190 содержит сенсорные аппаратные средства 194 (например, чувствительные к нажатию ячейки в слое дисплея, позволяющие обнаруживать физическое взаимодействие между пользователем и дисплеем) и контроллер 192 ввода-вывода для сенсорных устройств, обеспечивающий связь с интерфейсом 140 дисплея и/или одной или несколькими внутренними и/или внешними шинами 160. В некоторых вариантах осуществления интерфейс 150 ввода-вывода может соединяться с клавиатурой (не показана), манипулятором «мышь» (не показан) или сенсорной площадкой (не показана), которые обеспечивают взаимодействие пользователя с первым клиентским устройством 100 в дополнение к сенсорному экрану 190 или вместо него.

Согласно вариантам реализации настоящей технологии, твердотельный накопитель 120 хранит программные команды, пригодные для загрузки в ОЗУ 130 и для выполнения процессором 110 и/или графическим процессором 111. Программные команды могут, например, представлять собой часть библиотеки или приложения.

Первое клиентское устройство 100 может представлять собой сервер, настольный компьютер, планшет, смартфон, электронный персональный помощник или любое устройство, пригодное для реализации настоящей технологии, как должно быть понятно специалисту в данной области.

На фиг. 2 представлена система 200 связи, соответствующая варианту осуществления настоящей технологии. Система 200 связи имеет множество пользователей 201, включая первого пользователя 203, второго пользователя 205, третьего пользователя 207 и четвертого пользователя 209, связанных, соответственно, с первым клиентским устройством 100, вторым клиентским устройством 215, третьим клиентским устройством 217 и четвертым клиентским устройством 219, которые связаны с сетью 280 связи посредством линии 290 связи. Первое клиентское устройство 100 может быть реализовано как смартфон, второе клиентское устройство 215 может быть реализовано как ноутбук, третье клиентское устройство 217 может быть реализовано как смартфон, а четвертое клиентское устройство 219 может быть реализовано как планшет. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии в качестве сети 280 связи может использоваться сеть Интернет. В других вариантах реализации настоящей технологии сеть 280 связи может быть реализована иначе, например в виде произвольной глобальной сети связи, локальной сети связи, личной сети связи и т.д.

На реализацию линии 290 связи не накладывается каких-либо особых ограничений, она зависит от реализации первого клиентского устройства 100, второго клиентского устройства 215, третьего клиентского устройства 217 и четвертого клиентского устройства 219. Только в качестве примера, не имеющего ограничительного характера, в тех вариантах осуществления настоящей технологии, в которых, по меньшей мере, одно из клиентских устройств, таких как первое клиентское устройство 100, второе клиентское устройство 215, третье клиентское устройство 217 и четвертое клиентское устройство 219, реализуется как беспроводное устройство связи (такое, как смартфон), линия 290 связи может реализовываться как беспроводная линия связи (включая канал сети связи 3G, канал сети связи 4G, Wireless Fidelity или сокращенно WiFi^®, Bluetooth^® и т.п., но не ограничиваясь ими). В тех примерах, где, по меньшей мере, одно из клиентских устройств, таких как первое клиентское устройство 100, второе клиентское устройство 215, третье клиентское устройство 217 и четвертое клиентское устройство 219, реализуется как ноутбук, смартфон или планшетный компьютер, линия 290 связи может быть беспроводной (такой, как WiFi^®, Bluetooth^® и т.п.) или проводной (такой, как соединение по сети Ethernet).

Очевидно, что варианты реализации первого клиентского устройства 100, второго клиентского устройства 215, третьего клиентского устройства 217, четвертого клиентского устройства 219, лини 290 связи и сети 280 связи приводятся только в качестве иллюстрации. Специалисту в данной области понятны и другие конкретные подробности реализации первого клиентского устройства 100, второго клиентского устройства 215, третьего клиентского устройства 217, четвертого клиентского устройства 219, лини 290 связи и сети 280 связи. Представленные выше примеры никоим образом не ограничивают объем охраны настоящей технологии. Несмотря на то, что только четыре клиентских устройства 100, 215, 218 и 219 показаны на фиг. 2, предполагается, что к системе 200 связи можно подключить любое количество клиентских устройств 100, 215, 218 и 219. Также предполагается, что в некоторых вариантах реализации к системе 200 связи могут быть подключены десятки или сотни тысяч клиентских устройств 100, 215, 218 и 219.

С сетью 280 связи также соединены первый север 220 и сервер 240 анализа. Первый сервер 220 и сервер 240 анализа могут быть реализованы как традиционные компьютерные серверы. В примере осуществления настоящей технологии первый сервер 220 и сервер 240 анализа могут быть реализованы как сервер Dell™ PowerEdge™, работающий под управлением операционной системы Microsoft™ Windows Server™. Очевидно, что первый сервер 220 и сервер 240 анализа могут быть реализованы с использованием любых других подходящих аппаратных средств и/или ПО, и/или встроенного ПО либо их сочетания.

В представленном не имеющем ограничительного характера варианте осуществления настоящей технологии на первом сервере 220 может размещаться первый сервис 230. Первый сервис 230 может представлять собой любой реализуемый посредством компьютера сервис, с которым пользователь может взаимодействовать посредством электронного клиентского устройства (такого, как первое клиентское устройство 100, второе клиентское устройство 215, третье клиентское устройство 217, четвертое клиентское устройство 219). Этот реализуемый посредством компьютера сервис может представлять собой веб-сайт, включая персональную домашнюю страницу, социальную сеть, сервис электронной почты, банковский сервис и т.д. В других вариантах осуществления первый сервис 230 может представлять собой приложение, полученное из Apple™ Арр Store™ или Google™ Play Store™ и выполняемое на устройстве, таком как смартфон или планшет. В других вариантах осуществления первый сервис 230 может представлять собой ресурс для рассылки видеоматериалов, фотографий или сообщений электронной почты либо игру.

В настоящем варианте осуществления первый сервер 220 может предоставлять кажд