Способы обнаружения вредоносных элементов веб-страниц

Способы обнаружения вредоносных элементов веб-страниц

Иллюстрации

Показать все

Реферат

Область техники

Изобретение относится к способам обнаружения аномальных элементов веб-страницы.

Уровень техники

В последнее время банки и другие финансовые организации активно внедряют в процесс банковского обслуживания системы веб-банкинга (интернет банкинга). Веб-банкинг - это общее название технологий дистанционного банковского обслуживания, а также доступа к счетам и операциям (по ним), предоставляющийся в любое время и с любого компьютера, имеющего доступ в Интернет. Для выполнения операций используется веб-клиент (например, браузер).

Широкое применение указанных технологий закономерно привлекает злоумышленников, которые заинтересованы в хищении средств со счетов пользователей систем дистанционного обслуживания. Одной из популярных атак на пользователя веб-банкинга является атака, при которой вредоносным программным обеспечением (далее ПО) подменяется содержимое веб-страницы, отображаемой пользователю. Вредоносное ПО производит внедрение HTML-кода в веб-страницу. Часто эту атаку называют «человек в браузере» (англ. main in the browser) или «внедрение веб-кода» (англ. web injection). Атака может начинаться с использования, например, троянского приложения, устанавливающего в браузер жертвы вредоносное расширение, запускающееся при перезапуске браузера. После происходит перехват трафика пользователя, направляемого на определенный веб-сайт (чаще всего банковский). Далее происходит изменение веб-страницы (на этапе загрузки или открытия), отображаемой пользователю, что позволяет модифицировать внешний вид того или иного элемента веб-страницы, похищать вводимые аутентификационные данные жертвы или перенаправлять переводимые пользователем средства на сторонний счет.

В настоящее время существуют решения, направленные на повышение безопасности работы пользователя в сети с учетом атак, внедряющих сторонний код в веб-страницу.

Так, публикация ЕР2199940 описывает способ определения атаки «man in the browser» с помощью «отпечатка» (англ. fingerprint) транзакции, ассоциированного с веб-сайтом. Отпечатком в частном случае может являться количество ожидаемых транзакций вывода-вывода. Если есть отклонение, транзакция прерывается.

Публикация ЕР2529304 описывает систему, которая сравнивает поведение пользователя в текущей сессии с усредненным поведением. Поддерживается определение атаки «man in the browser)). Во время данной атаки выделяются атрибуты пользователя (например, логин и IP-адрес), и по ним в дальнейшем анализируется поведение пользователя.

Однако в настоящий момент уровень техники не содержит решений, которые могли бы эффективно определить, была ли изменена веб-страница вредоносным ПО, и отыскать вредоносные элементы в версии веб-страницы на стороне пользователя без установки дополнительного программного обеспечения. В тоже время дополнительное программное обеспечение, такое как различные клиенты безопасности, тонкие клиенты (англ. light agent) и другие антивирусные средства, не всегда возможно установить на стороне пользователя, что в результате приводит к ошибкам первого и второго рода в работе антивирусного приложения. Так, например, ошибкой первого рода является пропуск атаки типа «man in the browser)) на вычислительную систему (компьютера) с целью захвата канал передачи данных и получения доступа ко всей передаваемой информации, а ошибкой второго рода является ошибочное определение легального изменения веб-страницы на стороне пользователя, как аномальное.

Раскрытие изобретения

Настоящее изобретение предназначено для обнаружения аномальных элементов веб-страницы, возникших на клиентской стороне, без установки дополнительного (помимо уже установленного веб-клиента) программного обеспечения на стороне клиента.

Один технический результат настоящей группы изобретений заключается в обеспечении обнаружения вредоносных элементов веб-страницы, возникших на стороне пользователя, без установки дополнительного программного обеспечения. Первым изобретением группы технический результат достигается путем использования кластерных статистических моделей вредоносных элементов веб-страниц, при этом сведения о содержимом элементов, используемые для обнаружения вредоносных элементов собираются скриптом на стороне веб-клиента, содержащимся непосредственно на веб-странице, сведения о содержимом элементов которой собираются. Вторым изобретением группы технический результат достигается путем сравнения хеша вычисленного по сведениям о содержимом элемента, полученным от компьютерного устройства пользователя, с хешем вычисленным по сведениям о содержимом заведомо вредоносного элемента веб-страницы. При этом сведения о содержимом элементов, по которым вычисляются хеши также собираются скриптом на стороне веб-клиента, содержащимся непосредственно на веб-странице, сведения о содержимом элементов которой собираются.

Другой технический результат, который достигается группой изобретений, заключается в снижении количества ошибок первого рода при обнаружении вредоносных элементов веб-страниц. Указанный технический результат достигается за счет того, что сведения о содержимом элементов, используемые для обнаружения вредоносных элементов собираются скриптом на стороне веб-клиента, содержащимся непосредственно на веб-странице, сведения о содержимом элементов которой собираются. За счет получения сведений о содержимом веб-страницы на стороне веб-клиента, вероятность пропустить атаку типа «man in the browser» снижается, таким образом снижается количество ошибок первого рода.

Объектами настоящей группы изобретений (варианты) являются способы. Первое изобретение группы - способ обнаружения вредоносного элемента веб-страницы с помощью статистических моделей в котором, собирают сервером управления сведения о содержимом элементов веб-страницы с компьютерных устройств пользователя, где во время сбора сведений получают, по меньшей мере одним, веб-клиентом, реализованным на компьютерном устройстве пользователя веб-страницу от веб-сервера, при этом веб-страница содержит скрипт, который при выполнении собирает сведения о содержимом, по меньшей мере, одного элемента веб-страницы на стороне веб-клиента и оправляет собранные сведения с компьютерного устройства пользователя серверу управления. Далее выполняют вышеуказанный скрипт с помощью веб-клиента, который собирает сведения о содержимом, по меньшей мере, одного элемента веб-страницы на стороне веб-клиента и отправляет собранные сведения с компьютерного устройства пользователя серверу управления. Потом анализируют собранные сведения, для этого во время анализа получают из базы данных статистическую модель вредоносных элементов веб-страниц и преобразуют с помощью сервера управления полученные сведения в, по меньшей мере, один N-мерный вектор, где N-мерный вектор характеризуют содержимое, по меньшей мере одного элемента веб-страницы. Затем сравнивают с помощью сервера управления созданный N-мерный вектор с кластерами статистической модели вредоносных элементов веб-страницы, где определяют расстояние между полученным N-мерным вектором элемента и центрами всех кластеров статистической модели. И в итоге обнаруживают сервером управления вредоносный элемент в результате анализа собранных сведений, где вредоносным признается элемент, когда выполняется в процессе сравнения, по крайней мере, одно из следующих условий:

расстояние между полученным N-мерным вектором и центром по меньшей мере одного кластера статистической модели в N-мерном пространстве меньше радиусов этих кластеров;

расстояние между полученным N-мерным вектором и центром по меньшей мере одного кластера статистической модели в N-мерном пространстве равно радиусу этих кластеров;

мера близости между полученным N-мерным вектором и центром по меньшей мере одного кластера модели в N-мерном пространстве меньше порогового значения;

мера близости между полученным N-мерным вектором и по меньшей мере одним наиболее удаленными от центра кластера N-мерными векторами по меньшей мере одного кластера статистической модели в N-мерном пространстве меньше порогового значения.

В частном случае скрипт, собирающий информацию о содержимом веб-страницы и отправляющий собранную информацию серверу управления внедряется в веб-страницу на стороне веб-сервера или промежуточном узле, расположенным между веб-клиентом и веб-сервером промежуточным узлом может являться, например, прокси-сервер.

Элементами веб-страницы, о содержимом которых собирают сведения, являются элементы, по меньшей мере, следующих видов:

• объекты:

• апплеты;

• скрипты;

• native код;

• формы.

В частном случае сведения собираются о содержимом, по меньшей мере, двух элементах веб-страницы, при этом элементы относятся к разным видам элементов или элементы относятся к одному виду элементов.

Для создания кластеров могут использоваться иерархические методы, например, кластер создают агломеративным методом, в котором наиболее близкие (по расстоянию) N-мерные векторы элементов выделяются в кластеры или наиболее близкие (по расстоянию) кластеры объединяют в один кластер. При применении этого метода используется расстояние: линейное или евклидово или обобщенное степенное Минковского или Чебышева или Манхэттенское. А наиболее близкими признаются векторы, имеющие наименьшее взаимное расстояние, и кластер могут выделять до тех пор, пока радиус кластера максимально не приблизится к пороговому значению радиуса, где максимальным приближенным является радиус, который при следующем акте выделения кластера превысит пороговое значение радиуса. В другом случае выделяют кластер до тех пор, пока не останется кластеров или векторов с допустимой мерой близости, где допустимой мерой близости считается мера, не превышающая установленное пороговое значение. Наиболее близкими признаются кластеры, имеющие наименьшее расстояние между центрами.

В другом частном случае кластеры создают дивизимным методом, где кластер образуют векторы, взаимное расстояние которых меньше предельно допустимого расстояния, при этом предельная допустимость расстояния определяется пороговым значением, а кластеры отделяют, например, до тех пор, пока радиус кластера не станет равным или меньше порогового значения радиуса.

Для создания кластера могут использоваться и неиерархические методы.

Для обнаружения вредоносных элементов используется модель. Для построения статистической модели вредоносных элементов веб-страниц получают из базы данных сведения о по меньшей мере одном, заведомо вредоносном элементе и преобразуют с помощью сервера управления полученные сведения в, по меньшей мере, один N-мерный вектор, где N-мерный вектор характеризует содержимое, по меньшей мере одного элемента веб-страницы. Создают с помощью сервера управления статистическую модель веб-страницы, которая представляет собой, по крайней мере, один кластер в N-мерном пространстве, при этом кластер содержит, по крайней мере, один N-мерный вектор;

Второе изобретение группы способ обнаружения вредоносного элемента веб-страницы с помощью хешей, в котором собирают сервером управления сведения о содержимом элементов веб-страницы с компьютерных устройств пользователя, где во время сбора сведений получают, по меньшей мере одним, веб-клиентом, реализованным на компьютерном устройстве пользователя веб-страницу от веб-сервера, при этом веб-страница содержит скрипт, который при выполнении собирает сведения о содержимом, по меньшей мере, одного элемента веб-страницы на стороне веб-клиента и оправляет собранные сведения с компьютерного устройства пользователя серверу управления и выполняют вышеуказанный скрипт с помощью веб-клиента, который собирает сведения о содержимом, по меньшей мере, одного элемента веб-страницы на стороне веб-клиента и отправляет собранные сведения с компьютерного устройства пользователя серверу управления. Далее анализируют собранные сведения, при этом во время анализа получают из базы данных, по меньшей мере, один хеш, вычисленный по сведениям о содержимом заведомо вредоносного элемента веб-страницы и вычисляют с помощью сервера управления по сведениям о содержимом элемента, полученным от компьютерного устройства пользователя, хеш тем же алгоритмом хеширования, который использовали при вычислении хеша полученного из базы данных. Затем сравнивают с помощью сервера управления вычисленный хеш с хешем полученным из базы данных. В итоге обнаруживают сервером управления вредоносный элемент в результате анализа собранных сведений, где вредоносным признается элемент, когда хеш, вычисленный по собранным сведениям о его содержимом, совпадает в результате сравнения с хешем, полученным из базы данных.

В частном случае для вычисления хеша применяется алгоритм хеширования CRC или MD5 или MD6 или SHA1 или SHA2 или ГОСТ Р 34.11-2012.

В частном случае скрипт, собирающий информацию о содержимом веб-страницы и отправляющий собранную информацию серверу управления внедряется в веб-страницу на стороне веб-сервера или промежуточном узле, расположенным между веб-клиентом и веб-сервером промежуточным узлом может являться, например, прокси-сервер.

Краткое описание чертежей

Сопровождающие чертежи включены для обеспечения дополнительного понимания изобретения и составляют часть этого описания, показывают варианты осуществления изобретения и совместно с описанием служат для объяснения принципов изобретения.

Заявленное изобретение поясняется чертежами, где на:

Фиг. 1 изображена система обнаружения аномалий и вредоносных элементов, предназначенная для построения статистических моделей веб-страниц 100 и статистических моделей вредоносных элементов веб страниц, а также для обнаружения аномальных элементов и вредоносных элементов веб-страницы;

Фиг. 2 изображен пример N-мерного пространства со статистическими моделями и метриками кластера;

Фиг. 3 изображены способы, осуществляемые системой обнаружения аномалий;

Фиг. 4 изображены визуализации статистических моделей;

Фиг. 5 изображена компьютерная система общего назначения.

Хотя изобретение может иметь различные модификации и альтернативные формы, характерные признаки, показанные в качестве примера на чертежах, будут описаны подробно. Следует понимать, однако, что цель описания заключается не в ограничении изобретения конкретным его воплощением. Наоборот, целью описания является охват всех изменений, модификаций, входящих в рамки данного изобретения, как это определено приложенной формуле.

Осуществление изобретения

Объекты и признаки настоящего изобретения, способы для достижения этих объектов и признаков станут очевидными посредством отсылки к примерным вариантам осуществления. Однако настоящее изобретение не ограничивается примерными вариантами осуществления, раскрытыми ниже, оно может воплощаться в различных видах. Приведенное описание предназначено для помощи специалисту в области техники для исчерпывающего понимания изобретения, которое определяется только в объеме приложенной формулы.

Веб-страница - данные (код), созданные веб-сервером для обработки веб-клиентом (браузером) и организованные с применением языков гипертекстовой разметки (HTML, XHTML, XML, WML, VML, PGML, SVG, XBRL и др.) и сценарных языков (JScript, JavaScript, ActionScript, Tel, Lua, Perl, PHP, Python, REBOL, Ruby и др.).

Контент - содержимое веб-страницы.

Скрипт (сценарий) - исполняемая процедура, написанная на сценарном языке, которая запускается на исполнение на стороны сервера или клиента по запросу, поступившему при отображении строго определенной веб-страницы.

Встроенный скрипт (inline скрипт) - скрипт, исполняемый код которого (тело) является частью контента веб-страницы. В частном случае располагается между тегами <script></script>.

Тег (метка) - специальная конструкция языка разметки гипертекста.

Представляет собой текст, заключенный в угловые скобки <имя_тега>. Каждый тег несет определенную команду браузеру, как его (тег) и последующее содержимое отобразить. Теги в частном случае имеют атрибуты, которые уточняют тег, расширяют возможности тега и позволяют более гибко управлять, например, содержимым тега-контейнера. Например, <script src="URL">...</script>. Атрибут src указывает на расположение тела скрипта.

Тег-контейнер - парный тег, имеет открывающий и закрывающий теги. Может содержать как текст, так и другие элементы гипертекстового языка.

Элемент веб-страницы (элемент языка разметки) - комбинация начального тега, конечного тега (в некоторых случаях, начальный и конечные теги совпадают, например, в случае тега <br>) и содержимого между тегами. Совокупность элементов веб-страницы образуют содержимое веб-страницы. Существуют, по меньшей мере, следующие виды элементов, которые отличаются именами соответствующих тегов:

• гиперссылки;

• текстовые блоки;

• форматирование текста;

• списки;

• объекты:

медиа файлы;

апплеты;

скрипты;

native код;

и др;

• изображения;

• карта изображений;

• таблицы;

• формы;

• символы.

N-мерный вектор элемента - упорядоченный набор из n действительных чисел, где числа есть координаты вектора. Количество координат вектора называется размерностью вектора. Координаты определяют положение соответствующего элемента (например, скрипта) или группы элементов одного вида (например, элементов форм) веб-страницы в N-мерном пространстве (на Фиг. 2 приведен пример двумерного пространства). Вектор получают преобразованием сведений о содержимом элемента или группы элементов. Вектор отражает некоторую информацию о содержимом элемента или группы элементов. В частном случае каждая координата отражает одну из характеристик содержимого элемента, например, одна координата характеризует число операторов в скрипте, другая - число операторов eval. Также числа могут отражать лексикографический порядок строковых параметров содержания элементов или расстояние Левенштейна между строковыми параметрами разных элементов. Например, на Фиг. 2 изображены примеры векторов, в частности двумерные векторы с координатами (1666, 1889) и (1686, 1789)

Кластер - совокупность допустимых значений координат векторов для строго определенного элемента или группы элементов в N-мерном пространстве. Рассматриваемый элемент или группа элементов относится к некоторому кластеру, если расстояние от N-мерного вектора элемента до центра данного кластера меньше радиуса кластера в направлении N-мерного вектора. На Фиг. 2 показан пример кластера 210'. В частном случае элемент относится к некоторому кластеру, если значение расстояния (на Фиг. 2 «d'») от N мерного вектора элемента до ближайшего N-мерного вектора элемента данного кластера меньше предельно допустимого (порогового значения расстояния [d']) или если значение расстояния (на Фиг. 2 «d») от N-мерного вектора элемента до центра данного кластера меньше радиуса этого кластера. Например, расстояние от вектора (1666, 1889) до центра кластера меньше радиуса кластера, следовательно, элемент или группа элементов, содержание которых отражает вектор принадлежат данному кластеру и напротив - расстояние от вектора (1686, 1789) до центра кластера больше и радиуса кластера, и расстояния до ближайшего N-мерного вектора больше порогового значения, следовательно, элемент или группа элементов, содержание которых отражает вектор не принадлежат данному кластеру. Варианты расстояний для оценки близости:

• линейное расстояние;

• евклидово расстояние;

• квадрат евклидова расстояния;

• обобщенное степенное расстояние Минковского;

• расстояние Чебышева;

• Манхэттенское расстояние.

Мера близости (степень сходства, коэффициент сходства) - безразмерный показатель для определения сходства элементов веб-страницы. Для определения меры близости используются меры:

• Охаи;

• Жаккара;

• Сокала-Снита;

• Кульчинского;

• симметричная Дайса.

Центр кластера (центроид) - это среднее геометрическое место N мерных векторов в N мерном пространстве. Для кластеров, состоящих из одного вектора, данный вектор будет являться центром кластера.

Радиус кластера (на Фиг. 2 «R») - максимальное расстояние N-мерных векторов, входящих в кластер, от центра кластера.

Для кластеризации используют различные известные алгоритмы и подходы, в том числе иерархические (агломеративные и дивизивные) и неиерархические.

Статистическая модель элементов веб-страницы (модель элементов веб-страницы) - совокупность кластеров 210 для элементов одного вида или групп элементов одного вида. Например, статистическая модель скриптов веб страницы, статистическая модель форм веб-страницы. На Фиг. 2 статистические модели элементов веб-страницы обозначены 220. Для моделей, состоящих из одного кластера, данный кластер будет являться моделью элементов.

Статистическая модель веб-страницы (модель веб-страницы) - совокупность кластеров элементов веб-страницы всех видов и/или групп элементов (в том числе групп элементов, содержащих элементы разных видов). Например, статистическая модель страницы авторизации. Иными словами, статистическая модель веб-страницы 230 есть совокупность моделей элементов веб-страницы 220. По аналогии статистической моделью веб-сайта будет совокупность кластеров элементов веб-страницы всех видов и/или групп элементов всех веб-страниц веб-сайта. Иными словами, статистическая модель веб-сайта (на фигурах не указана) есть совокупность моделей веб-страниц 230.

Статистическая модель вредоносных элементов веб-страницы - совокупность кластеров 210 для заведомо вредоносных элементов одного и/или разного вида или групп элементов одного и/или разного вида. Примеры моделей: статистическая модель вредоносных скриптов веб-страницы, статистическая модель вредоносных форм веб-страницы, статистическая модель вредоносных скриптов и форм веб-страницы. Для моделей, состоящих из одного кластера, данный кластер будет являться моделью вредоносных элементов. Для построения моделей данного вида используются заведомо вредоносные элементы, содержание которых преобразуется в N-мерные вектора с последующей кластеризацией и объединением в модель. По форме статистическая модель веб-страницы и статистическая модель вредоносных элементов веб-страницы не отличаются, отличаются элементы на основании которых строится модель, в первом случае модель строится из потенциально безопасных элементов, во втором случае из заведомо вредоносных.

Аномальный элемент веб-страницы - элемент веб-страницы, вектор которого не относится ни к одному из кластеров статистической модели веб-страницы, построенной для элементов данного типа, или имеет статистическую значимость ниже пороговой.

Статистическая значимость элемента - значение отношения числа встречаемости оцениваемого элемента в контенте веб-страниц к общему числу полученных для построения модели веб-страниц или к числу полученных для построения модели веб-страниц на некотором участке (участке оценивания), где длина участка определяется числом полученных для построения модели веб-страниц с некоторого момента, например, момента начала наблюдения за элементом. Например, если получено 100 страниц и оцениваемый элемент встретился 30 раз, то статистическая значимость составит 30%.

Статистическая значимость кластера - значение отношения количества элементов, вектора которых образуют оцениваемый кластер, в контенте веб-страницы к общему числу полученных для построения модели веб-страниц; или к числу полученных для построения модели веб-страниц на некотором участке, где длина участка определяется числом полученных для построения модели веб-страниц с некоторого момента, например, момента начала наблюдения за кластером.

Пороговое значение статистической значимости - значение статистической значимости элемента или кластера, при превышение которого элемент или кластер (и элементы кластера) признается статистически значимым, в том случае, если значение статистической значимости элемента кластера ниже установленного порогового значения, то элемент или кластер считаются аномальными.

Для создания кластеров могут использоваться иерархические методы, например, кластер создают агломеративным методом, в котором наиболее близкие (по расстоянию) N-мерные векторы элементов выделяются в кластеры или наиболее близкие (по расстоянию) кластеры объединяют в один кластер. При применении этого метода используется расстояние: линейное или евклидово или обобщенное степенное Минковского или Чебышева или Манхэттенское. А наиболее близкими признаются векторы, имеющие наименьшее взаимное расстояние, и кластер могут выделять до тех пор, пока радиус кластера максимально не приблизится к пороговому значению радиуса, где максимальным приближенным является радиус, который при следующем акте выделения кластера превысит пороговое значение радиуса. В другом случае выделяют кластер до тех пор, пока не останется кластеров или векторов с допустимой мерой близости, где допустимой мерой близости считается мера, не превышающая установленное пороговое значение. Наиболее близкими признаются кластеры, имеющие наименьшее расстояние между центрами.

В другом частном случае кластеры создают дивизимным методом, где кластер образуют векторы, взаимное расстояние которых меньше предельно допустимого расстояния, при этом предельная допустимость расстояния определяется пороговым значением, а кластеры отделяют, например, до тех пор, пока радиус кластера не станет равным или меньше порогового значения радиуса.

На Фиг. 1 изображена система обнаружения аномалий и вредоносных элементов, предназначенная для построения статистических моделей веб-страниц 100 и статистических моделей вредоносных элементов веб-страниц, а также, для обнаружения аномальных и вредоносных элементов веб-страницы. Система включает в себя: устройство пользователя 120, с установленным на нем веб-клиентом 110; веб-сервер 130; сервер управления 150 и базу данных 160.

На устройстве пользователя 120 реализован веб-клиент 110, в частном случае это браузер. Веб-клиент 110 предназначен для запроса, обработки, манипулирования и отображения содержания веб-сайтов, где веб-сайт является совокупностью логически связанных между собой веб-страниц 100. Веб-клиент 110 отправляет запросы на получение ресурсов, обозначенных, например, URL (uniform resource locator) адресами веб-серверу 130 и получает ответы, как правило, вместе с веб-страницей 100 или элементом веб-страницы от веб-сервера 130. Веб-сервер 130 по запросу от веб-клиента 110 выдает готовую веб-страницу 100 или формирует страницу динамически, в описываемом изобретении веб-сервером 130 к каждой веб-странице 100, отправляемой клиенту, дополнительно к обычному содержанию добавляется скрипт 140. Назначение скрипта 140, по меньшей мере, собирать на стороне веб-клиента 110 данные веб-страницы 100 (сведения об элементах или группе элементов веб-страницы, сведения об элементе в частном случае содержимое элемента), которая данный скрипт 140 содержит. В частном случае сведением об элементе веб-страницы 100 является содержимое данного элемента. Как упоминалось в уровне техники, элементы веб-страницы 100 и содержимое этих элементов веб-страницы 100 на стороне веб-клиента 100, могут отличаться от элементов и содержимого этих элементов той же версии веб-страницы 100 на стороне веб-сервера 130, по причине динамического обновления веб-страницы на стороне веб-клиента 110 или в результате атаки «man in the browser».

Сервер управления 150 получает собранные скриптом сведения об элементах или группе элементов веб-страницы. При этом скрипт может отправлять собранные данные как в «сыром» (англ. "raw"), так и в преобразованном виде, формат отправляемых данных определяется функциональностью скрипта 140, который добавлен веб-сервером 130 на веб-страницу 100, а именно:

• скрипт в процессе выполнения отправляет строго определенные сведения об элементах веб-страницы 100 в строго заданном виде, которые заданы функционалом скрипта; или

• скрипт отправляет данные веб-серверу 130 или серверу управления о своем успешном запуске на стороне клиента 110 и получает в ответ команду о том, о каких элементах веб-страницы 100 и в каком виде нужно собрать и отправить сведения приемнику (веб-серверу 130 или непосредственно серверу управления 150).

В частном случае скрипт 140 может быть внедрен в веб-страницу 100 на промежуточном узле (англ. «node»), например, корпоративным прокси-сервером.

Основными способами трансформирования (преобразования) данных являются:

• квантование;

• сортировка;

• слияние (склеивание);

• группировка;

• настройка набора данных;

• табличная подстановка значений;

• вычисляемые значения;

• кодирование данных;

• нормализация (масштабирование).

В частном случае в результате преобразования данных, данные приобретают свойства информации.

Одним из способов преобразования скриптов является построение абстрактного синтаксического дерева и передача приемнику (веб-серверу 130 или непосредственно серверу управления 150) только значимых операторов и конструкций, которые заранее предопределяются настройками скрипта 140 или командами от приемника.

Все собранные скриптом 140 данные передаются, в итоге, серверу управления 150. Сервер управления 150 может получать данные напрямую от веб-клиентов 110, либо через веб-сервер 130. В частном случае сервер управления 150 может находится в одной сети с веб-сервером 130. Собранные данные сервером управления 150 используются для построения статистической модели веб-страницы 230 (или статистической модели вредоносных элементов веб-страницы) и обнаружения аномальных (или вредоносных) элементов веб-страниц. На сервере управления 150 реализован ряд средств (на фигурах не указаны). Средство обработки, реализованное на сервере управления 150, преобразует собранные скриптами 140 данные в N-мерные векторы, полученные векторы хранятся в базе данных 160. Также средство обработки вычисляет по содержимому элемента хеш, одним из алгоритмов хеширования (CRC, MD5, MD6, SHA1, SHA2, ГОСТ Р 34.11-2012 и т.д)

Средство анализа, реализованное на сервере управления 150, предназначено для формирования кластеров 210 из полученных векторов и обнаружения аномальных элементов или групп элементов, содержимое которых отражают полученные векторы, данное назначение реализуется за счет взаимного сравнения N-мерных векторов и сформированных кластеров 210 в N-мерном пространстве.

База данных 160 хранит построенные модели и векторы. Также база данных хранит хеши заведомо вредоносных элементов. Записи о хешах вредоносных элементов попадают в базу из внешних источников (т.е. хеши уже предварительно вычисленные) или хеши рассчитываются средством обработки сервера управления по содержимому заведомо вредоносных элементов, которые обнаруживаются в результате антивирусной проверки аномальных элементов или выбираются из хранилища вредоносного программного обеспечения (на фигурах не указаны), хранящего экземпляры вредоносных элементов веб-страниц.

Описанная система осуществляет несколько способов: способ построения статистической модели веб-страницы 230, способ построения статистической модели вредоносных элементов веб-страницы, способ обнаружения аномальных элементов веб-страницы 100 с помощью построенной модели веб-страницы 230, способ обнаружения вредоносных элементов веб-страницы 100 с помощью построенной модели вредоносных элементов веб-страницы, способ обнаружения вредоносных элементов веб-страницы 100 с помощью хешей. Способы изображенны на Фиг. 3.

Способ построения статистической модели веб-страницы 230 осуществляется следующим образом. На этапе 300 пользователь со своего устройства получает доступ к веб-сайту, где веб-клиент 110 по запросу к вебсерверу 130, получает от веб-сервера 130 веб-страницу 100 сайта, на веб-страницу 100 веб-сервером 130 (или промежуточным узлом) при этом добавляется скрипт 140. На этапе 310 скрипт выполняется на стороне веб-клиента 110, собирая данные, содержащиеся в веб-странице 100. Данные, собираемые скриптом 140, могут содержать различные сведения, в частном случае скрипт 140 собирает содержимое, по меньшей мере, одного элемента веб-страницы (скрипта, формы и т.д.). Данные, собранные скриптом 140, при необходимости трансформируются, данные трансформируются либо самим скриптом 140, либо средством обработки на сервере управления 150 и на этапе 320 собранные данные преобразуются в, по меньшей мере, один N-мерный вектор, который сохраняется на этапе 330. Из по меньшей мере одного вектора, на этапе 350 создают, по меньшей мере один, кластер 210. На основании по меньшей мере одного созданного кластера 210 строят на этапе 360 статистическую модель веб-страницы 230.

В частном случае, после сохранения полученного N-мерного вектора, на этапе 301 получают веб-страницу 100 другим веб-клиентом 110 и на основании собранных данных с этой веб страницы получают дополнительно на этапе 320 N-мерные векторы, только после этого создают кластеры.

В другом частном случае после создания кластеров 210 и построения модели 230 на этапе 302 получают веб-страницу 100 другим веб-клиентом 110 и на основании собранных данных скриптом 140 с этой веб-страницы получают N-мерные векторы, и на основании полученных N-мерных векторов корректируют (обновляют) ранее созданные кластеры 210 (изменяют радиус, центр/центроид) или создают новые кластеры 210, тем самым уточняя (скорректированными кластерами 210) и дополняя (вновь созданными кластерами 210) статистическую модель веб-страницы 230. При этом данные собираемые скриптом 140 могут отличаться от данных собираемых скриптом 140 на предыдущей итерации, например, собираются сведения о других элементах веб-страницы 100.

Способ обнаружения аномальных элементов на основании статистической модели веб-страницы 230. На этапе 300 пользователь со своего устройства получает доступ к веб-сайту, где веб-клиент 110 по запросу к вебсерверу 130, получает от веб-севера 130 веб-страницу 100 сайта, на веб-страницу 100 веб-сервером 130 (или промежуточным узлом) при этом добавляется скрипт 140. На этапе 310 скрипт выполняется на стороне веб-клиента, собирая данные, содержащиеся в веб-странице 100. Данные, собираемые скриптом 140, могут содержать различные сведения, в частном случае скрипт собирает содержимое, по меньшей мере, одного элемента веб-страницы (скрипта, формы и т.д.). Данные, собранные скриптом 140, при необходимости трансформируются, при этом данные трансформируются либо самим скриптом 140, либо средством обработки сервера управления 150 и на этапе 320 собранные данные преобразуются в, по меньшей мере, один N-мерный вектор, который сохраняется на этапе 330. Полученный вектор на этапе 370 сравнивается (путем определения взаимного расстояния, например, между полученным вектором и центром кластера) с кластерами построенной статистической модели веб-страницы 230 и/или N-мерными векторами данной модели 230. На этапе 380 в результате сравнения анализируемый элемент признается аномальным, элемент признается аномальным, когда:

- расстояние, между N-мерным вектором элемента и центрами всех кластеров модели, в N-мерном пространстве, больше радиусов этих кластеров; или

- мера близости между N-мерным вектором элемента и центрами всех кластеров модели, в N-мерном пространстве, больше порогового значения; или

- мера близости между N-мерным вектором элемента и наиболее удаленными от центра кластеров N-мерными векторами кластеров модели, в N-мерном пространстве, больше порогового значения.

В частном случае, если элемент не признан аномальным, на этапе 351 N-мерный вектор данного элемента добавляется к статистической модели веб-страницы 230.

В частном случае при обнаружении аномального элемента веб-страницы 100 веб-сервер 130 разрывает соединение с веб-клиентом 110 и устройством пользователя 1