Перечни и признаки источников/адресатов для предотвращения нежелательных почтовых сообщений

Перечни и признаки источников/адресатов для предотвращения нежелательных почтовых сообщений

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее изобретение в целом относится к системам и способам идентификации как законной, или допустимой (например, полезная или хорошая почта), так и нежелательной почты и более конкретно относится к обработке электронных сообщений, предназначенной для выделения (или извлечения) данных, чтобы содействовать предотвращению нежелательной рассылаемой информации, или спама.

Предшествующий уровень техники

Появление глобальных сетей связи, таких как Интернет, предоставило коммерческие возможности для достижения огромного количества потенциальных клиентов. Электронная передача сообщений, и конкретно электронная почта ("email"), становится все более и более распространяющейся в качестве средства для распространения пользователям сети нежелательных рекламных объявлений и продвижений продаж товаров (обозначаемых также как "спам").

По оценке компании Radicati Group. Inc., занимающейся консультированием и исследованиями возможностей рынка, на август 2002 г. два биллиона ненужных сообщений электронной почты (сообщений e-mail) посылались каждый день - это количество, как ожидается, должно утраиваться каждые два года. Отдельные личности и организации (например, предприятия, правительственные учреждения) становятся все более и более обеспокоенными и зачастую оскорбленными ненужными сообщениями. Как таковой, спам является в настоящее время или вскоре станет главной угрозой доверию (надежности) вычислительной технике.

Основным способом, используемым, чтобы препятствовать спаму, является применение систем/методик фильтрации. Один испытанный способ фильтрации основан на подходе машинного обучения - фильтры, использующие машинное обучение, назначают входящему сообщению вероятность, что сообщение является спамом. В данном подходе признаки обычно выделяют из двух классов образцовых сообщений (например, сообщений спама и не спама) и применяют (само)обучающийся фильтр, чтобы различать в вероятностном смысле два класса. Поскольку многие признаки сообщения относятся к содержимому (например, слова и фразы в предмете и/или теле сообщения), то такие типы фильтров обычно называют как "фильтры на основе содержимого".

Под натиском подобных способов фильтрации спама многие пользователи сети, рассылающие спам, стали думать о способах маскировки своей идентификационной информации, чтобы избегать и/или обходить фильтры спама. Таким образом, обычные и адаптивные фильтры «на основе содержимого» могут стать неэффективными в распознавании и блокировании замаскированных сообщений спама.

Краткое описание сущности изобретения

Ниже представлено упрощенное краткое описание сущности изобретения для того, чтобы представить основное понимание некоторых аспектов изобретения. Данное краткое описание сущности изобретения не является исчерпывающим обзором изобретения. Оно не предназначено для идентификации ключевых/критических элементов настоящего изобретения или очерчивания объема изобретения. Его единственная цель состоит в том, чтобы представить некоторые концепции изобретения в упрощенной форме в качестве вводной части к более подробному описанию, которое представлено далее.

Рассылающие спам пользователи могут маскировать почти всю информацию в своих сообщениях. Например, они могут вставлять изображения, так что отсутствуют слова, для того, чтобы использовать в качестве признаков для системы машинного обучения. Изображения даже могут быть искажены способами, которые сделали бы затруднительным, или по меньшей мере трудоемким, использование программного обеспечения OCR (оптическое распознавание символов, ОРС). Однако независимо от того, сколько признаков они удаляют, полезная информация все еще присутствует. Сначала рассылающие спам пользователи должны послать сообщение из некоторого места. Мы можем выявить, от какого IP-адреса сообщение было принято. Во-вторых, рассылающие спам пользователи почти всегда пытаются продать что-нибудь и поэтому должны включить (в сообщение) способ для установления контакта с ними. Это может быть бесплатным номером, но рассылающие спам могут отказываться его использовать из-за высокой стоимости жалоб. Это может быть не бесплатным номером, но рассылающие спам могут отказываться его использовать из-за более низкой скорости ответа. В качестве альтернативы им может быть URL (например, http://www.spamcorp.com/buyenlarger.htm). Такой URL может быть встроенным в изображение, чтобы делать его более затруднительным для выявления фильтрами и/или программным обеспечением. Однако рассылающие спам пользователи могут отказываться делать это, поскольку от пользователя потребуется впечатать URL на своем браузере, что может снизить скорости реакции (ответа).

Наиболее вероятными путями установления контакта с рассылающими спам пользователями являются вложенные ссылки или внедрение адресов электронной почты некоторого вида. Например, "щелкните здесь, чтобы узнать больше”, в котором "щелкните здесь" содержит ссылку к определенной web-странице, которую система машинного обучения может выявить и использовать в соответствии с одним аспектом настоящего изобретения. Подобным образом адрес, по которому нужно отвечать (например, обычно адрес "from" ("отправитель"), но иногда адрес "reply-to" ("ответить по"), если таковой есть), или любой вложенный mailto: ссылки (ссылки, которые позволяют послать сообщение электронной почты, щелкая по ссылке), или любые другие вложенные адреса электронной почты. Дополнительно, рассылающие спам пользователи обычно включают в сообщения изображения. Поскольку многократная отправка по электронной почте больших по размерам изображений является дорогой, то рассылающие спам пользователи обычно встраивают только специальную ссылку на изображение, которое побуждает загрузку изображения. Местоположения, на который указывают такие ссылки, также могут быть использованы в качестве признаков.

Относительно информации, извлекаемой из почтового адреса типа "from", почтового адреса reply-to, вложенных адресов mailto:, внешних ссылок и ссылок на внешние изображения, по меньшей мере часть такой информации может быть использована для системы машинного обучения в качестве признака, с которым ассоциируют вес или вероятность; или информация может быть добавлена к перечню. Например, можно сохранять перечни IP-адресов или адресов, от которых посылают только спам, или только хорошую почту, или хорошую более чем на 90% почту и т.д.. Факт, что конкретная ссылка или адрес находятся в таком перечне, может быть использован либо в качестве признака для системы машинного обучения, либо в качестве части любой другой системы фильтрации спама, или в обоих вариантах.

Изобретение обеспечивает систему и способ, которые содействуют идентификации замаскированных сообщений спама посредством исследования конкретных частей сообщений. Более конкретно настоящее изобретение включает в себя обработку сообщения, такого как электронная почта (email), для того, чтобы выделить (извлечь) данные об источнике и/или адресате, чтобы отличать сообщения спама от законных сообщений. Обработка включает в себя различные способы идентификации и анализа информации IP-адреса, информации адреса электронной почты и/или информации об унифицированном указателе информационного ресурса (УУИР, URL) и ассоциации извлеченных данных с признаками спама (например, хороший пользователь против плохого пользователя или хороший отправитель против плохого отправителя). Плохой пользователь или плохой отправитель могут рассматриваться, например, в качестве рассылающего спам пользователя (например, того, кто посылает спам).

Извлеченные данные, или по меньшей мере их часть, могут быть использованы для формирования наборов признаков для систем машинного обучения. Способы машинного обучения исследует содержимое сообщений, чтобы определить, являются ли сообщения спамом. Рассылающие спам пользователи могут запутывать (скрывать) большую часть содержимого сообщений, например, помещая большую часть своей информации в трудных для обработки изображениях. Однако источник сообщения не может быть полностью замаскирован, поскольку рассылающие спам пользователи должны предусмотреть некоторый способ получателю для легкого установления связи с ними. Примеры подобного включают в себя использование ссылки (например, URL) и/или адреса электронной почты (например, IP-адреса). Такие типы информации или их разновидности, или их части, могут быть использованы в качестве признаков для детектора спама. В частности, информация может быть использована, чтобы обучить детектор спама и/или фильтр спама посредством, например, системы машинного обучения.

Настоящее изобретение также может быть совместным (интегрированным) с системами, предназначенными для контроля со стороны родителей, или системами родительского контроля. Системы родительского контроля могут уведомлять пользователя, что сообщение является несоответствующим, и могут также указывать причину для такого несоответствия, например, "заключает в себе порнографический материал". В соответствии с одним аспектом настоящего изобретения один или несколько извлеченных и нормализованных признаков (например, URL) могут быть пропущены через систему родительского контроля или фильтр для того, чтобы получить классификацию системы родительского контроля. Такая классификация может быть использована в качестве дополнительного признака для системы машинного обучения, чтобы содействовать созданию и/или усовершенствованию фильтров спама.

Кроме того, извлеченные признаки могут быть классифицированы по типу (разбиты на категории), могут быть взвешенными в соответствии со степенью бесполезности и могут быть обозначены либо как положительный (например, более вероятно, что не спам), либо отрицательный (например, более вероятно, что является спамом) признаки. Признаки могут быть использованы также, чтобы создать перечни, такие как перечни нерассылающих спам и перечни рассылающих спам пользователей, например.

Для решения вышеупомянутых и связанных задач некоторые иллюстративные аспекты настоящего изобретения описаны в настоящем документе в связи с нижеследующим описанием и прилагаемыми чертежами. Эти аспекты показывают, однако, лишь несколько из различных способов, которыми принципы изобретения могут быть применены, и настоящее изобретение подразумевает включение всех таких аспектов и их эквивалентов. Другие преимущества и новые признаки изобретения могут стать очевидными из нижеследующего подробного описания изобретения при рассмотрении вместе с чертежами.

Краткое описание чертежей

Фиг.1 - укрупненная блок-схема системы, содействующей предотвращению спама в соответствии с аспектом настоящего изобретения.

Фиг.2 - блок-схема системы, содействующей предотвращению спам посредством извлечения одного или нескольких признаков из входящих сообщений в соответствии с аспектом настоящего изобретения.

Фиг.3 - схематическое представление множества признаков, которые могут быть извлечены из IP-адреса в соответствии с аспектом настоящего изобретения.

Фиг.4 - схематическое представление множества признаков, которые могут быть извлечены из ПДИМ (FQDN) в соответствии с аспектом настоящего изобретения.

Фиг.5 - схематическое представление множества признаков, которые могут быть извлечены из адреса электронной почты в соответствии с аспектом настоящего изобретения.

Фиг.6 - схематическое представление множества признаков, которые могут быть извлечены из URL или адреса сети в соответствии с аспектом настоящего изобретения.

Фиг.7 - схема последовательности операций примерного способа в связи с обучающимися фильтрами в соответствии с аспектом настоящего изобретения.

Фиг.8 - схема последовательности операций примерного способа в связи с использованием обученного фильтра в соответствии с аспектом настоящего изобретения.

Фиг.9 - схема последовательности операций примерного способа в связи с созданием перечней в соответствии с аспектом настоящего изобретения.

Фиг.10 - схема последовательности операций примерного способа в связи с использованием перечней для обучения фильтров в соответствии с аспектом настоящего изобретения.

Фиг.11 - схема последовательности операций способа, упомянутого в способах по меньшей мере на фиг.7 и 8 в соответствии с аспектом настоящего изобретения.

Фиг.12 - схема последовательности операций способа, который содействует различению между законным и поддельным IP-адресами "received-from" в соответствии с аспектом настоящего изобретения.

Фиг.13 - схема последовательности операций способа, который включает систему родительского контроля в формирование и/или извлечение признаков из входящих сообщений в соответствии с аспектом настоящего изобретения.

Фиг.14 - схема последовательности операций способа, который содействует созданию наборов признаков, подлежащих использованию в системе машинного обучения в соответствии с аспектом настоящего изобретения.

Фиг.15 - примерная среда для осуществления различных аспектов настоящего изобретения.

Подробное описание изобретения

Настоящее изобретение ниже описано со ссылкой на чертежи, на которых используют сходные ссылочные позиции, чтобы обращаться к подобным элементам по всему документу. В нижеследующем описании для целей объяснения сформулированы многочисленные конкретные подробности для того, чтобы обеспечить полное понимание настоящего изобретения. Однако очевидно, что настоящее изобретение может быть осуществлено на практике без этих конкретных подробностей. В других отдельных примерах хорошо известные структуры и устройства показаны в виде блок-схем, чтобы облегчить описание настоящего изобретения.

Как использовано в данной заявке, термины "компонент" и "система" предназначены, чтобы обозначать относящийся к компьютеру элемент либо аппаратных средств, комбинации аппаратных средств и программного обеспечения, программного обеспечения, либо программного обеспечения на стадии исполнения. Например, компонент может быть, но не ограничен ими: процессом, исполняющимся на процессоре, процессором, объектом, исполняемым файлом, потоком (под-процессом) управления, программой и/или компьютером. В качестве иллюстрации, как исполняющееся на сервере приложение, так и сервер могут быть компонентами. Один или несколько компонентов могут постоянно находиться внутри процесса и/или потока управления, и компонент может находиться на одном компьютере и/или быть распределенным между двумя или несколькими компьютерами.

Предмет изобретения может включать в себя различные схемы и/или способы логического вывода в связи с формированием обучающих данных для машинно-обучаемой фильтрации спам. Используемый в настоящем документе термин "логический вывод" в целом обозначает способ рассуждения о состоянии или умозаключения о состоянии системы, среды и/или пользователя, исходя из набора наблюдений, зафиксированных посредством событий и/или данных. Логический вывод может быть использован для того, чтобы идентифицировать конкретный контекст или действие, или может формировать распределение вероятностей по состояниям, например. Логический вывод может быть вероятностным, то есть вычисление распределения вероятностей по представляющим интерес состояниям, осуществляемое на основании рассмотрения данных и событий. Логический вывод может также ссылаться на способы, используемые для создания событий более высокого уровня из набора событий и/или данных. Такой логический вывод имеет результатом создание новых событий или действий из набора наблюдаемых событий и/или сохраненных данных о событиях, являются ли события или не являются коррелированными по временной близости, и поступают ли события и данные из одного или из нескольких источников событий и данных.

Должен быть оценен факт, что хотя термин «сообщение» широко используют по всему описанию, этот термин не ограничен электронной почтой как таковой, но может быть соответственно приспособлен, чтобы включать в себя электронную передачу сообщений в любой форме, которую можно рассылать (распространять) по любой подходящей архитектуре связи. Например, приложения конференц-связи, которые содействуют конференции между двумя или несколькими людьми (например, программы интерактивного обмена текстовыми сообщениями (чат) и программы передачи мгновенных сообщений) также могут использовать преимущества фильтрации, раскрытые в настоящем документе, поскольку нежелательный текст может с помощью электронных средств вставлен в промежутки между нормальными сообщениями при обмене текстовыми сообщениями по мере того, как пользователи обмениваются сообщениями и/или вставлен в качестве начального сообщения, заключительного сообщения или всех из вышеуказанных. В данной конкретной заявке фильтр может быть обучен для автоматического фильтрования конкретного содержимого сообщения (текста и изображений) для того, чтобы фиксировать (собирать) и помечать как спам нежелательное содержимое (например, передачи рекламы, продвижения товаров или объявления).

В объекте изобретения термин "получатель" обозначает адресата элемента входящего сообщения или почты. Термин "пользователь" может обозначать получателя или отправителя в зависимости от контекста. Например, "пользователь" может относиться к пользователю электронной почты, который посылает спам, и/или "пользователь" может относиться к получателю электронной почты, который принимает спам, в зависимости от контекста и применения термина.

Адрес (IP) по протоколу Интернет является 32-битовым числом, обычно представляющим машину в сети интернет. Данные числа используют при обмене сообщениями между двумя машинами. Они обычно представлены в форме(ате) "xxx.xxx.xxx.xxx", причем значение каждого xxx находится между 0 и 255. К сожалению, IP-адреса трудны для запоминания. Вследствие этого были созданы соглашения "имя домена" и "имя главной машины" ("имя хоста"). "Имя домена" является именем группы машин в сети интернет (возможно, одиночной машины), и обычно имеет формат "x.com", или "y.edu", или "courts.wa.gov".

Полное доменное имя машины (ПДИМ, FQDN) означает конкретную машину в сети интернет, например, "b.x.com" или "c.y.edu" или "www.courts.wa.gov"; доменной частью имени являются "x.com" или "y.edu" или "courts.wa.gox" соответственно. Части "b", "c" и "www" соответственно называют частью ПДИМ, относящейся к имени хоста (главной машины). В общем случае IP-адрес может использоваться в любой ситуации, в которой может быть использовано имя домена (например, "DN/IP" указывает, что существуют обе возможности). В общем случае может использоваться также IP-адрес в любой ситуации, в которой может быть использован ПДИМ (например, "FQDN/IP", указывает, что существуют обе возможности). Адрес электронной почты состоит из пользовательского имени и имени домена или IP-адреса (DN/IP), например, "a@x.com” или "a@l.2.3.4". В обоих примерах пользовательским именем является "a".

Унифицированные указатели информационного ресурса (УУИР, URL) обычно имеют формат "имя службы:FQDN/IP/url-маршрут". Например, "http://www.microsoft.com/windows/help.htm” является URL. Часть "http" является именем службы. Часть "www.microsoft.com" является ПДИМ, и "windows/help.htm" является URL-маршрутом (путем). Это является некоторым упрощением URL, но достаточно для настоящего обсуждения.

Обращаясь теперь к фиг.1, на ней проиллюстрированы основная блок-схема извлечения признаков и обучающая система 100 в соответствии с аспектом настоящего изобретения. Извлечение признаков и обучающая система 100 включают в себя обработку входящих сообщений 110 для того, чтобы извлечь данные или признаки из сообщений. Такие признаки могут быть извлечены по меньшей мере из части информации об источнике и/или адресате, поставляемой в сообщении и/или его разновидностях. В частности, одно или несколько входящих сообщений 110 могут быть приняты системой 100 посредством компонента 120 приема сообщений. Компонент 120 приема сообщений может быть размещен на сервере электронной почты или сервере сообщений, например, чтобы получать входящие сообщения 110. Хотя некоторые сообщения (например, по меньшей мере одно) могут быть уязвимы для существующего фильтра (например, фильтров спама, ненужной почты, родительского контроля) и таким образом направлены в папки для мусорной корзины или ненужной почты, по меньшей мере часть данных об источнике и/или адресата может быть извлечена и раскрыта для использования в связи с системой машинного обучения или с наполнением перечня признаков.

Компонент 120 приема сообщений может передавать входящие сообщения, или их поднабор, на компонент 130 извлечения признаков. Компонент 130 извлечения признаков может извлекать данные из соответствующих сообщений 110, чтобы формировать наборы признаков для содействия обучению фильтра и в конечном счете обнаружению спама. Данные или признаки, извлеченные из сообщений, относятся к информации об источнике и/или адресате, найденной и/или вложенной в них (в сообщения). Примеры данных или признаков включают в себя IP-адрес «принято от» (received-from), адрес электронной почты «ответить по» (reply-to), адрес электронной почты "cc" (например, копии), адресы URL различных видов (включая ссылки на основе текста, ссылки на основе изображения, и URL или его части в текстовой форме), подлежащий оплате номер телефона (например, в частности, междугородный код, или код зоны), не подлежащий оплате номер телефона, адрес электронной почты в форме ссылки "mailto:", адрес электронной почты в текстовой форме, ПДИМ в команде HELO протокола SMTP (простой протокол электронной почты), адрес MAIL FROM/адрес пути возврата протокола SMTP и/или по меньшей мере часть любого из вышеупомянутых.

Компонент 130 извлечения признаков может выполнять любое подходящее количество обработок, чтобы извлечь различные наборы признаков из сообщения 110 для последующего использования в системах машинного обучения. В дополнение, или в качестве альтернативы, наборы признаков могут быть использованы для наполнения перечней для других способов обучения фильтра.

Имена ПДИМ, такие как a.x.com, например, могут быть преобразованы в номера (числа), обычно обозначаемые как IP-адрес. IP-адрес обычно рассматривают в формате с разделением десятичной точкой, включающим четыре блока номеров. Каждый блок отделен точкой или десятичной точкой, и каждый блок номеров может иметь значения (быть в диапазоне) от 0 до 255, причем каждое изменение номера соответствует различному имени в сети интернет. Например, a.x.com можно преобразовать в 123.124.125.126, тогда как 121.124.125.126 может представлять qrstuv.com. Поскольку номера не так легко распознаваемы или незабываемы как слова, то к IP-адресам обычно обращаются по их соответствующим именам ПДИМ. Тот же IP-адрес в точечном десятичном формате может быть выражен также в дополнительных форматах, которые будут обсуждены ниже.

В соответствии с одним аспектом предмета изобретения компонент 130 извлечения признаков может сосредоточиться на IP-адрес(ах) "received-from", включенных в сообщение 110. IP-адрес "received-from" (принято от) основан, по меньшей мере частично, на IP информации "received-from". Обычно почту, посылаемую по Интернет, транспортируют от сервера к серверу, вовлекая одновременно только два сервера (например, отправителя и получателя). Хотя в более редких случаях клиент может осуществлять посылку непосредственно на сервер. В некоторых случаях может быть вовлечено значительно большее количество серверов, поскольку почту или сообщения посылают от одного сервера на другой вследствие присутствия, например, межсетевых защит, или брандмауэров. В частности, некоторые серверы могут быть размещены во внутренней части брандмауэра и таким образом могут взаимодействовать только с назначенными серверами на другой стороне брандмауэра. Это вызывает увеличение количества пересылок (или "прыжков"), которые сообщение делает, чтобы добраться от отправителя к получателю. Строки, содержащие IP-адреса "received-from", облегчают отслеживание маршрута сообщения для того, чтобы установить, откуда сообщение прибыло.

По мере перемещения сообщения 110 от сервера к серверу каждый сервер, с которым осуществляют контакт, добавляет к началу идентификационную информацию IP-адреса, от которого принято сообщение, к полю "received-from" (то есть к полю "Received:" (принято)) этого сообщения, а также имя предполагаемого ПДИМ (для) сервера, с которым (он) общается. Данное имя ПДИМ принимающему серверу сообщает сервер-отправитель посредством команды HELO протокола SMTP и таким образом оно не может быть доверительным (надежным), если сервер-отправитель находится вне предприятия. Например, сообщение может иметь пять строк "received from" с 5 IP-адресами и добавленными к началу именами ПДИМ, таким образом указывая, что оно прошло через шесть различных серверов (то есть пересылалось 5 раз), со строками в порядке, обратном тому, в котором они были добавлены к началу (то есть самая последняя является первой). Однако каждый сервер имеет возможность изменить любые нижележащие (добавленные к началу ранее) строки. Это может быть, в частности, трудным особенно тогда, когда сообщение перемещалось между множеством серверов. Поскольку каждый промежуточный сервер способен к изменению любых записанных ранее (ниже) строк "received-from", то рассылающие спам пользователи могут добавить к началу ложные IP-адреса к строкам "received-from" сообщения, чтобы маскировать IP-информацию "received-from" или отправителя сообщения-спама. Например, сообщение спам может первоначально появляться, как будто оно было послано от доверительного domain.com, таким образом искажая для получателя истинный источник сообщения.

Для программного обеспечения спама важно легко идентифицировать IP-адрес, внешний для предприятия, с которого посылают серверу внутри предприятия. Поскольку этот IP-адрес записан сервером-получателем, внутренним для предприятия, то ему можно доверять как корректному IP-адресу. Все другие IP-адреса вне предприятия не могут быть доверительными, так как они были записаны серверами, находящимися вне предприятия, и таким образом возможно изменены. Может быть много IP-адресов серверов-отправителей, включенных в маршрут к предприятию получателя, но поскольку только один может быть доверительным, то обозначим этот единственный заслуживающий доверия как IP-адрес "отправителя".

Один способ найти IP-адрес такого отправителя для программного обеспечения, предназначенного для фильтрации спама, состоит в том, чтобы узнать конфигурации серверов электронной почты на предприятии. В общем, если известно, какие машины передают к каким другим машинам в каких ситуациях, то можно определить IP-адрес отправителя. Однако может быть не удобно описать конфигурацию сервера, особенно для программного обеспечения фильтрации спама, которое установлено на клиентах электронной почты. Альтернативный подход включает в себя использование почтовых записей ОПК (обмен почтовой корреспонденцией, ОПК, MX) для обнаружения истинного источника сообщения. ОПК записывает для каждого имени домена перечень имен ПДИМ получателей электронной почты для данного домена. Можно прослеживать в обратном порядке перечень "received from", пока не будет найден IP-адрес, который соответствует ПДИМ, соответствующему элементу в записи ОПК для домена. IP-адрес адресует, что "received from" данной машины является IP-адресом отправителя. Представим, что 1.2.3.101 является единственной записью ОПК для x.com. Тогда, найдя строку, с "received from", соответствующим 1.2.3.101, можно узнать, что следующая строка соответствует серверу входящей электронной почты для x.com, и таким образом IP-адрес в этой строке соответствует IP-адресу, который посылал на x.com.

Таблица ниже изображает примерный анализ определения истинного источника сообщения, как обсуждено выше:

Строка	Комментарий
Received: from a.x.com ([1.2.3.100]) by b.x.com Tue, 22 Apr 2003 13:11:48 -7000	Внутренний для x.com
Received: from mailserver.x.com ([1.2.3.101]) by b.x.com Tue, 22 Apr 2003 12:11:48 -0700	1.2.3.101 является записью ОПК для x.com, так что известно, что следующая строка является первой внутренней для x.com
Received: from outside.com ([4.5.6.7]) by mailserver.x.com Tue, 22 Apr 2003 11:11:48 -0700	Это когда x.com принято сообщение: это последняя доверительная строка. Использовать 4.5.6.7 в качестве IP-адреса отправителя.
Received: from trustedsender.com([8.9.10.11])by outside.com. Tue, 22 Apr 2003 10:11:48 -0700	Данная строка может быть ложной, созданной сервером с адресом 4.5.6.7

В настоящее время нет принятого стандарта для спецификации серверов исходящей электронной почты, и данная эвристика может потерпеть неудачу, если, например, IP-адреса, внутренние для предприятия, являются отличными от внешних для предприятия, или если предприятие посылает косвенно электронную почту от одной машины, входящей в перечень записи ОПК, на другую машину, входящую в перечень записи ОПК. Дополнительно, в специальном случае, когда обнаруживают, что IP отправителя, как определено выше, является внутренним для предприятия, как может случаться, если одна машина, находящаяся в записи ОПК, осуществляет посылку на другую, находящуюся в записи ОПК, обработку продолжают, как выше указано. В дополнение, некоторые IP-адреса могут быть выявлены как внутренние (поскольку они имеют форму 10.x.y.z или 172.16.y.z до 172.31.y.z или 192.168.0.z до 192.168.255.z, форма, используемая только для внутренних IP-адресов); любой адрес, являющийся внутренним для предприятия, может быть доверительным. В заключение если строка "received from" имеет форму "Received from a.x.com [1.2.3.100]" и просмотр IP-адреса a.x.com вырабатывает 1.2.3.100 или обратный поиск IP-адреса 1.2.3.100 вырабатывает a.x.com и если x.com является данным предприятием, то следующая строка может также быть доверительной.

Используя эти замечания, обычно возможно найти IP-адрес отправителя. Примерный псевдокод является нижеследующим:

bool fFoundHostInMX;

if (внешний IP-адрес записи ОПК совпадает со внутренним IP-адресом записей ОПК)

{

fFoundHostInMX - FALSE; # его стоит искать } else {

fFoundHostInMX = TRUE; # его не стоит искать, считаем (претендуем), что его уже нашли

}

для каждой строки received from, имеющей форму Received from a.b.c [i.j.k.l] {

если i.j.k.l в записях MXдомена получателя

{

fFoundHostInMX - TRUE;

продолжить;

}

если не fFoundHostInMX

{

# Еще не разобрали запись ОПК, должно быть внутренним

продолжить;

}

если i.j.k.l в форме

10.x.y.z или

172.16.y.z до 172.31.y.z или

192.168.0.z до 192.168.255.z

{

# Должно быть внутренним

продолжить;

}

если просмотр DNS для a.b.c вырабатывает i.j.k.l и d.b.c является доменом получателя

{

# Должно быть внутренним

продолжить;

}

Вывести предполагаемый ПДИМ отправителя a.b.c и действительный IP-адрес отправителя i.j.k.k

}

Если пришли сюда, то Ошибка: нет возможности идентифицировать предполагаемый ПДИМ отправителя и действительный IP-адрес отправителя.

Многое может быть сделано с IP-адресом отправителя, как с другими признаками источника и адресата. Во-первых, они могут быть добавлены к перечню постоянно плохих отправителей, в некоторых вариантах известного в качестве Черного Списка. Черные Списки могут быть использованы впоследствии для фильтрования, блокирования или переадресации ненадежных сообщений к соответствующей папке или местоположению, на котором они могут быть дополнительно исследованы.

Другие типы перечней также могут быть сформированы и реализованы в качестве фильтров как в архитектуре (на основе) клиента, так и архитектуре (на основе) сервера. В архитектуре клиента пользователь может информировать клиентское программное обеспечение электронной почты о том, от кого он должен принимать электронную почту (например, перечни адресов электронной почты (список рассылки), отдельные личности, и т.д.). Перечень записей, соответствующих доверительным адресам электронной почты, может быть сформирован пользователем либо вручную, либо автоматически. Соответственно, представим себе, что отправитель, имеющий адрес электронной почты “b@zyx.com”, посылает пользователю сообщение электронной почты. Адрес b@zyx.com электронной почты отправителя содержит пользовательское имя, “b” и FQDN/IP “zyx.com". Если клиент принимает входящее сообщение 110 от отправителя (b@zyx.com), то он может осуществлять поиск адреса электронной почты пользователя в перечне доверительных отправителей для того, чтобы определить, указан ли пользователь "b@zyx.com" в качестве действительного и доверительного адреса. Для архитектур сервера перечни могут быть размещены непосредственно на сервере. Следовательно, поскольку сообщения поступают на сервер сообщений, их соответствующие признаки (например, IP-адрес отправителя, имя (ена) домена в полях MAIL FROM или HELO и другая информация об источнике и/или адресате) можно сравнивать с перечнями, размещенными на сервере сообщений. Сообщения, которые определены, что будут от допустимых отправителей, могут быть доставлены намеченным получателям в соответствии с протоколами доставки либо на основе клиента, либо на основе сервера. Однако сообщения, определенные для того, чтобы включать признаки источника или адресата в перечни сомнительных или плохих признаков, могут быть перемещены в спам или в папку ненужной электронной почты для сбрасывания или обработаны иным образом специально.

В качестве альтернативы к наполнению перечней признаков доверительных или плохих источников признаки источника отправителя (например, IP-адрес, предполагаемый адрес "From" (от)) могут быть извлечены в качестве одного или нескольких признаков и использоваться позднее в связи со способами машинного обучения для того, чтобы сформировать и/или обучить фильтр.

IP-адрес может быть получен из адреса электронной почты (например, поиском IP по ПДИМ в адресе отправителя или в адресе "reply-to" (ответить:)) в любой части заголовка сообщения или из поиска IP-адреса в части имени домена в ссылке URL, вложенной в тело сообщения, или непосредственно из IP-адреса, если он встречается как часть, соответствующая FQDN/IP, в URL. Кроме того, как будет описано далее, IP-адрес имеет несколько атрибутов, каждый из которых может быть использован в качестве признака системы машинного обучения или в качестве элемента в заполненном пользователем перечне. Таким образом, во втором подходе компонент 130 извлечения признаков может использовать многие подчасти IP-адреса(ов), чтобы сформировать дополнительные признаки.

Любая комбинация признаков, как описано выше, может быть извлечена из каждого входящего сообщения 110. Сообщения могут быть выбраны случайно, автоматически и/или вручную для того, чтобы участвовать в извлечении признаков, хотя обычно все сообщения могут быть использованы. Извлеченные наборы признаков впоследствии применяют к компоненту 140 обучения фильтра, такому как системы машинного обучения или любая другая система, которая создает и/или обучает фильтры 150, такие как фильтры спама.

Что касается фиг.2, то на ней проиллюстрирована система 200 извлечения признаков, которая содействует раскрытию или нормализации одного или нескольких признаков входящего сообщения 210 в соответствии с одним аспектом настоящего изобретения. В конечном счете фильтр(ы) может быть создан на основании, по меньшей мере частично, одного или нескольких нормализованных признаках. Система 200 содержит компонент 220 экстрактора признака, который принимает входящее сообщение 210 либо непосредственно, как показано, либо косвенно в качестве получателя сообщения (фиг.1), например. Входящие сообщения, выбранные для извлечения признаков, или участвующие в извлечении признаков, в соответствии с пользовательскими предпочтениями могут быть подвергнуты системе 200. В качестве альтернативы, по существу, все входящие сообщения могут быть доступны для извлечения признаков и участвовать в извлечении признаков.

Извлечение признаков включает в себя извлечение (вытягивание) одного или нескольких признаков 230 (упомянутых также как FEATURE₁ 232, FEATURE₂ 234, и FEATURE_M 236, причем М является целым числом, большим или равным единице), ассоциированных с информацией об источнике и/или адресате из сообщения 210. Информация об источнике может относиться к элементам, указывающим отправителя сообщения, а также серверные доменные имена (доменов сервера) и относящуюся к идентификации информацию, которая указывает, откуда прибыло сообщение. Информация адресата может относиться к элементам сообщения, указывающим, кому или