Obninsk.Name

Защита доски объявлений от веб-спама

 /  15 января 2005
• Цели и возможности веб-спамеров
• Способы распознавания веб-спама

1. Определения.

Спамом в статье именуется массовое распространение (как правило, при помощи электронных средств) материалов рекламного или иного характера, получатели которых не давали на то своего прямого либо косвенного согласия. Например, спамом не являются ни реклама в СМИ, ни баннеропоказы, поскольку потребители отдают себе отчёт в том, что рекламная информация прилагается "в нагрузку" к бесплатному (либо более дешёвому, чем мог бы быть) полезному контенту. C другой стороны, спамом вполне является массовое распространение рекламных материалов через факсимильную связь, по обычной почте или в виде расклейки объявлений на не предназначенных для этого поверхностях.

Веб-спамом в статье именуется несанкционированное, автоматизированное, массовое продвижение нарушителем желательного для него контента рекламного характера на чужие веб-ресурсы. Например, генерация и раскрутка веб-страниц, предназначенных для искажения в свою пользу результатов работы чужих поисковых сайтов или рассылка своих рекламных текстов по форумам.

— В настоящей статье рассматривается только одна разновидность веб-спама (он же CommentSpam, он же LinkSpam, он же BlogSpam) — веб-спам по доскам объявлений, а также некоторые способы защиты от него.

:-) Если честно, я пишу эту статью в первую очередь для того, чтобы в процессе написания и обсуждения самому лучше понять, что такое веб-спам и как с ним бороться



2. Цели и возможности веб-спамеров.

Генеральная цель любого спамера — получение денег. Даже рассылка материалов, пропагандирующих какую-либо религиозную идею, в конечном счёте, сводится именно к этому.

Среди промежуточных целей можно выделить следующие:

— Привлечь посетителя на спамерский Интернет-ресурс.

— Заставить его сделать телефонный звонок в спамерскую фирму.

— Заставить его написать спамеру письмо.

— Просто заставить его просмотреть какой-либо текст или изображение.

— Хотя бы опубликовать на чужом ресурсе гиперссылку на свой веб-ресурс, которую прочитают если даже не люди, то хотя бы поисковые роботы.

 :-) — Задолбать модератора премодерируемой доски объявлений до такой степени, чтобы тот прекратил модерить вручную, поставил какуюньдь не слишком надёжную автомодерилку и после этого забил на свою доску, сделав её, таким образом, спамабельной.



Для достижения этих целей веб-спамеры используют как скрипты на веб-серверах, так и программы, устанавливаемые на обычных компьютерах. И те, и другие программные средства могут работать как в полностью автоматическом, так и в автоматизированном режиме. К моменту написания статьи веб-спамеры уже умели:

— Обращаться к скриптам атакуемого ресурса не только методом GET, но и методами POST, HEAD, PUT и т.д.

— Полностью имитировать в запросе заголовки обычных браузеров, анализировать полученный ответ и осуществлять переходы по страницам в той же последовательности, что и обычный пользователь.

— Попеременно использовать для атаки несколько IP-адресов из различных подсетей, в том числе — использовать заражённые компьютеры и веб-сервера.

— Инвалидировать или модифицировать наиболее характерные для спама цепочки символов, такие как "htTp://", ".cOm", "Гep6aлaиф" и т.п.

— Модифицировать тексты рекламных сообщений, начиная от использования нескольких заготовленных текстов и заканчивая перестановкой слов или внедрением в слова лигшних или 3амесчаюших симвлов.

— Обходить графические тесты антиТьюринга как с использованием низкооплачиваемых сотрудников, набирающих коды на клавиатуре, так и "методом порносайта".

:-) "Метод порносайта" заключается в том, что веб-спамер создаёт порнографический, пиратский или просто очень интересный для массового посетителя ресурс, на котором для доступа к контенту нужно (якобы для защиты от личеров) набрать всё ту же угадай-цифирь. Только вместо картинок, сгенерированных собственным рандомайзером, юзеру подсовывается капча, взятая с атакуемого ресурса. Введённые же посетителями (а их на подобных ресурсах бывает по нескольку тысяч в сутки) коды тут же считываются роботами и используются для атаки.



3. Способы распознавания и защиты от веб-спама.

При всём богатстве спамерских арсеналов есть вещи, которые спамеры либо не умеют делать вообще, либо делают крайне неохотно.



Веб-спамеры не могут:



Отказаться от массовости своих рассылок. Это краеугольный и основополагающий принцип любого спама.

 Поэтому интегрированные доски объявлений (далее — ИДО), заключившие партнёрские соглашения со множеством региональных либо тематических досок и собирающие объявления с них, могут использовать байесовы алгоритмы для обнаружения веб-спама даже несмотря на модификации, число которых спамерам нельзя увеличивать до бесконечности без риска получить на выходе совершенно нечитабельный текст.



Обращаться к страницам, скрытым от обычных посетителей, а также читать исходный код скриптов, выполняемых на Вашем ресурсе.

Поэтому партнёры могут использовать мощности ИДО для фильтрации своих объявлений. Размещение объявления делится при этом на 2 этапа, выполняемых двумя разными скриптами. На первом этапе скрипт, открытый для посетителей, считывает объявление и отправляет его входному скрипту ИДО. Через какое-то время второй скрипт, закрытый от всех кроме ИДО, получает назад отфильтрованные объявления и размещает их у себя на сайте. Например, в нашем городе Обнинске такое партнёрство реализовано между ИДО www.obninsk.name/bb.htm и обычными досками объявлений http://mygorod.info/id223.htm, http://pressaobninsk.ru/board/ и http://vperyod.ru/id864.htm



Произвольно фальсифицировать IP-адрес, с которого производится обращение. То есть, скрыть свой IP они, конечно, могут, но вот воспользоваться каким-то определённым, заданным Вами адресом или сеткой адресов — уже нет.

 Поэтому региональные доски объявлений в городах с ограниченным числом Интернет-провайдеров могут использовать "белые списки", в которые заранее вносятся все IP-сетки, относящиеся к их городу, для снижения потерь от ложных срабатываний.



Инвалидировать значимые алфавитно-цифровые последовательности, такие как имена доменов в гиперссылках (после приведения к верхнему либо нижнему регистру) и номера телефонов (после замены всех заглавных "О" на "0", "З" на "3" и удаления лишних скобок и пробелов между цифрами).

 Поэтому даже мелкие доски объявлений могут использовать алгоритмы "чёрных списков", в том числе — дополняемых автоматически при обнаружении часто повторяющихся дубликатов объявлений. Кроме того, региональные доски объявлений могут отсекать веб-спам по телефонным кодам городов-"рассадников спама", не имеющих отношения к их регионам. Например, (495) — Москва, (812) — Санкт-Петербург, (375-17) или (017) — Минск, (044) — Киев и т.д.



:-) Спамеры — это не только досадная помеха, но и полезный трафик. Меняя спамерские гиперссылки ссылками на специально генерируемые страницы Вашего ресурса (с "адресами" вида http://spamer.com@obninsk.name/index.shtml), Вы можете не только поднять количество хитов в статистике, но и изрядно досадить спамерам, про которых посетители теперь будут думать, что "они уже умерли" или хуже того, что "Сайт http://spamer.com закрыт хостинг-провайдером за противоправную мошенническую деятельность и распространение вирусов в сети Интернет". Ещё веселее заменять телефоны одних спамеров телефонами других. Читая возмущённые репорты типа "Я не занимаюсь переездами, я продаю гербалайф!", можно получить немало положительных эмоций. 

Ну и разумеется, не стесняйтесь проверять посетителей, пытающихся разместить у Вас объявление, на способность и желание смотреть Ваши баннеры и крутить счётчики. Дело в том, что спамеры на это идут крайне неохотно, поскольку загрузка баннеров при массовых рассылках увеличивает трафик и уменьшает скорость рассылки. Честные же податели объявлений, я думаю, не должны обижаться на эту проверку. В конце концов, хочешь бесплатно разместить объявление — будь добр и баннер загрузить!

Для проверки можно перенаправить запрос на выдачу изображения, содержащего характерные для баннеров цепочки символов (например, /adv/bannerNNNN.jpg) специальному скрипту, который перед выдачей собственно jpeg-изображения "активизирует" объявление номер NNNN.



13788 просмотров
 Поделиться:  

Последние новости из рубрики «»:



22 января 2020

Соревнования по мотокроссу перенесли из-за отсутствия снега

Соревнования по мотокроссу стали для Обнинска традиционными и проводятся, как правило, дважды в год,...

22 января 2020

Максим Акимов не будет губернатором Калужской области, а возглавит «Почту России»

Буквально еще вчера общественность обсуждала тот факт, что при формировании нового состава правительства,...

21 января 2020

Волнистова не согласилась с высказыванием директора гимназии по поводу выплат

В рамках ежегодного Послания Федеральному Собранию президент Владимир ПУТИН заявил, что считает необходимым...

21 января 2020

Почему главы муниципалитетов отодвигают даты своих отчетов?

Традиционно каждый февраль во всех районах Калужской области проходят отчеты глав муниципальных образований...

20 января 2020

Отправить первоклашку в школу можно не выходя из дома

Начальник управления общего образования в Обнинске Татьяна ВОЛНИСТОВА сообщила, что записать ребенка...

20 января 2020

Обнинская метеомачта засияет всеми цветами радуги

В скором будущем символ наукограда – обнинскую метеомачту – ждут серьезные изменения, она станет ярче,...

Читать все новости

Главные новости

Свежие новости

Самое оценённое

КомментируемоеСамое обсуждаемое