Как защитить свой сайт от накрутки и скликивания рекламы

Приветствую! С приходом пандемии, ростом цен, отсутствием прямой финансовой помощи населению и бизнесу в нашу страну пришли тёмные времена. Когда максимально активизируются мошенники и преступники, жульё лезет откуда только можно, вырастает преступность, не только на улице, но и в сети. Веб сектор тоже не остался без внимания, резко участились скликивания рекламы и накрутка негативных поведенческих факторов, что бы насолить конкурентам.

Портить показатели конкурентов такими способами начали довольно давно, но основной прирост накрутки, как массового явления, начинается с 2018 года. Именно тогда начались более серьезные обсуждения на тематических форумах. А в 2020 и 2021 году произошел реальный всплеск, так как гонка ведется практически за каждую копейку. Никто не готов вкладывать средства в SEO, когда за окном бушует пандемия, да и зачем особо напрягаться, если есть способы попроще, пусть и преступные.

В свою очередь, Яндекс и Google особо не торопятся помогать веб мастерам, немного со своей логикой. А зачем? Ведь намного проще списывать недействительные клики в течении каждого дня, а в конце месяца и того круче - списать 50-60% дохода вебмастера от контекстной рекламы, без пояснения причин.  Да и потеря позиций и органического трафика приятно повышает спрос на заказ контекстной рекламы.

Для владельцев веб сайтов бизнес направления все тоже очень печально складывается. От негативной накрутки, значительно проседает трафик и значительная потеря позиций в поисковой выдаче. Можно представить какие это значительные потери, например, для интернет магазина, у которого все покупки идут из сети.

И пока мы не полезли в дебри, стоит задуматься: "А чем может быть выгодна поисковым гигантам такая ситуация?". Думаю, что вам в голову тоже сразу пришла такая же мысль: "Это принуждение еще большего количества ресурсов к платному рекламированию своих сайтов". И именно поэтому ни Яндекс, ни Google до сих пор совершенно никак не реагируют, хотя обсуждениями таких проблем завалено пол рунета, от постов в социальных сетях и блогов до очень популярных форумов, посвященных SEO тематике и вебразработке.

И так как помощи нам с вами ждать не откуда, давайте разбираться с этим вопросом самостоятельно.

Как определить негативную накрутку на сайт

  • Резко вырос объём кликов по контекстной рекламе;
  • Резкий рост прямых заходов на сайт с низким показателем отказов. И тут есть тоже замечательный подвох, так как многие просмотры в приложениях Viber, Telegram, Gmail и прочих без перехода в браузер, в статистике так же отображаются как "Прямые заходы", подробно об этом можно прочитать перейдя по ссылке;
  • Резкий рост прямых заходов на сайт с высоким показателем отказов;
  • Плавное замещение поискового трафика прямыми заходами;
  • Рост поискового трафика из московского региона без каких-либо причин на это;
  • Выросло количество сессий по 0–15 секунд с однотипным поведением в вебвизоре Яндекс.Метрики;
  • Было много сессий с долгим пребыванием пользователей на сайте, от 1,5 до 15 минут, но при этом 99% времени — бездействие и судорожное перемещение курсора;
  • Прямая накрутка — на сайт идет прямой трафик, все сессии обычно 0–10 секунд, самый распространенный тип накрутки.
  • Переходы по фразам из поисковых систем — вводят ключевое слово в строку поиска, ищут ваш сайт, кликают, проводят 0–10 секунд, возвращаются обратную в поисковую выдачу. CTR вашего сайта на поиске падает, у конкурентов растёт, ваш сайт уходит в закат.
  • Переходы с других сайтов на ваш сайт — бот или реальный человек заходит на ваш сайт по ссылке с другого сайта и сразу возвращается обратно.
  • И тп.

И вроде какие-то показатели незначительно изменились, да и трафик подрос, надо вроде как радоваться. Но если детально посмотреть сессии, на самом деле всё плохо. Всё это негативно сказывается на поисковом трафике, он будет падать или как минимум не расти. +100 сессий в день с типом накрутки: прямая, переход по фразе из поисковых систем, переход с других сайтов, обвалят поисковых трафик через 1–2 суток. А при бездействии в течение 2–3 недель будет фильтр от Google и «Яндекс», придётся менять домен.

Какой тип накрутки будет именно у вас, зависит только от навыков и воображения злоумышленников, а так же бюджета, который готовы выложить на понижение позиций вашего ресурса. Тут не угадаешь, вполне вероятно, что может быть и микс из всех вышеперечисленных показателей.

Как происходит накрутка

Методов и инструментов много, некоторые хитрые, запутанные и трудно определяемые. Есть и попроще, например, Сервисы типа «Юзератора» и прочих, которые представлены в рунете, — это просто безобидная детская погремушка, которая блокируется на раз.

Чего далеко ходить, предложения о покупке скриптов и программ для накрутке свободно можно найти в сети, а если ваш Email адрес попал в какую нибудь популярную базу рассылок, то предложения вам будут и по электронной почте прилетать, ну если не вам, то вашим конкурентам.

Кстати, если вы думаете что накрутку обязательно заказывает против вас кто-то со стороны, то это не совсем верно. Не редко можно стать жертвой мошенников, которые предлагают SEO продвижение, если вы используете наемный труд. Так как мошенники практически ничего не меняют, а лишь создают видимость активности, то для того, чтоб предоставить результат своих трудов, они вполне могут прибегать к таким методам.

Способы борьбы с накруткой и скликиванием

На самом деле выбор способов не велик.

Способ первый - облачная защита Cloudflare

Он отслеживает часто повторяющиеся подозрительные заходы и IP, сравнивает их со спам базой, помечает их и выдает им перед посещением сайта заглушку на 5-15 секунд. Если IP совсем заспамленный, то доступ для него будет ограничен. На Cloudflare можно создать бесплатный аккаунт и с помощью него уже начать пробовать бороться. Но стоит заметить, что на бесплатном аккаунте вы далеко не продвинетесь, так как большая часть ботов накрутки замечательно проходят эту проверку, а вычислять и блокировать программно спам IP Cloudflare не торопится. Но попробовать конечно стоит, если есть возможность, то можете оформить и платный тариф.

Настроек на сервисе очень много, я вам опишу те, что нужно сделать первыми обязательно.

После регистрации домена в сети Cloudflare вам будут выделены DNS адреса, которые вам нужно будет прописать вместо DNS хостинга.

Второе. В пункте "Under Attack Mode" поставьте уровень защиты, на первое время можно поставить "I am Under Attack" или "High" - это поможет сервису более оперативно проводит сравнения на спам и просчеты - блокировать злоумышленников, а так же отбить Ddos атаку если таковая имеется.

screenshot 2021 08 03 at 19 57 42 ddr5 ru account cloudflare web performance security
Полностью весь сервис расписывать я не буду, так как там очень сложные настройки и не все они подойдут в любом случае.

Что еще интересного узнал при регистрации и настройке сервиса - это то, что он делает полное кеширование вашего сайта, может снизить вес файлов HTML и CSS своими средствами и все в таком духе. Важно, что даже если ваш сайт умер по какой-то причине и не доступен, то пользователи по прежнему будут получать ваши страницы из кеша. Насколько круто эта функция работает на бесплатном аккаунте не знаю, может он в чем-то и ограничен, но главное, что такой функционал даже на бесплатном есть.

В моем случае сервис оказался бесполезным, боты проверку сервиса свободно проходят. Возможно, для принятия мер нужно больше времени и аналитики, но сколько же ждать можно.Я решил перейти сразу к опробованному и рабочему способу - к ручной блокировке по IP.

Способ второй - блокировка спам трафика по IP.

Способ вполне рабочий, но не очень аккуратный, потому что по IP можно закрыть доступ к сайту и нормальным посетителям вашего сайта. Поэтому подходить к анализу и блокировке нужно очень внимательно, вычисляя IP не за один день, а за 2-3 и более, для более точного результата.

Сбор IP адресов посетителей

И вот на этом месте многие из расстроятся) Во всех популярных системах аналитики, таких как: "Google Analytics, Яндекс.Метрика, LiveInternet", IP посетителей скрываются, в целях сохранения конфиденциальной информации пользователя. Поэтому вам прийдется поухищряться, чтобы их получить.

Первый способ: через Google Tag Manager

Заходим в GTM, Tags → New → Custom HTML, добавляем этот скрипт:

<script type="application/javascript"> function getIP(json) { dataLayer.push({"event":"ipEvent","ipAddress" : json.ip}); } </script> <script type="application/javascript" src="https://api.ipify.org?format=jsonp&callback=getIP"></script>

Заходим в Triggers → New → Page View, нажимаем This trigger fires on Some Page Views. Выбираем Referrer → does not contain, вводим адрес своего сайта:

50eb95db 0fb8 c0dd 4764 3e23d577561b

Далее заходим сюда: Navigate to Variables → User-Defined Variables → New → Data Layer Variable. Устанавливаем поле Data Layer Variable Name = ipaddress.

Заходим сюда: Navigate to Triggers → New → Custom Event, вводим имя события ipevent.

Всё готово, переходим в режим предварительного просмотра, там появится запись об IP-адресе.

Второй способ: через сервер(хостинг)

Тут всё зависит от хостинга. Можно собирать данные, включая IP-адреса пользователей из логов сервера. При использовании Apache + nginx можно собирать сессии пользователей, предварительно установив модуль rpaf. Логи можно найти тут: /var/log/apache2/access.log.

Если не знаете где найти логи, то обратитесь в поддержку хостинга, они вам обязательно подскажут.

Для всех у кого не вордпрес, очень советую поискать в сети аналогичное решение для вашей CMS.

Способ для сайтов на WordPress

Владельцам сайтов на движке WordPress в этом случае очень повезло. Уже много лет существует и развивается плагин позволяющий просматривать статистику посещений в административной панели сайта. Причем довольно не плохой уровень аналитики, можно отслеживать регионы, города, страны, посещение страниц, поисковые запросы и многое другое. Для нас же сейчас очень важно, что в нем можно отследить IP мошенников, которым нужно будет заблокировать доступ к ресурсу.

Чтоб преступить к следующему этапу. Заходим в админ панель, скачиваем и настраиваем плагин WP Statistics от Автора: VeronaLabs

screenshot 2021 08 03 at 19 05 06 dobavit plaginy ‹ ddr5 ru — wordpress

После активации и настройке в разделе статистики вы получите большое полотно различных метрик, расположение и отбражение окон можете настраивать по вашему вкусу.

screenshot 2021 08 03 at 19 11 07 obzor ‹ ddr5 ru — wordpress

Оставляем сайт на один или несколько дней, в зависимости от масштаба накрутки, для сбора статистики.

После прохождения некоторого времени, нас интересует окошко: "Топ 10 посетителей". В нем отображаются посещения с одного IP адреса и устройства, которые повторялись наиболее часто за этот период времени.

screenshot 2021 08 03 at 16 50 34 obzor ‹ ddr5 ru — wordpress

Как видно из скриншота одно устройство с одного же IP заходило на сайт 34 раза. Чтобы посмотреть какие страницы посещались переходим в подробную статистику по клику на IP адрес. И сразу становится ясно, что это устройство заходило 34 раза по прямой ссылке на одну и ту же страницу сайта.

screenshot 2021 08 03 at 19 23 17 posetiteli ‹ ddr5 ru — wordpress

Если сильно не парится, то можно было бы его без раздумий блокировать. Более 30 прямых заходов за небольшой промежуток времени - это перебор. Но чтобы подтвердить свои сомнения, мы проверим этот IP на наличие его в СПАМ Базах. Сделать это очень просто с помощью этого сервиса https://2ip.ru/spam/

И таким же способом проверяем все подозрительные IP, которые уже отобрали из статистики.

screenshot 2021 08 03 at 16 51 01 nalichie ip v spam bazah

Все найденные подозрительные и подтвержденные IP обязательно блокируем через файл .htaccess или же с помощью плагина безопасности.

Блокировка IP через файл .htaccess

Повторюсь перед блокировкой тщательно проверяйте все заходы.

Если одно устройство с одного и того же IP адреса многократно(10-20-30 раз и тд) заходит на одну и туже страницу, и при этом IP содержится в спам базах сервиса https://2ip.ru/spam/ , только тогда его блокируйте.

Пример:

<RequireAll>

Require all granted
Require not ip 94.25.168.99
Require not ip 178.176.75.56
Require not ip 178.176.73.173
Require not ip 213.87.149.60
Require not ip 178.176.72.106

</RequireAll>

Этот тип записи аналогичен предыдущему, но IP адреса перечислены в одну строку через пробел:

<RequireAll>

Require all granted
Require not ip 213.167.206.7 195.254.134.242 193.169.145.202

</RequireAll>

Чтобы закрыть доступ к подсети, т.е. для диапазона адресов, можно использовать часть IP адреса:

<RequireAll>

Require all granted
Require not ip 213.167

</RequireAll>

Можно указывать часть IP адреса несколько раз и для каждой подсети будет ограничен доступ:

<RequireAll>

Require all granted
Require not ip 213.167.206
Require not ip 195.254
Require not ip 193

</RequireAll>

Для более точного указания подсетей можно использовать нотацию с маской подсети:

<RequireAll>

Require all granted
Require not ip 10.1.0.0/255.255.0.0

</RequireAll>

Пример блокировки сетей:

<RequireAll>

Require all granted
Require not ip 94.25.168.0/21
Require not ip 178.176.64.0/19
Require not ip 178.176.64.0/19
Require not ip 213.87.128.0/19
Require not ip 178.176.64.0/19

</RequireAll>

Второй способ записи в .htaccess, но имеющий полностью аналогичное назначение - блокировка отдельных IP и сетей:

order allow deny
deny 178.176.73.173
deny 213.87.149.60
deny 94.25.168.0/21
allow from all

Если нужно сеть узнать по определенному IP, то просто делается через сервис https://2ip.ru/whois/

screenshot 2021 08 03 at 20 13 00 informacziya ob ip adrese ili domene

Блокировка IP в Wordfence

Блокировка в Wordfence выглядит таким образом:

screenshot 2021 08 03 at 16 50 17 blocking ‹ firewall ‹ ddr5 ru — wordpress

По сути ничего сложного вбили в одно поле IP в другое причину блокировки. После этого Wordfence всем заблокированным адресам не будет давать доступ на сайт выдавая страницы  403 или 503 ошибки. Таким же способом можно добавить и целые IP сети, но для этого нужно использовать кнопку "Custom Pattern".

Очень важно! Если вы вынуждены прибегнуть к блокировке целых стран и сетей, то эта блокировка должна быть временной, еще лучше кратковременной! Периодически нужно отключать блокировку, проверяя не спала ли активность злоумышленника. Очень часто после нескольких дней блокировки доступных злоумышленнику IP, его пыл утихает и атака сходит практически или полностью на НЕТ.

Блокировка целых стран и сетей на длительное время опасна тем, что вы блокируете доступ не только спам ботам, но и обычным посетителям вашего сайта, что так же совсем не принесет пользы вашему сайту.

Вас могут заинтересовать:

Подписаться
Уведомить о
15 комментариев
Новые
Старые Популярные
Межтекстовые Отзывы
Посмотреть все комментарии