Клоакинг и Защита от ботов

На этой странице вы можете найти общие принципы защиты от ботов и описание некоторого функционала, который может быть использован для защиты от ботов.

Команда Keitaro не проводит регулярные исследования и актуальные наработки в области клоакинга. Базы ботов Keitaro являются общенаправленными и не специализируются на клоакинге таких источников как Facebook или Google, etc. Команда поддержки Keitaro также не дает консультаций по вопросам гарантированного обхода модерации в рекламных источниках.

Защита потоков от ботов

Осуществляется путем использования в потоке фильтра Бот: ДА - принимать ботовый трафик, НЕТ - исключать из потока ботовый трафик. Также вы можете усилить фильтрацию путем добавления фильтров по IP, UserAgent, Провайдер (нужна платная база ISP) и др.

Пул IP адресов и дополнительных сигнатур добавляется как в самом фильтре, так и на странице Обслуживание - Настройки - Боты - Дополнительный список IP/Дополнительный список сигнатур.

Как открывать лендинги с трекера без редиректа?

Для этого нужно использовать локальные лендинги, которые загружаются в трекер через ZIP архивы и добавляются в схему потока. Наглядное видео по работе с локальными лендингами без редиректа на нашем YouTube канале.

Для чего используется CURL редирект?

CURL редирект загружает целевой адрес на сервер с трекером и выводит в браузере, как в буфере (физического редиректа не происходит, сам юзер остается на сервере с трекером). Это позволяет добиться эффекта проксирования от трекера, то есть открывать сторонние сайты под доменом трекера. Но, обратите внимание, что если на загруженном сайте будет осуществлен клик по любой ссылке, то юзер пойдет редиректом через настоящий домен сайта. То есть полноценно открывать чужие сайты под доменом трекера через CURL редирект нельзя.

Что показывать ботам?

Вы можете показывать ботам заранее загруженный локальный лендинг, использовать CURL редирект на безопасный сайт или использовать также действия в потоке «Показать текст», «Показать HTML» или «Показать 404 ошибку».

Клоакинг для плагина WordPress или Click Client

Оба этих плагина работают за счет установки кода интеграции трекера на ваш сайт. Зачастую, сам этот сайт уже является безопасной страницей, на которой нужно оставлять ботов. После открытия сайта, скрипт отправляет трафик в кампанию трекера, из которой и был взят код интеграции. В этой кампании вам нужно:

Создать первый поток в кампании:

  • Тип «Перехватывающий»;
  • Добавить фильтр «Бот: ДА, и другие дополнительные фильтры, по которым вы хотите отлавливать ботов»;
  • Во вкладке схема, выбрать «Действие» -«Ничего не делать».

Так боты останутся на сайте, а остальной трафик пойдет дальше.

Клоакинг для вашего статического сайта без поддержи PHP

Это решение для ваших сайтов и страниц без поддержки PHP. Сайт выступает как безопасная страница, а пользователи получают редирект на ресурс, который указан в трекере.

  1. Создайте кампанию;
  2. На вкладке Интеграция возьмите код интеграции «Асинхронный JS»
  3. Установите скрипт согласно инструкции, которая описана на вкладке Интеграция.
  4. Создайте поток для ботов:
    • Тип потока «Перехватывающий»;
    • Действие «Ничего не делать;
    • Добавьте фильтр «Боты: отбирать» и другие фильтры, при помощи которых вы хотите фильтровать ботовый трафик;
  5. Создайте второй поток (Money page)
    • Тип потока «Обычный»;
    • Схема «Редирект»;
    • Тип редиректа «Редирект для script» (допустимы также: мета-редирект и двойной мета-редирект). ;
    • В URL впишите адрес вашей Money Page страницы.

При открытии вашего основного сайта, трафик будет переключен на трекер, где боты останутся на первом потоке для ботов, а целевой трафик пойдет на второй поток.

Как проверить клоакинг?

Используйте расширение для браузера, которое подменяет UserAgent. Например «UserAgent Switcher» для Chrome. Примените UserAgent googlebot, чтобы среагировал фильтр по ботам. Для проверки того, как отработал трекер и почему, смотрите Лог внутри кампании. Там будет записана подробная информация по каждому клику.

Дополнительные советы по клоакингу

  • Регулярно обновляйте базу ботов (страница «Обслуживание > Гео-базы»).
  • Используйте фильтр для отсева IPv6. Крупные сервисы обладают миллиардами адресов IPv6 и вовсю используют их для своих ботов.
  • Не забывайте создавать перехватывающий поток для ботов (с фильтром «Боты: отбирать»).
  • Ограничивайте доступность потоков фильтрами. Если вы работаете только с трафиком из Россией, вам не зачем пропускать в поток США.
  • Если имеется высокий риск бана всего аккаунта, лучше некоторое время не включать потоки на реальные офферы или включите фильтр по дате, чтобы поток день-два не работал.
  • Последите, какой трафик к вам идет через лог кликов. Особое внимание обращайте на те клики, что без галочки «Бот».
  • Подготовьте несколько доменов или поддоменов на случай, если объявление забанят вместе с доменом.
  • Проверьте, не попал ли ваш домен в черные списки. Воспользуйтесь сервисами http://urlvoid.com и http://virustotal.com.

Важно! Встроенной базы ботов Keitaro не хватит для полноценного клоакинга! Вам нужно использовать дополнительные списки сигнатур, пул IP адресов и другие фильтры, либо использовать интеграцию с IMKLO, для проверки трафика по их базе.

Почему сокращатель ссылок не видит сайт?

Отключите клоакинг. После добавления ссылки, включите обратно.

Как уводить регулярно менять адрес для ботов

Посмотрите решение с редиректом REMOTE скрипт_для_редиректа_remote_с_ротацией_ссылок_из_файла.

Как подключить IMKLO?

Об этом мы писали в нашем блоге. Работа с IMKLO в Keitaro.