Пропускать поисковые системы, блокировать вредоносные краулерыЗащита от ботов в эпоху повсеместных прокси
Командам, которые занимаются скрейпингом, проверкой рекламы и кросс-региональным QA, нужны прокси и автоматизация, но при этом требуется защищать эндпоинты входа, оформления заказа и товаров от перегрузки вредоносными скриптами.Искусство баланса: сохранить трафик поисковых систем и партнёров, одновременно распознавая ботов, которые через резидентные прокси маскируются под живых людей.
TL;DR / Ключевые выводы
- •Чисто человеческого трафика не существует: любой онлайн-бизнес по умолчанию находится в смешанном состоянии «живые люди + всевозможные боты» - поисковые краулеры, мониторинговые пробы, партнёрские интеграции, QA-скрипты и агрессивные краулеры бьют в один и тот же набор сервисов.
- •Боты, которых обязательно нужно пропускать: краулеры поисковых систем, такие как Googlebot, Bingbot и паук Baidu, напрямую влияют на органический трафик, их нужно проверять через обратный DNS с прямым подтверждением, а не доверять только User-Agent; мониторинговые боты партнёров должны иметь зарегистрированные диапазоны IP или токены.
- •Вредоносный трафик теперь идёт через резидентные и мобильные прокси: перебор учётных данных, охота за бонусами, парсинг цен и низкоскоростные DDoS-атаки массово используют ротируемые резидентные прокси и мобильные IP, выглядя как множество обычных пользователей, и одними лишь чёрными списками IP их не остановить.
- •Сосредоточьтесь на поведенческих сигналах: переиспользование TLS/JA3-отпечатков на множестве IP, подозрительные шаблоны переходов, резкий рост доли неудачных входов, срабатывание honeypot, отсутствие событий мыши и прокрутки - точность даёт только совокупность сигналов, а не единичный признак.
- •Защита без ущерба для SEO: показывайте CAPTCHA или JS-проверки только на высокоценных процессах (вход, регистрация, оформление заказа, оплата), поддерживайте точные robots.txt и sitemap, отслеживайте долю проверок для легитимных краулеров и не допускайте, чтобы чрезмерно жёсткие правила WAF вредили органической видимости.
Содержание
Смешанный трафик - это норма, не гонитесь за нулём ботов
Сегодня практически нет онлайн-бизнеса, который принимает только «чисто человеческий» трафик. Краулеры поисковых систем, мониторинговые пробы, партнёрские интеграции, QA-скрипты и всевозможные агрессивные краулеры - всё это бьёт в один и тот же набор сервисов.
Планировать нужно вокруг этого смешанного состояния, а не гнаться за мифом «нулевого ботового трафика». Цель - снизить вредоносный трафик при приемлемых затратах и защитить ключевые бизнес-поверхности, а не рубить весь автоматизированный трафик под одну гребёнку.
Какой трафик обязательно нужно сохранить
Краулеры поисковых систем
Краулеры поисковых систем, такие как Googlebot, Bingbot и паук Baidu, напрямую влияют на органический трафик. Их необходимо проверять через обратный DNS с прямым подтверждением, а не полагаться только на User-Agent.
Краулеры превью ссылок
Мессенджеры, такие как WeChat, WeCom и Slack, запрашивают метаданные ссылок для генерации карточек предпросмотра.
Мониторинговые боты партнёров
Партнёрские платформы, сервисы проверки рекламы и сторонний мониторинг должны иметь зарегистрированные диапазоны IP или токены аутентификации.
Огульная блокировка такого трафика напрямую скажется на органической видимости в поиске, соблюдении SLA с партнёрами и достоверности данных мониторинга.
Правильный способ проверки Googlebot: основные краулеры поисковых систем (Googlebot, Bingbot, региональные поисковики) нужно проверять через обратный DNS-запрос с прямым подтверждением - ни в коем случае не полагайтесь только на строку User-Agent, поскольку подделка User-Agent «Googlebot» - распространённый метод атаки. У партнёрских и аффилиатных ботов должны быть зарегистрированные диапазоны IP или токены аутентификации, чтобы их можно было отличить от вредоносной автоматизации.
Как маскируется вредоносная автоматизация
Сбор данных (скрейпинг)
Мониторинг конкурентов, парсинг цен и сбор данных о наличии товаров сегодня в массовом порядке работают через ротируемые резидентные прокси, намного превышая лимиты частоты запросов API.
Злоупотребления и накрутка
Перебор украденных учётных данных (credential stuffing), массовая регистрация, охота за бонусами и злоупотребление купонами атакуют эндпоинты входа и оформления заказа через смешанные пулы IP.
Деградация сервиса
Флуд эндпоинтов и низкоскоростные DDoS-атаки перегружают процесс оформления заказа или API-сервисы.
Подмена личности
Подделка отпечатков браузера, имитация User-Agent Googlebot для обхода белых списков и даже воспроизведение TLS-отпечатков реальных сессий.
Злоумышленники сегодня сильно полагаются на ротируемые резидентные и мобильные прокси, из-за чего выглядят как множество обычных пользователей; если полагаться только на чёрные списки IP, остановить их почти невозможно. Вот распространённые приёмы маскировки:
- •Ротируемые резидентные и мобильные прокси имитируют распределение IP реальных пользователей - это уже стандарт для вредоносных ботов, из-за чего одной лишь оценки репутации IP недостаточно.
- •Подделка User-Agent и переключение между ASN для маскировки под Chrome, Safari или даже Googlebot.
- •Клонированные TLS/JA3-отпечатки и отпечатки устройств, воспроизводимые из реальных сессий для обхода детекции браузера. Впрочем, злоумышленники изучают и способы рандомизации TLS-отпечатков, поэтому такие сигналы нужно применять вместе с сигналами поведенческого уровня.
- •Утёкшие cookie или сессионные токены, позволяющие полностью пропустить аутентификацию и сразу попасть в бизнес-процесс.
- •Перебор учётных данных (credential stuffing) и захват аккаунтов (ATO) - основные способы злоупотребления, направленные на процессы входа и оформления заказа, обычно проводимые через смешанные или ротируемые пулы IP.
Поведенческие сигналы, выдающие ботов
Репутация IP помогает, но пулы прокси по запросу выдают злоумышленникам «чистые» IP. Поэтому нужно делать ставку на поведенческую телеметрию, которую труднее подделать:
- •Резкий всплеск трафика на вход, оформление заказа или API из одного ASN, даже если IP ротируются - высокоценные эндпоинты нужно отслеживать строже, чем публичные страницы.
- •Один и тот же TLS-отпечаток (JA3/JA4) или отпечаток устройства повторяется на десятках тысяч разных IP при полностью совпадающих заголовках - сильный признак автоматизации.
- •Навигация никогда не вызывает настоящих UI-событий (клики по меню, всплывающие окна, прокрутка), но за считанные секунды прогружает десятки страниц.
- •Скрытые поля или honeypot-эндпоинты срабатывают на определённых сетевых кластерах - передавайте эти сигналы обратно в правила WAF/Bot Manager.
- •Аномальное соотношение успешных и неуспешных попыток на входе или оплате (например, сотни ошибок пароля в минуту с ротируемых резидентных прокси).
- •Просмотр множества страниц и оформление заказа почти без событий движения мыши и прокрутки, с предельно ровным ритмом - типичный признак headless-браузера. Поведенческий анализ смотрит не на то, «двигалась ли мышь», а на общий ритм пути и распределение событий, чтобы его не обманула простая имитация.
Высокоценные эндпоинты нужно отслеживать строже: эндпоинты входа, оформления заказа, оплаты, кошелька, обмена баллов и API-ключей нужно отслеживать по более жёстким порогам, чем публичные контентные страницы. Подозрительно совпадающие заголовки, TLS-отпечатки или JA3-хеши, появляющиеся на множестве разных IP, - сильный признак автоматизации, даже если сами IP выглядят вполне «нормально». Помните: точность даёт только совокупность сигналов, а не единичный признак.
Действительно эффективные меры защиты
Применение на пограничном уровне (WAF/Bot Manager)
Ещё до того как трафик достигнет исходного сервера, проверяйте TLS-отпечатки, заголовки и репутацию IP на пограничном уровне (CDN/WAF/Bot Manager). Отсекайте грязный трафик как можно раньше, не давая ему расходовать ресурсы бэкенда.
Ограничение частоты запросов и оценка риска
Выстройте две линии обороны: лимит частоты на каждый IP плюс лимит на каждую сессию, устройство и аккаунт, чтобы злоумышленник на ротируемых прокси не мог обойти ограничение простой сменой IP. Принимайте комплексное решение, сочетая оценку риска ASN, хеш устройства и поведенческую оценку.
Целенаправленные проверки
Только на высокоценных процессах (вход, регистрация, оформление заказа, оплата) добавляйте CAPTCHA, Turnstile или JS-проверки; не ставьте барьеры на публичных страницах, иначе это нарушит доступ SEO-краулеров, превью ссылок и партнёрских ботов.
Контекстные правила по IP/ASN
Блокируйте или помещайте в серые списки известные вредоносные сети, но всегда сочетайте правила по IP с поведенческим анализом и идентификацией ботов (токены аутентификации, краулеры, проверенные обратным DNS), чтобы не задеть реальных пользователей в нормальных диапазонах ISP.
Защита - это непрерывная итерация: постоянно передавайте новые индикаторы - срабатывания honeypot, JA3-хеши подозрительных паттернов, базы утёкших учётных данных, характеристики краулеров - обратно в WAF или Bot Manager. Это замкнутый цикл, а не разовый набор правил. Новые схемы атак появляются каждую неделю, и за ними необходимо непрерывно следить.
Прокси - обоюдоострый меч: их используют обе стороны
Злоумышленники сильно полагаются на ротируемые резидентные и мобильные прокси, имитируя нормальный потребительский трафик, поэтому одни лишь чёрные списки IP почти бесполезны. Этот пробел закрывают поведенческая оценка, распознавание TLS-отпечатков и анализ сессий - важно то, как ведёт себя клиент и насколько его поведение согласованно, а не только то, откуда пришёл запрос.
Легитимные команды тоже используют ротацию прокси:
- •QA-инженеры тестируют процесс оформления заказа и платёжные эндпоинты из разных географических точек;
- •команды проверки рекламы аудируют показ креативов и лендингов по разным регионам;
- •команды безопасности проводят red-team-тестирование собственных правил защиты через управляемые пулы прокси.
Не блокируйте все прокси-ASN под одну гребёнку - сочетайте правила по IP с поведенческими сигналами и идентификацией ботов (токены аутентификации, краулеры, проверенные через DNS, зарегистрированные IP партнёров). Защищающимся стоит тестировать собственные правила контроля через те же прокси, что используют злоумышленники, чтобы не задеть легитимные рабочие процессы.
Защита без ущерба для SEO
Здоровый доступ SEO- и партнёрских ботов требует активного поддержания белых списков и гигиены сканирования:
- •Публикуйте точные
robots.txtи sitemap и синхронизируйте их с ритмом публикаций, чтобы краулеры не тратили краулинговый бюджет на устаревшие или запрещённые пути. - •Когда инфраструктура уязвима или бюджет трафика ограничен, используйте настройку частоты сканирования в Search Console, чтобы заблаговременно ограничить частоту обращений краулеров.
- •Устраняйте циклы внутренних ссылок и цепочки редиректов, чтобы легитимные краулеры не выжигали бюджет на зацикленной навигации.
- •Проверяйте краулеры прежде чем применять белые списки по User-Agent. Выполняйте обратный DNS-запрос для IP Googlebot и Bingbot, а затем прямо подтверждайте имя хоста, чтобы поддельный User-Agent «Googlebot» не обошёл ваш контроль.
- •Отслеживайте долю блокировок и проверок для известных краулеров. Слишком агрессивные правила WAF вредят краулинговому бюджету и органической видимости - отслеживайте, как часто проверенные краулеры упираются в лимиты частоты или стены CAPTCHA, и своевременно корректируйте пороги.
Модели безопасного использования прокси
Аутентификация на границе
Сочетайте белые списки IP с логином/паролем или подписанными токенами. Для чувствительных операций полностью отключайте анонимные прокси-эндпоинты.
Осмысленная ротация
В скрейпинговых процессах автоматически ротируйте IP, для процессов входа сохраняйте статичную сессию и отслеживайте аномальные скачки геолокации (возможный признак захвата аккаунта, ATO).
Защита передачи учётных данных
Используйте шифрованные протоколы (HTTPS, SOCKS5 поверх TLS) и не пропускайте трафик с учётными данными через неаудируемые промежуточные узлы.
Непрерывный мониторинг и аудит
Следите за панелью управления провайдера прокси и собственными логами, обращая внимание на неожиданные пики трафика, новые регионы, протокольные аномалии и паттерны перебора учётных данных.
Непрерывная итерация, замкнутый цикл защиты
Защита от ботов - это непрерывный цикл: журналирование трафика → выявление паттернов → применение правил → повторное тестирование из разных сетей (включая мобильные и резидентные прокси) → итерация с учётом новых характеристик атак. Рассматривайте прокси, краулеры и меры контроля как части одной системы, а не как разрозненные, действующие поодиночке острова.
Примеры реальных бизнес-сценариев:
- •Защита процесса входа от перебора учётных данных (credential stuffing), атаки обычно бьют по эндпоинту входа через ротируемые резидентные прокси - двойная линия обороны из лимита на каждый IP плюс лимита на каждую сессию и аккаунт ловит злоумышленника, даже если он быстро меняет IP.
- •Защита эндпоинтов товаров, цен и наличия от высокочастотного парсинга конкурентами - поведенческие сигналы (отсутствие событий мыши, одинаковый TLS-отпечаток) выдают ботов, даже если они используют чистые потребительские IP.
- •Ужесточение правил для ботов без нарушения работы поисковых систем и партнёрского мониторинга - проверка краулеров через обратный DNS плюс зарегистрированные диапазоны IP партнёров гарантируют, что белый список не станет лазейкой для вредоносной автоматизации.
- •QA- и команды безопасности воспроизводят ключевые процессы через те же пулы прокси, что и злоумышленники, чтобы убедиться, что правила защиты не задевают их собственные тесты - перезапуская тесты из разных географических точек через управляемые пулы прокси и проверяя, что защитные правила не блокируют своих.
Нужны чистые мобильные IP для тестирования безопасности?
Используйте профессионально управляемые мобильные прокси: они защищают вашу личность и делают ваш трафик естественным и заслуживающим доверия на целевых платформах.