Почему ваш сайт тормозит и теряет SEO позиции: проблема, о которой молчат

Вы можете вкладываться в SEO, улучшать контент, работать над скоростью сайта — но при этом всё равно видеть падение позиций. Причина часто скрыта от глаз: как заблокировать ИИ-ботов на сайте — этот вопрос всё чаще задают владельцы ресурсов, сталкиваясь с необъяснимой нагрузкой. На первый взгляд всё выглядит нормально: есть трафик, идут переходы. Но если копнуть глубже, выясняется, что значительная часть посещений — вовсе не от людей.

В 2026 году сайты всё чаще сталкиваются с потоком ботов: парсеры, сканеры и нейросети. Они создают нагрузку, искажают аналитику и напрямую влияют на SEO.

Особенно опасно то, что эту проблему сложно заметить сразу. Метрики могут выглядеть “живыми”, но при этом:

• растёт показатель отказов
• падает конверсия
• ухудшаются позиции в поиске

Отдельная история — боты нейросетей. Они массово собирают контент для обучения, практически ничего не отдавая взамен. В результате сайт тратит ресурсы, но не получает реальной пользы.

И главное — стандартные способы защиты, которые раньше работали, сегодня либо неэффективны, либо требуют сложной и рискованной настройки.

В этой статье разберём:

• кто на самом деле заходит на ваш сайт
• почему боты — это не просто нагрузка, а реальные потери
• какие методы защиты используют и где они не справляются
• и какой подход действительно работает сейчас

Кто на самом деле заходит на ваш сайт и почему это важно

Вы открываете Яндекс Метрику: визиты, просмотры, время на сайте — вроде бы всё гладко. Но спросите себя: сколько из этих цифр — реальные люди, а сколько — роботы?

Проблема в том, что Яндекс Метрика показывает далеко не всех. Боты без JavaScript — а это почти все краулеры нейросетей (GPTBot, Claude, PerplexityBot) — просто не загружают счётчик. Они сканируют ваш сайт тысячами запросов, грузят сервер, воруют контент, но в отчётах вы их не видите.

Одновременно с этим в Метрику попадают другие ИИ-боты — те, что запускают полноценный браузер (например, ChatGPT-User в режиме просмотра страниц, некоторые парсеры с Headless Chrome). Они создают видимость активности: кликают по ссылкам, «читают» текст, но не приносят заказов. Ещё хуже — боты для накрутки поведенческих факторов (ПФ). Они имитируют действия человека: скроллят страницу, задерживаются на ней, иногда даже «кликают» на кнопки. В результате Метрика показывает хороший «вовлечённый» трафик, но конверсия при этом стремится к нулю.

Итог — полная иллюзия:

• Вы видите растущие метрики — радуетесь.

• На деле — нагрузка на сервер, искажённая аналитика и падение реальных продаж.

ИИ-боты потребляют ресурсы сервера, практически не возвращая посетителей. Давайте приведу наглядное сравнение:

Почему попытки заблокировать ботов вручную — это лотерея с негарантированным результатом

Увидев в логах сервера (ведь в Метрике вы их не замечали) тысячи запросов от ClaudeBot или GPTBot, большинство вебмастеров делают одно и то же: гуглят «как заблокировать бота нейросети» и получают советы добавить IP‑диапазоны в .htaccess или прописать правила в Nginx.

Выглядит просто. Но на практике это путь к хронической усталости, потерянному времени и, что хуже, — к реальным сбоям сайта.

Подход 1: Героический, но самоубийственный — .htaccess

Вот типичный сценарий:

1. Вы находите «свежий» список IP‑сетей OpenAI (например, 132.196.86.0/24, 172.182.202.0/25…). Копируете 20–30 строк в .htaccess.

2. Через пару дней замечаете, что сайт стал ощутимо тормозить. Потому что при каждом запросе Apache теперь проверяет IP посетителя против всех этих диапазонов.

3. Вы добавляете ещё 50 правил для ClaudeBot — тормоза усиливаются. На shared‑хостинге сайт может начать выдавать timeout.

4. Случайно ошибаетесь в синтаксисе (забыли Deny from или поставили лишний пробел) — и весь сайт падает с ошибкой 500. Восстановление: лезть в FTP, править файл, надеяться, что хостинг не наложил блокировку.

Результат: сайт медленный, хрупкий, а боты всё равно пролезают — они меняют IP быстрее, чем вы обновляете списки. А про DDoS‑атаки на уровне L3/L4 можно забыть — .htaccess их не остановит.

Подход №2: Для «продвинутых» — Nginx на VPS

Вы переезжаете на VPS, ставите Nginx и начинаете писать правила. Это уже не .htaccess, но проблем меньше не становится.

Пример блокировки по User-Agent (самый наивный способ):

if ($http_user_agent ~* (GPTBot|ClaudeBot|PerplexityBot|CCBot)) {
return 403;
}

На первый взгляд просто. Но боты быстро меняют User-Agent на «Mozilla/5.0…» — и правило перестаёт работать. Накрутчики ПФ и вовсе используют реальные браузеры с подменой fingerprint.

Пример блокировки по IP-диапазонам (чуть надёжнее, но муторно):

location / {
deny 132.196.86.0/24;
deny 172.182.202.0/25;
deny 172.182.204.0/24;
# … и так ещё 200+ строк для одного только GPTBot
allow all;
}

Списки IP у OpenAI, Anthropic, Perplexity обновляются регулярно. Вам нужно:

• Мониторить официальные источники

• Скачивать новые диапазоны.

• Вручную вносить их в конфиг.

• Перезагружать Nginx.

Одна опечатка в CIDR — и вы либо пропускаете бота, либо случайно блокируете обычного пользователя.

Бот DeepSeek с человеком подобным User-Agent

Многие ИИ-боты, вроде GPTBot, используют уникальные User-Agent (например, Mozilla/5.0 (compatible; GPTBot/1.2; +https://openai.com/gptbot)), что позволяет легко их идентифицировать и заблокировать.

DeepSeek действует иначе и гораздо опаснее.  Этот бот намеренно маскируется под обычного пользователя, подменяя свой User-Agent на стандартный браузерный. Обнаружить его стандартными методами по заголовкам практически невозможно.

К тому же, DeepSeekBot — это распределённая система. Его запросы могут идти не с одного IP, а из огромного пула адресов по всему миру. Хотя большая часть трафика идёт из Гонконга, известны случаи, когда активность фиксировалась и с IP-адресов из Сингапура.

Давайте посмотрим с каким данными заходит этот бот:

Вот что у нас получилось, бот зашел на несуществующую страницу:

1. Юзер агент Mozilla/5.0 (X11; Linux x86_64; rv:142.0) Gecko/20100101 Firefox/142.0
2. Айпи: 94.74.125.208
3. Название провайдера: Huawei-Cloud-HK
4. Хост: ecs-94-74-125-208.compute.hwclouds-dns.com
5. ASN: 136907

При правильном подходе можно заблокировать по:

ASN сеть / страну — на сервере должна быть база GeoLite2 (в нашем сервисе она есть)

диапазону айпи — скачать тут: https://2ip.ru/as/136907.json через тот же ИИ можно создать список в формате:

deny айпи
deny сеть

1. заблокировать по user agent — Linux совпадению, если сайт у Вас не на IT тематику, то обычно все сидят с ОС Windows
2. или воспользоваться нашим сервисом — где под ключ настроим фильтрацию от спам ботов в короткие сроки

 Топ-25 ботов, создающих нагрузку на сайт

Важно: Meta Platforms Inc. (владелец Facebook и Instagram) признана экстремистской организацией и запрещена на территории РФ.

Боты ИИ (AI Crawlers)

SEO-сканеры (SEO Crawlers)

 Специализированные и прочие боты

Обратите внимание

Эта таблица — отличный инструмент для анализа ваших логов, но важно понимать:

• Боты-маскировщики: Некоторые боты, такие как DeepSeek, намеренно подменяют свой User-Agent на обычный браузерный, чтобы их было невозможно идентифицировать и заблокировать этим методом. Они будут скрываться в вашей статистике под видом реальных посетителей.

• Это гонка вооружений: Компании могут менять строки User-Agent без предварительного уведомления, поэтому для 100% защиты этого списка недостаточно.

Надежно отсечь весь этот «мусор» вручную практически невозможно. Именно поэтому гораздо эффективнее использовать комплексное решение, которое анализирует не то, кем бот представился, а как он себя ведет.

Почему Cloudflare не спасает российские сайты

Ещё пару лет назад Cloudflare был стандартом индустрии: мощная защита от DDoS, глобальная CDN-сеть и щедрый бесплатный тариф. Многие веб-мастера до сих пор по привычке подключают к нему сайт и считают себя в безопасности.

Но для российского интернета этот сервис сейчас неактуален, а сам Cloudflare официально признал, что не может восстановить надёжный доступ к своим продуктам на территории РФ

История конфликта: от рекомендаций до разрыва

Проблемы начались не вчера. Всё развивалось поэтапно.

1. Технологический конфликт из-за TLS ECH
В октябре 2024 года Cloudflare по умолчанию включил поддержку протокола TLS Encrypted Client Hello (ECH), который шифрует метаданные соединения — это серьёзный шаг вперёд с точки зрения конфиденциальности, но на практике он мешает системам глубокого анализа трафика (DPI) фильтровать запрещённый контент. Уже в начале 2025 года Роскомнадзор публично порекомендовал владельцам российских интернет-ресурсов отказаться от использования Cloudflare, поскольку протокол ECH позволяет обходить установленные в РФ ограничения доступа к информации.

2. Юридический удар: Cloudflare стал «организатором»
19 февраля 2025 года Роскомнадзор принудительно внёс компанию Cloudflare, Inc. в реестр организаторов распространения информации (ОРИ). Причиной послужило повторное игнорирование требований ведомства: Cloudflare дважды не уведомила о начале своей деятельности в этом статусе, за что была оштрафована сначала на 100 тысяч рублей, а затем на 1 миллион.

Этот статус — уже не просто «рекомендация», а включение компании в государственную систему контроля. Теоретически, это подразумевает обязанность хранить данные пользователей на территории РФ, но для западного провайдера это практически невыполнимо.

3. Техническая изоляция: что происходит на деле
Кульминация наступила 9 июня 2025 года. В официальном блоге Cloudflare сообщили, что российские провайдеры начали системно ограничивать трафик к защищённым сервисам. Это коснулось всех крупных операторов: Ростелекома, МТС, Мегафона, Вымпелкома (Билайн) и МГТС.

Как это выглядит для обычного пользователя

Рекомендации и статусы — это полбеды. Гораздо важнее, что в итоге происходит с вашим сайтом. Вот три ключевых последствия, которые вы увидите в своей статистике.

• Тактика «16-килобайтного занавеса». Провайдеры начали обрывать соединение, как только загружено 16 килобайт данных с серверов Cloudflare. Этого объёма хватает лишь на то, чтобы браузер начал загружать страницу, показал шапку сайта, но всё основное содержимое — текст, изображения, стили — так и не появится. Cloudflare прямо заявил, что такое ограничение делает «большую часть веб-навигации невозможной». Ваш сайт превращается в бесконечно грузящуюся пустышку.

• Массовая потеря трафика. Cloudflare Radar зафиксировал падение российского трафика на 30% с начала июня 2025 года. Это означает, что почти каждый третий ваш потенциальный клиент, который пользуется интернетом через крупных провайдеров, физически не может до вас достучаться.

• Ухудшение SEO и рост отказов. Даже если пользователь всё же смог открыть страницу, огромные задержки и постоянные обрывы соединения гарантированно увеличивают процент отказов. Поисковые системы фиксируют это и закономерно понижают сайт в выдаче.

Cloudflare больше не может служить надёжной защитой для сайта, ориентированного на российскую аудиторию. Вместо щита он становится барьером, который мешает реальным клиентам вас найти.

Именно поэтому мы в eByeBots пошли другим путём. Мы не пытаемся конкурировать с глобальными CDN-гигантами. Наша специализация — глубокая фильтрация паразитного бот-трафика через reverse proxy в российской инфраструктуре.

Защита сайта от ботов — прокси-сервер eByeBots

После того как мы разобрали все риски ручных настроек и ограничения облачных сервисов, остаётся один логичный вопрос: что же делать, чтобы реально защитить сайт, не рискуя его работоспособностью и не теряя клиентов?

Ответ — прокси-сервер с фильтрацией трафика (reverse proxy). Это архитектура, при которой весь трафик к вашему сайту идёт не напрямую, а через выделенный сервер-посредник. Он принимает запросы, анализирует их, отсеивает ботов и только потом передаёт «чистый» трафик на ваш хостинг или VPS.

Как это работает на практике

Подробный механизм описан в другой статье:

Как работает защита eByeBots

Схема максимально прозрачная:

1. Вы меняете A-запись домена — вместо IP вашего сервера указываете IP нашего прокси.

2. Все запросы (и от людей, и от ботов) сначала приходят на прокси-сервер eByeBots.

3. Прокси фильтрует:

   • проверяет IP по чёрным/белым спискам;

   • анализирует User-Agent, fingerprint, поведение;

   • отсекает DDoS-атаки на уровнях L3/L4/L7* (*нужно заказать VPS с защитой от L7);

   • блокирует парсеров, накрутчиков ПФ, ИИ-краулеров.

4. На ваш сервер попадают только реальные пользователи и легитимные боты (Яндекс, Google, Bing).

Ваш настоящий IP-адрес остаётся скрытым — атаки идут на прокси, а не на ваш сайт.

Что именно мы фильтруем

Мы настроили фильтрацию так, чтобы вы не думали о каждом конкретном боте. Но для понимания — вот кого eByeBots блокирует по умолчанию (и вы это видите в веб-панели):

• Все ИИ-краулеры — GPTBot, ClaudeBot, Bytespider, Meta-ExternalAgent, CCBot, PerplexityBot, ChatGPT-User, Applebot-Extended, cohere-ai, AI2Bot и другие.

• SEO-сканеры — MJ12bot, AhrefsBot, SemrushBot, DotBot, BLEXBot, DataForSeoBot, Barkrowler, rogerbot, SiteAuditBot.

• Специализированные боты — PetalBot, Amazonbot, Diffbot, ImagesiftBot, Pinterestbot.

• Парсеры и накрутчики ПФ — в том числе те, что маскируются под реальных пользователей (DeepSeek и аналоги).

• DDoS-атаки на всех уровнях — сетевом (L3), транспортном (L4) и прикладном (L7).

При этом поисковые роботы Яндекса и Google проходят без задержек — мы не мешаем индексации.

Веб-панель аналитики — вы видите всё

Ручная настройка оставляет вас «слепым»: только сырые логи, которые нужно парсить часами. Мы даём готовую веб-панель (доступна на тарифах Стандарт и выше, 7 дней бесплатного пробного периода).

Что вы увидите в панели:

• Заблокированные и пропущенные запросы — графики в реальном времени.

• Детальные логи по каждому запросу: IP, User-Agent, Referer, URL, fingerprint отпечаток.

• 404 ошибки — находите битые ссылки и улучшаете SEO.

• Свои правила — добавляете чёрные/белые списки за пару кликов (без правки конфигов).

• Интеграция с Яндекс Метрикой — IP и fingerprint заблокированных прямо в отчётах.

Аналитика превращает борьбу с ботами из гадания в точную науку. Вы точно знаете: кто приходил, кого заблокировали, почему, и как это влияет на ваш трафик.

Почему eByeBots лучше ручной настройки и Cloudflare

Сравним в таблице — так нагляднее.