В последнее время наши новые клиенты всё чаще обращаются с одной и той же проблемой: «Кто такой бот Meta-ExternalAgent, почему он создаёт такую нагрузку на сайт?» и как его заблокировать?
Мы в eByeBots проанализировали логи сотен защищаемых ресурсов и подтверждаем: активность этого бота в 2026 году выросла в разы. В этой статье мы расскажем, что это за краулер, почему стандартных методов защиты часто не хватает и как мы помогаем владельцам сайтов навсегда забыть об этой проблеме.
Важно: Meta Platforms Inc. (владелец Facebook и Instagram) признана экстремистской организацией и запрещена на территории РФ.
Что такое Meta-ExternalAgent?
Это официальный поисковый робот компании Meta*. В отличие от привычных нам ботов-индексаторов, его основная задача сегодня — сбор данных для обучения нейросетей (моделей Llama).
Проблема в том, что этот «агент» крайне невоспитан. Он не соблюдает интервалы между запросами и может одновременно сканировать сотни страниц вашего сайта. Для обычного сервера это равносильно небольшой DDoS-атаке.
Его User Agent: meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)»
Чаще всего к нам обращаются владельцы интернет магазинов, т.к этот бот массово сканирует каталоги, картинки. Сайты на просто падают..
Чем это опасно для вашего бизнеса?
Замедление сайта: Реальные покупатели не могут открыть страницу, пока бот сканирует ваш контент.
Лишние расходы: Вы платите хостеру за ресурсы (CPU, RAM), которые фактически потребляет чужой ИИ-бот.
Порча SEO-показателей: Массовые заходы ботов создают ошибочную статистику в Яндекс Метрике (сайт время от времени недоступен), что может негативно сказаться на позициях сайта.
Как закрыть доступ боту: технические решения
Если вы администрируете сервер самостоятельно, вы можете попытаться заблокировать его на уровне конфигурации.
Блокировка через .htaccess (для Apache)
Добавьте этот фрагмент в начало файла:
Apache
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} meta-externalagent [NC] RewriteRule .* - [F,L] Блокировка через Nginx
Добавьте проверку в блок server:
Nginx
if ($http_user_agent ~* "meta-externalagent") {
return 403;
}Блокировка AS сети 32934
Если бот поменяет свой User Agent то правила выше потеряют смысл. На этот случай можно заблокировать полностью сеть.
Такие боты ходят из сети 32934 Facebook, Inc.
| Название провайдера: | FB-BLOCK |
|---|---|
| ASN: | 32934 |
Вы можете скачать
| Диапазоны BGP .json: | IPv4 + IPv6 |
|---|
И заблокировать через .htaccess если обычный хостинг (не рекомендуется) или Nginx если VPS
через .htaccess не рекомендуется делать большой список правил, так как этот файл обрабатывается каждый раз, когда кто-то заходить на сайт. Чем больше файл, тем дольше будут проверяться все строки
Блокировка всех диапазонов в конфиге сайта Nginx
Если вы хотите заблокировать эти сети только для конкретного домена, добавьте эти строки в блок server вашего конфигурационного файла (обычно это /etc/nginx/sites-available/ваш_сайт):
server {
listen 80;
server_name yoursite.ru;# Блокировка подсетей Meta (Facebook/Instagram)
deny 31.13.24.0/21;
deny 31.13.64.0/18;
deny 31.13.66.0/24;
deny 31.13.69.0/24;
deny 31.13.70.0/24;
deny 31.13.71.0/24;
deny 31.13.72.0/24;
deny 31.13.73.0/24;
#и тут весь список# Остальной конфиг…
location / {
try_files $uri $uri/ =404;
}
}
Почему это не всегда работает? Минусы?
Казалось бы, достаточно добавить пару строк в конфиг, и проблема решена. Но на практике всё гораздо сложнее. Вот главные «подводные камни» самостоятельной борьбы с ботами:
1. Трата времени на «цифровой детектив»
Вместо того чтобы заниматься развитием бизнеса или SEO, вы тратите время на рутинный разбор терабайтов текстовой информации.
2. Маскировка и «умные» боты
Блокировка по User-Agent — это защита «от честных ботов». Продвинутые боты легко меняют свое имя на Mozilla/5.0 (обычный браузер) или используют цепочки резидентных прокси. В этом случае обычный Nginx или .htaccess бессилен: вы либо пропустите бота, либо заблокируете реального клиента.
3. Риск «положить» собственный сайт
Любая опечатка в .htaccess (лишний пробел или забытая скобка) моментально выдает 500 Internal Server Error. Сайт перестает работать полностью. А если вы добавите слишком много правил блокировки, сервер начнет тормозить, так как ему придется проверять каждый чих пользователя по огромному списку запретов.
4. Бесконечная гонка
Meta-ExternalAgent — это только верхушка айсберга. Сегодня вы заблокировали его, завтра придет бот от OpenAI, послезавтра — агрессивный парсер из Китая или бот для накрутки ПФ. Вы будете тратить всё свое время только на то, чтобы дополнять списки блокировок.
Как эту проблему решает eByeBots
Мы создали сервис защиты, который работает по принципу фильтрующего прокси (Reverse Proxy). Это самый эффективный способ борьбы с Meta-ExternalAgent и ему подобными.
Как это работает у нас:
Отсекаем на подлете: Запрос от бота блокируется на нашем фильтрующем сервере. Ваш основной сервер (хостинг) даже не «узнает» о визите бота и не будет нагружен!
Скрываем ваш IP: После подключения защиты IP-адрес вашего сайта скрыт. Боты больше не смогут обращаться к нему напрямую.
Умная аналитика: В нашей веб-панели вы будете видеть детальные логи: кто, когда и почему был заблокирован. Мы показываем IP, User-Agent и даже Fingerprint (цифровой отпечаток) бота (стандарт тариф). Вот пример как блокируется бот:
В этом конкретном примере клиент сам заблокировал бота по user agent, находясь в нашей панели аналитике eByeBots, далее мы просто занесли бота в общую базу и обновили базу у всех клиентов.
Наши клиенты на тарифах «Стандарт» и «Бизнес» отмечают снижение нагрузки на сервер до 70-80% сразу после активации фильтров против AI-краулеров.
Вы получаете не просто блокировку одного бота, а комплексную систему по защите сайта от ботов — подключайтесь
