Команда Google разработчиков обновила список своих поисковых роботов. В экосистеме появился новый бот агент — GoogleMessages.
Как это работает: Когда человек вставляет ссылку на ваш сайт в приложении Google Messages (Google Сообщения — да, да, где смски пишем), само устройство инициирует запрос для создания предварительного просмотра (превью). Это значит, что в ваших логах появится бот с User-Agent GoogleMessages, но его IP-адрес будет принадлежать обычному пользователю (мобильный интернет или домашний Wi-Fi).
Особенность бота в том, что он запускается непосредственно на стороне пользователя.
Технические данные:
User-Agent:
GoogleMessagesНазначение: Генерация превью ссылок в чатах.
Источник запроса: Устройство пользователя (клиентская сторона).
Сейчас, когда проводят тесты, бот заходит с User Agent:
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36 Google-PageRenderer Google (+https://developers.google.com/+/web/snippet/)
Как выглядит превью в Google Сообщения
Мессенджер должен на долю секунды «заглянуть» на ваш сайт, считать мета-теги (Open Graph) и скачать миниатюру.
Если бот получил доступ к сайту, будет что то типо такого:

На нашем сайте превью нет, хотя в ТГ отображается, а вот на втором ресурсе картинка успешно подтянулась — главное, что понятно.
Проблема подделки и риск блокировки
Поскольку запросы идут не с официальных серверов Google, а с пользовательских IP, обычные системы защиты часто принимают таких ботов за «самопальные» скрипты или спам-фильтры и блокируют их. В итоге пользователь видит пустую ссылку без картинки и описания.
С другой стороны, злоумышленники могут легко подделать строку User-Agent GoogleMessages, чтобы попытаться обойти вашу защиту под видом обычного пользователя.
Как eByeBots решает эту проблему
Мы в eByeBots обеспечиваем баланс между безопасностью и корректным отображением ваших ссылок:
Интеллектуальная верификация: Наша система понимает специфику ботов, работающих на стороне клиента. Мы анализируем совокупность факторов, чтобы отличить реальный запрос приложения Google Messages от попытки парсинга.
Проверка через официальные инструменты Google: Для верификации запросов, которые могут исходить из инфраструктуры Google, мы используем алгоритмы, описанные в официальном руководстве Google по проверке роботов.
Reverse DNS (HOSTS) для гибридных запросов: В случаях, когда функции обработки превью передаются на прокси-серверы Google, eByeBots мгновенно выполняет обратный DNS-запрос. Если IP закреплен за доменами
*.googlebot.comили*.google.com, доступ предоставляется автоматически.
Результат: Ваши пользователи в Google Messages всегда видят красивые, информативные превью ваших страниц. При этом ваш сайт остается под надежной защитой eByeBots: мы проверяем каждого «робота», даже если он маскируется под обычного клиента.

