Перевірте, чи IP-адреса та User-Agent дійсно належать Googlebot, Bingbot, OpenAI SearchBot, Yahoo, Seznam, Meta (Facebook), Qwant, DuckDuckGo та іншим основним краулерам.
Автоматичне блокування підроблених ботів у Nginx/WAF.
Виключення відвідувань краулерів із трафіку.
Перевірка сканування пошуковими системами.
Виявлення скрейперів, що видають себе за ботів.
Lookup Result
Raw JSON
Часті запитання
JSON-фіди постачальників кешуються на 12 годин; Yandex та Seznam використовують статичні офіційні CIDR.
Справжнім доказом є IP-адреса: краулер вважається надійним лише тоді, коли його IP потрапляє в офіційні діапазони CIDR, опубліковані постачальником. User-Agent може допомогти, але його легко підробити; скрейпери часто копіюють рядки UA, приходячи з випадкових мереж. Якщо IP не в діапазоні постачальника, ми позначаємо запит незалежно від того, що каже UA.
Так, мережі IPv4 та IPv6 повністю підтримуються.
Кожен запит з інтерфейсу демо наживо споживає таку саму кількість кредитів, як і прямий виклик API.