Επαληθεύστε αν μια IP και ένας User-Agent ανήκουν πραγματικά στο Googlebot, Bingbot, OpenAI SearchBot, Yahoo, Seznam, Meta (Facebook), Qwant, DuckDuckGo και άλλους μεγάλους crawlers.
Τα JSON feeds των παρόχων αποθηκεύονται προσωρινά για 12 ώρες· Yandex & Seznam χρησιμοποιούν στατικά επίσημα CIDR.
Η πραγματική απόδειξη είναι η διεύθυνση IP: ένας crawler θεωρείται αξιόπιστος μόνο όταν η IP του εμπίπτει στα επίσημα εύρη CIDR που δημοσιεύονται από τον πάροχο. Ο User-Agent μπορεί να βοηθήσει, αλλά είναι εύκολο να παραποιηθεί· οι scrapers συχνά αντιγράφουν συμβολοσειρές UA ενώ έρχονται από τυχαία δίκτυα. Αν η IP δεν είναι στο εύρος του παρόχου, σημαδεύουμε το αίτημα ανεξάρτητα από το τι λέει ο UA.
Ναι, τα δίκτυα IPv4 και IPv6 υποστηρίζονται πλήρως.
Κάθε αίτημα από τη διεπαφή ζωντανής επίδειξης καταναλώνει τον ίδιο αριθμό πιστωτικών μονάδων με μια άμεση κλήση API.