Πώς επιτρέπουμε AI Search χωρίς να ανοίγουμε αδιακρίτως όλα τα bots;
Χώρισε τους search crawlers από τους training crawlers και έλεγξε μαζί robots.txt, Cloudflare WAF και πραγματικές HTTP αποκρίσεις ανά κρίσιμη σελίδα.
Τα bots δεν έχουν όλα τον ίδιο ρόλο
Ένας crawler μπορεί να συλλέγει περιεχόμενο για αναζήτηση, ένας άλλος για εκπαίδευση μοντέλων και ένας τρίτος να επισκέπτεται μια σελίδα μετά από ρητό αίτημα χρήστη. Οι πολιτικές δεν είναι υποχρεωτικά ίδιες.
Η OpenAI δημοσιεύει διαφορετικές οδηγίες για OAI-SearchBot, GPTBot και ChatGPT-User. Οι ρυθμίσεις του ιστότοπου πρέπει να ανταποκρίνονται στη δική μας στρατηγική, όχι σε ένα αυτόματο «Allow All».
Πρακτικό παράδειγμα ελέγχου
Για την κεντρική σελίδα AI Discovery ελέγχουμε πρώτα τη δυνατότητα λήψης του δημόσιου HTML. Έπειτα εξετάζουμε robots.txt και Cloudflare WAF. Αν ένα bot λαμβάνει 403 ή challenge, το robots.txt δεν μπορεί να αναιρέσει τη διακοπή πρόσβασης.
Η ρύθμιση GPTBot δεν είναι η ίδια απόφαση με το OAI-SearchBot. Αν θέλουμε AI Search visibility, εξετάζουμε πρώτα τους search και user-triggered fetchers. Δεν σημαίνει ότι πρέπει να επιτρέψουμε όλες τις μορφές συλλογής δεδομένων.
Checklist
- Το δημόσιο HTML υπάρχει στη source response, όχι μόνο μετά από hydration;
- Είναι ο crawler επιτρεπτός από τη σωστή πολιτική robots;
- Επιστρέφει ο server πραγματικό 200 όταν αιτείται σημαντική σελίδα;
- Μήπως rate limiting, bot management ή WAF δημιουργούν false blocks;
- Καταγράφουμε αλλαγές πολιτικών και μετρήσεις, ώστε να ξέρουμε τι συνέβη;
Το AI citation measurement βοηθά να δούμε αν η πρόσβαση συσχετίζεται με πραγματικές εμφανίσεις. Δεν αποδεικνύει μόνο του αιτιότητα.
Πηγές: OpenAI crawlers, Google AI features.