Μπορείτε να το δείτε εδώ:
http://www.egiptoforo.com/robots.txt
Μπορείτε να το δείτε εδώ:
http://www.egiptoforo.com/robots.txt
Νομίζω ότι τα ρομπότ σας είναι υπερβολή. Δεν έχω δει ποτέ τέτοια
ένα τεράστιο ρομπότ στη ζωή μου. Νομίζω ότι θα πρέπει απλά χρησιμοποιήστε
ένα πρότυπο ρομπότ που θα κρατήσει αράχνες από τη δημιουργία ευρετηρίου
μερικές από καταλόγους φόρουμ σας, και thats που. Είστε
προσπαθώντας να κρατήσει έξω κάθε αράχνη στον κόσμο, και να κάνω
Δεν νομίζω ότι είναι ένα καλό πράγμα ... τι φοβούνται;
Τώρα που το σκέφτομαι αυτό. Είμαι σε VPS, και πήρα χάκερ
Έκθεση e-mail, και ένα bot της Google ήταν για την απαγορευμένη λίστα ip. Είναι
πιθανό ότι ο διακομιστής σας έχει απαγορεύσει κάποια bot ip και
αν έτσι έχουν τα πράγματα και δεν μπορούσαν να έρθουν πίσω και αράχνη,
τότε θα μπορούν να de-δείκτη; Το βρήκα πολύ παράξενο
ότι ένα bot Google κατέληξε σε απαγορευμένες ip λίστα μου ... ναι, ποιο
θα μπορούσε το Google αράχνη να κάνει για να έχουν πάρει απαγορευμένες;