Penso che il vostro robot è eccessivo. Non ho mai visto
un robot enorme nella mia vita. Penso che si dovrebbe semplicemente usare
un robot standard che non mancherà di tenere ragni da indicizzazione
alcune delle vostre cartelle forum, ed è tutto. Sei
cercando di tenere fuori tutti gli spider del mondo, e lo faccio
Non pensate che sia una buona cosa ... che cosa hai paura?
Ora che ci penso questo. Io sono su un vps, e ho avuto degli hacker
report via email, e un bot di Google era sulla lista ip bannato. È
E 'possibile che il server ha messo al bando alcuni ip bot e
se questo è il caso e non potevano tornare indietro e spider,
allora sarebbe non siano de-indicizzato? Ho trovato molto strano
che un bot di Google finito sulla mia lista vietato ip ... quindi cosa
potrebbe un ragno google fare ad avere ottenuto vietato?