Quote Originally Posted by pepito69 View Post
Anda boleh melihat di sini:
http://www.egiptoforo.com/robots.txt
Saya rasa robot anda adalah pembunuhan besar-besaran. Saya tidak pernah melihat apa-apa
robot yang besar dalam hidup saya. Saya rasa anda hanya perlu menggunakan
robot standard yang akan menyimpan labah-labah dari Pengindeksan
beberapa direktori forum anda, dan thats. Anda
cuba untuk menjaga setiap labah-labah di dunia, dan saya tidak
tidak berfikir bahawa adalah satu perkara yang baik ... apakah anda takut?

Sekarang saya fikir tentang perkara ini. Saya pada VPS, dan saya mendapat hacker
e-mel, laporan dan bot google adalah senarai ip yang diharamkan. Apakah
mungkin bahawa pelayan anda telah mengharamkan beberapa buah bot ip dan
jika yang kes itu dan mereka tidak dapat kembali dan labah-labah,
barulah mereka tidak akan de-indexed? Saya mendapati ia sangat pelik
bahawa bot google yang berakhir pada saya senarai ip yang diharamkan ... jadi apa
boleh google seekor labah-labah boleh lakukan untuk mendapat diharamkan?