Quote Oorspronkelijk geplaatst door pepito69 View Post
U kunt hier kijken het:
http://www.egiptoforo.com/robots.txt
Ik denk dat je robots is overkill. Ik heb nog nooit zo'n
een enorme robots in mijn leven. Ik vind dat je gewoon gebruik maken van
een standaard-robots die spiders zullen houden van het indexeren
een aantal van uw forum directories, en thats it. U bent
proberen te houden elke spin in de wereld, en ik doe
niet dat dat een goede zaak is ... wat ben je bang voor?

Nu ik over nadenken. Ik ben op een vps, en ik kreeg hacker
e-mail rapport en een google bot werd op de verboden lijst van ip. Is
het mogelijk dat uw server heeft een aantal bot ip's verboden en
als dat het geval is en ze niet kon komen terug en spin
dan zouden ze niet de-geïndexeerd? Ik vond het heel raar
dat een google bot belandde op mijn ip verboden lijst ... so what
kan een Google spider moeten doen om gekregen hebben verboden?