Google ka hequr të gjitha faqet e indeksuara përkthyer

[pepito69]

Ju mund të shikoni këtu:
http://www.egiptoforo.com/robots.txt

[dsimms]

Ju mund të shikoni këtu:
http://www.egiptoforo.com/robots.txt

Unë mendoj se robots juaj është overkill. Unë kurrë nuk kam parë të tilla
një robots të madh në jetën time. Unë mendoj se ju duhet të përdorni vetëm
një robots standarde që do të mbajë spiders të indeksimit
disa nga directories juaj forum, dhe thats it. Ju jeni
duke u përpjekur për të mbajtur jashtë çdo merimangë në botë, dhe unë
nuk mendoj se është një gjë e mirë ... çfarë jeni frikë?

Tani që mendoj për këtë. Unë jam në një VPS, dhe kam marrë hacker
raportin e email, dhe një bot google ishte në listën ip ndaluar. Është
të mundur që serveri juaj ka ndaluar disa ip bot dhe
në qoftë se është rasti dhe ata nuk mund të kthehen dhe merimangë,
atëherë nuk do të jenë ata de-indeksuar? Kam gjetur shumë të çuditshëm
që një bot google përfundoi në listën time ndaluar ip ... kështu që çfarë
mund një merimangë google jetë bërë për të kanë marrë ndaluar?