Jeg tror din robotter er overkill. Jeg har aldrig set så
en kæmpe robotter i mit liv. Jeg synes, du skal bare bruge
en standard robotter, der vil holde edderkopper fra indekseringen
nogle af dine forum mapper, og Thats det. Du er
forsøger at holde ud hver edderkop i verden, og jeg gør
ikke synes, det er en god ting ... hvad er du bange for?
Nu hvor jeg tænker over dette. Jeg er på en VPS, og jeg fik hacker
e-mail-rapport, og en google bot var på den forbudte IP-listen. Er
det muligt, at din server har forbudt nogle bot ip-og
Hvis det er tilfældet, og de kunne ikke komme tilbage og spider,
så ville de ikke være de-indekseret? Jeg fandt det meget underligt
at en Google-bot endte på min forbudt ip liste ... og hvad så
kunne en google edderkop gøre for at have fået forbudt?