Quote Първоначално публикувано от pepito69 View Post
Можете да го погледнете тук:
http://www.egiptoforo.com/robots.txt
Мисля, че вашите роботи е Overkill. Никога не съм виждал такива
огромни роботи в живота ми. Мисля, че просто трябва да използвате
стандартна роботи, които ще водят паяци от индексиране
някои от вашия нов форум директории, както и този. Вие сте
се опитват да поддържат на всеки паяк в света, и аз правя
не мисля, че това е добро нещо ... От какво се страхуват?

Сега, аз мисля за това. Аз съм на VPS, и аз имам хакер
имейл доклад, и бота на Google е на забранената IP списък. Дали
възможно, че вашият сървър е забранил някои бот IP и
ако случаят е такъв и те не биха могли да се върнат и паяк,
тогава не би те да бъдат де-индексирани? Открих, че е много странно
че бота на Google в крайна сметка ми забранени IP списък ... така че това, което
Google паяк може да се прави, за да са придобили забранени?