Re: пауки, я понимаю это, но Baidu пауков приносят мало трафика, но на самом деле дерьмо на всем протяжении Вашего ресурсов, поэтому я сейчас запретить большинство китайских и других пауков нонсенс:
Baidu
Ичиро Мобильный
Сосо
Sogou
PSbot
Яндекс (Россия Yahoo)
Йети
spinn3r
.... я мог бы продолжать

Ну, если я не получаю именно эти переводы обратно мне придется идти оплачивается, но мои переводы и т.д. .. уже приходится почти 12 миллионов URL-адресов и многие мои страницы имеют много контента, поэтому я могу видеть меня демпинг поддержку остального мира в моем форуме, который является реальным позором. Я просто очистил свое кэши (гостевой и базы данных) и получили 9GB космических назад!