당신 로봇 과잉 생각합니다. 그런 걸 본 적이 없어
내 인생에 거대한 로봇. 나는 당신이 사용해야한다고 생각
색인에서 거미를 유지하는 표준 로봇
사용자 포럼 디렉토리의 일부, 그리고 그것을이야. 당신은
세계의 모든 거미를 유지하기 위해 노력하고, 내가 할
좋은 일이라고 생각하지 .. 뭘 두려워 하나?
이제 이것에 대해 생각. 나는 VPS 오전, 나는 해커 있어요
이메일 보고서와 구글 봇은 금지 IP 목록에했습니다. 가요
그 서버가 어떤 IP의 봇을 금지했다는 가능하고
그런 경우이고있다면 그들은 뒤로 스파이더 올 수 없습니다
그렇다면 그들이 드 - 색인을 생성하지 않을까요? 나는 이상한 발견
구글 봇이 내 금지 IP 목록에 .. 그래서 결국 그게 무슨
구글 거미가 금지이라도 할 수 있을까?