Robots.txt для vbseo поддержкой форум работает Vbet 4.2.3

[norku]

Я искал и поиска, но не могут найти советы о содержании моих robots.txt. Я бегу Vbet 4.2.3 с Vbseo 3.6.0 RC 2.

Я предполагаю, что мне нужно один подобный тому, который вы, ребята, используете?


Это один нормально или мне нужно огромных один вы, ребята, использованием, где вы блокировать доступ к каждому файлу по языку?

# Allow Archiver
User-agent: ia_archiver
Allow: /

User-agent: *
Disallow: /forum/*.js
Disallow: /forum/*.jsp
Disallow: /forum/*.cfm
Disallow: /forum/*.asp
Disallow: /forum/*.aspx
Disallow: /forum/*.cgi
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/install/
Disallow: /forum/customavatars/
Disallow: /forum/archive/
Disallow: /forum/attachments/ 
Disallow: /forum/ajax.php
Disallow: /forum/attachment.php
Disallow: /forum/admincp/
Disallow: /forum/calendar.php
Disallow: /forum/cron.php
Disallow: /forum/editpost.php
Disallow: /forum/global.php
Disallow: /forum/external.php
Disallow: /forum/image.php
Disallow: /forum/inlinemod.php
Disallow: /forum/joinrequests.php
Disallow: /forum/login.php
Disallow: /forum/billspaypal.php
Disallow: /forum/member.php
Disallow: /forum/memberlist.php
Disallow: /forum/misc.php
Disallow: /forum/moderator.php
Disallow: /forum/newattachment.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/poll.php
Disallow: /forum/postings.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php
Disallow: /forum/profile.php
Disallow: /forum/register.php
Disallow: /forum/report.php
Disallow: /forum/reputation.php
Disallow: /forum/search.php
Disallow: /forum/sendmessage.php
Disallow: /forum/showgroups.php
Disallow: /forum/subscription.php
Disallow: /forum/threadrate.php
Disallow: /forum/usercp.php
Disallow: /forum/usernote.php
Disallow: /forum/faq.php
Disallow: /forum/vbseo.php
Disallow: /forum/vbseocp.php
Disallow: /forum/vbseocpform.php
Disallow: /forum/chat.php

Sitemap: http://www.mydomain.com/forum/sitemap_index.xml.gz 

[kamilkurczak]

привет,
Вы должны отключить эту страницы из файла robots.txt тоже.
Почему?

Это адрес:

/forum/calendar.php

У того же содержания, как это:

/forum/de/calendar.php

но гиперссылка разные, и Google будет индексировать этот адрес (эта страница) тоже.

Вы можете использовать файл robots.txt из нашего примера (полный один находится в вложений в этом сообщении - нижняя часть)
http://www.vbenterprisetranslator.co...rformance.html

[norku]

Хорошо. Спасибо. Я изменю это сейчас. Я использую 8wayrun медиа-библиотеку мода на моем сайте. Media.php перенаправляется в настоящее время до / форум / медиа-библиотека / Есть что-нибудь мне нужно быть осторожным с этим в отношении robots.txt и переводы? Я могу начать новую тему, если вам нравится?

[kamilkurczak]

Мы можем дать вам пример robots.txt (мы уже используем такие же, как этот).
Если вы хотите, чтобы этот сайт недоступен для Google -> блок (можно блокировать URL на сайт PHP и перенаправлены частично -. Если это постоянное перенаправление), если это 302 редирект (не постоянное) blonk только URL, чтобы. PHP-сайта.