Robots.txt för vbseo-aktiverade forumet kör Vbet 4.2.3

[norku]

Jag har letat och letar men kan inte hitta tips på innehållet i min robots.txt. Jag kör Vbet 4.2.3 med Vbseo 3.6.0 RC 2.

Jag antar att jag behöver en som liknar den ni använder?


Är detta ett okej eller behöver jag den enorma en ni använder där du blockera åtkomst till varje fil efter språk?

# Allow Archiver
User-agent: ia_archiver
Allow: /

User-agent: *
Disallow: /forum/*.js
Disallow: /forum/*.jsp
Disallow: /forum/*.cfm
Disallow: /forum/*.asp
Disallow: /forum/*.aspx
Disallow: /forum/*.cgi
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/install/
Disallow: /forum/customavatars/
Disallow: /forum/archive/
Disallow: /forum/attachments/ 
Disallow: /forum/ajax.php
Disallow: /forum/attachment.php
Disallow: /forum/admincp/
Disallow: /forum/calendar.php
Disallow: /forum/cron.php
Disallow: /forum/editpost.php
Disallow: /forum/global.php
Disallow: /forum/external.php
Disallow: /forum/image.php
Disallow: /forum/inlinemod.php
Disallow: /forum/joinrequests.php
Disallow: /forum/login.php
Disallow: /forum/billspaypal.php
Disallow: /forum/member.php
Disallow: /forum/memberlist.php
Disallow: /forum/misc.php
Disallow: /forum/moderator.php
Disallow: /forum/newattachment.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/poll.php
Disallow: /forum/postings.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php
Disallow: /forum/profile.php
Disallow: /forum/register.php
Disallow: /forum/report.php
Disallow: /forum/reputation.php
Disallow: /forum/search.php
Disallow: /forum/sendmessage.php
Disallow: /forum/showgroups.php
Disallow: /forum/subscription.php
Disallow: /forum/threadrate.php
Disallow: /forum/usercp.php
Disallow: /forum/usernote.php
Disallow: /forum/faq.php
Disallow: /forum/vbseo.php
Disallow: /forum/vbseocp.php
Disallow: /forum/vbseocpform.php
Disallow: /forum/chat.php

Sitemap: http://www.mydomain.com/forum/sitemap_index.xml.gz 

[kamilkurczak]

hej,
Du bör inaktivera den här sidor från din robots.txt-fil också.
Varför?

Den här adressen:

/forum/calendar.php

Har samma innehåll som den här:

/forum/de/calendar.php

men url är olika och Google kommer att indexera denna webbadress (denna sida) också.

Du kan använda en robots.txt-fil från vårt exempel (full man är i den bifogade filen i detta inlägg - nedre delen)
http://www.vbenterprisetranslator.co...rformance.html

[norku]

Okej. Tack. Jag ska ändra på det nu. Jag använder 8wayrun mediebiblioteket mod på min webbplats. Media.php dirigeras nu till / forum / media-biblioteket / Är det något jag måste vara försiktig av med detta i fråga om robots.txt och översättningar? Jag kan starta en ny tråd om du gillar?

[kamilkurczak]

Vi kan ge dig ett exempel på robots.txt (vi redan använder samma som den här).
Om du vill ha den här webbplatsen funktionshindrade för Google -> blockera den (du kan blockera URL till PHP Site och omdirigeras del till -. Om detta är permanent hänvisning) om detta är en 302 omdirigering (ej permanent) Blonk bara url till. PHP Site.