יש לזכור כי:
1. בדיוק כמו שאמרת לגוגל יש הרבה שרתים על העולם כולו ומי צריך מעת לעת נתונים להפיץ בין כל האחרים. זו הסיבה כמה דפים יכול להיות ראה באינדקס כבר אך עדיין לא על אחרים ביבשת אחת.
2. זכור כי Google מציגה מספר משוער של תוצאות מה פירושו של דבר:
א) זה לא המספר האמיתי
ב) מספר התוצאות יכול להשתנות גם כאשר המספר האמיתי של הדפים באינדקס לא
ג) מספר התוצאות ניתן עדיין אותו גם אם מספר העמודים באינדקס השתנה
ד) Google משתמשת באלגוריתמים היוריסטיות לא, ולכן התוצאות הן ממש לא דטרמיניסטי - קרוב לוודאי שלא תראה את זה על התוצאות הראשונות, בגלל מצבורי וכן הלאה, אבל אם זה יכול להיות גלוי, כאשר מקבל על תוצאות נמוכות באמת
ה) קסום יכול לקרות
ברצינות - קרא מספר ההודעות האחרונות שלי בשרשור הזה - אני מקווה שזה יכול לעזור
אני פשוט חיפשתי בתווים כלליים robots.txt (שכן על פי הידע הקודם שלי זה לא אמור להיות בקובץ robots.txt) ומצאתי את המאמר הזה אשר אומר זה אמור לעבוד:
ובכל זאת מצאתי מאוד מעניין משפט המחברים:Code:http://seogadget.co.uk/wildcards-in-robots-txt/
אני אעשה עוד קצת מחקר בתחום זה.חלקם של קידום אתרים לא מסכים עם שימוש בתווים כלליים, או לפחות הם רואים בו סיכון מעט או הרבה מן הנוהג הטוב ביותר.
לעריכה.
כאן מצאתי עוד אודות כלליים robots.txt:- על פי המידע שיש Google ו-Yahoo מאפשר להשתמש בתווים כלליים.Code:http://tools.seobook.com/robots-txt/
ובכל זאת - אנא ודא כי אתה לא חוסמת את כל התוכן המתורגם שלך על ידי כמה מן הכלל כלליים. נא להשתמש ב-Webmaster Tools כדי לקבוע (הראשון לעשות vBET לפעול שוב). כפי שכתב מחבר המאמר הזכיר האחרון:
קחו כתובות הקשורות אם להשתמש בתווים כלליים Robots.txt: אני בטעות עלות עצמי מעל 10,000 דולר עם רווח robots.txt שגיאה אחת!
נערך לאחרונה על ידי vBET; 07-03-11 ב 00:08.
אני סיפרתי לו מראש כדי לפשט robot.txt שלו - אני לא מומחה, אבל
חשבתי מיד את בת להיות כזה מטורף robots.txt לא
לעשות מאז. robot.txt צריך להיות פשוט, לא מוגזם ....
אני חושב שאני גם הזכיר לו שזה לא היה רעיון טוב או כדי
להסיר את mod כפי שלא יפתור את הבעיה, משום מה
קורה אם הוא מתחיל מחדש, אז הוא שקול להסיר
mod שוב, שכן הוא לא לפתור את זה בפעם הראשונה, זה
פשוט לא עושה מאז רק כדי לבטל את התקנת mod מבלי לפתור את הבעיה.