Problem mit Anbindung an Google Merchant (Base)

[parimo]

Ich habe versucht, einige Artikel probeweise über das Google Merchant Center hochzuladen, was seitens Google abgelehnt wurde, weil ich eine robots.txt verwende, die das Crawlen in den cgi-Seiten verhindert, nämlich:
User-agent: *
Disallow: /cgi-bin/

Dieses hatte ich vor 2 Jahren eingerichtet, um zu verhindern, dass mir ständig das cart-Verzeichnis vollgemüllt wird, siehe hier:

http://www.shoppilot.net/pf/shoppilot-enterprise/cart-verzeichnis-ist-ubervoll/

Nun empfahl mir der Google-Support, ich solle in meine robot.txt folgende Zeilen hinzufügen:

User-agent: googlebot
Disallow:

Kann mir jemand sagen, ob das wirklich funktioniert, ohne dass ich wieder Probleme mit überfüllltem cart-Verzeichnis bekomme.
Wir haben übrigens die Enterprise-Version V2 80.05

Danke für jeden Tipp.

Viele Grüße
parimo


Linkback: https://www.shoppilot.net/pf/index.php?topic=1448.0

[dobra]

Hallo Parimo,

das vollmüllen des cart-Verzeichnis durch SUMA-Robots kannst Du verhindern, indem Du unter Projekt -> Optionen -> Logfiles
Suchmaschinen aus dem Protokoll ausschließt.
Damit wird für die Robots kein Cart-Eintrag mehr angelegt (und auch die shoplog.txt enorm entlastet)



ob das allerdings bei Deiner veralteten 2.8 Version auch schon geht, weiß ich nicht .....

[parimo]

doch, das geht.
Danke, Dobra, für deine schnelle Antwort.

Allerdings müsste ich ja, wenn ich Google-Base nutzen will, den googlebot zulassen.
Und da befürchte ich eben, dass das cart-Verzeichnis wieder überläuft, da die automatische zeitlich terminierte Löschfunktion offensichtlich nicht immer funktioniert.

Würde das Problem eventuell behoben, wenn man den IBO-Lister einsetzt? Und funktioniert der überhaupt mit Google-Base?

LG - parimo

[dobra]

Allerdings müsste ich ja, wenn ich Google-Base nutzen will, den googlebot zulassen.

ne -  das darfst Du nicht mit dem Eintrag in der robot.txt
User-agent: *
Disallow: /cgi-bin/
verwechseln  

wenn Du googlebot hier einträgst, heißt das ja nur, dass googlebot nicht in die Logdatei geschrieben wird und keinen WK erhält, aber nicht dass nicht auf die Seiten zugegriffen werden darf!

[parimo]

Aha, so also.
Ich habe jetzt also den googlebot dort eingetragen und meine robot.txt gemäß Angabe vom Google-Support abgeändert.
Mal sehen, ob es jetzt klappt.
Danke schon mal für deinen Hinweis.

LG - parimo