Ich habe versucht, einige Artikel probeweise über das Google Merchant Center hochzuladen, was seitens Google abgelehnt wurde, weil ich eine robots.txt verwende, die das Crawlen in den cgi-Seiten verhindert, nämlich:
User-agent: *
Disallow: /cgi-bin/

Dieses hatte ich vor 2 Jahren eingerichtet, um zu verhindern, dass mir ständig das cart-Verzeichnis vollgemüllt wird, siehe hier:

http://www.shoppilot.net/pf/shoppilot-enterprise/cart-verzeichnis-ist-ubervoll/

Nun empfahl mir der Google-Support, ich solle in meine robot.txt folgende Zeilen hinzufügen:

User-agent: googlebot
Disallow:

Kann mir jemand sagen, ob das wirklich funktioniert, ohne dass ich wieder Probleme mit überfüllltem cart-Verzeichnis bekomme.
Wir haben übrigens die Enterprise-Version V2 80.05

Danke für jeden Tipp.

Viele Grüße
parimo

doch, das geht.
Danke, Dobra, für deine schnelle Antwort.

Allerdings müsste ich ja, wenn ich Google-Base nutzen will, den googlebot zulassen.
Und da befürchte ich eben, dass das cart-Verzeichnis wieder überläuft, da die automatische zeitlich terminierte Löschfunktion offensichtlich nicht immer funktioniert.

Würde das Problem eventuell behoben, wenn man den IBO-Lister einsetzt? Und funktioniert der überhaupt mit Google-Base?

LG - parimo

Aha, so also.
Ich habe jetzt also den googlebot dort eingetragen und meine robot.txt gemäß Angabe vom Google-Support abgeändert.
Mal sehen, ob es jetzt klappt.
Danke schon mal für deinen Hinweis.

LG - parimo