Hallo,
Google führt seit kurzem strengere Prüfungen für Websites durch.
Diese hatten z.B. auch zum zeitweiligen Ausschluß von
www.bmw.de geführt.
Hier wegen Doorway Pages.
Ein anderes Ausschlußkriterium ist der sogenannte "Double Content" oder DC.
Wenn eine gleiche oder sehr ähnliche Webseite unter verschiedener URL
zu finden ist, handelt es sich um DC.
Da bei Nutzung des Static-Builder prinzipell alle Seiten sowohl im dynamischen Bereich (unter cgi-bin)
als auch statisch vorhanden sind, empfiehlt es sich den dynamischen Bereich für Suchmaschinen zu sperren.
Es kann nämlich leicht passieren, dass externe Links in den dynamischen Bereich führen und dieser
somit indiziert wird.
Bislang war das noch nie ein Problem und viele haben sich sogar gefreut, dass Ihre Site so oft vertreten ist
(site:www.meinshop.de). Aber insbesondere dann, wenn die Angabe bei "site:" die tatsächliche Anzahl von
Seiten erheblich übertrifft, ist Vorsicht geboten.
Es empfieht sich folgendes robots.txt im root-Verzeichnis.
User-Agent: *
Disallow: /cgi-bin/
Es fallen zwar dann i.d.R. einige Seiten raus. Diese sind aber ohnehin meist
weniger wertvoll und Sie können sicher DC ausschließen.
Wie gesagt, dies gilt nur für Nutzer des Static-Builders.
Gruss hop
Linkback: https://www.shoppilot.net/pf/index.php?topic=600.0