Crawlbarkeit - Inhalte für Suchmaschinen erreichbar machen

Um sicherzustellen, dass Ihre Seiteninhalte auch von Suchmaschinen indiziert werden, sollten folgende Punkte beachtet werden:

Flash und Java

Inhalte, die von Browserplugins ausgeführt werden können nicht von Suchmaschinen aufgenommen und zudem nicht bei allen Besuchern ausgeführt werden. Deshalb empfehlen wir diese aktiven Inhalte durch HTML5 Elemente zu ersetzen.

Frames

Frames sind nicht nur veraltet und mittlerweile komplett durch CSS überholt, sondern Sie führen auch dazu, dass die Seite nur teilweise indiziert wird. Es tauchen somit Seiten im Suchindex auf, die nur Ausschnitte der Webseite darstellen, also z.B. Seiten ohne Menü.

Indextags und Robots.txt

Seiten, die indiziert werden sollen, dürfen keinen "noindex" Meta-Tag haben und nicht von der Robots.txt Datei ausgeschlossen sein. Sie können dies testen indem Sie dieses Tool Abruf wie durch Google aus den Google Webmaster Tools verwenden.

Fehlgeleiteter Botschutz

Viele mittelgroße bis große Seiten implementieren Sicherheitsmechanismen, um aggressive Bots auszusperren. Diese führen jedoch oft dazu, dass die Seiten nicht mehr richtig gecrawlt werden können und so von den Suchmaschinen nur in Teilen oder gar nicht aufgenommen werden können. Ein passendes Beispiel hierfür liefert Apples ITunes, welches sehr viel Sichtbarkeit bei Google verloren hat, nachdem ein Botschutz diesen teilweise aussperrte. Versuchen Sie Requests von aggressiven Bots durch Einträge in der Robots.txt auszusperren und achten Sie bei einem Botschutz darauf, dass dieser IP Adressen vor der Sperrung auf den Host prüft und so feststellt ob es sich etwa um den Googlebot handelt. Google selbst stellt hierfür eine Anleitung bereit.

Analysieren Sie jetzt kostenlos bis zu 1.000 Unterseiten Ihrer Website!

Kostenlos registrieren
Die Nutzung des Basis Accounts ist zeitlich unbegrenzt möglich