{"id":31700,"date":"2024-11-12T12:40:20","date_gmt":"2024-11-12T12:40:20","guid":{"rendered":"https:\/\/www.seobility.net\/?post_type=wiki&p=31700"},"modified":"2026-01-16T07:33:55","modified_gmt":"2026-01-16T07:33:55","slug":"Suchmaschinen_Crawler","status":"publish","type":"wiki","link":"https:\/\/www.seobility.net\/de\/wiki\/Suchmaschinen_Crawler","title":{"rendered":"Suchmaschinen Crawler"},"content":{"rendered":"

Definition<\/span><\/h2>\n
\n
\"Suchmaschinen<\/a> <\/p>\n
Abb.:<\/b> Suchmaschinen Crawler – Autor: Seobility – Lizenz: CC BY-SA 4.0<\/a><\/div>\n<\/div>\n<\/div>\n

Ein Crawler ist eine Software, die das Internet durchsucht und dessen Inhalte analysiert. Sie wird vor allem von Suchmaschinen<\/a> f\u00fcr die Indizierung von Webseiten verwendet. Dar\u00fcber hinaus werden Webcrawler aber auch f\u00fcr die Datensammlung genutzt, z.B. f\u00fcr Web-Feeds oder, besonders im Marketing, E-Mail-Adressen. Crawler z\u00e4hlen zu den Bots, also Programmen, die automatisch definierte, sich wiederholende Aufgaben erledigen. Der erste Webcrawler hie\u00df World Wide Web Wanderer und wurde ab 1993 zur Messung des Internetwachstums genutzt. Ein Jahr sp\u00e4ter startete die erste Internetsuchmaschine unter dem Namen Webcrawler und gab somit dieser Art von Programmen ihren Namen. Heute sind solche Bots der Hauptgrund, warum Suchmaschinenoptimierung (SEO) beim internetbasierten Marketing im Vordergrund steht. F\u00fcr erfolgreiches SEO ist somit die Kenntnis \u00fcber die Arbeitsweise dieser Programme von Vorteil, weshalb im Folgenden n\u00e4her auf dieses Thema eingegangen wird.\n<\/p>\n

Arbeitsweise von Webcrawlern<\/span><\/h2>\n

Ein Crawler findet neue Webseiten wie ein User beim Internetsurfen durch Hyperlinks. Wird eine Seite ge\u00f6ffnet, untersucht er sie und speichert alle enthaltenen URLs<\/a>. Danach \u00f6ffnet er nach und nach jede der gespeicherten URLs, um den Vorgang zu wiederholen: Er analysiert und speichert weitere URLs. Auf diese Art nutzen Suchmaschinen Bots, um verlinkte Seiten im Web zu finden. Meist werden jedoch nicht alle URLs durch den Crawler abgearbeitet, sondern durch eine Auswahl begrenzt. Irgendwann wird der Vorgang gestoppt und neu eingeleitet. Die gesammelten Informationen werden in der Regel via Indizierung ausgewertet und gespeichert, damit sie sich schnell finden lassen.\n<\/p>\n

Anweisungen an Webcrawler<\/span><\/h2>\n

Websitebetreiber k\u00f6nnen die Robots Exclusion Standards nutzen, um Crawlern mitzuteilen, welche Seiten indiziert werden sollen und welche nicht. Diese Anweisungen werden in einer Datei namens robots.txt<\/a> platziert oder k\u00f6nnen auch via Meta-Tags<\/a> im HTML-Header mitgeteilt werden. Dabei ist jedoch zu beachten, dass sich Crawler nicht immer an diese Anweisungen halten.\n<\/p>\n

Anwendungsszenarien von Crawler-L\u00f6sungen<\/span><\/h2>\n

Crawler finden ein breites Anwendungsspektrum und werden oft als Funktion eines Softwarepakets angeboten. Neben der f\u00fcr Suchmaschinen relevanten Indizierung des Webs, k\u00f6nnen die Programme genutzt werden, um thematisch fokussierte Informationen zu Sammeln. Wird die Suche des Crawlers durch Klassifizierung einer Website oder eines Links eingegrenzt, lassen sich ausschlie\u00dflich thematisch relevante Seiten im Web finden. Dar\u00fcber hinaus k\u00f6nnen Crawler f\u00fcr Data-Mining<\/a> und Webometrie verwendet werden. Beim Data-Mining werden durch Bots Informationen aus gro\u00dfen Datenbest\u00e4nden gesammelt, um Trends und Querverbindungen zu identifizieren. Durch die Verwendung von Bots lassen sich so relevante Datenbanken erstellen und zielgem\u00e4\u00df auswerten. Die Webometrie befasst sich hingegen mit der Untersuchung des Internets auf Inhalte, Eigenschaften, Strukturen und das Userverhalten.\n<\/p>\n

Eine besondere Art von Webcrawlern sind sogenannte Harvester (\u201eErntemaschinen\u201c). Diese Bezeichnung bezieht sich auf Programme, die das Web nach E-Mail-Adressen absuchen und diese \u201eernten\u201c, also auf eine Liste f\u00fcr Aktivit\u00e4ten wie Marketing oder Spamversand speichern.\n<\/p>\n

Optimierung der Crawlbarkeit einer Webseite<\/span><\/h2>\n
\n
\n

Crawlbarkeit SEO Check<\/h3>\n

Pr\u00fcfe die Crawlbarkeit Deiner Seite<\/p>\n<\/div>\n

\n
\n<\/form>\n<\/div>\n

Um eine maximale Crawlbarkeit und ein bestm\u00f6gliches SEO-Ergebnis zu erreichen, sollte eine Website eine gute interne Verlinkung<\/a> aufweisen. Bots folgen Links, um neue Webseiten und Inhalte zu analysieren. Eine suchmaschinenfreundliche Verlinkung sorgt daf\u00fcr, dass alle wichtigen Unterseiten von Suchbots gefunden werden k\u00f6nnen. Wird auf einer dieser Webseiten hochwertiger Inhalt<\/a> entdeckt, ist wiederum ein hohes Ranking wahrscheinlich.\n<\/p>\n

Um den Crawlern die Arbeit zu erleichtern, sind auch XML- oder HTML-Sitemaps eine g\u00e4ngige L\u00f6sung. Sie enthalten die komplette Linkstruktur einer Website, sodass eine Suchmaschine alle Unterseiten problemlos finden und indizieren kann.\n<\/p>\n

Nicht zu untersch\u00e4tzen ist auch die korrekte Verwendung von HTML-Tags. Durch eine konsequente Verwendung dieser Strukturen kann man Bots helfen, den Inhalt einer Seite richtig zu interpretieren. Hierzu z\u00e4hlt zum Beispiel eine standardgem\u00e4\u00dfe Nutzung von \u00dcberschriften<\/a> (h1, h2, h3 usw.), Link-Titeln (title) und Bild-Beschreibungen (alt).\n<\/p>\n

Weiterhin ist der Verzicht auf Java- oder Flash-Inhalte ratsam. Zwar ist Google inzwischen in der Lage, JavaScript<\/a> Seiten zu crawlen, allerdings nimmt dies viel Crawling-Budget in Anspruch. Stattdessen sollten serverseitige Sprachen wie PHP oder ASP verwendet werden, um Navigationselemente und andere Bestandteile der Website in HTML zu erzeugen. Der Client (Webbrowser oder Bot) ben\u00f6tigt kein Plug-in<\/a>, um HTML-Ergebnisse zu verstehen und zu indizieren.\n<\/p>\n

Eine zeitgem\u00e4\u00dfe Website sollte au\u00dferdem nicht mehr auf Frames<\/a> basieren, sondern s\u00e4mtliche designtechnischen Aspekte mit CSS l\u00f6sen. Seiten, die heute noch Frames nutzen, werden nur teilweise indiziert und von Suchmaschinen missinterpretiert.\n<\/p>\n

Ein weiterer wichtiger Aspekt hinsichtlich der Optimierung der Crawlbarkeit ist, dass Seiten, die f\u00fcr die Indizierung freigegeben werden sollen, nicht in der robots.txt ausgeschlossen sein und keinen \u201enoindex\u201c Meta-Tag enthalten d\u00fcrfen. Um zu pr\u00fcfen, ob dieser Fall vorliegt, kann man auf verschiedene Tools der Suchanbieter zur\u00fcckgreifen. Google beispielsweise stellt hierf\u00fcr die Search Console<\/a> f\u00fcr Webmaster zu Verf\u00fcgung.\n<\/p>\n

Da Cyberkriminelle immer \u00f6fter Botangriffe veranlassen, nutzen Websitebetreiber den sogenannten Botschutz. Dieses Sicherheitssystem \u00fcberwacht Zugriffe auf die Website, erkennt Bots und sperrt sie bei Bedarf aus. Ein falsch konfigurierter Botschutz kann aber auch Bots von Google, Bing und anderen Suchmaschinen blockieren, was dazu f\u00fchrt, dass Seiten nicht mehr indiziert werden. Daher sollte sichergestellt werden, dass der Botschutz vor der Sperrung die jeweilige IP-Adresse<\/a> auf den Host pr\u00fcft. Auf diese Weise wird erkannt, ob der Bot zu Google, Bing oder anderen Suchmaschinen geh\u00f6rt.\n<\/p>\n

Abschlie\u00dfend ist darauf hinzuweisen, dass die Crawlbarkeit auch durch die Performance einer Website beeinflusst wird. Liegt die Internetpr\u00e4senz auf einem langsamen Server oder wird sie von technischen Problemen ausgebremst, erh\u00e4lt sie in der Regel kein gutes Suchmaschinenranking. Wahrscheinlich wird ein Teil der Unterseiten gar nicht indiziert, da Bots abspringen, wenn eine Seite zu lange l\u00e4dt. Daher ist eine schnelle Infrastruktur<\/a> die Grundlage f\u00fcr wirkungsvolle SEO.\n<\/p>\n

Im Folgenden haben wir die soeben erl\u00e4uterten Punkte nochmals in Form einer kurzen Checkliste f\u00fcr Sie zusammengefasst:\n<\/p>\n