{"id":31405,"date":"2024-11-12T12:40:13","date_gmt":"2024-11-12T12:40:13","guid":{"rendered":"https:\/\/www.seobility.net\/?post_type=wiki&p=31405"},"modified":"2025-03-18T13:46:56","modified_gmt":"2025-03-18T13:46:56","slug":"Googlebot","status":"publish","type":"wiki","link":"https:\/\/www.seobility.net\/de\/wiki\/Googlebot","title":{"rendered":"Googlebot"},"content":{"rendered":"

Was ist der Googlebot?<\/span><\/h2>\n
\n
\"Googlebot\"<\/a> <\/p>\n
Abbildung:<\/b> Googlebot – Autor: Seobility – Lizenz: CC BY-SA 4.0<\/a><\/div>\n<\/div>\n<\/div>\n

Beim Googlebot handelt es sich um den Crawler<\/a> der Suchmaschine Google, der kontinuierlich Dokumente aus dem World Wide Web sammelt und diese f\u00fcr den Google Index und die Google Suche zur Verf\u00fcgung stellt. Der Bot sucht durch ein automatisiertes Verfahren ununterbrochen nach neuen Inhalten im World Wide Web und geht bei diesem Prozess vor wie ein gew\u00f6hnlicher Webbrowser: Der Bot sendet eine Anfrage an den zust\u00e4ndigen Webserver, der dann diese Anfrage beantwortet. Danach l\u00e4dt er eine einzelne Seite herunter, die unter einer einheitlichen URL<\/a> erreichbar ist und legt diese zun\u00e4chst im Google-Index ab. Auf diese Weise indexiert der Google-Crawler das gesamte Internet, wobei er auf verteilte und skalierbare Ressourcen zur\u00fcckgreifen kann, um gleichzeitig Tausende von Seiten zu crawlen.\n<\/p>\n

Wie funktioniert der Googlebot?<\/span><\/h2>\n

Um erfolgreiche Suchmaschinenoptimierung betreiben zu k\u00f6nnen, ist es wichtig zu verstehen, wie der Googlebot funktioniert. Nachfolgend wird daher dessen Funktionsweise kurz erl\u00e4utert.\n<\/p>\n

Der Googlebot basiert auf einem hoch entwickelten Algorithmus, welcher in der Lage ist, s\u00e4mtliche Aufgaben autonom zu erledigen und auf dem Konzept des World Wide Web (WWW) aufbaut. Dieses kann man sich als ein gro\u00dfes Netzwerk von Webseiten (Knoten) und Verbindungen (Hyperlinks) visualisieren. Jeder Knoten wird durch eine URL eindeutig gekennzeichnet und ist durch diese Webadresse erreichbar. Die Hyperlinks auf einer Seite f\u00fchren dabei auf weitere Unterseiten oder auf Ressourcen auf einer anderen Domain. Der Bot von Google ist in der Lage die Verbindungen (HREF-Links) und die Ressourcen (SRC-Links) eindeutig zu identifizieren und zu analysieren. Wie der Googlebot das gesamte Netz am effektivsten und schnellsten durchsucht, wird durch die eingesetzten Algorithmen genau spezifiziert.\n<\/p>\n

Der Googlebot arbeitet dabei mit unterschiedlichen Techniken. Einerseits kommt das sogenannte Multi-Threading-Verfahren zum Einsatz, das die gleichzeitige Ausf\u00fchrung mehrerer Crawling-Prozesse erm\u00f6glicht. Andererseits setzt Google auch Webcrawler ein, die sich auf das Durchsuchen bestimmter thematischer Bereiche konzentrieren, wie beispielsweise das Crawlen des World Wide Web anhand bestimmter Arten von Hyperlinks.\n<\/p>\n

Wie k\u00f6nnen Webmaster herausfinden, wann der Googlebot auf ihrer Website war?<\/span><\/h2>\n

In der Google Search Console<\/a> k\u00f6nnen Seitenbesitzer und Webmaster nachsehen, wann der Googlebot zuletzt ihre Website gecrawlt hat.\n<\/p>\n

1. Schritt<\/b>\n<\/p>\n

In der Google Search Console muss man zun\u00e4chst auf den Men\u00fcpunkt „Abdeckung“ klicken, woraufhin eine Status\u00fcbersicht auftaucht, in der Fehler oder Warnungen angezeigt werden. Danach klickt man auf den Reiter „g\u00fcltig“, damit alle fehlerfreien Seiten eingeblendet werden. Unten bei Details wird eine Zeile mit dem Status „g\u00fcltig“ angezeigt, die man anklicken muss.\n<\/p>\n

2. Schritt<\/b>\n<\/p>\n

Nun wird eine detaillierte \u00dcbersicht pr\u00e4sentiert, aus der man ablesen kann, wann der Googlebot zuletzt die Seiten der jeweiligen Webpr\u00e4senz besucht hat. F\u00fcr jede einzelne Webseite wird das genaue Datum des letzten Crawlings angezeigt.\n<\/p>\n

Es kann also durchaus vorkommen, dass die neueste Version einer bestimmten Seite auf der Webpr\u00e4senz noch nicht gecrawlt worden ist. In diesem Fall kann man Google den Hinweis geben, dass sich der Content der Seite ver\u00e4ndert hat und diese neu indexiert werden sollte.\n<\/p>\n

Wie kann das Crawling einer Website durch den Googlebot blockiert werden?<\/span><\/h2>\n

Webmastern und Seitenbesitzern stehen unterschiedliche M\u00f6glichkeiten zur Verf\u00fcgung, um Webcrawlern Informationen auf ihren Webseiten bereitzustellen oder auch zu verwehren. Jeder Crawler kann durch eine Bezeichnung im HTTP-Header<\/a>-Feld \u201cUser Agent<\/a>\u201d eindeutig identifiziert werden. Beim Bot von Google lautet diese Bezeichnung „Googlebot“, welche von der Hostadresse googlebot.com ausgeht. Diese User Agent Eintr\u00e4ge werden in den Logfiles des zust\u00e4ndigen Webservers gespeichert und geben Webmastern detaillierte Informationen dar\u00fcber, wer Anfragen an den Webserver sendet.\n<\/p>\n

Seitenbetreiber k\u00f6nnen selbst entscheiden, ob sie das Crawling ihrer Website durch den Googlebot blockieren oder zulassen m\u00f6chten. Dies kann auf folgende Weise realisiert werden:\n<\/p>\n