{"id":31688,"date":"2024-11-12T12:40:16","date_gmt":"2024-11-12T12:40:16","guid":{"rendered":"https:\/\/www.seobility.net\/?post_type=wiki&#038;p=31688"},"modified":"2025-03-18T13:46:27","modified_gmt":"2025-03-18T13:46:27","slug":"robots-txt","status":"publish","type":"wiki","link":"https:\/\/www.seobility.net\/de\/wiki\/robots-txt","title":{"rendered":"Robots.txt"},"content":{"rendered":"<h2><span class=\"mw-headline\" id=\"Was_ist_die_Robots.txt.3F\">Was ist die Robots.txt?<\/span><\/h2>\n<div class=\"thumb tright\">\n<div class=\"thumbinner\" style=\"width:452px;\"><a href=\"https:\/\/www.seobility.net\/de\/wiki\/images\/2\/20\/Robots-txt.png\"><img decoding=\"async\" alt=\"Robots.txt\" src=\"\/de\/wiki\/images\/thumb\/2\/20\/Robots-txt.png\/450px-Robots-txt.png\" width=\"450\" height=\"340\" class=\"thumbimage\" srcset=\"\/de\/wiki\/images\/thumb\/2\/20\/Robots-txt.png\/675px-Robots-txt.png 1.5x, \/de\/wiki\/images\/2\/20\/Robots-txt.png 2x\" \/><\/a>  <\/p>\n<div class=\"thumbcaption\"><b>Abbildung:<\/b> Robots.txt &#8211; Autor: Seobility &#8211; Lizenz: <a href=\"\/de\/wiki\/creative-commons-lizenz-by-sa-4-0\" title=\"Creative Commons Lizenz BY-SA 4.0\">CC BY-SA 4.0<\/a><\/div>\n<\/div>\n<\/div>\n<p>Die Robots.txt ist eine Textdatei mit Anweisungen f\u00fcr Bots wie <a href=\"\/de\/wiki\/Suchmaschinen_Crawler\" title=\"Suchmaschinen Crawler\">Suchmaschinen Crawler<\/a>. In ihr wird festgelegt, welche Bereiche einer Website von den Crawlern durchsucht bzw. nicht durchsucht werden d\u00fcrfen. So k\u00f6nnen Webmaster ohne gro\u00dfen Aufwand ganze Domains, komplette Verzeichnisse, ein oder mehrere Unterverzeichnisse oder einzelne Dateien vom Suchmaschinen-Crawling ausschlie\u00dfen. Jedoch stellt diese Datei keinen Schutz vor unberechtigten Zugriffen dar.\n<\/p>\n<p>Hinterlegt wird die Robots.txt im <a href=\"\/de\/wiki\/Root_Directory\" title=\"Root Directory\">Root-Verzeichnis<\/a> (Stammverzeichnis) der Domain. Somit ist sie das erste Dokument, welches von einem Crawler beim Besuch der Website aufgerufen wird. Die Datei steuert aber nicht nur das Crawling. Zus\u00e4tzlich kann ein Verweis zur Sitemap eingef\u00fcgt werden, durch den die Crawler der Suchmaschinen einen \u00dcberblick \u00fcber die vorhanden URLs der Domain erhalten.\n<\/p>\n<div class=\"checkform\">\n<div class=\"hl\">\n<h3>Robots.txt Check<\/h3>\n<p>Pr\u00fcfe die Robots.txt Datei Deiner Seite<\/p>\n<\/div>\n<form action=\"https:\/\/www.seobility.net\/de\/seocheck\/check#robots-txt\" method=\"get\">\n<input type=\"text\" name=\"url\" required=\"required\" placeholder=\"https:\/\/www.example.com\/\"><input type=\"submit\" value=\"Robots.txt pr\u00fcfen\"><br \/>\n<\/form>\n<\/div>\n<h2><span class=\"mw-headline\" id=\"Funktionsweise\">Funktionsweise<\/span><\/h2>\n<p>1994 wurde ein Protokoll mit dem Namen REP (Robots Exclusion Standard Protokoll) ver\u00f6ffentlicht. In diesem wird festgelegt, dass alle Suchmaschinen-Crawler (<a href=\"\/de\/wiki\/User_Agent\" title=\"User Agent\">user-agents<\/a>) zuerst im Root-Verzeichnis der Webseite nach der Datei Robots.txt suchen und die enthaltenen Anweisungen auslesen m\u00fcssen. Erst danach d\u00fcrfen die Bots mit der <a href=\"\/de\/wiki\/Indexierung\" title=\"Indexierung\">Indexierung<\/a> der Webseite beginnen. Die Datei muss sich direkt im Wurzelverzeichnis der Domain befinden und komplett klein geschrieben werden, denn die Bots lesen die Robots.txt und deren Anweisungen &#8222;case-sensitive&#8220; aus. Leider halten sich nicht alle Suchmaschinen und deren Bots an die Regeln. Immerhin funktioniert die Datei aber bei den wichtigsten Suchmaschinen, wie Bing, Yahoo und Google. Deren Suchbots halten sich streng an die Vorgaben in der Robots.txt und an das REP.\n<\/p>\n<p>In der Praxis wird die Textdatei f\u00fcr unterschiedliche Arten von Dateien verwendet. Bei Bilddateien verhindert sie, dass diese in den Suchergebnissen von Google erscheinen. Unwichtige Ressourcendateien, wie beispielsweise Script-, Stil- und Bilddateien lassen sich mit der Robots.txt ebenfalls einfach blockieren. Au\u00dferdem k\u00f6nnen mittels entsprechender Befehle dynamisch generierte Webseiten vom Crawling ausgeschlossen werden. So werden Ergebnisseiten der internen Suchfunktion, Seiten mit <a href=\"\/de\/wiki\/Session-ID\" title=\"Session-ID\">Session-IDs<\/a> oder Aktionen der Nutzer wie beispielsweise Warenk\u00f6rbe vom Crawling ausgeschlossen. Auch bei sonstigen Nicht-Bilddateien (Webseiten) lassen sich die Crawling-Zugriffe durch den Einsatz der Textdatei individuell steuern. Damit lassen sich folgende Szenarien verhindern:\n<\/p>\n<ul>\n<li> es werden \u00e4hnliche oder unwichtige Seiten auf der Webseite gecrawlt<\/li>\n<li> das Crawling-Budget wird unn\u00f6tig verschwendet<\/li>\n<li> der Server wird durch die Crawler \u00fcberlastet<\/li>\n<\/ul>\n<p>In diesem Zusammenhang ist jedoch zu beachten, dass die Robots.txt keine Garantie f\u00fcr die Nicht-Indexierung von Webseiten und Unterseiten darstellt. Sie steuert lediglich das Crawling der Seiten einer Domain, jedoch nicht die Indexierung. Sollen Seiten nicht in den Index aufgenommen werden, muss die Anweisung &lt;meta name=&#8220;robots&#8220; content=&#8220;<a href=\"\/de\/wiki\/Noindex\" title=\"Noindex\">noindex<\/a>&#8222;&gt; im Header einer Webseite untergebracht werden.\n<\/p>\n<p>Dateien, die f\u00fcr die Crawler-Analyse der Webseite von hoher Relevanz sind, sollten hingegen nicht blockiert werden. Dabei sollte beachtet werden, dass auch CSS- und Java Script Dateien freigegeben werden sollten, denn diese werden insbesondere von Mobile Bots gleicherma\u00dfen f\u00fcr das Crawling verwendet.\n<\/p>\n<h2><span class=\"mw-headline\" id=\"Welche_Anweisungen_kommen_in_der_Robots.txt_zum_Einsatz.3F\">Welche Anweisungen kommen in der Robots.txt zum Einsatz?<\/span><\/h2>\n<p>Die Robots.txt muss als UTF-8- oder <a href=\"\/de\/wiki\/ASCII-Code\" title=\"ASCII-Code\">ASCII<\/a>-Textdatei im Stammverzeichnis der Webseite erstellt werden. Es darf nur eine Datei mit diesem Namen vorhanden sein. Die Textdatei besteht aus einem klar lesbaren Format und beinhaltet einen oder mehrere Regels\u00e4tze. Die Gro\u00df- und Kleinschreibung muss beachtet werden und die Regeln (Anweisungen) werden von oben nach unten abgearbeitet.\n<\/p>\n<p>Folgende Keywords werden verwendet:\n<\/p>\n<ul>\n<li> user-agent: bezeichnet den Namen des Crawlers (die Namen finden sich in der Robots Database)<\/li>\n<li> disallow: verhindert das Crawlen von Dateien, Verzeichnissen oder Seiten<\/li>\n<li> allow: \u00fcberschreibt disallow und erm\u00f6glicht das Crawlen von Dateien, Seiten und Verzeichnissen<\/li>\n<li> sitemap (optional): zeigt den Pfad zum Speicherort der Sitemap<\/li>\n<li> *: steht f\u00fcr beliebig viele Zeichen<\/li>\n<li> $: steht f\u00fcr das Zeilenende<\/li>\n<\/ul>\n<p>Die Anweisungen (Eintr\u00e4ge) in der Robots.txt bestehen immer aus 2 Teilen. Im ersten Teil wird festgelegt, f\u00fcr welche Robots (user-agents) die folgende Anweisung gilt. Im 2. Teil befindet sich die Anweisung (disallow oder allow). &#8222;user-agent: Google-Bot&#8220; und die Anweisung &#8222;disallow: \/clients\/&#8220; bedeuten, dass der Crawler von Google das Verzeichnis \/clients\/ nicht durchsuchen darf. Soll die komplette Webseite von keinem Suchbot gecrawlt werden, lautet der Eintrag: &#8222;user-agent: *&#8220; und die Anweisung &#8222;disallow: \/&#8220;. Mit dem Dollarzeichen &#8222;$&#8220; k\u00f6nnen Seiten, die eine bestimmte Endung besitzen, blockiert werden. Durch die Anweisung &#8222;disallow: \/* .doc$&#8220; werden etwa alle URLs mit der Endung .doc blockiert. Auf die gleiche Art und Weise lassen sich in der Robots.txt spezifische Dateiformate blockieren: &#8222;disallow: \/*.jpg$&#8220;.\n<\/p>\n<p>Die Robots.txt f\u00fcr die Website https:\/\/www.example.com\/ k\u00f6nnte beispielsweise folgenderma\u00dfen aussehen:\n<\/p>\n<pre>User-agent: *\r\nDisallow: \/login\/\r\nDisallow: \/card\/\r\nDisallow: \/fotos\/\r\nDisallow: \/temp\/\r\nDisallow: \/search\/\r\nDisallow: \/*.pdf$\r\n\r\nSitemap: https:\/\/www.example.com\/sitemap.xml<\/pre>\n<h2><span class=\"mw-headline\" id=\"Welche_Rolle_spielt_die_Robots.txt_bei_der_Suchmaschinenoptimierung.3F\">Welche Rolle spielt die Robots.txt bei der Suchmaschinenoptimierung?<\/span><\/h2>\n<p>Die Textdatei ist ein kleines, aber wichtiges St\u00fcck Technik und sollte deshalb von jedem Webmaster und SEO-Experten verstanden werden. Auf die SEO (Search Engine Optimization) haben die Anweisungen in der Textdatei einen gro\u00dfen Einfluss. Mit der Robots.txt k\u00f6nnen Webmaster das Verhalten der Such-Bots individuell steuern. Werden die User Agents allerdings zu stark durch die Datei eingeschr\u00e4nkt, kann sich dies nachteilig auf das Ranking der Website auswirken. Mit den Seiten, die ausgeschlossen wurden, k\u00f6nnen Websites in der Regel nicht ranken.\n<\/p>\n<p>Bevor die Datei in das Stammverzeichnis der Webseite geladen wird, sollte die <a href=\"\/de\/wiki\/Syntax\" title=\"Syntax\">Syntax<\/a> \u00fcberpr\u00fcft werden. Bereits kleinere Fehler k\u00f6nnen dazu f\u00fchren, dass die Crawler die Angaben missachten und Webseiten crawlen, die keinesfalls im Index erscheinen sollen. Durch solche Fehler kann es passieren, dass Seiten f\u00fcr die Suchmaschinencrawler nicht mehr erreichbar sind und ganze URLs nicht mehr indexiert werden. Seiteninhaber und SEO-Experten k\u00f6nnen die Korrektheit der Robots.txt \u00fcber die Webmaster Tools von Google \u00fcberpr\u00fcfen. Dazu m\u00fcssen sie eine Analyse in der <a href=\"\/de\/wiki\/Google_Search_Console\" title=\"Google Search Console\">Search Console<\/a> durchf\u00fchren. Unter &#8222;Status&#8220; und &#8222;blockierte URLs&#8220; finden die Nutzer alle Seiten, die durch die Anweisungen blockiert wurden. Durch eine korrekte Verwendung der Textdatei wird sichergestellt, dass alle wichtigen Teile der Webseite oder Domain von den Bots gecrawlt und indexiert werden.\n<\/p>\n<table class=\"wikitable\" style=\"text-align:left\">\n<tr>\n<td><b>\u00dcber den Autor<\/b>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<div class=\"floatright\"><img decoding=\"async\" alt=\"Foto von Florian Kolbe\" src=\"\/de\/wiki\/images\/thumb\/8\/8b\/Florian_Kolbe.jpg\/150px-Florian_Kolbe.jpg\" width=\"150\" height=\"150\" srcset=\"\/de\/wiki\/images\/thumb\/8\/8b\/Florian_Kolbe.jpg\/225px-Florian_Kolbe.jpg 1.5x, \/de\/wiki\/images\/8\/8b\/Florian_Kolbe.jpg 2x\" \/><\/div>\n<p> Florian Kolbe arbeitet bei <a rel=\"nofollow\" class=\"external text\" href=\"https:\/\/www.onlinesolutionsgroup.de\/\">Online Solutions Group<\/a> und ist dort im Bereich Online Marketing t\u00e4tig. Bei seiner Arbeit als Trainee besch\u00e4ftigt er sich ausgiebig mit den Themen SEO und SEA und st\u00f6\u00dft dabei stets auf neue Herausforderungen und spannende Themen. In diesem Gastartikel teilt er sein Wissen \u00fcber die Robots.txt und deren Bedeutung f\u00fcr die Suchmaschinenoptimierung.\n<\/td>\n<\/tr>\n<\/table>\n<h2><span class=\"mw-headline\" id=\".C3.84hnliche_Artikel\">\u00c4hnliche Artikel<\/span><\/h2>\n<ul>\n<li> <a href=\"\/de\/wiki\/Suchmaschinen_Crawler\" title=\"Suchmaschinen Crawler\">Suchmaschinen Crawler<\/a><\/li>\n<\/ul>\n<p><script type=\"application\/ld+json\">\n    {\n      \"@context\": \"https:\/\/schema.org\/\",\n      \"@type\": \"ImageObject\",\n      \"contentUrl\": \"https:\/\/www.seobility.net\/de\/wiki\/images\/2\/20\/Robots-txt.png\",\n      \"license\": \"https:\/\/creativecommons.org\/licenses\/by-sa\/4.0\/deed.de\",\n      \"acquireLicensePage\": \"https:\/\/www.seobility.net\/de\/wiki\/creative-commons-lizenz-by-sa-4-0\"\n    }\n    <\/script>\n<\/p>\n<p><script type=\"application\/ld+json\">\n{\n  \"@context\": \"https:\/\/schema.org\",\n  \"@type\": \"Article\",\n  \"author\": {\n    \"@type\": \"Organization\",\n    \"name\": \"Seobility\",\n    \"url\": \"https:\/\/www.seobility.net\/\"\n  }\n}\n<\/script><\/p>\n","protected":false},"excerpt":{"rendered":"<p>Was ist die Robots.txt? Abbildung: Robots.txt &#8211; Autor: Seobility &#8211; Lizenz: CC BY-SA 4.0 Die Robots.txt ist eine Textdatei mit Anweisungen f\u00fcr Bots wie Suchmaschinen Crawler. In ihr wird festgelegt, welche Bereiche einer Website von den Crawlern durchsucht bzw. nicht durchsucht werden d\u00fcrfen. So k\u00f6nnen Webmaster ohne gro\u00dfen Aufwand ganze Domains, komplette Verzeichnisse, ein oder [&hellip;]<\/p>\n","protected":false},"author":38,"featured_media":0,"comment_status":"open","ping_status":"open","template":"","meta":{"_acf_changed":false,"inline_featured_image":false,"footnotes":""},"class_list":["post-31688","wiki","type-wiki","status-publish","hentry","wiki_categories-suchmaschinenoptimierung","wiki_categories-web-entwicklung"],"acf":[],"yoast_head":"<!-- This site is optimized with the Yoast SEO plugin v27.5 - https:\/\/yoast.com\/product\/yoast-seo-wordpress\/ -->\n<title>Robots.txt: Definition und Funktionsweise - Seobility Wiki<\/title>\n<meta name=\"description\" content=\"Die Robots.txt ist eine Textdatei mit Anweisungen f\u00fcr Suchmaschinen Crawler. Erfahre jetzt, wie sie funktioniert und warum sie f\u00fcr SEO wichtig ist!\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/www.seobility.net\/de\/wiki\/robots-txt\" \/>\n<meta property=\"og:locale\" content=\"de_DE\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Robots.txt: Definition und Funktionsweise - Seobility Wiki\" \/>\n<meta property=\"og:description\" content=\"Die Robots.txt ist eine Textdatei mit Anweisungen f\u00fcr Suchmaschinen Crawler. Erfahre jetzt, wie sie funktioniert und warum sie f\u00fcr SEO wichtig ist!\" \/>\n<meta property=\"og:url\" content=\"https:\/\/www.seobility.net\/de\/wiki\/robots-txt\" \/>\n<meta property=\"og:site_name\" content=\"Seobility\" \/>\n<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/seobility.net\/\" \/>\n<meta property=\"article:modified_time\" content=\"2025-03-18T13:46:27+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/www.seobility.net\/wp-content\/uploads\/2025\/06\/seobility-og-image.png\" \/>\n\t<meta property=\"og:image:width\" content=\"1200\" \/>\n\t<meta property=\"og:image:height\" content=\"630\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/png\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:site\" content=\"@seobility_net\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\\\/\\\/schema.org\",\"@graph\":[{\"@type\":\"ScholarlyArticle\",\"@id\":\"https:\\\/\\\/www.seobility.net\\\/de\\\/wiki\\\/robots-txt#article\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/www.seobility.net\\\/de\\\/wiki\\\/robots-txt\"},\"author\":{\"name\":\"Seobility Wiki Team\",\"@id\":\"https:\\\/\\\/www.seobility.net\\\/de\\\/#\\\/schema\\\/person\\\/c838e66a3b46262b4c963df5cd5b2d8a\"},\"headline\":\"Robots.txt\",\"datePublished\":\"2024-11-12T12:40:16+00:00\",\"dateModified\":\"2025-03-18T13:46:27+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\\\/\\\/www.seobility.net\\\/de\\\/wiki\\\/robots-txt\"},\"wordCount\":1050,\"commentCount\":0,\"inLanguage\":\"de-DE\",\"potentialAction\":[{\"@type\":\"CommentAction\",\"name\":\"Comment\",\"target\":[\"https:\\\/\\\/www.seobility.net\\\/de\\\/wiki\\\/robots-txt#respond\"]}]},{\"@type\":\"WebPage\",\"@id\":\"https:\\\/\\\/www.seobility.net\\\/de\\\/wiki\\\/robots-txt\",\"url\":\"https:\\\/\\\/www.seobility.net\\\/de\\\/wiki\\\/robots-txt\",\"name\":\"Robots.txt: Definition und Funktionsweise - Seobility Wiki\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/www.seobility.net\\\/de\\\/#website\"},\"datePublished\":\"2024-11-12T12:40:16+00:00\",\"dateModified\":\"2025-03-18T13:46:27+00:00\",\"description\":\"Die Robots.txt ist eine Textdatei mit Anweisungen f\u00fcr Suchmaschinen Crawler. Erfahre jetzt, wie sie funktioniert und warum sie f\u00fcr SEO wichtig ist!\",\"breadcrumb\":{\"@id\":\"https:\\\/\\\/www.seobility.net\\\/de\\\/wiki\\\/robots-txt#breadcrumb\"},\"inLanguage\":\"de-DE\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\\\/\\\/www.seobility.net\\\/de\\\/wiki\\\/robots-txt\"]}]},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\\\/\\\/www.seobility.net\\\/de\\\/wiki\\\/robots-txt#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Home\",\"item\":\"https:\\\/\\\/www.seobility.net\\\/de\\\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Wiki\",\"item\":\"https:\\\/\\\/www.seobility.net\\\/de\\\/wiki\"},{\"@type\":\"ListItem\",\"position\":3,\"name\":\"Robots.txt\",\"item\":\"https:\\\/\\\/www.seobility.net\\\/de\\\/wp-json\\\/wp\\\/v2\\\/wiki\\\/31688\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\\\/\\\/www.seobility.net\\\/de\\\/#website\",\"url\":\"https:\\\/\\\/www.seobility.net\\\/de\\\/\",\"name\":\"Seobility\",\"description\":\"Online SEO Software &amp; Tools For Better Rankings\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\\\/\\\/www.seobility.net\\\/de\\\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"de-DE\"},{\"@type\":\"Person\",\"@id\":\"https:\\\/\\\/www.seobility.net\\\/de\\\/#\\\/schema\\\/person\\\/c838e66a3b46262b4c963df5cd5b2d8a\",\"name\":\"Seobility Wiki Team\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de-DE\",\"@id\":\"https:\\\/\\\/www.seobility.net\\\/wp-content\\\/uploads\\\/2025\\\/06\\\/Seobility-S-2025-150x150.png\",\"url\":\"https:\\\/\\\/www.seobility.net\\\/wp-content\\\/uploads\\\/2025\\\/06\\\/Seobility-S-2025-150x150.png\",\"contentUrl\":\"https:\\\/\\\/www.seobility.net\\\/wp-content\\\/uploads\\\/2025\\\/06\\\/Seobility-S-2025-150x150.png\",\"caption\":\"Seobility Wiki Team\"},\"description\":\"The Seobility Wiki team consists of seasoned SEOs, digital marketing professionals, and business experts with combined hands-on experience in SEO, online marketing and web development. All our articles went through a multi-level editorial process to provide you with the best possible quality and truly helpful information. Learn more about the people behind the Seobility Wiki.\",\"url\":\"https:\\\/\\\/www.seobility.net\\\/de\\\/blog\\\/author\\\/seobility-wiki-team\\\/\"}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"Robots.txt: Definition und Funktionsweise - Seobility Wiki","description":"Die Robots.txt ist eine Textdatei mit Anweisungen f\u00fcr Suchmaschinen Crawler. Erfahre jetzt, wie sie funktioniert und warum sie f\u00fcr SEO wichtig ist!","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/www.seobility.net\/de\/wiki\/robots-txt","og_locale":"de_DE","og_type":"article","og_title":"Robots.txt: Definition und Funktionsweise - Seobility Wiki","og_description":"Die Robots.txt ist eine Textdatei mit Anweisungen f\u00fcr Suchmaschinen Crawler. Erfahre jetzt, wie sie funktioniert und warum sie f\u00fcr SEO wichtig ist!","og_url":"https:\/\/www.seobility.net\/de\/wiki\/robots-txt","og_site_name":"Seobility","article_publisher":"https:\/\/www.facebook.com\/seobility.net\/","article_modified_time":"2025-03-18T13:46:27+00:00","og_image":[{"width":1200,"height":630,"url":"https:\/\/www.seobility.net\/wp-content\/uploads\/2025\/06\/seobility-og-image.png","type":"image\/png"}],"twitter_card":"summary_large_image","twitter_site":"@seobility_net","schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"ScholarlyArticle","@id":"https:\/\/www.seobility.net\/de\/wiki\/robots-txt#article","isPartOf":{"@id":"https:\/\/www.seobility.net\/de\/wiki\/robots-txt"},"author":{"name":"Seobility Wiki Team","@id":"https:\/\/www.seobility.net\/de\/#\/schema\/person\/c838e66a3b46262b4c963df5cd5b2d8a"},"headline":"Robots.txt","datePublished":"2024-11-12T12:40:16+00:00","dateModified":"2025-03-18T13:46:27+00:00","mainEntityOfPage":{"@id":"https:\/\/www.seobility.net\/de\/wiki\/robots-txt"},"wordCount":1050,"commentCount":0,"inLanguage":"de-DE","potentialAction":[{"@type":"CommentAction","name":"Comment","target":["https:\/\/www.seobility.net\/de\/wiki\/robots-txt#respond"]}]},{"@type":"WebPage","@id":"https:\/\/www.seobility.net\/de\/wiki\/robots-txt","url":"https:\/\/www.seobility.net\/de\/wiki\/robots-txt","name":"Robots.txt: Definition und Funktionsweise - Seobility Wiki","isPartOf":{"@id":"https:\/\/www.seobility.net\/de\/#website"},"datePublished":"2024-11-12T12:40:16+00:00","dateModified":"2025-03-18T13:46:27+00:00","description":"Die Robots.txt ist eine Textdatei mit Anweisungen f\u00fcr Suchmaschinen Crawler. Erfahre jetzt, wie sie funktioniert und warum sie f\u00fcr SEO wichtig ist!","breadcrumb":{"@id":"https:\/\/www.seobility.net\/de\/wiki\/robots-txt#breadcrumb"},"inLanguage":"de-DE","potentialAction":[{"@type":"ReadAction","target":["https:\/\/www.seobility.net\/de\/wiki\/robots-txt"]}]},{"@type":"BreadcrumbList","@id":"https:\/\/www.seobility.net\/de\/wiki\/robots-txt#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Home","item":"https:\/\/www.seobility.net\/de\/"},{"@type":"ListItem","position":2,"name":"Wiki","item":"https:\/\/www.seobility.net\/de\/wiki"},{"@type":"ListItem","position":3,"name":"Robots.txt","item":"https:\/\/www.seobility.net\/de\/wp-json\/wp\/v2\/wiki\/31688"}]},{"@type":"WebSite","@id":"https:\/\/www.seobility.net\/de\/#website","url":"https:\/\/www.seobility.net\/de\/","name":"Seobility","description":"Online SEO Software &amp; Tools For Better Rankings","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/www.seobility.net\/de\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"de-DE"},{"@type":"Person","@id":"https:\/\/www.seobility.net\/de\/#\/schema\/person\/c838e66a3b46262b4c963df5cd5b2d8a","name":"Seobility Wiki Team","image":{"@type":"ImageObject","inLanguage":"de-DE","@id":"https:\/\/www.seobility.net\/wp-content\/uploads\/2025\/06\/Seobility-S-2025-150x150.png","url":"https:\/\/www.seobility.net\/wp-content\/uploads\/2025\/06\/Seobility-S-2025-150x150.png","contentUrl":"https:\/\/www.seobility.net\/wp-content\/uploads\/2025\/06\/Seobility-S-2025-150x150.png","caption":"Seobility Wiki Team"},"description":"The Seobility Wiki team consists of seasoned SEOs, digital marketing professionals, and business experts with combined hands-on experience in SEO, online marketing and web development. All our articles went through a multi-level editorial process to provide you with the best possible quality and truly helpful information. Learn more about the people behind the Seobility Wiki.","url":"https:\/\/www.seobility.net\/de\/blog\/author\/seobility-wiki-team\/"}]}},"_links":{"self":[{"href":"https:\/\/www.seobility.net\/de\/wp-json\/wp\/v2\/wiki\/31688","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.seobility.net\/de\/wp-json\/wp\/v2\/wiki"}],"about":[{"href":"https:\/\/www.seobility.net\/de\/wp-json\/wp\/v2\/types\/wiki"}],"author":[{"embeddable":true,"href":"https:\/\/www.seobility.net\/de\/wp-json\/wp\/v2\/users\/38"}],"replies":[{"embeddable":true,"href":"https:\/\/www.seobility.net\/de\/wp-json\/wp\/v2\/comments?post=31688"}],"version-history":[{"count":0,"href":"https:\/\/www.seobility.net\/de\/wp-json\/wp\/v2\/wiki\/31688\/revisions"}],"wp:attachment":[{"href":"https:\/\/www.seobility.net\/de\/wp-json\/wp\/v2\/media?parent=31688"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}