{"id":31689,"date":"2024-11-12T12:40:16","date_gmt":"2024-11-12T12:40:16","guid":{"rendered":"https:\/\/www.seobility.net\/?post_type=wiki&p=31689"},"modified":"2025-06-02T19:24:11","modified_gmt":"2025-06-02T19:24:11","slug":"robots-txt","status":"publish","type":"wiki","link":"https:\/\/www.seobility.net\/es\/wiki\/robots-txt","title":{"rendered":"Robots txt"},"content":{"rendered":"

\u00bfQu\u00e9 es el archivo Robots txt?<\/span><\/h2>\n
\n
\"Robots<\/a> <\/p>\n
Imagen:<\/b> Robots txt – Autor: Seobility – Licencia: CC BY-SA 4.0<\/a><\/div>\n<\/div>\n<\/div>\n

Robots.txt es un archivo de texto que indica cu\u00e1les son las \u00e1reas de un sitio web a las que pueden acceder los robots de rastreo<\/a>.\n<\/p>\n

En realidad, el archivo Robots.txt no especifica a qu\u00e9 \u00e1reas pueden ingresar los bots de Google y otros rastreadores, sino que m\u00e1s bien, bloquea el ingreso de las ara\u00f1as a aquellos sectores que est\u00e1n excluidos. Eso s\u00ed, este archivo no protege contra accesos no autorizados.\n<\/p>\n

As\u00ed pues, con Robots.txt se pueden excluir dominios enteros del rastreo de los buscadores muy f\u00e1cilmente, as\u00ed como directorios completos, subdirectorios e inlcuso archivos individuales. Para ello, se almacena el archivo en el directorio ra\u00edz de un dominio, siendo este el primer documento que abren los rastreadores al visitar un sitio web.\n<\/p>\n

Adem\u00e1s, el control del rastreo web es solo una de sus muchas funciones, ya que tambi\u00e9n se le puede a\u00f1adir un enlace al sitemap HTML para ofrecer a los robots de Google una visi\u00f3n general de las URL incluidas en ese dominio.\n<\/p>\n

\n
\n

Robots.txt Checker<\/h3>\n

Comprueba la configuraci\u00f3n del archivo robots.txt en tu web<\/p>\n<\/div>\n

\n
\n<\/form>\n<\/div>\n

\u00bfC\u00f3mo funciona el archivo robots.txt?<\/span><\/h2>\n

En 1994 se public\u00f3 un protocolo al que llamaron Robots Exclusion Standard Protocol (REP), en el que se estipula que todas las ara\u00f1as web deben iniciar con el archivo robots txt ubicado en el directorio ra\u00edz de un sitio web para leer las instrucciones que contiene antes de comenzar la indexaci\u00f3n de la p\u00e1gina web.\n<\/p>\n

Seg\u00fan ya fue mencionado, el archivo debe estar ubicado en el directorio ra\u00edz del dominio y escrito en min\u00fasculas para que los robots lean y entiendan sus instrucciones, ya que solo son sensibles a las min\u00fasculas<\/a>.\n<\/p>\n

Y aunque no todos los robots cumplen con las reglas, el archivo funciona bien con los buscadores m\u00e1s importantes que son: Bing, Yahoo y Google, los cuales siguen con exactitud el REP y las instrucciones del archivo robots text.\n<\/p>\n

Asimismo, en la pr\u00e1ctica, robots txt puede utilizarse para diferentes tipos de archivos. Por ejemplo, si se emplea para archivos de imagen, impide que estos aparezcan en los resultados de b\u00fasqueda de Google y, de igual manera, los archivos menos importantes como los de script o de estilo tambi\u00e9n pueden bloquearse f\u00e1cilmente.\n<\/p>\n

Adem\u00e1s, se puede excluir del rastreo las p\u00e1ginas web generadas din\u00e1micamente con solamente usar los comandos adecuados. Por ejemplo, se pueden bloquear las p\u00e1ginas de resultados de una funci\u00f3n de b\u00fasqueda interna, las de identificaci\u00f3n de usuario<\/a> o las acciones como la del carrito de compra.\n<\/p>\n

De este modo, se pueden evitar los siguientes escenarios:\n<\/p>\n