{"id":30037,"date":"2025-12-11T17:41:50","date_gmt":"2025-12-11T20:41:50","guid":{"rendered":"https:\/\/www.neolo.com\/blog\/?p=30037"},"modified":"2025-12-11T17:41:52","modified_gmt":"2025-12-11T20:41:52","slug":"archivo-robots-txt-que-es-y-como-configurarlo-correctamente","status":"publish","type":"post","link":"https:\/\/www.neolo.com\/blog\/archivo-robots-txt-que-es-y-como-configurarlo-correctamente.php","title":{"rendered":"Archivo robots.txt: qu\u00e9 es y c\u00f3mo configurarlo correctamente"},"content":{"rendered":"<span class=\"span-reading-time rt-reading-time\" style=\"display: block;\"><span class=\"rt-label rt-prefix\">Tiempo de lectura:<\/span> <span class=\"rt-time\"> 4<\/span> <span class=\"rt-label rt-postfix\">minutos<\/span><\/span>\n<p>El<strong> archivo robots.txt <\/strong>es un documento simple que gu\u00eda a los rastreadores de los motores de b\u00fasqueda sobre <strong>qu\u00e9 partes de tu <a href=\"https:\/\/www.neolo.com\/esp\/crea-tu-sitio-web\/\" target=\"_blank\" rel=\"noreferrer noopener\">sitio web<\/a> pueden visitar<\/strong>. Lo usas para proteger secciones privadas, optimizar el rastreo y mejorar la visibilidad en b\u00fasquedas, evitando problemas como sobrecargas en el servidor.<\/p>\n\n\n\n<p>Imagina que tu sitio web es una casa grande llena de habitaciones. Algunos visitantes, como los rastreadores de Google, entran para explorar y mostrar tu contenido al mundo. Pero \u00bfqu\u00e9 pasa si quieres mantener algunas puertas cerradas? Ah\u00ed entra el <strong>archivo robots.txt,<\/strong> una herramienta esencial para due\u00f1os de sitios web que quieren controlar el acceso. <\/p>\n\n\n\n\n\n<h2 class=\"wp-block-heading\">Qu\u00e9 es el archivo robots.txt<\/h2>\n\n\n\n<p>El archivo robots.txt es un texto plano que se coloca en la ra\u00edz de tu sitio web. Su funci\u00f3n principal es dar <strong>instrucciones a los rastreadores web<\/strong>, como los de <a href=\"https:\/\/www.neolo.com\/blog\/google-vs-bing-donde-debe-aparecer-mi-marca-o-negocio.php\" target=\"_blank\" rel=\"noreferrer noopener\">Google o Bing<\/a>, sobre qu\u00e9 p\u00e1ginas o carpetas pueden explorar y cu\u00e1les no.<\/p>\n\n\n\n<p>No es una barrera de seguridad absoluta, ya que algunos rastreadores podr\u00edan ignorarlo, pero los m\u00e1s confiables lo respetan. Piensa en \u00e9l como una se\u00f1al de \u00abno pasar\u00bb que ayuda a que tu sitio web sea m\u00e1s eficiente.<\/p>\n\n\n\n<blockquote class=\"wp-block-quote is-layout-flow wp-block-quote-is-layout-flow\">\n<p>Este archivo no bloquea la indexaci\u00f3n total de una p\u00e1gina; para eso, usa otras herramientas como <strong>etiquetas noindex<\/strong>. Es ideal para sitios web grandes o con contenido sensible.<\/p>\n<\/blockquote>\n\n\n\n<h2 class=\"wp-block-heading\">Por qu\u00e9 es importante configurarlo correctamente<\/h2>\n\n\n\n<p>Una<strong> configuraci\u00f3n err\u00f3nea<\/strong> puede hacer que los motores de b\u00fasqueda ignoren partes importantes de tu sitio web, bajando tu visibilidad en resultados. Por el contrario, hacerlo bien optimiza el rastreo, ahorra recursos del servidor y mejora el posicionamiento en b\u00fasquedas.<\/p>\n\n\n\n<p>Para programadores o due\u00f1os de sitios web, es clave porque <strong>evita que se rastreen archivos innecesarios<\/strong>, como c\u00f3digos de lenguajes de programaci\u00f3n en desarrollo o secciones administrativas. As\u00ed, enfocas el esfuerzo de los rastreadores en lo que realmente importa.<\/p>\n\n\n\n<p>Si no lo configuras, los rastreadores podr\u00edan sobrecargar tu <a href=\"https:\/\/www.neolo.com\/esp\/web-hosting\/\" target=\"_blank\" rel=\"noreferrer noopener\">hosting<\/a>, especialmente en sitios web con mucho tr\u00e1fico. Con <strong>Neolo Web Hosting<\/strong>, puedes subirlo f\u00e1cilmente v\u00eda FTP o panel de control.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">C\u00f3mo crear y configurar el Archivo robots.txt<\/h2>\n\n\n\n<p>Crear este archivo es sencillo y no requiere conocimientos avanzados. Usa un editor de texto como <strong>Notepad o Bloc de Notas<\/strong>, y gu\u00e1rdalo como \u00ab<strong>robots.txt<\/strong>\u00bb en la carpeta principal de tu sitio web (por ejemplo, www.tusitio.com\/robots.txt).<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Sintaxis b\u00e1sica<\/h3>\n\n\n\n<p>La estructura usa comandos simples:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>User-agent:<\/strong> Indica el rastreador al que aplican las reglas (por ejemplo, \u00ab*\u00bb para todos).<\/li>\n\n\n\n<li><strong>Disallow:<\/strong> Bloquea el acceso a una carpeta o p\u00e1gina (ejemplo: Disallow: \/admin\/).<\/li>\n\n\n\n<li><strong>Allow:<\/strong> Permite el acceso, incluso si est\u00e1 bloqueado por otra regla.<\/li>\n\n\n\n<li><strong>Sitemap:<\/strong> Agrega la URL de tu mapa del sitio para ayudar al rastreo.<\/li>\n<\/ul>\n\n\n\n<blockquote class=\"wp-block-quote is-layout-flow wp-block-quote-is-layout-flow\">\n<p>Mant\u00e9n p\u00e1rrafos cortos en el archivo para que sea f\u00e1cil de leer. No uses may\u00fasculas innecesarias ni espacios extras.<\/p>\n<\/blockquote>\n\n\n\n<h3 class=\"wp-block-heading\">Pasos para configurarlo<\/h3>\n\n\n\n<ol class=\"wp-block-list\">\n<li>Abre un editor de texto y escribe las reglas b\u00e1sicas.<\/li>\n\n\n\n<li>Sube el archivo a la ra\u00edz de tu sitio web usando FTP o el gestor de archivos de tu hosting.<\/li>\n\n\n\n<li>Verifica en herramientas como Google Search Console para ver si hay errores.<\/li>\n\n\n\n<li>Actual\u00edzalo cuando agregues nuevas secciones a tu sitio web.<\/li>\n<\/ol>\n\n\n\n<h3 class=\"wp-block-heading\">Ejemplos reales<\/h3>\n\n\n\n<p>Un ejemplo b\u00e1sico para permitir todo menos una carpeta privada:<\/p>\n\n\n\n<p>text<\/p>\n\n\n<div class=\"wp-block-syntaxhighlighter-code \"><pre class=\"brush: plain; title: ; notranslate\" title=\"\">\nUser-agent: *\nDisallow: \/privado\/\nAllow: \/\nSitemap: https:\/\/www.tusitio.com\/sitemap.xml\n<\/pre><\/div>\n\n\n<p>Del sitio de Google (ejemplo real extra\u00eddo): Incluye reglas complejas para bloquear b\u00fasquedas internas y permitir ciertas consultas. Por ejemplo:<\/p>\n\n\n\n<p>text<\/p>\n\n\n<div class=\"wp-block-syntaxhighlighter-code \"><pre class=\"brush: plain; title: ; notranslate\" title=\"\">\nUser-agent: *\nDisallow: \/search\nAllow: \/search\/about\n<\/pre><\/div>\n\n\n<p>De Wikipedia (otro ejemplo real): Bloquea bots problem\u00e1ticos y permite accesos espec\u00edficos a APIs. Como:<\/p>\n\n\n\n<p>text<\/p>\n\n\n<div class=\"wp-block-syntaxhighlighter-code \"><pre class=\"brush: plain; title: ; notranslate\" title=\"\">\nUser-agent: MJ12bot\nDisallow: \/\n<\/pre><\/div>\n\n\n<p>Estos ejemplos muestran c\u00f3mo sitios grandes usan reglas para bots espec\u00edficos.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Mejores pr\u00e1cticas y tips poco conocidos<\/h2>\n\n\n\n<p>Sigue estas pr\u00e1cticas para evitar problemas comunes y optimizar tu archivo.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Mejores pr\u00e1cticas<\/h3>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Siempre incluye un sitemap al final para guiar mejor a los rastreadores.<\/li>\n\n\n\n<li>No bloquees archivos <a href=\"https:\/\/www.neolo.com\/blog\/como-anadir-clases-css-adicionales-a-bloques-en-wordpress.php\" target=\"_blank\" rel=\"noreferrer noopener\">CSS<\/a> o <strong>JavaScript<\/strong>, ya que Google los necesita para entender tu sitio web.<\/li>\n\n\n\n<li>Prueba tu archivo en la herramienta de prueba de robots.txt de Google Search Console antes de subirlo.<\/li>\n\n\n\n<li>Usa comodines como \u00ab*\u00bb para carpetas enteras, pero con cuidado para no bloquear accidentalmente p\u00e1ginas clave.<\/li>\n<\/ul>\n\n\n\n<h3 class=\"wp-block-heading\">Errores que evitar<\/h3>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Colocar \u00abNoIndex\u00bb aqu\u00ed; eso no funciona y es un error frecuente.<\/li>\n\n\n\n<li>Bloquear todo el sitio con \u00abDisallow: \/\u00bb, lo que impide que se indexe nada.<\/li>\n\n\n\n<li>Olvidar actualizarlo despu\u00e9s de cambios en el sitio web, causando p\u00e1ginas hu\u00e9rfanas.<\/li>\n\n\n\n<li>Usar may\u00fasculas en comandos; todo debe ser en min\u00fasculas.<\/li>\n<\/ul>\n\n\n\n<h3 class=\"wp-block-heading\">Tips poco conocidos<\/h3>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Agrega \u00abCrawl-delay: 10\u00bb para bots espec\u00edficos como SemrushBot, limitando visitas cada 10 segundos y reduciendo carga en servidores peque\u00f1os \u2013 algo que pocos usan pero alivia hosting compartido.<\/li>\n\n\n\n<li>Combina con meta tags en p\u00e1ginas individuales para un control m\u00e1s fino, evitando que rastreadores ignoren el archivo.<\/li>\n\n\n\n<li>Para sitios web multiling\u00fces, crea reglas por idioma si usas subcarpetas, como Disallow: \/en\/privado\/ \u2013 un truco para no duplicar esfuerzos.<\/li>\n\n\n\n<li>Monitorea logs del servidor para ver si bots ignoran tus reglas, y ajusta basado en datos reales, no solo teor\u00eda.<\/li>\n<\/ul>\n\n\n\n<p>Estos tips te dan una ventaja, ya que no se mencionan en gu\u00edas b\u00e1sicas.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Impacto en el SEO de tu sitio web<\/h2>\n\n\n\n<p><strong>Un buen robots.txt mejora el SEO<\/strong> al enfocar el rastreo en contenido valioso, como p\u00e1ginas de productos o blog. Ayuda a programadores a proteger c\u00f3digos en desarrollo sin afectar la visibilidad general.<\/p>\n\n\n\n<p>Si lo configuras mal, puedes perder posiciones en b\u00fasquedas. En <strong>Neolo<\/strong>, nuestro hosting facilita estas optimizaciones con herramientas integradas.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Conclusi\u00f3n<\/h2>\n\n\n\n<p>En resumen, el archivo robots.txt es tu aliado para guiar rastreadores, proteger tu sitio web y potenciar el SEO. <\/p>\n\n\n\n<p>Cr\u00e9alo simple, pru\u00e9balo y actual\u00edzalo regularmente para resultados \u00f3ptimos. Con estos pasos, evitas errores y aprovechas al m\u00e1ximo tu presencia en l\u00ednea.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Preguntas Frecuentes (FAQs) sobre el archivo robots.txt<\/h2>\n\n\n\n<p><strong>\u00bfEl archivo robots.txt es obligatorio?<\/strong> <\/p>\n\n\n\n<p>No, pero es recomendable para controlar el rastreo y evitar problemas en sitios web medianos o grandes.<\/p>\n\n\n\n<p><strong>\u00bfC\u00f3mo s\u00e9 si mi robots.txt funciona?<\/strong> <\/p>\n\n\n\n<p>Usa la herramienta de prueba en <a href=\"https:\/\/www.neolo.com\/blog\/como-verificar-un-dominio-en-google-search-console.php\">Google Search Console<\/a>; te muestra qu\u00e9 bloquea y qu\u00e9 permite.<\/p>\n\n\n\n<p><strong>\u00bfPuedo bloquear solo a Google?<\/strong> <\/p>\n\n\n\n<p>S\u00ed, usa \u00abUser-agent: Googlebot\u00bb seguido de Disallow para reglas espec\u00edficas.<\/p>\n\n\n\n<p><strong>\u00bfQu\u00e9 pasa si un rastreador ignora mi archivo?<\/strong> <\/p>\n\n\n\n<p>No es infalible; para seguridad real, usa contrase\u00f1as o firewalls en tu hosting.<\/p>\n\n\n\n<p><strong>\u00bfAfecta a mi velocidad de sitio web?<\/strong> <\/p>\n\n\n\n<p>Indirectamente s\u00ed, al reducir rastreos innecesarios y ahorrar recursos del servidor.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>El archivo robots.txt es un documento simple que gu\u00eda a los rastreadores de los motores de b\u00fasqueda sobre qu\u00e9 partes de tu sitio web pueden visitar. Lo usas para proteger secciones privadas, optimizar el rastreo y mejorar la visibilidad en b\u00fasquedas, evitando problemas como sobrecargas en el servidor. Imagina que tu sitio web es una [&hellip;]<\/p>\n","protected":false},"author":15,"featured_media":30041,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[341],"tags":[],"class_list":["post-30037","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-sitio-web"],"yoast_head":"<!-- This site is optimized with the Yoast SEO plugin v25.6 - https:\/\/yoast.com\/wordpress\/plugins\/seo\/ -->\n<title>Archivo robots.txt: qu\u00e9 es y c\u00f3mo configurarlo correctamente - Neolo Blog<\/title>\n<meta name=\"description\" content=\"Qu\u00e9 es el archivo robots.txt y para qu\u00e9 se usa. C\u00f3mo crearlo y configurarlo. Consejos avanzados para usuarios.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/www.neolo.com\/blog\/archivo-robots-txt-que-es-y-como-configurarlo-correctamente.php\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Archivo robots.txt: qu\u00e9 es y c\u00f3mo configurarlo correctamente - Neolo Blog\" \/>\n<meta property=\"og:description\" content=\"Qu\u00e9 es el archivo robots.txt y para qu\u00e9 se usa. C\u00f3mo crearlo y configurarlo. Consejos avanzados para usuarios.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/www.neolo.com\/blog\/archivo-robots-txt-que-es-y-como-configurarlo-correctamente.php\" \/>\n<meta property=\"og:site_name\" content=\"Neolo Blog\" \/>\n<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/neolohosting\" \/>\n<meta property=\"article:published_time\" content=\"2025-12-11T20:41:50+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2025-12-11T20:41:52+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/www.neolo.com\/blog\/wp-content\/uploads\/2025\/12\/pexels-divinetechygirl-1181290.jpg\" \/>\n\t<meta property=\"og:image:width\" content=\"1920\" \/>\n\t<meta property=\"og:image:height\" content=\"1282\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/jpeg\" \/>\n<meta name=\"author\" content=\"Natalia Vasca\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:creator\" content=\"@neolo\" \/>\n<meta name=\"twitter:site\" content=\"@neolo\" \/>\n<meta name=\"twitter:label1\" content=\"Escrito por\" \/>\n\t<meta name=\"twitter:data1\" content=\"Natalia Vasca\" \/>\n\t<meta name=\"twitter:label2\" content=\"Tiempo de lectura\" \/>\n\t<meta name=\"twitter:data2\" content=\"5 minutos\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\/\/www.neolo.com\/blog\/archivo-robots-txt-que-es-y-como-configurarlo-correctamente.php#article\",\"isPartOf\":{\"@id\":\"https:\/\/www.neolo.com\/blog\/archivo-robots-txt-que-es-y-como-configurarlo-correctamente.php\"},\"author\":{\"name\":\"Natalia Vasca\",\"@id\":\"https:\/\/www.neolo.com\/blog\/#\/schema\/person\/f9677a94c7a8e8b41448e817fb0c2043\"},\"headline\":\"Archivo robots.txt: qu\u00e9 es y c\u00f3mo configurarlo correctamente\",\"datePublished\":\"2025-12-11T20:41:50+00:00\",\"dateModified\":\"2025-12-11T20:41:52+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\/\/www.neolo.com\/blog\/archivo-robots-txt-que-es-y-como-configurarlo-correctamente.php\"},\"wordCount\":1097,\"publisher\":{\"@id\":\"https:\/\/www.neolo.com\/blog\/#organization\"},\"image\":{\"@id\":\"https:\/\/www.neolo.com\/blog\/archivo-robots-txt-que-es-y-como-configurarlo-correctamente.php#primaryimage\"},\"thumbnailUrl\":\"https:\/\/www.neolo.com\/blog\/wp-content\/uploads\/2025\/12\/pexels-divinetechygirl-1181290.jpg\",\"articleSection\":[\"Sitio web\"],\"inLanguage\":\"es\"},{\"@type\":\"WebPage\",\"@id\":\"https:\/\/www.neolo.com\/blog\/archivo-robots-txt-que-es-y-como-configurarlo-correctamente.php\",\"url\":\"https:\/\/www.neolo.com\/blog\/archivo-robots-txt-que-es-y-como-configurarlo-correctamente.php\",\"name\":\"Archivo robots.txt: qu\u00e9 es y c\u00f3mo configurarlo correctamente - Neolo Blog\",\"isPartOf\":{\"@id\":\"https:\/\/www.neolo.com\/blog\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\/\/www.neolo.com\/blog\/archivo-robots-txt-que-es-y-como-configurarlo-correctamente.php#primaryimage\"},\"image\":{\"@id\":\"https:\/\/www.neolo.com\/blog\/archivo-robots-txt-que-es-y-como-configurarlo-correctamente.php#primaryimage\"},\"thumbnailUrl\":\"https:\/\/www.neolo.com\/blog\/wp-content\/uploads\/2025\/12\/pexels-divinetechygirl-1181290.jpg\",\"datePublished\":\"2025-12-11T20:41:50+00:00\",\"dateModified\":\"2025-12-11T20:41:52+00:00\",\"description\":\"Qu\u00e9 es el archivo robots.txt y para qu\u00e9 se usa. C\u00f3mo crearlo y configurarlo. Consejos avanzados para usuarios.\",\"breadcrumb\":{\"@id\":\"https:\/\/www.neolo.com\/blog\/archivo-robots-txt-que-es-y-como-configurarlo-correctamente.php#breadcrumb\"},\"inLanguage\":\"es\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/www.neolo.com\/blog\/archivo-robots-txt-que-es-y-como-configurarlo-correctamente.php\"]}]},{\"@type\":\"ImageObject\",\"inLanguage\":\"es\",\"@id\":\"https:\/\/www.neolo.com\/blog\/archivo-robots-txt-que-es-y-como-configurarlo-correctamente.php#primaryimage\",\"url\":\"https:\/\/www.neolo.com\/blog\/wp-content\/uploads\/2025\/12\/pexels-divinetechygirl-1181290.jpg\",\"contentUrl\":\"https:\/\/www.neolo.com\/blog\/wp-content\/uploads\/2025\/12\/pexels-divinetechygirl-1181290.jpg\",\"width\":1920,\"height\":1282},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\/\/www.neolo.com\/blog\/archivo-robots-txt-que-es-y-como-configurarlo-correctamente.php#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Inicio\",\"item\":\"https:\/\/www.neolo.com\/blog\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Sitio web\",\"item\":\"https:\/\/www.neolo.com\/blog\/temas\/sitio-web\"},{\"@type\":\"ListItem\",\"position\":3,\"name\":\"Archivo robots.txt: qu\u00e9 es y c\u00f3mo configurarlo correctamente\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/www.neolo.com\/blog\/#website\",\"url\":\"https:\/\/www.neolo.com\/blog\/\",\"name\":\"Neolo Blog\",\"description\":\"Blog de Neolo: Dominios, Web Hosting y Marketing Digital\",\"publisher\":{\"@id\":\"https:\/\/www.neolo.com\/blog\/#organization\"},\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/www.neolo.com\/blog\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"es\"},{\"@type\":\"Organization\",\"@id\":\"https:\/\/www.neolo.com\/blog\/#organization\",\"name\":\"Neolo\",\"url\":\"https:\/\/www.neolo.com\/blog\/\",\"logo\":{\"@type\":\"ImageObject\",\"inLanguage\":\"es\",\"@id\":\"https:\/\/www.neolo.com\/blog\/#\/schema\/logo\/image\/\",\"url\":\"https:\/\/www.neolo.com\/blog\/wp-content\/uploads\/2017\/07\/neolo-verde-chico.png\",\"contentUrl\":\"https:\/\/www.neolo.com\/blog\/wp-content\/uploads\/2017\/07\/neolo-verde-chico.png\",\"width\":392,\"height\":83,\"caption\":\"Neolo\"},\"image\":{\"@id\":\"https:\/\/www.neolo.com\/blog\/#\/schema\/logo\/image\/\"},\"sameAs\":[\"https:\/\/www.facebook.com\/neolohosting\",\"https:\/\/x.com\/neolo\",\"https:\/\/www.instagram.com\/neolodotcom\/\",\"https:\/\/www.linkedin.com\/company\/neolo.com\/\"]},{\"@type\":\"Person\",\"@id\":\"https:\/\/www.neolo.com\/blog\/#\/schema\/person\/f9677a94c7a8e8b41448e817fb0c2043\",\"name\":\"Natalia Vasca\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"es\",\"@id\":\"https:\/\/www.neolo.com\/blog\/#\/schema\/person\/image\/\",\"url\":\"https:\/\/secure.gravatar.com\/avatar\/9f798c60bada9b6db5a664dd47360f4a?s=96&r=g\",\"contentUrl\":\"https:\/\/secure.gravatar.com\/avatar\/9f798c60bada9b6db5a664dd47360f4a?s=96&r=g\",\"caption\":\"Natalia Vasca\"},\"url\":\"https:\/\/www.neolo.com\/blog\/author\/nativasca\"}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"Archivo robots.txt: qu\u00e9 es y c\u00f3mo configurarlo correctamente - Neolo Blog","description":"Qu\u00e9 es el archivo robots.txt y para qu\u00e9 se usa. C\u00f3mo crearlo y configurarlo. Consejos avanzados para usuarios.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/www.neolo.com\/blog\/archivo-robots-txt-que-es-y-como-configurarlo-correctamente.php","og_type":"article","og_title":"Archivo robots.txt: qu\u00e9 es y c\u00f3mo configurarlo correctamente - Neolo Blog","og_description":"Qu\u00e9 es el archivo robots.txt y para qu\u00e9 se usa. C\u00f3mo crearlo y configurarlo. Consejos avanzados para usuarios.","og_url":"https:\/\/www.neolo.com\/blog\/archivo-robots-txt-que-es-y-como-configurarlo-correctamente.php","og_site_name":"Neolo Blog","article_publisher":"https:\/\/www.facebook.com\/neolohosting","article_published_time":"2025-12-11T20:41:50+00:00","article_modified_time":"2025-12-11T20:41:52+00:00","og_image":[{"width":1920,"height":1282,"url":"https:\/\/www.neolo.com\/blog\/wp-content\/uploads\/2025\/12\/pexels-divinetechygirl-1181290.jpg","type":"image\/jpeg"}],"author":"Natalia Vasca","twitter_card":"summary_large_image","twitter_creator":"@neolo","twitter_site":"@neolo","twitter_misc":{"Escrito por":"Natalia Vasca","Tiempo de lectura":"5 minutos"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/www.neolo.com\/blog\/archivo-robots-txt-que-es-y-como-configurarlo-correctamente.php#article","isPartOf":{"@id":"https:\/\/www.neolo.com\/blog\/archivo-robots-txt-que-es-y-como-configurarlo-correctamente.php"},"author":{"name":"Natalia Vasca","@id":"https:\/\/www.neolo.com\/blog\/#\/schema\/person\/f9677a94c7a8e8b41448e817fb0c2043"},"headline":"Archivo robots.txt: qu\u00e9 es y c\u00f3mo configurarlo correctamente","datePublished":"2025-12-11T20:41:50+00:00","dateModified":"2025-12-11T20:41:52+00:00","mainEntityOfPage":{"@id":"https:\/\/www.neolo.com\/blog\/archivo-robots-txt-que-es-y-como-configurarlo-correctamente.php"},"wordCount":1097,"publisher":{"@id":"https:\/\/www.neolo.com\/blog\/#organization"},"image":{"@id":"https:\/\/www.neolo.com\/blog\/archivo-robots-txt-que-es-y-como-configurarlo-correctamente.php#primaryimage"},"thumbnailUrl":"https:\/\/www.neolo.com\/blog\/wp-content\/uploads\/2025\/12\/pexels-divinetechygirl-1181290.jpg","articleSection":["Sitio web"],"inLanguage":"es"},{"@type":"WebPage","@id":"https:\/\/www.neolo.com\/blog\/archivo-robots-txt-que-es-y-como-configurarlo-correctamente.php","url":"https:\/\/www.neolo.com\/blog\/archivo-robots-txt-que-es-y-como-configurarlo-correctamente.php","name":"Archivo robots.txt: qu\u00e9 es y c\u00f3mo configurarlo correctamente - Neolo Blog","isPartOf":{"@id":"https:\/\/www.neolo.com\/blog\/#website"},"primaryImageOfPage":{"@id":"https:\/\/www.neolo.com\/blog\/archivo-robots-txt-que-es-y-como-configurarlo-correctamente.php#primaryimage"},"image":{"@id":"https:\/\/www.neolo.com\/blog\/archivo-robots-txt-que-es-y-como-configurarlo-correctamente.php#primaryimage"},"thumbnailUrl":"https:\/\/www.neolo.com\/blog\/wp-content\/uploads\/2025\/12\/pexels-divinetechygirl-1181290.jpg","datePublished":"2025-12-11T20:41:50+00:00","dateModified":"2025-12-11T20:41:52+00:00","description":"Qu\u00e9 es el archivo robots.txt y para qu\u00e9 se usa. C\u00f3mo crearlo y configurarlo. Consejos avanzados para usuarios.","breadcrumb":{"@id":"https:\/\/www.neolo.com\/blog\/archivo-robots-txt-que-es-y-como-configurarlo-correctamente.php#breadcrumb"},"inLanguage":"es","potentialAction":[{"@type":"ReadAction","target":["https:\/\/www.neolo.com\/blog\/archivo-robots-txt-que-es-y-como-configurarlo-correctamente.php"]}]},{"@type":"ImageObject","inLanguage":"es","@id":"https:\/\/www.neolo.com\/blog\/archivo-robots-txt-que-es-y-como-configurarlo-correctamente.php#primaryimage","url":"https:\/\/www.neolo.com\/blog\/wp-content\/uploads\/2025\/12\/pexels-divinetechygirl-1181290.jpg","contentUrl":"https:\/\/www.neolo.com\/blog\/wp-content\/uploads\/2025\/12\/pexels-divinetechygirl-1181290.jpg","width":1920,"height":1282},{"@type":"BreadcrumbList","@id":"https:\/\/www.neolo.com\/blog\/archivo-robots-txt-que-es-y-como-configurarlo-correctamente.php#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Inicio","item":"https:\/\/www.neolo.com\/blog"},{"@type":"ListItem","position":2,"name":"Sitio web","item":"https:\/\/www.neolo.com\/blog\/temas\/sitio-web"},{"@type":"ListItem","position":3,"name":"Archivo robots.txt: qu\u00e9 es y c\u00f3mo configurarlo correctamente"}]},{"@type":"WebSite","@id":"https:\/\/www.neolo.com\/blog\/#website","url":"https:\/\/www.neolo.com\/blog\/","name":"Neolo Blog","description":"Blog de Neolo: Dominios, Web Hosting y Marketing Digital","publisher":{"@id":"https:\/\/www.neolo.com\/blog\/#organization"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/www.neolo.com\/blog\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"es"},{"@type":"Organization","@id":"https:\/\/www.neolo.com\/blog\/#organization","name":"Neolo","url":"https:\/\/www.neolo.com\/blog\/","logo":{"@type":"ImageObject","inLanguage":"es","@id":"https:\/\/www.neolo.com\/blog\/#\/schema\/logo\/image\/","url":"https:\/\/www.neolo.com\/blog\/wp-content\/uploads\/2017\/07\/neolo-verde-chico.png","contentUrl":"https:\/\/www.neolo.com\/blog\/wp-content\/uploads\/2017\/07\/neolo-verde-chico.png","width":392,"height":83,"caption":"Neolo"},"image":{"@id":"https:\/\/www.neolo.com\/blog\/#\/schema\/logo\/image\/"},"sameAs":["https:\/\/www.facebook.com\/neolohosting","https:\/\/x.com\/neolo","https:\/\/www.instagram.com\/neolodotcom\/","https:\/\/www.linkedin.com\/company\/neolo.com\/"]},{"@type":"Person","@id":"https:\/\/www.neolo.com\/blog\/#\/schema\/person\/f9677a94c7a8e8b41448e817fb0c2043","name":"Natalia Vasca","image":{"@type":"ImageObject","inLanguage":"es","@id":"https:\/\/www.neolo.com\/blog\/#\/schema\/person\/image\/","url":"https:\/\/secure.gravatar.com\/avatar\/9f798c60bada9b6db5a664dd47360f4a?s=96&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/9f798c60bada9b6db5a664dd47360f4a?s=96&r=g","caption":"Natalia Vasca"},"url":"https:\/\/www.neolo.com\/blog\/author\/nativasca"}]}},"_links":{"self":[{"href":"https:\/\/www.neolo.com\/blog\/wp-json\/wp\/v2\/posts\/30037","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.neolo.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.neolo.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.neolo.com\/blog\/wp-json\/wp\/v2\/users\/15"}],"replies":[{"embeddable":true,"href":"https:\/\/www.neolo.com\/blog\/wp-json\/wp\/v2\/comments?post=30037"}],"version-history":[{"count":3,"href":"https:\/\/www.neolo.com\/blog\/wp-json\/wp\/v2\/posts\/30037\/revisions"}],"predecessor-version":[{"id":30040,"href":"https:\/\/www.neolo.com\/blog\/wp-json\/wp\/v2\/posts\/30037\/revisions\/30040"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.neolo.com\/blog\/wp-json\/wp\/v2\/media\/30041"}],"wp:attachment":[{"href":"https:\/\/www.neolo.com\/blog\/wp-json\/wp\/v2\/media?parent=30037"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.neolo.com\/blog\/wp-json\/wp\/v2\/categories?post=30037"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.neolo.com\/blog\/wp-json\/wp\/v2\/tags?post=30037"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}