archivo robots txt

Qué es el Archivo Robots Txt

El archivo robots txt le indica a los robots o arañas de los buscadores lo que deben indexar y lo que no de nuestro sitio web. Es importante porque si no lo indicamos por defecto una araña rastrea e indexa todo nuestro sitio web, y puede haber secciones que no es necesario indexar como por ejemplo las páginas de aviso legal, condiciones de compra, contacto…(Esto dependerá de cada sitio web).

¿Qué puedes bloquear con un archivo robots txt?

  • Acceso a partes de tu página web

Puedes indicar que partes de tu sitio web no quieres que no sean indexadas en los resultados de búsqueda e impedir ese acceso a las arañas o robots.

  • Impedir el acceso a un buscador

Si no quieres que un buscador como Google, Bing o Yahoo indexe tu página web, puedes indicarlo en el archivo robots txt.

  • Evitar el contenido duplicado

Puedes evitar la indexación de aquellas páginas que te generan contenido duplicado, así mejorarás el SEO On Page de tu sitio web.
 
archivo robots txt
Como ya sabes qué es el archivo robots txt, da un paso más y aprende más términos y tareas del posicionamiento web SEO con nuestro curso online de SEO. 100% online y práctico.
curso de seo