Qué es el Archivo Robots Txt

archivo robots txt

El archivo robots txt le indica a los robots o arañas de los buscadores lo que deben indexar y lo que no de nuestro sitio web. Es importante porque si no lo indicamos por defecto una araña rastrea e indexa todo nuestro sitio web, y puede haber secciones que no es necesario indexar como por ejemplo las páginas de aviso legal, condiciones de compra, contacto…(Esto dependerá de cada sitio web).

¿Qué puedes bloquear con un archivo robots txt?

  • Acceso a partes de tu página web

Puedes indicar que partes de tu sitio web no quieres que no sean indexadas en los resultados de búsqueda e impedir ese acceso a las arañas o robots.

  • Impedir el acceso a un buscador

Si no quieres que un buscador como Google, Bing o Yahoo indexe tu página web, puedes indicarlo en el archivo robots txt.

  • Evitar el contenido duplicado

Puedes evitar la indexación de aquellas páginas que te generan contenido duplicado, así mejorarás el SEO On Page de tu sitio web.
 
archivo robots txt
Como ya sabes qué es el archivo robots txt, da un paso más y aprende más términos y tareas del posicionamiento web SEO con nuestro curso online de SEO. 100% online y práctico.
curso de seo

Compartir:

Compartir en facebook
Facebook
Compartir en twitter
Twitter
Compartir en pinterest
Pinterest
Compartir en linkedin
LinkedIn

Redes Sociales

Últimas novedades

Suscribete a nuestra Newletter