Tecnología

Inicio

Cómo utilizar robots.txt para bloquear subdominios

Como webmaster, se encuentra con momentos en los que es posible que desee bloquear el acceso del motor de búsqueda de su página web para evitar la indexación. Este suele ser el caso si usted tiene un contenido privado o contenido duplicado en dos dominios diferentes. Normalmente se puede cargar un archivo robots.txt en el directorio raíz de su dominio y especificar el acceso motor de búsqueda para todos los sub-directorios en el dominio. Si usted tiene un subdominio en el sitio, sin embargo, se debe crear un nuevo archivo robots.txt específicamente para el subdominio y subirlo al directorio raíz del subdominio.

Instrucciones

1 Lanzar editor de texto de su ordenador y pegar el código siguiente en el documento:

User-agent: * Disallow: /

2 Guarde el archivo como un archivo de texto (.txt) y el nombre de "robots.txt".

3 Cargar el archivo en el directorio raíz (nivel superior) de su subdominio usando su servidor FTP preferido. Por ejemplo, si su subdominio es subdomain.domain.com, entonces debería ser capaz de acceder al archivo robots.txt en subdomain.domain.com/robots.txt.