Cómo ocultar un subdominio Desde araña de Google

"arañas", también conocidos como "rastreadores web", son programas que buscar en Internet y escanear las páginas, o subdominios, que encuentran automatizadas. Cuando las arañas se envían desde los motores de búsqueda como Google, por lo general es porque están añadiendo páginas Web para el índice de Google que la gente pueda encontrarlos cuando realizan búsquedas. Sin embargo, es posible que desee mantener algunas partes de su sitio privado de Google, por lo que no aparecen en las páginas de resultados de búsqueda de Google. Esto se puede lograr con una pieza de código en el directorio, pero el proceso requiere acceso FTP para completar.

Instrucciones

1 Abra un editor de texto como TextEdit o Bloc de notas. Guarde el archivo en el disco duro de su computadora como "robots.txt".

2 Escriba el siguiente código en la primera línea del archivo:

User-Agent: Googlebot

Esta primera línea de código indica qué arañas son bienvenidos y los que no lo son. Si sólo pone "Googlebot" en esta línea, el subdominio será rastreado por las arañas de otros motores de búsqueda, como AskJeeves y Bing. Si desea bloquear todas las arañas de acceder al subdirectorio, coloque un asterisco "*" en esta línea, como este:

Agente de usuario: *

3 Escriba el siguiente código en la segunda línea del archivo:

No permitir: / ruta / a / subdirectorio / te / falta / a / bloque

Reemplazar "camino" por la vía real para el subdirectorio, con relación a su página de inicio. Guarda el archivo.

4 Iniciar sesión en la cuenta de FTP para su sitio. Capacidad de carga hasta la página raíz, y cargar el archivo robots.txt para esa ubicación. Esto evitará que las arañas de los motores de búsqueda que indiquen el acceso al subdirectorio especificado, incluyendo todos los archivos y carpetas que contiene.

5 Las arañas no siempre tienen el mismo nombre que su motor de búsqueda asociado - aunque algunos lo hacen. Por ejemplo, las arañas de Alta Vista se llaman Scooter y Mercator. Si desea bloquear las arañas que no sean Googlebots, comprobar Jafsoft.com/searchengines/webbots.html para obtener una lista completa de los rastreadores web activos y sus motores de búsqueda asociados.