¿Cómo deshacerse de una araña de Búsqueda

Siempre que se crea un sitio web, motores de búsqueda se arrastrará, o buscar, su sitio web que las páginas se suman a buscar las bases de datos del motor. La araña es un robot virtual, no un ser humano. Por esta razón, la araña es probable que añadir páginas para buscar bases de datos del motor que es posible que no quiere que se añadan. Hay una solución simple que se puede utilizar para bloquear las arañas de rastreo de páginas específicas de su sitio. También puede bloquear todo el sitio contra los robots de araña.

Instrucciones

1 Iniciar sesión en su sitio web de hosting panel de control.

2 Haga clic en el directorio de archivos. Verá todos los archivos y carpetas del directorio de páginas. Anote los nombres de todos los archivos y carpetas de página que desea evitar que los motores de búsqueda puedan acceder.

3 Seleccionar la opción de crear un archivo de página "Nuevo" dentro de la carpeta pública. En lugar de dar el nuevo archivo de un nombre de archivo ".html", el nombre del nuevo archivo "robots.txt".

4 Incluir el siguiente texto dentro del editor de HTML para el nuevo archivo. Personalizar el texto mediante la introducción de los nombres de archivo de las páginas que desea bloquear de arañas de búsqueda. Se pueden añadir más páginas como sea necesario mediante la adición de otra fila "Desactivar".

Agente de usuario:*

No permitir: /page1.html/
No permitir: /pagina2.html
No permitir: /page3.html
No permitir: /page4.html/
No permitir: /page4.html/
No permitir: / carpeta1 /
No permitir: / carpeta2 /

Si desea bloquear los motores de búsqueda de la búsqueda en toda su sitio, basta con introducir el texto de seguimiento en lugar del texto antes mencionado.

Agente de usuario: *
No permitir: /

5 Haga clic en "Guardar" para guardar los cambios en el archivo robots.txt.