Cómo bloquear los motores de búsqueda en Drupal

Drupal utiliza un método de bloqueo motor de búsqueda común a todos los servidores web para evitar que los motores de búsqueda a partir de la incorporación de las páginas web a las que sirve en una base de datos de búsqueda. Esto es comúnmente utilizado para los sitios web que no tienen datos de acceso público, o para evitar que los motores de búsqueda de solicitar un exceso de tráfico de un sitio web.

Instrucciones

1 Busque el archivo "robots.txt" en la carpeta raíz de su sitio web con Drupal. La carpeta raíz es también la ubicación de la página principal, pero su ubicación en el servidor Web puede variar dependiendo del sistema operativo que está utilizando para ejecutar Drupal.

2 Crear un archivo vacío llamado "robots.txt" en la carpeta de raíz si no existe ya. Drupal versión 5 y más tarde va a crear un archivo robots.txt de forma predeterminada, pero también se puede añadir este archivo si no está ya allí.

3 Abra el archivo robots.txt en un editor de texto.

4 Reemplazar el contenido del archivo robots.txt con lo siguiente:

Agente de usuario: *

No permitir: /

Esto le dice a todos los motores de búsqueda Web para omitir todos los contenidos. agente de usuario significa que el motor de búsqueda; el "*" es un comodín, lo que significa cada uno. El "/" significa la raíz, o "cima" de su sitio web. Por lo tanto, al no permitir la raíz, todos los contenidos de todas las páginas en el sitio - se omitirá - que son jerárquicamente "menor" que la raíz.

5 Guarde el archivo robots.txt. Si el servidor Web utiliza un caché de páginas Web, restablecer de manera que la nueva página se envía a los motores de búsqueda cuando solicitan la página robots.txt.

Consejos y advertencias

• También puede inhabilitar selectivamente algunos motores de búsqueda (como Google que permite el bloqueo, pero Bing), o tener el índice de los motores de búsqueda algunas páginas pero no en otros. Consulte la documentación de robots.txt para más detalles.