Cómo bloquear un Agente de Usuario Bot

Muchos motores de búsqueda utilizan una técnica llamada "rastreo", lo que significa que envían un agente de usuario que visita su sitio web y siga los enlaces a diferentes páginas. Esta es la forma en sus páginas web la indexación por los motores de búsqueda para que puedan aparecer en los resultados de búsqueda. Si bien puede que no desee para bloquear los agentes de usuario para los principales motores de búsqueda, hay otros robots que se arrastrará su sitio web, el uso de ancho de banda innecesario y ralentizar el sitio. Utilice un archivo robots.txt para enumerar todos los agentes que desea bloquear.

Instrucciones

1 Abre un editor de texto sin formato, como el Bloc de notas Microsoft. Escribe "User-Agent:" y escriba el nombre de un agente de usuario que desea bloquear. Si no está seguro acerca de un agente de usuario específica, visite la base de datos de Robots (que se enumeran en Recursos) para obtener más información, como el nombre, tipo, descripción y propietario.

2 Pulsa enter y escribir "Disallow:" Introducir la página web que quisiera este agente de usuario que debe evitar, comenzando justo después del nombre de su dominio. Por ejemplo, tiene que escribir "/webpage.html" para excluir la example.com/webpage.html página. Enter "/" para indicar al usuario-agente para evitar todo su sitio web. Repita el proceso para tantos agentes como desee bloquear.

3 Nombre del archivo "robots.txt" y guardarlo en su disco duro. Acceder al dominio de raíz de su sitio web y subir el archivo robots.txt. Si no está seguro de cómo acceder a la raíz de su dominio, consulte a su proveedor de alojamiento web para obtener instrucciones.