Tecnología

Inicio

¿Cómo puedo saber si los robots he arrastrado mi sitio?

Puede que se sorprenda al saber que los motores de búsqueda, como Google o Bing, y los spammers profesionales tienen algo en común - que utilizan robots de software automatizadas para buscar en la Web para obtener información. Rastreadores y robots de empresas con buenas intenciones, al igual que las compañías de motores de búsqueda, se basan en el archivo "robots.txt" que se encuentra en el servidor Web para determinar qué páginas a la lista, o no, en sus índices. Por otro lado, los spammers suelen ignorar las reglas de su archivo "robot.txt" y simplemente está buscando direcciones de correo electrónico a las que se pueden enviar mensajes no solicitados. Sin importar el tipo de robot que rastrea o índices de su sitio, sin embargo, se puede realizar un seguimiento de sus idas y venidas usando los archivos de registro en el servidor.

Instrucciones

1 Navegar a la página web de la página de acceso al panel de control de su cuenta de alojamiento. Tenga en cuenta que con algunas cuentas de alojamiento web, debe introducir un número de puerto junto con el URL para acceder a la página del panel de control. Por ejemplo, la URL de acceso a su panel de control puede tener un aspecto similar a "http://mywebsitename.com:2092" (sin las comillas).

2 Haga clic en el "Web Logs", "Estadísticas Analog", "Webalizer", "Raw registros de acceso" u otro enlace similar en los "Registros" o "sección de Estadísticas Web" del panel de control.

3 Haga clic en el nombre del nombre de dominio para el que desee revisar los registros de acceso, si usted tiene más de un dominio en el servidor.

4 Seleccionar la última fecha o mes se muestra en la lista, ya que esta sección contiene la mayoría de las entradas de registro arriba-hasta la fecha para su sitio.

5 Revisar las entradas del registro bajo el "Informe del navegador" o "Browser Resumen cabeceras". Revisar la lista de entradas y buscar los que contienen las palabras "robot", "araña", "bot", "autobot" o palabras que son similares. Estos son robots o rastreadores típicamente automatizados.

6 Revisar el nombre de dominio en la URL que contiene una de las palabras clave anteriores para los rastreadores o robots. Este es el dominio de referencia de la página web que envía el robot u orugas a su sitio. Si se conecta el nombre de dominio del sitio en un motor de búsqueda, usted debería ser capaz de encontrar información sobre la empresa o en el sitio que se refiere el rastreador para su sitio web.

Consejos y advertencias

  • Los registros de su sitio web también debe contener información sobre el número de veces que el rastreador o un robot acceder a su sitio.
  • Si no puede encontrar información sobre el dominio de referencia con un motor de búsqueda, usar los sitios de búsqueda de DNS como DNSStuff.com, DNSWatch.com, y Whois.com.