Cómo reconocer tela de araña

arañas web, también conocidos como arañas de los motores de búsqueda o rastreadores, se automatizan los programas de software que examinan el contenido de sitios web. Empresas como Google y Yahoo utilizan robots de Web para analizar sitios web y luego incluirlos en sus motores de búsqueda de acuerdo con la información que se encuentra. arañas web pueden ser identificados por los administradores del sitio debido a la forma en la que visitan los sitios. Mientras que los visitantes humanos a menudo navegan por su sitio aparentemente al azar, una araña web rastrea las páginas en detalle.

Instrucciones

1 Mira los registros del servidor de su sitio web. Puede que tenga que ponerse en contacto con su proveedor de alojamiento para el acceso. Cada servidor guarda registros de visitantes a los sitios web que alberga, y los administradores del sitio y pregunta para ver esos registros.

2 Examine la columna URL de referencia de los troncos, mirando primero a cualquier fecha en la que usted cree que un motor de búsqueda araña visitado su sitio. La mayoría de las visitas Web humanos provienen de otros sitios web. Una araña web tiene una dirección URL en blanco referencia.

3 Examine la columna de la Actividad de visitas que contienen una URL en blanco. arañas web también dejan su huella en la forma de navegar por su sitio web. Encuentra la columna de la Actividad de la visita y verá que la araña visitado cada página en su sitio web.