Tecnología

Inicio

¿Qué es un bot motor de búsqueda?

Un bot motor de búsqueda es un programa automatizado utilizado para recoger información de páginas web a través de Internet. El motor de búsqueda a continuación, organiza y registra la información para su uso en sus resultados de búsqueda. Numerosos robots de "rastreo" de Internet por todos los principales motores de búsqueda en un momento dado.

Nombres Alternativos

los robots de motores de búsqueda también se conocen comúnmente como los rastreadores web, arañas web, scutters web y robots web.

Función básica

Motores de búsqueda crean copias de todas las páginas visitadas. El motor de búsqueda indexa esas copias en su archivo, lo que contribuye a la aceleración y la búsqueda más precisa.

políticas

Un bot motor de búsqueda es controlado por cuatro políticas: qué páginas se arrastran, con qué frecuencia para comprobar si hay cambios en una página, cómo rastrear páginas sin sobrecargar los servidores de las páginas, y la forma de coordinar sus trabajos con otros rastreadores web. Estos a menudo pueden ser controlados por las reglas que se encuentran en páginas individuales o mapas de sitio.

Método de rastreo

los robots de motores de búsqueda rastrean la internet, comenzando con una lista de base de sitios para visitar. Luego identifican cada hipervínculo en esos sitios y añadir los enlaces a la lista.

inconvenientes

Un rastreo web completa es esencialmente imposible debido a la naturaleza siempre cambiante de Internet, la prevalencia de los sitios que utilizan funciones como JavaScript o Flash que no proporcionan ningún texto para analizar, y la existencia de páginas web que no están vinculados por ningún otro página y por lo tanto siguen siendo indetectable.