¿Cuáles son las arañas y Motores de búsqueda Web?

Las arañas y los robots Web - abreviatura de "robot Web" - son programas informáticos que realizan tareas rutinarias, tales como las búsquedas en línea, con poca o ninguna intervención humana. Los programas deambulan, o "arrastre" de la página a la página en la Web de una manera organizada, indexación y categorización de los contenidos que encuentran.

Los motores de búsqueda

Los motores de búsqueda, un ejemplo Google y Yahoo !, utilizan un grupo de arañas que funcionan en paralelo para crear una instantánea de contenido web en un momento dado. Una araña comienza en una página web, copia su contenido en una base de datos y los índices de ellos. De esto se deduce cada enlace en la página y las copias y los índices de los contenidos de la página de destino para cada enlace. De este modo, las arañas crean un índice local que el motor de búsqueda puede buscar rápidamente los resultados más apropiados cuando un usuario envía una consulta.

Las compras en línea

Un tipo especial de Web Bot, conocido como un buscador de productos, o un robot comercial, se puede utilizar para verificar los precios con muchos minoristas en la web y así ayudar a los consumidores para encontrar el mejor precio para un artículo en particular. Los minoristas, ya sea pago por clic - es decir, cada vez que un visitante hace clic a través de su página web - o un pequeño porcentaje del dinero gastado por el visitante, que se incluirán en los resultados ShopBot. ShopBot resultados son, sin embargo, por lo general presentan de manera justa, sin prejuicios, y no añaden nada al precio al visitante paga.

Otras aplicaciones

Las arañas y los robots web se pueden usar para generar estadísticas que permiten que el contenido de la Web para ser mejor comprendida, para validar la estructura de las páginas web individuales - incluyendo enlaces a otras páginas - y para reunir información específica. Esta información incluye la información de contacto y, en particular, las direcciones de correo electrónico, que cosechan las arañas y los robots maliciosos Web a los efectos de generar correo basura Internet o correo no deseado.

Las políticas de comportamiento

Araña y Web bots pueden buscar millones de páginas web muy rápidamente, pero incluso un grupo de arañas o robots de Web no pueden buscar en toda la web con la suficiente rapidez. Las arañas y los robots web, por tanto, utilizar las políticas de comportamiento, definido por sus creadores, para buscar de forma selectiva para el contenido Web más adecuada a sus necesidades. propietarios de sitios web pueden alentar a las arañas y los robots web para buscar en sus páginas web mediante la inclusión de HyperText Markup Language (HTML) etiquetas que describen su contenido, o desalentar al incluir un archivo llamado "robot.txt", que indica al software que no rastree la página .