Cómo construir un robot por ordenador

robots informáticos (también llamados bots, crawlers o arañas) son programas de software que buscar en la Internet, la recogida de información de las páginas web. Ellos no son virus, ya que no se inyectan software en otros ordenadores - que acaba de recoger información. El software se ejecuta en el ordenador del dueño del robot y no utiliza los recursos de cualquier otro sistema. Algunos robots recogen información a los propietarios de las páginas web visitadas prefieren no ser puestos en libertad, pero los robots informáticos tienen varios usos benignos y hay algunos Es probable que desee visitar la página web de negocios.

Instrucciones

1 Crear un algoritmo claro en primer lugar. Corriendo a través de esta parte es el error más común cometido por los fabricantes de robots. Usted debe saber lo que quiere el bot hacer en cada situación, exactamente qué información desea recopilar y cuando desea que el robot para detener la recopilación de información. La estructura típica de un bot es un solo bucle: Mira la lista de entradas de directorios, para cada archivo en cada directorio de recopilar la información que está buscando, si encuentras enlaces a los nuevos directorios ponerlos en su lista de directorios, compruebe siempre duplicaciones y seguir haciendo esto hasta que la lista de directorio está vacío. La lista de elementos encontrados se debe registrar en una forma que es fácil de recuperar.

2 Seleccionar el idioma y codificar el algoritmo. Puede escribir un robot ordenador en cualquier idioma, pero algunas lenguas son más fáciles que otros. Si usted es un experto en un idioma en particular, entonces este es el lenguaje de elección obvia. Si están bien versados ​​en una variedad de idiomas o va a aprender una lengua sólo para escribir el bot, algunas lenguas son mejores que otros. Las lenguas de elección para los escritores de bots son Perl y Ruby. Ambos están disponibles gratuitamente en la web, relativamente fácil de aprender, ejecutar rápidamente y tienen características que hacen bot escritura sencilla para los no expertos. Por ejemplo, las dos lenguas tienen instrucciones simples para capturar todos los archivos en un directorio.

3 Probar el robot. Es fácil crear un robot que se ejecuta sin que se caiga, pero no recoge la información adecuada. Se debe probar el bot en su propio sitio web donde se sabe qué información debe recogerse. Cuantos más sitios web que pueden poner a prueba su sitio web en el mejor.

Consejos y advertencias

• Sitios web tienen a veces un archivo llamado "robots.txt" en el nivel superior de una página web que contiene código de control del robot para dirigir el robot visitando. Si va a recoger información legítima - como clasificar el sitio web para un motor de búsqueda - el código de control del robot puede ahorrar mucho tiempo al restringir su búsqueda a archivos correspondientes.
• Algunas personas no les gusta ser visitados por los robots y ocultará la información de los robots. Por ejemplo, direcciones de correo electrónico pueden ser escritos "abc {a} xyz.net" en lugar de con el signo @ ya que esto es lo que distingue a una dirección de correo electrónico y será lo que los robots dirección de correo electrónico de recogida buscan.