Cómo construir un motor de búsqueda vertical

Un motor de búsqueda vertical es el último en la tecnología de búsqueda de Internet. Un motor de búsqueda vertical, si bien son útiles en algunas búsquedas, necesita ser programado correctamente para proporcionar los resultados más precisos para el usuario. Aquí es cómo construir un motor de búsqueda vertical, de manera que los usuarios puedan obtener los resultados que necesitan.

Instrucciones

1 Elegir lo que va a programar. Un rastreador basado en Java es uno de los más populares y puede ser más fácil de ejecutar. Mantenga el manual a mano para si te quedas atascado en algún lugar que tenga a girar. También puede optar por algo así como HttpClient si necesita más funcionalidad, como la construcción de un motor de búsqueda vertical basada empleo.

2 Decidir sobre el tema o temas de su motor de búsqueda vertical se centrará en. Por ejemplo, es posible que desee que los usuarios puedan buscar sólo las páginas relacionadas con el desarrollo del niño, o de vacaciones en el sur de Florida.

3 Escribir una función de puntuación que las puntuaciones de cada sitio para sus categorías utilizando un rastreador en Java, como Nutch o Heritrix. Utilice una base de palabras clave o base de la detección similar a dar a cada página web una puntuación.

4 Establecer un umbral para mostrar los sitios web pertinentes. Los sitios web con un cierto puntaje para su categoría se consideran relevantes y se muestran como resultados. Por ejemplo, si su motor de búsqueda vertical encuentra 50 o más palabras clave en un sitio, entonces se visualiza. Los sitios con una puntuación por debajo de este umbral no lo son.

5 Determinar cómo va a lidiar con los errores, cuántos hilos simultáneos que querrá y si desea guardar contenido de la página o sólo los datos.