¿Qué es el robot de Google?

El robot de Google, como su nombre indica, es un programa automatizado que indexa sitios web para su inclusión en el índice de búsqueda de Google. El software explora constantemente la web de contenidos nuevos y actualizados a través de los más de un billón de páginas únicas indexadas por el buscador Google a partir de la fecha de publicación. Cuando el contenido nuevo o actualizado es descubierto, el robot de Google crea una copia de la página que se almacena en los servidores de Google, que permite al motor de búsqueda para aplicar rápidamente el algoritmo de búsqueda de Google cuando un usuario realiza una búsqueda.

Historia

Google introdujo el robot de Google en el año 2000 con el fin de manera más eficaz índice de la Web. A lo largo de la última década, Google ha mejorado el robot de Google para hacer frente al rápido crecimiento de la Web. Entre los numerosos refinamientos, el robot de Google es ahora capaz de analizar datos del sitio web con el fin de presentar los resultados de búsqueda tópicos ricos con la información que pertenece a la página web. Por ejemplo, el robot de Google tira de las secciones del sitio web en el índice, lo que permite resultados de búsqueda de Google para mostrar los enlaces directos a diferentes secciones del sitio.

Función

Googlebot indexa la web siguiendo los hipervínculos en una página web. Cuando el robot de Google llega a un sitio web, que indexa texto e imágenes encontradas en esa página que continúa a través de la estructura de enlaces web, finalmente encontrándose en sitios web externos a través de enlaces que conectan a otros sitios en la Web. Googlebot extrae algorítmicamente una variedad de datos de sitios web, incluyendo la fecha de publicación, autor, secciones de sitios web, imágenes, información de la dirección y más. Gran parte de los datos extraídos se muestra en las páginas de resultados de búsqueda de Google, que proporciona el contexto para sus consultas.

Problemas

Dado que el robot de Google descarga una copia completa de todos los sitios web visitados, incluyendo texto e imágenes, algunos se han quejado que utiliza una gran cantidad de ancho de banda. La mayoría de los servidores de Internet asignan una cantidad limitada de ancho de banda por mes y el exceso de uso del ancho de banda se carga al webmaster en una base por-GB. Este problema se puede resolver mediante la utilización de las Herramientas para webmasters de Google, un servicio que le permite establecer límites de rastreo de Googlebot.

Webmasters

Como webmaster, hay una gran variedad de formas de interactuar con el robot de Google. La forma más sencilla de controlar lo que puede indizar el robot de Google consiste en configurar un archivo de exclusión de robots que instruye el robot de Google para excluir archivos o directorios al indexar su sitio web. Los administradores también pueden mejorar rápidamente el rendimiento de indexación mediante la presentación de un mapa del sitio a través de Google Webmaster Tools. El servicio de Herramientas para webmasters también proporciona una variedad de otras características, como la posibilidad de ver su sitio web, ya que es visto por el robot de Google y las tasas de indexación del acelerador si es demasiado ancho de banda está siendo utilizado por el robot de Google.