Googlebot

Googlebot, qu’est-ce que c’est ?

Les moteurs de recherche sont assistés par des robots chargés d’explorer les pages web et les liens qu’elles contiennent. Googlebot, le robot d’exploration de Google aussi appelé « spider », scrute le web afin de garnir l’index et répondre aux requêtes des utilisateurs par les résultats les plus pertinents.

Comment fonctionne Googlebot ?

Pour proposer des résultats toujours à jour aux requêtes des internautes, Google doit actualiser son index en permanence. Googlebot, son robot d’exploration, parcourt le web sans relâche pour trouver du nouveau contenu et nourrir l’index.

Google navigue de site en site en suivant les liens en dofollow qu’il croise, les liens que le webmaster autorise à suivre. A chaque fois qu’il explore un site web il récupère le code html, le sitemap, et pourra ensuite savoir quelles pages explorer, analyser et ajouter à l’index.

Googlebot analyse également toutes les balises métas des sites internet. La balise meta title, meta description, le balisage des titres, la canonical etc… Tout est passé au crible pour garantir des résultats de recherche adaptés. Tous les fichiers, le code, les images, les mots clés, les données ont leur importance pour le référencement naturel et l’indexation dans les SERP.

L’outil Google Webmaster Tools, maintenant Google Search Console, vous donne des données précieuses sur chaque url de votre site web. Il est possible de voir les urls sur lesquelles le robot Google est passé, si l’indexation a été faite ou non, et si le fichier sitemap a bien été utilisé.

Comment optimiser un site pour Googlebot ?

Étant donné que c’est grâce à Googlebot qu’un site est exploré, catégorisé et par conséquent indexé, il est essentiel d’optimiser son site pour favoriser le travail du robot d’exploration. Plus le travail de Googlebot est facilité, plus il sera efficace et ce ne sera que bénéfique pour votre site.

Veillez à avoir un site fluide, plus le robot navigue rapidement, plus il pourra crawler de pages. Cela parait anodin mais ce détail a son importance pour le robot d’exploration. Il existe une notion de temps accordé par Googlebot différent pour chaque site appelé le Crawl Budget et optimiser la durée de son exploration peut faire la différence.

Google navigue au sein d’un site web en suivant les liens dofollow pour faire en faire le tour. Le robot aime aussi les pages de qualité, qui apportent une plus value à l’index, alors veillez à mettre en avant le contenu intéressant de votre site sur chaque page et à masquer les éventuelles pages qui n’auraient pas d’intérêt en les mettant en nofollow. Utilisez les bons mots clés et les bonnes expressions. Cela optimise aussi le crawl budget, si seulement 10 pages de votre site sont crawlées, autant que ce soit 10 pages de qualité.

Pour empêcher le robot d’exploration de Google de crawler un site, il est possible d’utiliser le fichier robots.txt qui lui interdit l’accès. Ce fichier robot donne une consigne à Googlebot pour que certaines pages ne soient pas explorées et indexées. Bloquer le référencement naturel de certaines pages de votre site internet est parfois utile, notamment pour les pages administratives ou pas destinées aux utilisateurs.