Crawl Budget

Le Crawl Budget : comment ça fonctionne ?

Notion clé en SEO, le Crawl Budget, ou budget de crawl, est défini comme le nombre maximal de pages que les robots d’exploration d’un moteur de recherche vont explorer sur un site. En fonction de plusieurs critères, tels que la taille du site web, la réactivité du serveur, la fréquence des mises à jour, la présence de liens sur le site, ou encore la qualité des contenus proposés, Google détermine le budget de crawl qu’il va allouer à chacun des sites.

Avec le développement fulgurant du web, des centaines de nouvelles pages apparaissent chaque jour, et Google ne dispose pas d’un temps illimité pour pouvoir toutes les explorer.

Ainsi, Google détermine un nombre d’URLs que Googlebot va visiter lors de son passage sur un site. Lorsque ce nombre est atteint, le robot d’exploration interrompt son exploration et quitte le site, laissant les pages non indexées qu’il n’aura pas eu le temps d’explorer en l’état.

Selon l’autorité ou la performance du site, le nombre d’URLs à explorer et de pages à indexer ne sera pas le même. En effet, il ne serait pas possible d’imposer un Crawl Budget fixe, puisque les tailles de site ne se valent pas. Le budget de crawl serait trop conséquent pour certains, et trop bas pour d’autres.

Généralement, les référenceurs SEO commencent à parler de Crawl Budget pour des gros sites, et non pour des petits sites de quelques pages.

L’importance du Crawl Budget en SEO

Aussi connu sous le nom de crawler ou spider, le robot d’exploration des moteurs de recherche ne crawle pas l’intégralité d’un site web à chaque passage. Il est donc important qu’il revienne régulièrement, en particulier si vous publiez du contenu fréquemment, afin que celui-ci puisse être exploré et indexé rapidement.

La notion de Crawl Budget joue un rôle déterminant sur le référencement naturel de votre site. En effet, si vous êtes propriétaire d’un gros site, vous devez l’optimiser pour éviter le gaspillage de budget de crawl. Google indique un nombre d’URLs à explorer, mais n’indique pas lesquelles. Ainsi, le robot d’exploration se contentera de visiter le nombre d’URLs qui lui a été indiqué, sans considérer le facteur de pertinence. Il se pourrait donc que le crawler explore des pages ne représentant aucun intérêt pour votre référencement naturel, au détriment des pages importantes.

Comment améliorer son Budget de Crawl ?

Afin de faciliter le travail de Googlebot, plusieurs actions peuvent être mises en place pour favoriser l’optimisation du Crawl Budget.

• Proposer du contenu de qualité sur votre site web est un facteur majeur pour le SEO, il faut donc faire en sorte que le Googlebot crawle vos pages intéressantes et pertinentes. Pour ce faire, désindexez les pages que vous ne souhaitez pas montrer afin que le robot ne perde pas son temps à traiter des pages sans intérêt pour votre référencement.

 

• Facilitez-lui la vie en proposant un site structuré en limitant la profondeur du site. Plus il est profond, plus les pages seront difficiles à atteindre et plus les crawls seront aléatoires. Aidez le robot de Google à trouver plus rapidement le contenu important.

 

• Optimisez vos pages. Cela parait logique mais plus votre page sera optimisée et de qualité, plus elle sera crawlée et appréciée. Votre contenu publié récemment sera crawlé plus rapidement et fournira l’index du moteur de recherche plus vite.

 

• Ne négligez pas la vitesse de chargement de votre site. Plus vos pages se chargent rapidement, plus vite Googlebot va crawler votre site.

 

• Corrigez vos pages répondant en 404. Des pages sans erreurs favorisent également le travail du robot d’exploration.

 

• Ajoutez des liens sur votre site ! Les robots d’exploration en sont friands ! Un bon maillage interne leur permet de parcourir vos pages rapidement et facilement grâce à la navigation optimisée.

 

• La popularité d’un site et sa fréquence de mise à jour influencent également le Crawl Budget.