Le crawl budget est le temps et les ressources que Google consacre à explorer les pages de votre site. S’il est gaspillé sur des pages sans intérêt, vos pages importantes peuvent être explorées tard — voire jamais.
Pour référencer un site, Google envoie son robot (Googlebot) « crawler » les pages, c’est-à-dire les parcourir et les analyser. Mais le web est immense : le robot n’accorde à chaque site qu’un quota d’exploration, le fameux crawl budget, calculé selon la popularité du site et sa capacité à répondre vite.
Pour un site vitrine de 30 pages, le sujet est anecdotique. Il devient stratégique pour les sites volumineux — e-commerce, médias, annuaires — où le robot peut s’épuiser sur des milliers d’URL sans valeur : pages de filtres, doublons, anciennes pages en erreur. Les bons réflexes : un site rapide, un sitemap propre, la correction des erreurs et redirections en chaîne, le blocage des URL inutiles et l’usage de la balise canonical pour gérer les contenus dupliqués. Un maillage interne clair guide enfin le robot vers vos pages stratégiques.
Un e-commerce de pièces détachées compte 3 000 produits, mais ses filtres à facettes (marque × prix × couleur) génèrent plus de 100 000 URL. Googlebot s’y perd et met des semaines à indexer les nouveaux produits. Après blocage des combinaisons de filtres et nettoyage du sitemap, les nouveautés sont indexées en quelques jours.
Chez Exoa, l’analyse du crawl fait partie de nos audits SEO techniques : nous identifions où Google gaspille son budget sur votre site et redirigeons son attention vers les pages qui génèrent du chiffre d’affaires.
Auditer la technique de mon site
À retenir