Le crawl budget correspond au nombre de pages que Google peut et veut explorer sur votre site sur une période donnée. Comprendre ce concept est utile à toute entreprise qui veut que l’ensemble de son contenu soit indexé et visible dans les résultats de recherche.
Qu’est-ce que le crawl budget ?
Le crawl budget combine deux facteurs : la capacité d’exploration (le nombre de requêtes que Googlebot peut faire sans surcharger votre serveur) et la demande d’exploration (l’intérêt de Google pour votre contenu). Google n’explore pas des millions de pages sur un site dont le contenu ne le justifie pas.
Pour les petits sites, le crawl budget est rarement un problème : Google a les ressources pour tout explorer. D’après sa documentation, le sujet concerne surtout les très grands sites (plus d’un million de pages) et les sites de plus de 10 000 pages dont le contenu change chaque jour : sites e-commerce avec des milliers de fiches produit, sites d’annonces ou plateformes au contenu généré dynamiquement.
Googlebot donne la priorité aux pages qu’il juge importantes : celles qui reçoivent beaucoup de liens internes, celles mises à jour récemment et celles qui sont populaires. Les pages profondes, rarement liées et jamais modifiées, passent en dernier et ne sont parfois jamais explorées.
Les facteurs qui gaspillent votre crawl budget
Les pages dupliquées sont la première source de gaspillage. Les variantes d’URL (avec et sans www, avec et sans barre oblique finale, paramètres de tri ou de filtrage) multiplient les pages à explorer sans ajouter de valeur. Configurez des balises canoniques et des redirections pour éliminer les doublons.
Les pages de faible qualité consomment aussi du budget : pages d’étiquettes vides, résultats de recherche interne accessibles aux robots, chaînes de redirections. Le temps que Googlebot passe sur ces pages inutiles retarde l’exploration des pages utiles.
Les erreurs serveur (5xx) et les temps de réponse trop longs réduisent directement la capacité d’exploration. Quand votre serveur répond lentement, Googlebot ralentit automatiquement pour ne pas le surcharger, et explore moins de pages.
Un audit SEO technique montre comment Google explore votre site et où il perd du temps.
Optimiser l’exploration de votre site
Le fichier robots.txt est votre premier outil de contrôle. Bloquez les sections que Google n’a pas besoin d’explorer : back-office, pages de recherche interne, filtres à facettes. Attention : ne bloquez jamais vos pages de contenu principal ni les ressources CSS et JavaScript nécessaires à leur affichage.
Votre sitemap XML guide Googlebot vers vos pages prioritaires. N’y mettez que des pages canoniques, indexables et de bonne qualité. Mettez à jour le sitemap à chaque modification pour signaler les changements, et déclarez-le dans Google Search Console.
L’architecture de votre site influence directement l’exploration. Une structure plate, où chaque page est accessible en 3 clics au plus, facilite le travail des robots. Un expert SEO à Lyon peut auditer votre architecture et identifier les pages orphelines inaccessibles aux robots.
Surveiller et diagnostiquer les problèmes de crawl
Le rapport « Statistiques sur l’exploration » de Google Search Console (dans les paramètres) montre le nombre de requêtes par jour, le temps de réponse moyen et les codes de réponse rencontrés. Une baisse soudaine de l’exploration signale un problème : serveur lent, erreurs ou blocage accidentel dans le robots.txt.
Analysez les journaux de votre serveur pour voir quelles pages Googlebot visite, dans quel ordre et à quelle fréquence. Des outils comme Screaming Frog ou Oncrawl facilitent cette analyse. Si vous constatez que des pages importantes ne sont jamais visitées, renforcez leur maillage interne et ajoutez-les au sitemap.
Questions fréquentes
Le crawl budget concerne-t-il les petits sites ?
Pour un site de quelques centaines de pages avec un bon maillage interne, le crawl budget est rarement un problème : Google explore facilement l’ensemble. D’après la documentation de Google, l’optimisation devient utile sur les sites de plus de 10 000 pages dont le contenu change souvent, et sur les très grands sites.
Comment savoir si Google explore toutes mes pages ?
Consultez le rapport « Indexation des pages » de Google Search Console (anciennement « Couverture »). Il indique le nombre de pages indexées et non indexées, avec la raison de chaque exclusion. Comparez avec le nombre de pages dans votre sitemap pour identifier les écarts.
Bloquer des pages dans robots.txt améliore-t-il le crawl budget ?
Oui : en empêchant Googlebot d’explorer des pages inutiles, vous libérez du budget pour les pages importantes. Veillez toutefois à ne pas bloquer par erreur des pages ou des ressources nécessaires à l’affichage de votre contenu.
Karim Bouguerra
Fondateur de Rankit et consultant SEO. Il accompagne plus de 150 entreprises dans leur visibilite en ligne.
Suivre sur LinkedIn →