Le fichier robots.txt est le premier document que les robots des moteurs de recherche consultent en arrivant sur votre site. Ce simple fichier texte, placé à la racine de votre domaine, définit les règles d’exploration de votre site par les robots. Mal configuré, il peut rendre votre site invisible sur Google.
Comment fonctionne le robots.txt
Le robots.txt utilise des directives simples. « User-agent » désigne le robot concerné (Googlebot, Bingbot, ou * pour tous). « Disallow » bloque l’accès à un chemin. « Allow » autorise l’accès à un chemin donné à l’intérieur d’un répertoire bloqué. « Sitemap » indique l’emplacement de votre plan de site.
Google respecte les directives du robots.txt, sans les considérer comme une méthode de sécurité. Si vous bloquez une page dans le robots.txt et que d’autres sites font un lien vers elle, Google peut quand même l’afficher dans les résultats (sans description). Pour empêcher l’indexation, utilisez la balise meta noindex, en laissant la page accessible au robot pour qu’il la lise.
Le fichier doit être accessible à l’adresse votredomaine.com/robots.txt. S’il est absent, Google considère que tout le site est explorable. S’il renvoie une erreur serveur (5xx), Google peut arrêter temporairement l’exploration de tout le site, par précaution.
Ce qu’il faut bloquer et ce qu’il ne faut pas
Bloquez les zones sans intérêt SEO : le back-office WordPress (/wp-admin/), les résultats de recherche interne, les pages de panier et de compte, les filtres à facettes qui génèrent des URL dupliquées. Ces sections consomment le crawl budget sans apporter de valeur.
Ne bloquez jamais vos fichiers CSS et JavaScript. Google a besoin de les charger pour afficher vos pages comme un navigateur. S’ils sont bloqués, Google voit une page incomplète, comprend mal sa mise en page et peut la juger mal adaptée au mobile.
Ne bloquez pas non plus vos images ou vos vidéos si vous souhaitez qu’elles apparaissent dans Google Images ou dans l’onglet Vidéos. Et ne bloquez jamais vos pages de contenu principal par erreur. Une ligne Disallow mal placée peut faire sortir des sections entières de votre site des résultats.
Un audit SEO technique permet de vérifier que votre robots.txt ne bloque aucune page utile.
Tester et valider votre fichier
Dans Google Search Console, le rapport robots.txt (dans les paramètres) montre le fichier que Google a récupéré et les erreurs qu’il y a trouvées. L’outil d’inspection d’URL indique si une page donnée est bloquée. Testez systématiquement vos pages importantes après chaque modification du fichier.
Vérifiez aussi que votre fichier ne contient pas d’erreurs de syntaxe. Un espace ou un caractère spécial mal placé peut changer complètement son comportement. La directive « Disallow: / » bloque tout le site, tandis que « Disallow: » (vide) n’a aucun effet.
Pour les sites WordPress, Rank Math et d’autres extensions SEO permettent d’éditer le robots.txt directement depuis l’interface d’administration. C’est plus pratique que l’édition FTP et réduit les risques d’erreur. Contactez notre équipe pour un audit technique de votre configuration.
Questions fréquentes
Le robots.txt empêche-t-il l’indexation d’une page ?
Non. Le robots.txt empêche l’exploration ; il n’empêche pas l’indexation. Si une page bloquée dans le robots.txt reçoit des liens externes, Google peut l’indexer sans la visiter, en affichant juste l’URL sans description. Pour empêcher l’indexation, utilisez la balise meta noindex.
Que se passe-t-il si je supprime le fichier robots.txt ?
Google considère que tout le site est accessible et explorable. Cela ne pose pas de problème en soi. Vous perdez en revanche le contrôle sur les zones que Google explore, ce qui peut gaspiller du crawl budget sur des pages inutiles.
Faut-il bloquer les bots d’IA comme GPTBot dans le robots.txt ?
C’est un choix stratégique. Bloquer GPTBot (OpenAI) ou ClaudeBot (Anthropic) empêche ces éditeurs d’utiliser votre contenu pour entraîner leurs modèles. Les robots qui alimentent la recherche des assistants portent parfois un autre nom, comme OAI-SearchBot pour ChatGPT : les bloquer peut vous retirer des réponses générées par ces IA. Évaluez le compromis selon votre stratégie.
Karim Bouguerra
Fondateur de Rankit et consultant SEO. Il accompagne plus de 150 entreprises dans leur visibilite en ligne.
Suivre sur LinkedIn →