Le robots.txt qui bloque (sans le savoir) votre SEO
Un robots.txt qui bloque accidentellement des pages stratégiques revient régulièrement dans nos audits SEO. C’est l’une des erreurs les plus graves et les plus invisibles du métier. Voici les pièges à connaître et comment vérifier votre robots.txt en 5 minutes.
Ce que fait le robots.txt
Le fichier robots.txt, placé à la racine de votre domaine (exemple.com/robots.txt), indique aux crawlers (Googlebot, Bingbot, mais aussi GPTBot, ClaudeBot…) quelles parties du site ils peuvent ou ne peuvent pas explorer.
Mal configuré, il peut bloquer involontairement vos pages les plus stratégiques. Bien configuré, il oriente le crawl budget vers ce qui compte vraiment.
La structure de base
Un robots.txt minimal ressemble à ceci :
User-agent: * Disallow: /admin/ Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://exemple.com/sitemap.xml
Trois directives suffisent dans 90% des cas : User-agent (à qui s’adresse la règle), Disallow (ce qui est interdit), Allow (exceptions au Disallow).
Les 5 erreurs les plus fréquentes
1. Bloquer tout le site par erreur
Le pire scénario possible :
User-agent: * Disallow: /
Cette ligne bloque tout le site aux crawlers. Souvent oubliée d’un environnement de développement et déployée en production. Effet : disparition progressive de Google en 4 à 8 semaines.
2. Bloquer les fichiers CSS et JS
Bloquer les fichiers de style ou de script empêche Google de comprendre le rendu de la page. Conséquences : mauvaise évaluation mobile, Core Web Vitals impossibles à mesurer correctement.
Toujours autoriser l’accès aux ressources nécessaires au rendu.
3. Bloquer des sections importantes par habitude
Beaucoup de sites bloquent /blog/, /categories/ ou /tag/ sans réfléchir. Si ces sections génèrent du trafic SEO, le blocage est une catastrophe silencieuse.
4. Confondre Disallow et noindex
Disallow empêche le crawl mais pas l’indexation. Une page bloquée par robots.txt peut quand même apparaître dans Google (sans contenu visible) si des liens externes pointent vers elle.
Pour supprimer une page de l’index, il faut utiliser la balise meta noindex, pas robots.txt.
5. Oublier de référencer le sitemap
La ligne Sitemap: indique l’emplacement du sitemap XML. Sa présence aide Googlebot à découvrir vos pages. Souvent oubliée.

Le robots.txt idéal pour WordPress
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Disallow: /wp-includes/ Disallow: /xmlrpc.php Disallow: /?s= Disallow: /search/ Sitemap: https://exemple.com/sitemap.xml
Cette configuration bloque les sections inutiles pour le SEO (admin, recherche interne) et laisse libre tout ce qui compte.
Le cas spécifique des AI crawlers
En 2026, vous pouvez choisir d’autoriser ou bloquer les crawlers IA. Voici les principaux :
GPTBot: crawler d’OpenAI pour entraîner ChatGPTClaudeBot: crawler d’Anthropic pour ClaudePerplexityBot: crawler de PerplexityGoogle-Extended: sous-agent Google pour l’entraînement Gemini
Pour bloquer un crawler spécifique :
User-agent: GPTBot Disallow: /
À utiliser avec prudence. Bloquer ces crawlers vous prive de visibilité dans les réponses IA, ce qui est de plus en plus stratégique.
Comment vérifier son robots.txt
Méthode 1 · Aller à l’URL
Taper https://votresite.com/robots.txt dans votre navigateur. Le fichier doit s’afficher tel quel. S’il n’apparaît pas, c’est qu’il n’existe pas.
Méthode 2 · Tester dans Search Console
Search Console propose un testeur robots.txt qui simule le comportement de Googlebot. Permet de vérifier qu’une URL spécifique est bien crawlable.
Méthode 3 · Scanner avec Screaming Frog
Lancer un crawl avec Screaming Frog signale toutes les pages bloquées par robots.txt. Très utile pour détecter les blocages involontaires.
Les vérifications mensuelles à faire
- Le robots.txt est-il toujours présent et accessible ?
- Aucun blocage massif récent ?
- Le sitemap est-il toujours référencé ?
- Les nouvelles sections du site sont-elles correctement traitées ?
5 minutes par mois suffisent pour cette vérification. À intégrer dans la routine SEO mensuelle.
FAQ
Faut-il un robots.txt sur chaque site ?
Oui, même minimaliste. Son absence est signalée comme erreur par Google.
Le robots.txt peut-il pénaliser le SEO ?
Indirectement, en bloquant des pages importantes. Le fichier lui-même n’est pas un facteur de classement.
Doit-on bloquer les crawlers IA en 2026 ?
Dépend de votre stratégie. Si vous voulez apparaître dans ChatGPT et consorts, laisser libre. Si vous voulez protéger votre contenu, bloquer. À évaluer par site.
Vous voulez auditer votre robots.txt et votre couverture d’indexation ? Notre audit technique SEO inclut cette vérification, livré sous 5 jours.
Les chiffres cités sont des ordres de grandeur issus de sources publiques et de notre expérience terrain ; ils varient selon les secteurs, les sources et les périodes.
Besoin de clarifier votre situation ?
Comprendre,
c'est déjà agir.
Un audit clair, structuré, exploitable.
Livré sous 7 jours. Avec un échange de restitution
sans pitch commercial, sans engagement.

