Un robots.txt qui bloque accidentellement des pages stratégiques revient régulièrement dans nos audits SEO. C’est l’une des erreurs les plus graves et les plus invisibles du métier. Voici les pièges à connaître et comment vérifier votre robots.txt en 5 minutes.

Ce que fait le robots.txt

Le fichier robots.txt, placé à la racine de votre domaine (exemple.com/robots.txt), indique aux crawlers (Googlebot, Bingbot, mais aussi GPTBot, ClaudeBot…) quelles parties du site ils peuvent ou ne peuvent pas explorer.

Mal configuré, il peut bloquer involontairement vos pages les plus stratégiques. Bien configuré, il oriente le crawl budget vers ce qui compte vraiment.

La structure de base

Un robots.txt minimal ressemble à ceci :

User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://exemple.com/sitemap.xml

Trois directives suffisent dans 90% des cas : User-agent (à qui s’adresse la règle), Disallow (ce qui est interdit), Allow (exceptions au Disallow).

Les 5 erreurs les plus fréquentes

1. Bloquer tout le site par erreur

Le pire scénario possible :

User-agent: *
Disallow: /

Cette ligne bloque tout le site aux crawlers. Souvent oubliée d’un environnement de développement et déployée en production. Effet : disparition progressive de Google en 4 à 8 semaines.

2. Bloquer les fichiers CSS et JS

Bloquer les fichiers de style ou de script empêche Google de comprendre le rendu de la page. Conséquences : mauvaise évaluation mobile, Core Web Vitals impossibles à mesurer correctement.

Toujours autoriser l’accès aux ressources nécessaires au rendu.

3. Bloquer des sections importantes par habitude

Beaucoup de sites bloquent /blog/, /categories/ ou /tag/ sans réfléchir. Si ces sections génèrent du trafic SEO, le blocage est une catastrophe silencieuse.

4. Confondre Disallow et noindex

Disallow empêche le crawl mais pas l’indexation. Une page bloquée par robots.txt peut quand même apparaître dans Google (sans contenu visible) si des liens externes pointent vers elle.

Pour supprimer une page de l’index, il faut utiliser la balise meta noindex, pas robots.txt.

5. Oublier de référencer le sitemap

La ligne Sitemap: indique l’emplacement du sitemap XML. Sa présence aide Googlebot à découvrir vos pages. Souvent oubliée.

Le robots.txt idéal pour WordPress

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /?s=
Disallow: /search/

Sitemap: https://exemple.com/sitemap.xml

Cette configuration bloque les sections inutiles pour le SEO (admin, recherche interne) et laisse libre tout ce qui compte.

Le cas spécifique des AI crawlers

En 2026, vous pouvez choisir d’autoriser ou bloquer les crawlers IA. Voici les principaux :

  • GPTBot : crawler d’OpenAI pour entraîner ChatGPT
  • ClaudeBot : crawler d’Anthropic pour Claude
  • PerplexityBot : crawler de Perplexity
  • Google-Extended : sous-agent Google pour l’entraînement Gemini

Pour bloquer un crawler spécifique :

User-agent: GPTBot
Disallow: /

À utiliser avec prudence. Bloquer ces crawlers vous prive de visibilité dans les réponses IA, ce qui est de plus en plus stratégique.

Comment vérifier son robots.txt

Méthode 1 · Aller à l’URL

Taper https://votresite.com/robots.txt dans votre navigateur. Le fichier doit s’afficher tel quel. S’il n’apparaît pas, c’est qu’il n’existe pas.

Méthode 2 · Tester dans Search Console

Search Console propose un testeur robots.txt qui simule le comportement de Googlebot. Permet de vérifier qu’une URL spécifique est bien crawlable.

Méthode 3 · Scanner avec Screaming Frog

Lancer un crawl avec Screaming Frog signale toutes les pages bloquées par robots.txt. Très utile pour détecter les blocages involontaires.

Les vérifications mensuelles à faire

  • Le robots.txt est-il toujours présent et accessible ?
  • Aucun blocage massif récent ?
  • Le sitemap est-il toujours référencé ?
  • Les nouvelles sections du site sont-elles correctement traitées ?

5 minutes par mois suffisent pour cette vérification. À intégrer dans la routine SEO mensuelle.

FAQ

Faut-il un robots.txt sur chaque site ?

Oui, même minimaliste. Son absence est signalée comme erreur par Google.

Le robots.txt peut-il pénaliser le SEO ?

Indirectement, en bloquant des pages importantes. Le fichier lui-même n’est pas un facteur de classement.

Doit-on bloquer les crawlers IA en 2026 ?

Dépend de votre stratégie. Si vous voulez apparaître dans ChatGPT et consorts, laisser libre. Si vous voulez protéger votre contenu, bloquer. À évaluer par site.

Vous voulez auditer votre robots.txt et votre couverture d’indexation ? Notre audit technique SEO inclut cette vérification, livré sous 5 jours.

Les chiffres cités sont des ordres de grandeur issus de sources publiques et de notre expérience terrain ; ils varient selon les secteurs, les sources et les périodes.

Découvrir notre accompagnement SEO   Commander un audit

Partager cet article

Besoin de clarifier votre situation ?

Comprendre,
c'est déjà agir.

Un audit clair, structuré, exploitable.
Livré sous 7 jours. Avec un échange de restitution
sans pitch commercial, sans engagement.