Outil SEO gratuit
Robots.txt Checker
Analysez un robots.txt comme le fait Googlebot : règles par robot, et test concret pour savoir si une URL est autorisée ou bloquée.
Guide
Comment tester un robots.txt
Le robots.txt est le fichier, à la racine de votre domaine, qui dit aux robots des moteurs de recherche quelles URL ils peuvent explorer. Une ligne de trop peut bloquer une section entière du site ; une ligne manquante peut ouvrir à Google des milliers de pages filtrées sans valeur.
Ce robots.txt checker lit le fichier comme Googlebot : il repère le groupe qui s'applique à chaque robot (Googlebot, Googlebot-Image, Bingbot, GPTBot ou *), liste ses règles allow et disallow et ses sitemaps, puis teste les chemins que vous lui donnez pour dire s'ils sont autorisés ou bloqués, et par quelle règle.
Un seul groupe par robot
Google applique le groupe dont le user-agent est le plus précis. Si un groupe Googlebot existe, le groupe * est ignoré pour Googlebot : ses règles ne s'additionnent pas.
La règle la plus longue gagne
Entre plusieurs règles qui correspondent à une URL, Google retient celle dont le chemin est le plus long. À longueur égale, la moins restrictive (allow) l'emporte.
Jokers et casse
* remplace n'importe quelle suite de caractères et $ marque la fin de l'URL. Les chemins sont sensibles à la casse : /Fiche ne bloque pas /fiche.
Taille et erreurs serveur
Google lit les 500 premiers Kio du fichier. Si le robots.txt répond en erreur 5xx, Google arrête d'explorer le site pendant 12 heures, puis se sert de la dernière version en cache.
Un fichier par hôte
Le fichier robots.txt doit se trouver à la racine du site et ne vaut que pour l'hôte, le protocole et le port qui l'hébergent. Un sous-domaine (blog.exemple.com) a donc besoin de son propre fichier, et une copie placée dans un sous-répertoire n'est jamais lue par les robots d'exploration.
Mode d'emploi
Tester un fichier robots.txt en quatre étapes
L'outil lit le fichier, applique ses directives à chaque robot choisi selon la logique de Googlebot et rend un verdict par chemin. Voici comment l'utiliser et lire ses résultats.
- 01
Charger le fichier
Choisissez « Depuis une URL » et saisissez l'adresse du site avec https:// : l'outil récupère le fichier robots.txt à la racine du domaine, quel que soit le chemin saisi. Pour tester une nouvelle version du fichier avant de la publier, passez en mode « Coller le contenu ».
- 02
Choisir les robots et les chemins
Cochez un ou plusieurs robots parmi Googlebot, Googlebot-Image, Bingbot, GPTBot et le groupe *. Saisissez ensuite un chemin par ligne, en commençant par la barre oblique : /panier/, /recherche?q=chaussures. Chaque chemin est vérifié pour chaque robot coché : trois chemins et deux robots donnent six lignes de résultat.
- 03
Lire le verdict de chaque chemin
En tête, l'outil affiche le code HTTP renvoyé pour le fichier et sa taille en octets : vérifiez d'abord tout code autre que 200. Le tableau donne ensuite, pour chaque chemin et chaque robot, le verdict Autorisé ou Bloqué et la règle appliquée, par exemple Disallow: /panier/. Sans règle affichée, le chemin reste ouvert à l'exploration.
- 04
Corriger grâce aux avertissements
La section des groupes détectés reprend, robot par robot, les directives Disallow, Allow et Sitemap du fichier. Les avertissements signalent les erreurs et problèmes de syntaxe : ligne sans deux-points, règle placée avant tout User-agent, directive ignorée par Google (crawl-delay, noindex, host, clean-param) ou inconnue, absence de groupe *, fichier tronqué au-delà de 500 Kio.
Cas d'usage
Quand tester son fichier robots.txt
Quatre situations où tester le fichier robots.txt évite des pages bloquées par erreur ou une exploration inutile.
Avant une refonte ou une migration
Le fichier robots.txt d'une préproduction contient parfois un Disallow: / qui passe en production le jour de la bascule. Collez la version prévue et vérifiez la page d'accueil, les catégories et quelques fiches : une seule page bloquée pour Googlebot suffit à reporter la mise en ligne.
Bien gérer son robots.txt ↗Limiter l'exploration inutile
Filtres combinés, recherche interne, tri par prix : ces adresses multiplient les pages explorées sans intérêt pour le SEO. Avant de bloquer un motif comme /*?tri=, testez quelques chemins filtrés et quelques pages utiles pour vérifier que la directive touche uniquement les premiers.
Comprendre le crawl budget ↗Sortir une page de l'index
Une page que vous voulez retirer des résultats doit rester ouverte à l'exploration : si le fichier robots.txt la bloque, Googlebot ne voit jamais sa balise noindex. Testez-la avec Googlebot avant de poser le noindex et, si le verdict est Bloqué, retirez la règle indiquée par l'outil, puis suivez la page dans la Search Console.
Désindexer une URL ↗Encadrer les robots des IA
OpenAI indique régler GPTBot par le robots.txt. Testez vos chemins avec GPTBot et Googlebot côte à côte pour vérifier qu'une règle pensée pour les IA épargne les moteurs de recherche, par exemple quand elle est placée dans le groupe *. Le fichier llms.txt, lui, guide la lecture du site par les agents IA sans rien bloquer.
Le point sur llms.txt ↗
Le robots.txt empêche-t-il une page d’être indexée ?
Il bloque l'exploration, et seulement l'exploration : une URL bloquée peut apparaître dans Google si d'autres pages la lient, sans description. Pour sortir une page de l'index, laissez-la explorable et ajoutez une balise meta robots noindex.
Google respecte-t-il la directive crawl-delay ?
Non. Google ne lit que user-agent, allow, disallow et sitemap. Crawl-delay est ignoré par Googlebot, même si d'autres robots, comme Bingbot, en tiennent compte.
Que se passe-t-il si mon robots.txt renvoie une erreur 404 ?
Pour Google, une erreur 4xx (sauf 429) équivaut à l'absence de robots.txt : tout le site est explorable. Une erreur 5xx est plus grave : Google suspend l'exploration du site.
Combien de temps Google met-il à prendre en compte un nouveau robots.txt ?
Google garde en général le fichier en cache jusqu'à 24 heures. Une modification peut donc mettre une journée à s'appliquer.
Comment bloquer GPTBot et les robots des IA ?
Ajoutez un groupe par robot, par exemple User-agent: GPTBot suivi de Disallow: /. Testez ensuite le fichier avec l'outil en cochant GPTBot pour vérifier que les URL sont bien bloquées.
Comment tester son robots.txt dans la Search Console ?
Le rapport robots.txt de la Search Console liste les fichiers trouvés par Google pour les 20 principaux hôtes du site, avec l'état de récupération, la date de la dernière tentative d'exploration, la taille et le nombre de problèmes. Il permet aussi de demander une nouvelle exploration du fichier après une correction. Pour une page précise, l'outil d'inspection d'URL indique si elle est bloquée par le robots.txt.