#TECHNIQUE
Robots.txt et crawlers IA : le guide 2026
Hadrien Rondelez, COO de Genn —
Pour apparaître dans les réponses de ChatGPT, Claude ou Perplexity, votre site doit d'abord être lisible par leurs robots. Le fichier robots.txt décide qui y a accès. Une ligne mal écrite suffit à disparaître d'un moteur génératif, souvent sans que personne ne s'en aperçoive puisque Google, lui, continue d'indexer le site normalement.
Combien pèsent les robots IA ?
L'analyse de Vercel et MERJ sur le réseau de Vercel donne un ordre de grandeur : environ 569 millions de requêtes mensuelles pour GPTBot et 370 millions pour ClaudeBot, soit, avec les autres robots IA, autour de 1,3 milliard de requêtes par mois, l'équivalent de 28 % du volume de Googlebot. Ces robots ne sont plus marginaux.
La même étude établit un point technique décisif : GPTBot, ClaudeBot, PerplexityBot, Meta-ExternalAgent et Bytespider n'exécutent pas le JavaScript. Seul Googlebot le fait. Ce sujet est traité dans notre guide sur les sites JavaScript.
Trois familles de robots à ne pas confondre
La plupart des éditeurs d'IA utilisent plusieurs robots, avec des rôles différents. Les confondre conduit à des décisions incohérentes, comme bloquer l'entraînement en pensant bloquer la recherche, ou l'inverse.
- Les robots d'entraînement collectent du contenu pour entraîner les futurs modèles. Ils alimentent la connaissance paramétrique, celle qui sert quand l'IA répond sans chercher sur le web.
- Les robots de recherche construisent l'index dans lequel l'IA puise quand elle cherche en temps réel. Ce sont eux qui conditionnent l'apparition dans les réponses sourcées avec liens.
- Les agents déclenchés par un utilisateur visitent une page précise parce qu'une personne l'a demandé dans une conversation.
Les principaux user-agents en 2026
| Éditeur | User-agent | Rôle |
|---|---|---|
| OpenAI | GPTBot | Entraînement des modèles |
| OpenAI | OAI-SearchBot | Index de ChatGPT Search |
| OpenAI | ChatGPT-User | Visite déclenchée par un utilisateur |
| Anthropic | ClaudeBot | Entraînement des modèles |
| Anthropic | Claude-SearchBot | Index de recherche de Claude |
| Anthropic | Claude-User | Visite déclenchée par un utilisateur |
| Perplexity | PerplexityBot | Index de Perplexity |
| Perplexity | Perplexity-User | Visite déclenchée par un utilisateur |
| Google-Extended | Jeton de contrôle pour Gemini (ce n'est pas un robot distinct) | |
| Apple | Applebot-Extended | Jeton de contrôle pour l'entraînement Apple |
| Meta | Meta-ExternalAgent | Entraînement des modèles Meta |
| ByteDance | Bytespider | Collecte pour les modèles ByteDance |
| Common Crawl | CCBot | Corpus ouvert réutilisé par de nombreux modèles |
Deux précisions importantes. Google-Extended ne contrôle pas votre présence dans AI Overviews ni dans AI Mode : ces fonctionnalités reposent sur l'index de recherche de Google et donc sur Googlebot. Bloquer Googlebot pour sortir des AI Overviews revient à sortir de Google. Ensuite, les listes d'user-agents évoluent : vérifiez la documentation de chaque éditeur avant de figer votre configuration.
Quelle configuration choisir ?
Pour une entreprise B2B qui cherche à être recommandée par les IA, la position par défaut est simple : autoriser les robots de recherche et les agents utilisateurs, et décider consciemment pour les robots d'entraînement. Bloquer l'entraînement protège votre contenu mais réduit, à terme, ce que les modèles savent de vous quand ils répondent de mémoire. Pour une marque qui veut être connue, c'est rarement un bon calcul.
Exemple de configuration ouverte :
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: *
Disallow: /admin/
Disallow: /api/
Sitemap: https://www.exemple.fr/sitemap.xml
Les espaces privés (back-office, compte client, API) restent fermés pour tout le monde.
Les erreurs les plus fréquentes
Un blocage hérité
Beaucoup de sites ont ajouté en 2023 un blocage de GPTBot par précaution, puis l'ont oublié. Relisez votre robots.txt ligne par ligne.
Un blocage au niveau du CDN
Le robots.txt n'est pas le seul filtre. Depuis juillet 2025, Cloudflare propose de bloquer les robots IA par défaut, et les pare-feu applicatifs peuvent renvoyer des erreurs 403 aux user-agents inconnus. Un robots.txt ouvert ne sert à rien si le CDN refuse la connexion.
Une règle générique trop large
Un User-agent: * suivi de Disallow: / s'applique à tous les robots qui ne sont pas explicitement nommés, y compris ceux qui apparaîtront demain.
Comment vérifier ce que voient les robots
Simulez une visite avec l'user-agent concerné :
curl -A "GPTBot" -s -o /dev/null -w "%{http_code}" https://www.exemple.fr/
curl -A "ClaudeBot" -s https://www.exemple.fr/page-cle | head -50
Un code 200 et un contenu textuel lisible sont le minimum attendu. Complétez par l'analyse des logs serveur ou CDN : la présence régulière de ces user-agents confirme qu'ils passent, leur absence est un signal d'alerte. Dans nos audits, nous testons au minimum cinq pages clés avec GPTBot, OAI-SearchBot, ClaudeBot et PerplexityBot, et nous contrôlons onze user-agents IA dans le robots.txt.
Questions fréquentes
Bloquer GPTBot me retire-t-il de ChatGPT ?
Pas des réponses avec recherche web, qui dépendent d'OAI-SearchBot. Mais cela limite ce que les futurs modèles d'OpenAI apprendront de votre contenu.
Le robots.txt est-il respecté ?
Les grands éditeurs déclarent le respecter pour leurs robots de collecte. Le traitement des visites déclenchées par un utilisateur varie selon les éditeurs : consultez leur documentation.
Faut-il aussi un fichier llms.txt ?
C'est un complément facultatif, pas un remplacement. Voir notre analyse du llms.txt.
Un doute sur votre configuration ? Le diagnostic des accès robots fait partie de l'audit GEO de Genn.