Votre robots.txt (le petit fichier texte qui dit aux robots quelles pages ils ont le droit de lire) est devenu une décision commerciale. Depuis 2024, les bots d'OpenAI, d'Anthropic, de Google et de Perplexity frappent à la porte de votre boutique, et si vous fermez trop large, vous risquez de vous effacer des réponses que vos futurs clients lisent dans ChatGPT. Voyons qui sont ces bots, ce que disent les chiffres, et la configuration concrète à mettre en place. Si vous gérez par ailleurs un gros catalogue, la question recoupe celle du SEO programmatique : beaucoup de pages, donc beaucoup de matière à faire lire (ou pas) aux robots.
Entraînement, recherche, agents : trois familles de bots très différentes
L'erreur la plus chère, c'est de traiter "les bots IA" comme un bloc unique. La documentation OpenAI distingue trois crawlers que vous pilotez séparément dans votre robots.txt. Chacun a un user-agent (son nom de signature, celui qu'il annonce en lisant vos pages) bien à lui : GPTBot collecte du contenu qui peut servir à entraîner les modèles ; OAI-SearchBot indexe (range vos pages dans son répertoire) pour les résultats de recherche de ChatGPT, réponses shopping comprises ; ChatGPT-User va lire une page quand un internaute le demande en direct. OpenAI précise qu'une modification de votre robots.txt est prise en compte côté recherche en 24 heures environ.
Anthropic documente exactement la même logique : ClaudeBot pour l'entraînement, Claude-SearchBot pour améliorer les résultats de recherche, Claude-User pour les requêtes déclenchées par un internaute. Anthropic affirme que les trois respectent votre robots.txt, Claude-User compris, et prend en charge la directive Crawl-delay, qui permet de ralentir le rythme de lecture sans tout bloquer.
Deux cas particuliers à connaître. Google-Extended n'est pas un robot mais un simple jeton de contrôle dans le robots.txt (une case à cocher, en quelque sorte) : le bloquer retire votre contenu de l'entraînement et du grounding de Gemini (le fait d'aller chercher des sources fraîches pour appuyer une réponse), mais ne change rien à votre présence dans Google Search ni dans les AI Overviews (les réponses générées par l'IA en haut des résultats Google), qui s'appuient sur le Googlebot classique (documentation Google). Si ces AI Overviews vous grignotent du trafic, on détaille la riposte dans cet article dédié. Chez Perplexity, PerplexityBot indexe pour la recherche et respecte le robots.txt, mais la documentation officielle indique que Perplexity-User, déclenché par un internaute, ignore généralement le robots.txt.
| Bot | Rôle | Si vous le bloquez | Boutique |
|---|---|---|---|
| GPTBot | Entraînement des modèles OpenAI | Contenu exclu des futurs entraînements | Au choix |
| OAI-SearchBot | Index de la recherche ChatGPT (dont shopping) | Invisible dans la recherche ChatGPT | Laisser passer |
| ChatGPT-User | Visite une page à la demande d'un utilisateur | ChatGPT ne peut plus consulter vos fiches | Laisser passer |
| ClaudeBot | Entraînement des modèles Anthropic | Contenu exclu des futurs entraînements | Au choix |
| Claude-SearchBot | Index de la recherche Claude | Visibilité réduite dans les réponses Claude | Laisser passer |
| Claude-User | Requêtes déclenchées par un utilisateur | Claude ne peut plus lire vos pages en direct | Laisser passer |
| Google-Extended | Jeton : entraînement et grounding Gemini | Sans effet sur Search et AI Overviews | Au choix |
| PerplexityBot | Index de la recherche Perplexity | Invisible dans les réponses Perplexity | Laisser passer |
Sources : documentations officielles OpenAI, Anthropic, Google et Perplexity, juin 2026. Perplexity-User (requêtes utilisateur) ignore généralement robots.txt d'après la documentation Perplexity elle-même.
L'enjeu e-commerce : bloquer les mauvais bots, c'est sortir des recommandations
Quand un client demande à ChatGPT "quel coussin cervical acheter en France", la réponse se construit à partir des pages que les bots de recherche ont pu lire. Une boutique qui bloque OAI-SearchBot ne peut tout simplement pas être citée ; et une boutique qui bloque ChatGPT-User empêche même l'assistant d'ouvrir sa fiche produit quand l'internaute colle l'URL directement dans la conversation. C'est toute la logique du GEO (Generative Engine Optimization, l'art d'être cité par les IA plutôt que classé par Google) : on ne cherche plus à se classer, on cherche à se faire citer. Et cela passe d'abord par des fiches produit lisibles et uniques, celles que l'IA aime reprendre.
Le trafic en jeu reste minoritaire, mais il accélère vite et il convertit. Selon Adobe Analytics, le trafic venu des sources d'IA générative vers les sites retail américains a bondi de 1 200 % entre juillet 2024 et février 2025, avec des visiteurs qui consultent 12 % de pages en plus et rebondissent 23 % de moins que le trafic classique. Surtout, l'écart de conversion s'est presque refermé : ces visiteurs convertissaient 43 % de moins en juillet 2024, et plus que 9 % de moins en février 2025 (Adobe Analytics).
Soyons honnêtes sur les chiffres : une étude académique publiée dans Marketing Science, portant sur 973 sites e-commerce, mesure que les visites venues de ChatGPT pèsent encore moins de 0,2 % du trafic total. Les deux constats ne se contredisent pas : une base très faible qui grossit très vite. Vous ne bloquez donc pas un canal majeur aujourd'hui ; vous hypothéquez un canal en train de se construire, au moment précis où les agents d'achat IA (des assistants capables de passer commande à votre place) commencent à exécuter de vraies commandes.
Le vrai débat : contenu aspiré contre visibilité gagnée
Les éditeurs qui bloquent les bots IA n'ont pas tort sur les faits. Les données Cloudflare Radar de 2025 montrent un échange très déséquilibré : en juin-juillet 2025, Google lisait environ 14 pages pour chaque visiteur qu'il renvoyait, OpenAI environ 1 100, Perplexity environ 200, et Anthropic environ 38 000 (Cloudflare Radar). Une précision qui compte : ces ratios bougent énormément d'un mois sur l'autre (Anthropic était à 286 000 pour 1 en janvier 2025), donc ne prenez aucun chiffre isolé pour une vérité figée. Et la part du crawl IA destinée à l'entraînement a atteint près de 80 % en juillet 2025 d'après Cloudflare.
Ce déséquilibre a déclenché une riposte d'infrastructure. Depuis le 1er juillet 2025, Cloudflare (le service qui se place devant beaucoup de sites pour les protéger et les accélérer) bloque les crawlers IA par défaut pour les nouveaux domaines et teste un marché "Pay Per Crawl" où l'éditeur fixe le prix de son contenu. Le climat s'est aussi tendu sur le plan juridique : Cloudflare a accusé Perplexity en août 2025 d'utiliser des crawlers furtifs, non déclarés, pour contourner les blocages, et l'a retiré de sa liste de bots vérifiés. Perplexity conteste et affirme que ses requêtes déclenchées par des internautes ne sont pas du crawling. Les deux versions s'opposent frontalement : nous signalons le différend sans le trancher.
Mais ce débat est celui des éditeurs de contenu, ceux qui vendent de l'audience. Une boutique, elle, vend des produits : son contenu (fiches, guides, avis) ne vaut quelque chose que s'il déclenche des ventes. Le calcul change donc du tout au tout. Le "pillage" d'une fiche produit par un bot de recherche, c'est justement ce qui permet à l'IA de recommander cette fiche à un acheteur. Le seul contenu où la question mérite débat, c'est votre contenu éditorial vraiment différenciant, par exemple vos pages comparatives ; et même là, une citation par l'IA reste un canal d'acquisition, pas une perte sèche.
llms.txt : ce que le fichier miracle fait vraiment
Le standard llms.txt, proposé en septembre 2024 par Jeremy Howard, est un fichier au format Markdown (un texte simple, balisé légèrement) placé à la racine du site et censé résumer vos pages clés pour les LLM (large language models, les grands modèles de langage derrière ChatGPT ou Claude). La promesse séduit, mais la réalité est plus sèche : aucun grand fournisseur d'IA (OpenAI, Anthropic, Google, Meta, Mistral) n'a annoncé l'utiliser. Google a été on ne peut plus clair : John Mueller a déclaré mi-2025 qu'aucun système d'IA n'utilise llms.txt, en le comparant à la vieille balise meta keywords (un signal SEO mort depuis longtemps), et Gary Illyes a confirmé que Google ne compte pas le prendre en charge (Search Engine Roundtable).
L'adoption mesurée reste faible : une étude SE Ranking sur 300 000 domaines relevait environ 10 % de sites équipés, et l'usage réellement observé vient surtout des assistants de code, qui lisent des sites de documentation technique, pas des moteurs de réponse grand public (synthèse The SEO Community). Verdict honnête pour une boutique : créer un llms.txt vous prend une heure et ne nuit à rien, mais n'en attendez aucun gain de visibilité prouvé. Votre temps rapporte bien plus investi dans les données structurées produit (un balisage technique qui décrit prix, stock et avis dans un format que les machines lisent sans ambiguïté), que les moteurs IA exploitent vraiment, ou dans le SEO de vos pages collections.
Votre robots.txt : la configuration recommandée pour une boutique
La stratégie qui tient debout est asymétrique. Laissez passer tout ce qui pèse sur votre visibilité : les bots de recherche et les bots d'agents. Tranchez librement sur l'entraînement : bloquer GPTBot, ClaudeBot ou Google-Extended n'enlève rien à la recherche ChatGPT, à Claude, à Google Search ou aux AI Overviews ; c'est une décision de principe sur l'usage de votre contenu, sans coût de visibilité documenté à ce jour.
Concrètement, pour autoriser explicitement la recherche et les agents :
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
User-agent: PerplexityBot
Allow: /
Et si vous refusez l'entraînement, ajoutez :
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
Trois précisions pratiques pour finir. Sur Shopify, le fichier se modifie via le template robots.txt.liquid (Boutique en ligne, puis Actions, puis Modifier le code). Pensez à exclure des bots autorisés vos pages sans intérêt pour une citation (panier, checkout, compte client) avec des règles Disallow ciblées, c'est-à-dire des lignes qui interdisent l'accès à une URL précise. Enfin, si vous passez par Cloudflare, vérifiez que le blocage IA activé par défaut depuis juillet 2025 ne neutralise pas les bots de recherche que vous venez d'autoriser : le pare-feu (le filtre qui décide qui entre avant même que la page ne soit servie) prime sur le robots.txt. Si manipuler le robots.txt et les réglages Cloudflare vous rend nerveux, vous pouvez faire auditer et configurer l'accès des crawlers IA par une équipe qui sécurise le tout sans casser votre visibilité. Une fois ces réglages posés, mesurez l'impact réel avec notre protocole de suivi de visibilité IA, et calez le tout dans une démarche de visibilité hors Google plus large.
Divergences signalées : les ratios crawl/referral de Cloudflare varient fortement selon le mois mesuré (Anthropic de 286 000:1 en janvier à 38 000:1 en juillet 2025) ; le différend Cloudflare/Perplexity sur le crawling furtif (août 2025) oppose deux versions contradictoires non tranchées ; Adobe mesure une croissance explosive du trafic IA quand l'étude Marketing Science rappelle qu'il pèse moins de 0,2 % du total, deux lectures d'une même réalité (base faible, croissance rapide).