Robots.txt : 3,7 % seulement des sites publics bloquent déjà l'IA

Google a confirmé le 30 octobre 2026, dans une annonce rapportée par Clubic, son intention d'adopter un signal commun permettant aux propriétaires de sites d'exprimer leurs préférences sur l'entraînement des modèles d'intelligence artificielle. Le mécanisme repose sur le fichier robots.txt, utilisé depuis des décennies pour transmettre des consignes aux robots qui parcourent le Web.

Microsoft, OpenAI et Anthropic participent au même chantier. L'identifiant partagé s'appelle __usage_ai-training. Quelques lignes suffiraient à signaler que les contenus d'un site ne doivent pas servir à entraîner les modèles des entreprises participantes.

Une seule consigne au lieu d'une par robot

Jusqu'ici, un éditeur voulant limiter la collecte devait gérer les règles propres à chaque fournisseur : GPTBot pour OpenAI, Google-Extended pour Google, ClaudeBot pour Anthropic, et ainsi de suite. Le nouveau dispositif remplace cette accumulation par une directive unique.

Le système prévoit aussi des exceptions. Un éditeur pourra interdire l'usage de l'ensemble de ses articles tout en autorisant celui d'une rubrique précise. Google indique que ses contrôles existants continueront de fonctionner : une règle spécifique à Google-Extended pourra primer sur le nouveau signal commun.

Le projet est développé dans le cadre de l'Internet Engineering Task Force (IETF), l'organisme qui élabore les standards d'Internet. Il ne s'agit pas encore d'une norme définitivement adoptée.

Des calendriers différents et aucune garantie technique

Aucune barrière technique n'empêche un robot d'ignorer ces instructions. Le mécanisme exprime une préférence, il ne bloque pas le téléchargement des pages et n'efface pas les données déjà utilisées pour entraîner un modèle.

Les échéances divergent selon les acteurs. Microsoft prévoit d'appliquer ces préférences à partir du 1er février 2027, Google vise un déploiement courant 2027, OpenAI évoque les prochains mois. Meta n'a annoncé aucun calendrier de reconnaissance du signal.

D'ici là, la consigne pratique est simple : conserver — ou mettre en place dès maintenant — les règles par robot déjà reconnues aujourd'hui (GPTBot, Google-Extended, ClaudeBot, etc.), puisque le signal unique ne sera pas pris en compte avant 2027 chez la plupart des acteurs. Supprimer ces lignes en anticipation du nouveau standard reviendrait à rouvrir l'accès pendant toute la période intermédiaire.

Autre nuance : interdire l'entraînement ne revient pas à interdire l'usage des contenus pour générer des réponses. Microsoft prévoit des réglages distincts entre l'entraînement des modèles et l'exploitation de pages lors d'une recherche assistée par IA. Google conserve une articulation particulière entre Google-Extended et les contenus repris par certaines fonctions de Gemini.

En France, presque aucun site public ne bloque les robots d'IA

Un relevé publié sur data.gouv.fr a mesuré le fichier robots.txt de 3 581 noms de domaine déclarés par des administrations françaises, au 25 août 2026. Sur 2 610 fichiers valides, 96 seulement, soit 3,7 %, excluent au moins un robot d'IA.

Part des sites publics français bloquant chaque robot d'IA (base : 2 610 fichiers robots.txt valides, août 2026)

GPTBot (OpenAI)      ████████████████████  2,0 %
ClaudeBot (Anthropic)███████████████       1,5 %
Google-Extended      ██████████████        1,4 %
                     └────┴────┴────┴────┘
                     0   0,5   1,0  1,5  2,0 %
Source : data.gouv.fr, relevé au 25 août 2026

Parmi les 96 sites qui bloquent, 44 ne visent qu'un seul robot et 4 les bloquent tous les onze. Les auteurs du jeu de données y voient le signe d'une configuration reprise ailleurs plutôt que d'une politique délibérée. Ils rappellent aussi que robots.txt est une convention déclarative, pas un contrôle d'accès.

Le contexte français de l'adoption de l'IA

Selon l'Insee, 10 % des entreprises françaises de 10 salariés ou plus déclaraient utiliser au moins une technologie d'intelligence artificielle en 2024, contre 6 % en 2023. L'écart se creuse avec la taille : 9 % chez les 10 à 49 salariés, 15 % entre 50 et 249 salariés, 33 % au-delà de 250.

La Banque de France, dans une enquête menée au quatrième trimestre 2025 auprès de 4 968 entreprises de douze pays de la zone euro dont 625 françaises, relève que 23 % des entreprises françaises font état d'un usage modéré ou important de l'IA, contre 39 % dans la zone euro.

Sur le plan réglementaire, les obligations du règlement européen sur l'IA entrées en vigueur le 2 août 2026 imposent déjà aux fournisseurs de modèles génératifs de marquer les contenus produits par leurs systèmes, rappelle le ministère de l'Économie. La question de l'usage des contenus en amont, pour l'entraînement, reste traitée par des engagements volontaires, comme l'illustre la nouvelle spécification du modèle d'OpenAI. Le poids financier de ces acteurs se lit ailleurs, par exemple dans les flux de trésorerie des quatre grands du cloud.

Ce que ça change pour votre entreprise

Une TPE ou une PME qui publie des fiches produits, des photos ou un blog pourra, à partir de 2027, exprimer son refus d'entraînement en une seule ligne dans son fichier robots.txt, au lieu d'en maintenir une par robot.

Concrètement, le fichier se trouve toujours à la racine du site : monsite.fr/robots.txt. Il est modifié par votre prestataire web ou votre agence ; sur un CMS comme WordPress, il se pilote généralement depuis une extension SEO (Yoast, Rank Math, All in One SEO) sans toucher au serveur. C'est donc à votre webmaster ou à votre responsable du site qu'il faut adresser la demande.

# Fichier robots.txt — à placer à la racine du site
# Exemple : https://monsite.fr/robots.txt

# --- AUJOURD'HUI : ce qui fonctionne déjà, règle par robot ---
User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: ClaudeBot
Disallow: /

# --- DEMAIN (2027) : le signal commun annoncé par Google,
# Microsoft, OpenAI et Anthropic, fondé sur l'identifiant
# partagé __usage_ai-training
#
# ⚠️ La syntaxe exacte de la ligne à écrire n'est pas figée :
# elle dépend de la finalisation du texte à l'IETF.
# Seul l'identifiant __usage_ai-training est confirmé à ce stade.
# Faites vérifier la forme définitive par votre prestataire
# avant de remplacer les règles ci-dessus.

Tant que le texte n'est pas stabilisé, mieux vaut garder le premier bloc en place et n'ajouter le signal commun que lorsque sa formulation officielle sera publiée.

Le refus reste déclaratif : il n'empêche pas la copie, et il ne couvre pas automatiquement la reprise des pages dans les réponses des moteurs assistés par IA. La seule mesure qui empêche réellement l'aspiration d'un contenu consiste à le rendre inaccessible aux robots : authentification des visiteurs, mur d'inscription devant les pages sensibles, ou blocage au niveau du serveur par filtrage des user-agents et des adresses IP des robots connus. Autrement dit, robots.txt signale une intention, la configuration serveur ferme la porte.