Entraînement IA : une seule règle robots.txt sera lue par Google et Bing en 2027
Google et Bing liront en 2027 un même jeton robots.txt contre l'entraînement IA. Syntaxe, calendrier et piège NoArchive à éviter.
Le 30 octobre 2026, Google et Microsoft Bing ont annoncé qu’ils liront en 2027 une même règle robots.txt pour savoir si un site accepte que son contenu serve à entraîner des modèles d’IA. La décision à prendre n’est pas urgente, mais elle est plus fine qu’un simple « bloquer l’IA » : entraînement, ancrage des réponses et exploration sont trois choses différentes.
Le signal tient en un jeton placé dans la ligne User-Agent : __usage_ai-training. Il vient d’un brouillon publié le même jour à l’IETF par Kevin Kelley, d’Anthropic. Ce document individuel n’a encore aucun statut officiel et expire le 3 mai 2027 s’il n’est pas renouvelé.
La syntaxe proposée
Le brouillon réutilise la grammaire habituelle de robots.txt (RFC 9309). Un Disallow exprime une préférence contre l’entraînement pour les chemins visés; un Allow, une préférence favorable. L’exemple du document :
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
Deux précisions changent la lecture. Un groupe User-Agent: * ne compte pas : sans groupe qui nomme le jeton, aucune préférence n’est exprimée. Et le jeton ne règle pas l’exploration. Un robot peut toujours visiter la page; la règle dit seulement à quoi le contenu peut servir ensuite.
Ce que Google et Bing ont réellement annoncé
| Moteur | Quand | Ce qui reste en place | Point d’attention |
|---|---|---|---|
| « Début 2027 », selon la page des robots d’exploration | Google-Extended continue de contrôler l’entraînement des modèles Gemini et l’ancrage dans les applications Gemini | Google-Extended n’a aucun effet sur l’inclusion ni sur le classement dans la recherche Google | |
| Bing | Lu à partir du 1er février 2027, au fil de l’exploration | Le classement Bing classique n’est pas touché | NoArchive et NoCache ne seront plus lus comme préférence d’entraînement ou d’ancrage après le 1er mars 2027 |
Google précise directement dans son billet du 30 octobre qu’un refus d’entraînement via le jeton commun, sans règle explicite pour Google-Extended, sera interprété comme un blocage de Google-Extended. Search Engine Roundtable rapporte aussi qu’OpenAI s’est engagée à lire le signal; cette participation n’a pas été revérifiée auprès d’OpenAI.
Le détail Bing à ne pas manquer
Bing ajoute des contrôles par page. L’entraînement peut se refuser avec <meta name="Bingbot" content="ai-training:disallow"> ou l’en-tête X-Robots-Tag. L’ancrage, soit l’usage du contenu pour générer une réponse IA, se règle seulement page par page, avec ai-grounding:disallow ou ai-grounding:disallowextended; il n’existe pas de règle robots.txt pour l’ancrage à l’échelle du site.
Le piège vise les sites qui utilisaient NoArchive ou NoCache pour tenir leur contenu à l’écart des réponses IA. Sans préférence temporaire enregistrée dans Bing Webmaster Tools avant le 1er mars 2027, ces pages passent par défaut à « Allow » pour l’ancrage jusqu’à leur prochaine exploration. L’option temporaire ouvre le 15 décembre 2026, uniquement pour les sites utilisant NoArchive ou NoCache à cette date, et expire le 30 septembre 2027.
Un audit en quatre gestes
- Listez les règles actuelles : groupes robots.txt pour Google-Extended, GPTBot ou d’autres robots IA, et toute balise NoArchive ou NoCache dans les gabarits.
- Décidez séparément pour l’entraînement et pour l’ancrage. Refuser l’ancrage peut retirer vos pages de certaines réponses IA qui citent et renvoient des clics; refuser l’entraînement ne l’empêche pas forcément.
- Si vous utilisez NoArchive ou NoCache pour l’IA, notez le 15 décembre 2026 pour enregistrer la préférence temporaire dans Bing Webmaster Tools, puis prévoyez les nouvelles balises avant le 1er mars 2027.
- N’ajoutez pas le jeton commun à l’aveugle. Testez la version robots.txt finale dans un environnement de préproduction et documentez la date de mise en ligne, pour pouvoir lire plus tard les journaux serveur et les rapports d’exploration.
Ce qui reste incertain
Le brouillon peut encore changer : selon Search Engine Roundtable, Nate Hake, qui participe au groupe de travail, affirme que d’importants points de désaccord subsistent. Google n’a pas fixé de date précise. Et aucun de ces signaux ne garantit qu’un contenu déjà collecté sera retiré d’un modèle existant; les annonces portent sur l’usage futur.
La décision tient donc en deux cas. Votre robots.txt ne contient aucune règle IA et vous n’utilisez pas NoArchive : rien à faire avant 2027, sauf choisir votre politique. Vous comptez sur NoArchive, NoCache ou Google-Extended pour protéger un contenu payant ou exclusif : faites l’inventaire maintenant et mettez le 15 décembre à l’agenda.
Sources consultées le 1er novembre 2026 : Google, page des robots d’exploration courants; Google, journal des modifications, 30 octobre 2026; Google Search Central Blog, octobre 2026; IETF, draft-kelley-aipref-training-preference-signal-00; Bing Search Blog, 30 octobre 2026; Search Engine Roundtable, 30 octobre 2026.
Commentaires
Une question sur cet article produit ?