Pour être cité par ChatGPT, laissez passer OAI-SearchBot ; GPTBot sert à entraîner les modèles d’OpenAI et peut être bloqué sans effet sur la recherche. OpenAI précise que chaque réglage est indépendant des autres. La même logique vaut pour Perplexity et pour Google.
Quels robots utilise OpenAI ?
OpenAI utilise trois robots, et un seul décide de votre présence dans la recherche de ChatGPT.
| Robot | Ce qu’il fait, selon OpenAI | Pour être cité dans ChatGPT |
|---|---|---|
OAI-SearchBot |
fait apparaître des sites dans les fonctions de recherche de ChatGPT | à laisser passer |
GPTBot |
sert à rendre les modèles d’OpenAI plus utiles et plus sûrs | sans effet sur la recherche |
ChatGPT-User |
visite une page à la demande d’un utilisateur, sans exploration automatique | conseillé |
OpenAI écrit qu’un site qui bloque OAI-SearchBot n’apparaît pas dans les réponses de recherche de ChatGPT, sauf en simple lien. Après une modification du robots.txt, comptez environ 24 heures avant que la recherche en tienne compte.
Et les robots de Perplexity ?
Perplexity en utilise deux. PerplexityBot fait apparaître et lie des sites dans ses résultats ; il ne collecte pas de contenu pour entraîner des modèles, et Perplexity recommande de l’autoriser. Perplexity-User visite une page quand un utilisateur pose une question ; comme la visite est demandée par une personne, il ignore en général le robots.txt.
Le détail de la méthode pour être cité dans ses réponses est dans notre article sur le référencement Perplexity.
Google-Extended bloque Google ?
Non : Google-Extended n’est pas un robot qui explore, c’est un nom à utiliser dans le robots.txt pour refuser certains usages de vos pages par les modèles Gemini. Google indique qu’il n’a aucun effet sur l’inclusion de votre site dans la recherche Google, ni sur son classement. Les aperçus IA de Google passent par Googlebot, comme les résultats classiques.
Quel robots.txt poser ?
Le réglage le plus simple autorise tout le monde, puis nomme les robots que vous voulez exclure, s’il y en a. Voici un exemple qui laisse passer la recherche des IA et refuse seulement l’entraînement par OpenAI :
User-agent: *
Allow: /
User-agent: GPTBot
Disallow: /
Sitemap: https://www.votredomaine.fr/sitemap.xml
Refuser GPTBot relève d’un choix sur l’usage de vos textes, pas de la visibilité. Si vous voulez que les futurs modèles connaissent votre entreprise, laissez le passer : c’est le réglage que nous avons choisi pour forgeone.fr.
Comment vérifier que rien ne les bloque ?
Contrôlez trois endroits : le fichier, le pare feu et les journaux.
- Ouvrez
votredomaine.fr/robots.txtet cherchez les noms de ce tableau, ainsi qu’une règleUser-agent: *suivie deDisallow: /. - Vérifiez les réglages de votre hébergeur ou de votre réseau de diffusion : certains pare feu proposent de bloquer les robots d’IA en un clic, sans toucher au robots.txt.
- Cherchez les noms des robots dans vos journaux serveur pour voir s’ils passent et quel code ils reçoivent.
Un fichier llms.txt ne remplace aucun de ces contrôles : Google l’ignore et OpenAI n’annonce pas le lire. Pour la suite, notre guide du référencement ChatGPT explique ce qui fait choisir une page une fois les robots admis.