Paramétrer la balise meta robots pour maîtriser l'indexation

Un client m'appelle, paniqué. Son site a perdu 80 % de son trafic organique en trois semaines. Première hypothèse : une pénalité. Deuxième : une mise à jour de l'algorithme. La vraie cause ? Un développeur avait collé un <meta name="robots" content="noindex"> dans le template principal du site. Pas dans une page. Dans le template. Tout le site disparaissait des résultats, page après page.

La balise meta robots est l'une de ces choses qu'on touche une fois tous les deux ans, qu'on croit comprendre, et qui vous explose à la figure quand on se trompe. Alors voici ce qu'il faut vraiment savoir pour paramétrer la balise meta robots et contrôler l'indexation sans jouer à la roulette russe avec son référencement.

À quoi sert vraiment la balise meta robots dans l'indexation

Quel est le rôle des balises meta ? Elles transmettent des informations aux moteurs de recherche sur une page donnée : son titre, sa description, ses directives de comportement. La balise robots est celle qui nous intéresse ici, parce qu'elle parle directement au robot d'exploration.

Le point que beaucoup confondent : explorer et indexer sont deux étapes distinctes. Un crawler peut visiter votre page (exploration) sans jamais l'ajouter aux résultats (indexation). La meta robots agit sur les deux, mais avec des subtilités qui comptent.

Explorer n'est pas indexer

Concrètement, quand Googlebot arrive sur une URL, il lit le code HTML, y compris le <head>. La balise qu'il y trouve lui dit quoi faire. noindex signifie : « explore si tu veux, mais ne me mets pas dans l'index ». nofollow signifie : « explore la page, mais ne suis pas les liens qu'elle contient ».

Dans mon expérience, la confusion vient souvent de là : on croit qu'un noindex retire la page de l'index instantanément. Faux. Google doit d'abord re-crawler la page pour lire la consigne, puis la retirer lors d'un passage ultérieur. Sur un site de taille moyenne que je suivais, il a fallu près de six semaines pour voir une catégorie de blog disparaître complètement des résultats après passage en noindex.

Où placer la balise, et comment l'écrire

Comment utiliser les balises meta en HTML ? La syntaxe est simple, à condition de respecter l'emplacement :

• La balise doit se trouver dans la section <head> du document, avant la fermeture.
• Elle prend la forme <meta name="robots" content="..."> pour tous les robots.
• Pour cibler un robot précis : <meta name="googlebot" content="...">.
• Placée dans le <body>, elle est ignorée. J'ai déjà vu un développeur la mettre juste avant </body> « pour être sûr qu'elle soit lue en dernier ». Résultat : zéro effet.

Un détail qui revient souvent dans mes audits : la casse et les espaces. NoIndex ou noindex, nofollow avec une faute de frappe passent inaperçus à l'œil nu mais cassent la directive. Les valeurs sont en minuscules, séparées par des virgules.

Qu'est-ce que la balise "noindex" ?

La balise noindex est une directive qui demande explicitement aux moteurs de recherche de ne pas afficher la page dans leurs résultats. C'est l'arme la plus directe pour retirer une URL de l'index, à condition de l'employer correctement.

Noindex et nofollow : deux directives distinctes

J'ai longtemps vu des gens écrire noindex en pensant couper le jus SEO vers les pages liées. Non. Les deux directives sont indépendantes :

Directive	Ce qu'elle fait	Ce qu'elle ne fait pas
noindex	Empêche l'ajout de la page à l'index	N'empêche pas l'exploration
nofollow	Demande de ne pas suivre les liens de la page	N'empêche pas l'indexation de la page elle-même
none	Équivaut à noindex, nofollow	Ne bloque pas le crawl du tout

Un cas concret : une page de connexion. On veut la retirer des résultats (noindex) mais elle contient un lien vers l'espace client qu'on aimerait voir exploré. Mettre nofollow en plus serait contre-productif. Le bon réglage : noindex, follow.

Les directives avancées qu'on oublie trop souvent

Au-delà du duo classique, la balise meta robots accepte d'autres valeurs qui méritent le détour :

• nosnippet : empêche l'affichage d'un extrait dans les résultats, la page reste indexée.
• noarchive : supprime le lien « version en cache » (devenu rare, mais toujours reconnu).
• noimageindex : bloque l'indexation des images de la page dans Google Images.
• max-snippet : limite la longueur de l'extrait affiché.
• unavailable_after : retire la page à une date précise. Pratique pour une offre d'emploi ou un événement daté.

Franchement, ces directives sont rarement nécessaires. Mais unavailable_after m'a sauvé sur un site d'annonces événementielles où des centaines de pages périmées traînaient dans les résultats.

Comment bloquer l'indexation d'une page par Google

Plusieurs outils existent, et le piège consiste à croire qu'ils sont interchangeables. Ils ne le sont pas.

Meta robots contre robots.txt : quelle différence ?

Le robots.txt est un fichier à la racine du site qui donne des consignes d'exploration globales. La balise meta robots donne des consignes au niveau de la page. Le premier empêche le robot de visiter, la seconde empêche l'indexation. Et c'est là que le bât blesse :

Si vous bloquez une page dans le robots.txt et que vous y placez un noindex, le robot ne lira jamais le noindex puisqu'il ne visitera pas la page. La page reste indexée sur la base d'informations anciennes. C'est l'erreur classique du webmaster pressé.

La règle que j'applique systématiquement : pour retirer une page de l'index, laissez-la explorable et mettez uniquement le noindex. Une fois la page sortie de l'index, vous pouvez ajouter le Disallow si vraiment vous voulez économiser du budget de crawl.

Le cas des fichiers non HTML : le X-Robots Tag

Une balise meta ne fonctionne que dans un document HTML. Pour un PDF, une image, une vidéo, il faut passer par l'en-tête HTTP X-Robots-Tag, configuré côté serveur. J'ai eu le cas d'un catalogue PDF massif indexé en masse alors que toutes les pages HTML étaient propres. Les gens oublient souvent les fichiers.

Vérifier que la désindexation a bien pris

Combien de temps faut-il attendre ? Variables, mais prévoyez au minimum plusieurs semaines. Pour vérifier :

1. Inspectez l'URL dans la Search Console, lisez la directive détectée par Google.
2. Consultez le rapport « Pages » pour voir si le statut change (exclue par balise noindex).
3. Ne vous fiez pas à une recherche site: comme preuve définitive : elle met parfois des jours à se rafraîchir.

Petit aveu : la première fois que j'ai dû désindexer un lot de 400 pages produits obsolètes, j'ai vérifié tous les jours pendant une semaine en croyant que ça n'avait pas marché. Total waste of time. Il faut laisser le robot faire son travail.

Ce qui se passe quand deux directives se contredisent

Un cas que je n'ai vu expliqué nulle part, alors qu'il est fréquent : que faire quand plusieurs consignes coexistent ?

Index et noindex en même temps

Si la balise contient content="index, noindex", c'est la directive la plus restrictive qui s'applique : noindex gagne. Même logique entre follow et nofollow.

Meta contre X-Robots-Tag contre robots.txt

En cas de contradiction entre la balise meta et l'en-tête HTTP X-Robots-Tag, le plus restrictif l'emporte généralement. Et le robots.txt, lui, agit en amont : s'il empêche le crawl, aucune autre directive n'est lue.

C'est pour ça que je recommande de cartographier toutes les sources de directives avant de toucher à une page. Un template global, un plugin WordPress, un CDN mal configuré ou un en-tête serveur peuvent ajouter des consignes invisibles dans l'éditeur.

Et le Google-Extended, me direz-vous ? C'est une directive distincte, pensée pour contrôler l'usage du contenu par les modèles d'IA de Google. Elle ne concerne pas le référencement classique, donc si votre objectif est de contrôler l'indexation dans les résultats de recherche, ce n'est pas le bon levier.

Les scénarios de paramétrage qui reviennent le plus

Voici les cas que je croise dans presque chaque audit, avec le réglage que je recommande :

• Pages de pagination : laissez-les indexables et follow, elles peuvent servir de point d'entrée.
• Filtres à facettes : noindex, follow sur les combinaisons sans valeur, en gardant les filtres utiles accessibles.
• Pages de connexion, panier, espace membre : noindex, follow.
• Contenu dupliqué syndiqué : noindex sur votre copie si la version originale doit primer, à condition d'en avoir le droit.
• Pages de test ou staging : noindex impératif, plus une protection par mot de passe si possible.

Et le cas du blog avec sa catégorie de contenu dupliqué ? Très souvent, un noindex, follow sur les archives de tags fait des merveilles.

La règle à ne jamais oublier

La balise meta robots est puissante précisément parce qu'elle est discrète. Une seule ligne peut sortir une page de l'index, et une seule faute de frappe peut faire disparaître tout un site. Mon conseil : traitez chaque modification de cette balise comme un changement de production. Documentez, testez sur quelques pages avant de généraliser, et vérifiez systématiquement le résultat dans la Search Console.

Et si demain vous êtes tenté de bloquer une page en urgence, posez-vous une seule question : est-ce que je veux qu'elle soit explorée pour que la consigne soit lue ? Si la réponse est non, revoyez votre approche. C'est souvent là que se cache le vrai problème.