En poursuivant votre navigation, vous acceptez l'utilisation de cookies afin de réaliser des statistiques d'audiences et vous proposer des services, contenus ou publicités adaptés selon vos centres d'intérêts.

Meta robots noindex, nofollow. Bien l’utiliser en SEO

Photo de guillaume-giraudet

Guillaume Giraudet-Bacchiolelli

Publié le 27 octobre 2020 dans la catégorie Conseils SEO / Aucun commentaire

Comprendre les balises meta noindex et nofollow

Certaines éléments du SEO sont intemporels comme la balise meta robots. Cependant au fil du temps, on peut oublier la façon de bien l'utiliser. Focus aujourd'hui sur les directives noindex et nofollow. À bien utiliser pour éviter les problèmes !

À quoi sert la balise meta robots ?

On en entend certains dans le fond dire que cette balise, ils la connaissent parfaitement bien, qu’elle n’a plus de secrets pour eux.

yas yes GIF by Rhett and Link

Partons du principe qu’on n’a rien entendu, car au fur et à mesure des années qui passent, on se rend compte que l’on rencontre toujours des problèmes de compréhension de cette balise.

Alors commençons par le commencement, la balise meta robots communiquent directement avec les robots d’exploration des moteurs de recherche type Googlebot, BingBot, mais aussi des bots d’outils type MJ12bot (Majestic SEO) ou encore Ahrefsbot (Ahrefs).

Il faut savoir que cette balise meta est facultative sur votre site et que la prise en compte par les moteurs n’est pas avérée à 100%. Il est donc possible qu’il ne la suive pas.

La balise meta robots peut contenir pas moins d’une quinzaine de directives !
Aujourd’hui, nous allons traiter 2 d’entre elles : noindex et nofollow, car elles sont par moment par mal comprises et mal utilisées.

Ce qui peut avoir pour conséquence une mauvaise prise en compte de vos choix stratégiques et aussi une indexation non désirée de pages.

On écoute vos questions et on vous apporte nos retours d’expériences. Attention aux yeux, ça peut saigner par moment.

La balise meta robots a-t-elle une syntaxe particulière ?

schitts creek yes GIF by CBC

Oui, oui, oui, c’est une des premières erreurs que l’on peut voir. Ici, on prend l’exemple du noindex, nofollow.

Voici la syntaxe exacte de la meta robots

<meta name="robots" content="noindex, nofollow" />

Erreurs de syntaxe que nous avons pu rencontrer

Oubli de la virgule entre 2 directives

<meta name="robots" content="noindex nofollow" />

Du coup, vous l’avez bien compris, la meta ne veut plus rien dire, car la directive noindex nofollow n’existe pas. Ou alors on a loupé quelque chose.

Ajout d’un tiret sur les directives noindex et nofollow

<meta name="robots" content="no-index, no-follow" />

Oui, c’est vrai, c’est plus lisible, mais ça n’existe pas, donc ça n’aura aucune utilité pour votre site.

Oubli des guillemets

<meta name=robots content=noindex no-follow />

Un jour, un homme / une femme a décidé qu’il fallait mettre des guillemets, alors par respect pour lui/elle, on les met et on ne pose pas de question.

Si déjà la syntaxe est bonne, on est bien parti.

jimmy fallon lol GIF by The Tonight Show Starring Jimmy Fallon

Versions de dev ou pre-prod : gérer l’indexation

La balise meta noindex, nofollow est courante lorsque l’on veut gérer l’indexation de pages ou la non indexation notamment lors d’une refonte de site.
Bien souvent, votre équipe interne ou votre partenaire externe travaille sur une version en développement ou en pré-production.

Si ce n’est pas le cas, et si votre agence seo ne vous a pas conseillé, c’est moche, et on s’interroge toujours sur comment cela est possible alors que nous ne sommes plus en 2001.

Confused High Quality GIF

Alors, pour les bons élèves qui ont mis en place une version de pré-prod ou de développement, vous savez (ou vous apprenez) qu’il est important d’avoir bloqué ces pages aux robots.

La meilleure manière pour cela reste l’identification côté serveur (avec login et mot de passe. Mais évitez le nom du client hein).

Maintenant, il peut être plus complexe que prévu de mettre en place cette identification, car vous n’avez pas forcément la main sur le serveur ou bien que l’hébergeur n’est pas très réactif.

Pour cela, nous vous invitons à mettre par défaut la meta sur toutes vos pages entre les balises <head></head>.

<head>
<meta name="robots" content="noindex, nofollow" />
</head>

Cela indique aux robots de ne pas indexer la page et de ne pas suivre les liens.

Nous conseillons souvent d’indiquer aux robots de ne pas suivre les liens de votre pré-prod ou de votre version de développement. Cela évite des problèmes lors d’une bascule en prod si par inattention vous avez oublier de modifier certains liens (déjà vu).

Et pourquoi mettre en place ces éléments ? Super question, merci de suivre !

Comme une image vaut mieux qu’un long discours, en voici la raison principale.

Version-pre-prod-indexee

De jolis résultats avec URL de préprod indexées. Et on parle ici de 2,550,000 de résultats (à tester aussi sur des URL de développement).

Bref, vous l’avez compris, le jour où votre version de production sera en ligne, cela nous fera de la jolie duplication de contenu entre 2 URL avec contenu identique ou D.U.S.T. (Duplicate URL Same Text).

Harry Potter Lol GIF by Sky

 

Balise meta noindex, nofollow : cas spécifiques

Cibler un robot en particulier

Si le début de la balise meta <meta name="robots" concerne TOUS les robots d’indexation ou de crawl, il est tout à fait possible de cibler un robot en particulier :

<meta name="googlebot" content="noindex, nofollow" />

Des directives différentes pour chaque robot

Et même d’associer des directives différentes pour des robots différents.

<meta name="googlebot" content="noindex" /> <meta name="bingbot" content="index" />

Instructions pour robots qui se contredisent, quel est le choix des robots ?

Si jamais vous donner des directives contradictoires, comme celles ci-dessous, le bot prendra l’instruction qui est la plus restrictive.

<meta name="googlebot" content="index" />
<meta name="robots" content="noindex" />

Ici, nous indiquons au robot de Google qu’il peut indexer notre page, mais que tous les autres robots (dont Googlebot) n’y sont pas autorisés.
Par défaut, Google n’indexera donc pas la page. À utiliser avec parcimonie.

Bonus : attention aux nofollow et aux outils de crawl

Enfin, comme nous l’avons vu au début de notre article, lorsque nous indiquons aux robots d’indexation des moteurs de recherche qu’il ne faut pas suivre les liens de la page dans le cadre de leur exploration (via le nofollow de la balise meta), nous touchons également d’autres robots.

Je m’explique, en indiquant <meta name="robots" content="nofollow" />, tous les robots ne suivront pas les liens. Hors cela peut s’avérer complexer si vous effectuez un crawl complet de votre site ou une analyse de logs SEO.

Pour cela penser bien à effectuer quelques paramétrages avant le crawl. Sinon les outils ne suivront logiquement pas les liens.

Exemple avec l’interface d’OnCrawl, qui est un outil que nous utilisons fréquemment pour le crawl et l’analyse de logs.

Comme nous l’indique Mickaël Serantes, Technical SEO Strategist chez OnCrawl (petit coucou en passant à un ancien pilier de l’équipe noeud pap’ et premier salarié de 209 AGENCY qui nous aura apporté beaucoup).

« Effectivement, dans un comportement « normal » de crawl, on ne suit pas les liens en nofollow. Pour corriger cela et disposer d’un crawl complet, dans l’interface OnCrawl, on a un réglage pour cela. Cela s’appelle « Bot behavior » et on peut ainsi ignorer les noindex et les nofollow. »

Crawl-oncrawl-ignorer-noindex-nofollow

Vous pouvez ainsi outrepasser les directives et disposer de toutes les données nécessaires à votre analyse.
Et puis, pour aller plus loin, vous pouvez effectuer 2 crawls (l’un en mode normal avec les directives suivies et l’autre sans ces directives).

Vous aurez ainsi peut-être des différentes intéressantes de lecture. Ce qui vous permettra de creuser des recommandations SEO sur la compréhension de vos pages.

Logiquement avec tout cela, la meta robots noindex, nofollow n’aura plus de secrets pour vous. Et l’Internet vous remercient.

Happy High Protein GIF by think!

Et si vous avez d’autres questions, je vous invite à les indiquer en commentaire, j’y répondrai avec plaisir !

Aucun commentaire, participez à la discussion !

Laisser un commentaire