En poursuivant votre navigation, vous acceptez l'utilisation de cookies afin de réaliser des statistiques d'audiences et vous proposer des services, contenus ou publicités adaptés selon vos centres d'intérêts.

Qu’est ce que le Budget de Crawl ?

Photo de mickael-serantes

mickael-serantes

Publié le 22 mai 2018 dans la catégorie Conseils SEO / Aucun commentaire

Analyse de logs

Le budget de crawl : Comment optimiser votre référencement en analysant le budget de crawl. Quels outils utiliser ? 209 AGENCY vous explique tout ce qu'il y a à savoir sur le sujet !

Budget de Crawl et SEO : Ce qu’il faut savoir

Le budget de crawl est une notion que l’on retrouve de plus en plus souvent sur de nombreux articles, et qui a fait l’objet d’une précision par Google sur un post en ligne. Le budget de crawl est la limite que se fixe Googlebot lorsqu’il explore votre site. Pour fixer cette limite, il va prendre en compte plusieurs critères comme :

  • La taille de votre site ;
  • Le temps de téléchargement d’une page ;
  • La fréquence à laquelle le site est mis à jour ;
  • La qualité éditoriale ;
  • Le nombre de visite.

Ce qu’il faut savoir c’est que le budget de crawl concerne essentiellement les sites importants, qui possèdent plusieurs milliers de pages : les sites de e-commerce et les sites de presse principalement. Google précise bien que si votre site comporte moins de quelques milliers d’URL, alors votre site sera crawlé et indexé de la même manière par ses robots d’exploration.

 

Les limites de la vitesse d’exploration

Lorsque Google explore votre site, il va définir une limite de la vitesse d’exploration afin de pas nuire aux performances de votre site et à l’expérience des internautes qui l’explorent. Cette limite correspond au nombre maximal de connexions simultanées que Google utilise pour crawler votre site et le temps d’attente nécessaire entre deux connexions. Cette vitesse d’exploration peut varier en fonction de plusieurs critères :

  • L’état de l’exploration : Si votre site répond correctement (performances, erreurs rencontrées) alors la limite augmente, en revanche si votre site affiche des erreurs serveur ou ne répond pas rapidement, alors la limite diminue.
  • Définir l’exploration : Vous avez également la possibilité de définir vous-même, via la Search Console, l’exploration de votre site. Mais définir une limite plus élevée ne vous garantit pas une augmentation de l’exploration.

Source : Giphy

Le besoin d’exploration

Le besoin d’exploration d’un site est un élément qui rentre en compte dans le budget de crawl. Ce besoin d’exploration évolue en permanence en fonction de la popularité de votre site. Plus un site est populaire, plus il sera exploré. Et enfin Google n’aime pas l’obsolescence, inutile pour eux de garder dans les serveurs des URL qui n’existent plus. Le Googlebot va donc régulièrement explorer votre site à la découverte de nouvelles pages, de nouveaux contenus à indexer.

Certaines problématiques augmentent fortement le besoin d’exploration comme :

  • Les refontes de sites
  • Les migration de sites
  • Le passage du protocole HTTP au HTTPS
  • Le changement de nom de domaine
  • Migrer une infrastructure d’hébergement ou un socle technique

Google associe donc la vitesse d’exploration et le besoin d’exploration pour définir le budget d’exploration ou budget de crawl : « Le nombre d’URL que Googlebot peut et veut explorer »

Les points affectants le budget de crawl

Le plus important est donc d’optimiser son budget de crawl afin de permettre au Googlebot de passer plus de temps sur des pages importantes de votre site, plutôt qu’il passe son temps à rencontrer des pages en erreur ou des pages à faible valeur ajoutée. Voici quelques exemples négatifs pour le budget de crawl donnés par Google :

  • La navigation à facette
  • Les filtres générant des URL (prix / couleur / taille / marque / style etc…)
  • Les identifiants de session
  • Les pages contenant du contenu dupliqué
  • Les pages en erreur 404
  • Les pages piratées
  • Les espaces infinis (Vers l’infini et au-delà ! )
  • Les contenus de faible qualité et le spam
  • Les pages de résultat de recherche

Un outil parfait pour en savoir plus sur l’état de l’indexation de votre site par Google est l’analyse de log. Plusieurs sites proposent cette solution (comme Oncrawl) afin de savoir précisément sur quelles pages Googlebot passe du temps, et permet donc d’effectuer les actions nécessaires afin d’optimiser son budget de crawl.

Analyse de logs Oncrawl

Analyse de logs Oncrawl

 

L’accompagnement de 209 Agency

Si vous êtes confronté à une refonte de site, une migration de socle technique ou un passage au protocole HTTPS, n’hésitez à nous contacter via notre formulaire en ligne, nous pouvons analyser votre problématique et vous proposer un accompagnement personnalisé vous permettant d’éviter une perte d’audience et une perte de CA..

equipe-209-agency-bordeaux

Aucun commentaire, participez à la discussion !

Laisser un commentaire