Connaissez-vous les outils de crawl ? Ils permettent d'avoir une analyse précise de la qualité d'un site web d'un point de vue SEO, permettant d'optimiser les facteurs agissant sur le référencement naturel.

Qu’est-ce que le crawl ?

Le crawl est le fait d’explorer un site web pour en récupérer des données. Google effectue des millions de crawl quotidiennement pour explorer votre site et indexer les pages dans les résultats de recherche. Il crawl donc tout le code source de chaque page web afin d’en extraire les données importantes pour faire fonctionner son moteur de recherche.

Il existe des outils permettant de crawler un site web pour récupérer de nombreuses données permettant une analyse précise de certains aspects du site. L’outil condense toutes ces données disponibles et nous propose une lecture plus facile des données pour une analyse précise du SEO.

Quelles données peut-on analyser ?

L’intérêt d’utiliser un outil de crawl est de récupérer des informations permettant d’analyser ce qui influence le référencement naturel d’un site web. L’outil va donc récupérer toutes les données possibles comme le nombre de pages, le contenu, le nombre de mots, les balises meta Title et Meta Description, les balises de structuration Hn, les balises meta robots, etc…

Bref tout un ensemble de données nous servant à analyser ce qui fonctionne et ce qui ne fonctionne pas correctement sur un site web. Cela nous permet d’analyser plus rapidement un site et de prendre des mesures pour améliorer le SEO de nos clients.

Optimiser le SEO en traitant ces données

Essayons de vous donner quelques exemples d’optimisations que nous pouvons tirer de l’analyse de crawl. Pour information, l’outil que nous utilisons est celui de la solution Oncrawl.

Analyser les pages en erreur 404

L’outil de crawl nous remonte les statuts code de chaque page explorée. Il est donc facile de connaître le nombre de pages en 404. De plus, avec la segmentation, il est possible d’analyser cela sous différents aspects. Il est possible d’effectuer une segmentation suivant l’arborescence du site ou encore faire une segmentation par langue, ou une segmentation par prix, pour les e-commerces, afin de vérifier de quelle manière les produits sont touchés par ces 404.

Source : Oncrawl

Analyser la partie HTML d’un site

Partie tout aussi intéressante pour le SEO, il est possible d’analyser la partie HTML d’un site, la présence ou non de Title, de meta description, la structuration Hn, la duplication de ces éléments, la longueur et le nombre d’éléments.
On peut donc rapidement s’apercevoir que tel type de pages ne possède pas de balise Title, que telle autre catégorie sur le site possède une description dupliquée sur 15 pages et que d’autres pages n’ont pas une structuration Hn optimisée. Nous pouvons donc prendre des mesures plus rapidement pour corriger ces éléments, relancer un crawl et analyser les effets sur la visibilité du site dans les résultats de recherche.

Analyser le contenu de son site

On le répète depuis un moment et tous les sites et blogs SEO en parlent également, mais le contenu est une des priorités en référencement naturel, c’est ce qui permet au Googlebot de réellement comprendre notre site, sa thématique, ses mots-clés, afin de nous positionner dans les résultats de recherche face à la concurrence.

Il est donc important d’être capable d’analyser son contenu d’une manière pertinente et efficace. C’est là qu’intervient encore l’outil de crawl. Il permet de compter les mots sur chaque page, d’analyser la sémantique, d’analyser les images, de savoir s’il manque les attributs alternatifs. L’analyse s’effectue toujours en fonction de la segmentation choisie, ce qui est très pratique pour savoir si nos pages de catégories ont suffisamment de contenu ou pas par exemple.

Aller plus loin avec l’analyse de logs

Il est tout à fait possible d’aller beaucoup plus loin dans l’analyse des données en croisant ces données de crawl avec les données de logs serveur. Les logs serveur sont une trace de toute action réalisée sur le site par une entité le visitant (personne ou robot). Le but pour une agence SEO comme la nôtre est d’extraire les données de logs issues de Googlebot. De cette façon, nous avons une idée précise sur la manière dont Google explore un site, on sait s’il passe sur telle ou telle catégorie, combien de temps il passe sur chaque page, sur chaque catégorie ou encore s’il passe sur des pages inutiles d’un point de vue business.

L’analyse de logs permet d’analyser une multitude de facteurs, que je ne vais pas détailler ici. Ça fera l’objet d’un article à part entière tellement il y a de choses à dire à ce sujet ! Gardez en tête que l’analyse de logs est parfait pour aller plus loin dans l’analyse de votre SEO, lors d’une refonte ou d’une migration de site par exemple.