Crawl budget : qu’est-ce que c’est et comment l’optimiser ?

qu'est ce que le crawl budget et comment l'optimiser

Le Crawl Budget peut être traduit en français comme “Budget d’exploration”. Il s’agit du temps que va accorder un moteur de recherche à l’exploration de votre site lors de chacun de ses passages. On peut le considérer comme une limite de pages visitées.

En effet, contrairement à ce que l’on peut penser, Google ne va pas passer une seule fois sur votre site et explorer l’ensemble de ses pages.

Les robots du moteur de recherche, appelés Googlebot, vont en fait souvent explorer une partie de ses pages, puis revenir plus tard. Ce nombre de pages explorées va être déterminé par :

  • Plusieurs critères intrinsèques à votre site internet (le type de site dont il s’agit, le domaine d’activité, l’importance perçue par les robots, la fréquence de mise à jour, la qualité du contenu, le nombre d’URLs…).
  • La vitesse de chargement de votre site. En effet, plus le temps d’affichage de vos pages sera long, moins Google explorera un nombre important de pages dans son temps dédié à votre site web. Une vitesse de chargement trop lente peut également amener les robots à décider de réduire votre budget de crawl.

La notion de crawl budget est donc très importante en SEO dans le sens où l’on souhaite que Google visite le maximum d’URLs sur notre site, le plus souvent possible, et que l’on souhaite maîtriser au mieux les pages sur lesquelles il se rend en priorité.

Cependant, il faut nuancer son impact sur les petits et moyens sites. En effet, en dessous de 5000 pages, Google n’aura normalement pas de problème à visiter l’ensemble de votre site web.

Néanmoins, le crawl budget devient un enjeu déterminant au-dessus des 10000 pages.

Comment optimiser son crawl budget ?

Vérifier la profondeur de vos pages

La règle est toujours la même en SEO : faites en sorte que vos pages aient un emplacement logique et facile d’accès dans l’arborescence de votre site. Évitez de les cacher (ce qui peut être considéré comme tel lorsque votre URL se trouve à plus de 3 clics de votre page d’accueil).

De manière très simple, avoir un menu clair permet déjà au robot d’exploration de mieux naviguer sur votre site internet et d’y découvrir un maximum de pages.

Vérifier les erreurs techniques qui peuvent freiner les moteurs de recherche

Le parcours du crawler sur votre site doit être des plus fluides. Il faut donc prêter une attention particulière à tout ce qui peut nuire à sa navigation. Par exemple :

  • Les erreurs 404 : les URLs répondantes en code d’erreur 404 sont des pages qui n’existent pas ou plus. Lorsque Google tombe sur une page en erreur 404, son parcours est stoppé et n’a plus de suite logique. Il peut potentiellement quitter votre site web.

Vous pouvez notamment identifier les erreurs 404 trouvées par Google sur Google Search Console, rubrique “Couverture”.

  • Les liens brisés : il s’agit de liens sur votre site web qui mènent vers une erreur 404. Il est important de corriger ces liens pour ne pas gêner l’exploration.
  • Les chaînes de redirection : parfois, une redirection 301 est mise en place sur une URL, puis cette URL de redirection est elle aussi redirigée… Cela crée une chaîne de redirection (plus d’une redirection), ce qui gaspille le crawl des moteurs de recherche.
  • Un sitemap qui n’est pas à jour : lorsqu’un sitemap n’est pas mis à jour, ses liens internes peuvent ne plus être d’actualité (redirigés, ou en erreur 404). Les nouvelles URLs du site quant à elles sont moins susceptibles d’être explorées, alors même que l’on souhaite favoriser leur indexation. Ce n’est pas idéal pour l’exploration de vos pages !
  • Un fichier robots.txt mal configuré : attention à vérifier ce fichier, il a le pouvoir de bloquer le crawl et l’indexation de certaines de vos pages si elles sont renseignées en /disallow. Le contraire est également valable : si vous ne lui avez pas donné la consigne de ne pas les crawler, les robots peuvent également explorer et indexer certaines pages inutiles (par exemple autogénérées par votre CMS).

Ajouter régulièrement du contenu

Pour déterminer sa fréquence de visite, Google va se baser sur la fréquence de mise à jour de votre site. Si votre site est mis à jour tous les jours (changements dans les contenus, création de nouvelles pages etc.), alors le moteur de recherche est susceptible de l’explorer tous les jours.

Le site d’un média d’actualités sera par exemple visité plusieurs fois par jour par Googlebot ! Un site très statique qui ne présente pas de changements tous les mois peut, quant à lui, mettre plusieurs semaines à être à nouveau exploré par Googlebot.

Pour bénéficier d’un meilleur Crawl Budget, habituez les moteurs de recherche à des contenus nouveaux et mis à jour.

Avoir un nombre important de pages

Plus votre site contient de contenu (avec un ajout régulier de nouvelles pages, comme vu dans le point précédent), plus Google jugera que votre site est un “gros” site et y consacrera du temps.

Pour optimiser son budget de crawl, nous conseillons donc de maximiser le nombre de pages pertinentes de votre site, dans la mesure du possible.

Produire du contenu de qualité

Sachez que votre contenu et sa qualité jouent aussi dans votre crawl budget.

Pour optimiser celui-ci, créez du contenu riche, à valeur ajoutée : Google est capable d’identifier cela et sera susceptible d’accorder plus d’intérêt à votre site et l’explorer davantage !

Optimiser votre maillage interne

Les liens internes sur les sites internet sont ce qui permet à Googlebot de naviguer de page en page. L’optimisation de votre maillage interne est donc importante car elle facilite l’exploration de vos URL.

Un bon maillage interne aide en effet les moteurs de recherche à explorer l’ensemble des pages importantes, de manière fluide et sans obstacles (aucun lien n’est fait vers une page présentant un problème technique).

Améliorer son temps de chargement

Le temps que mettent vos pages à charger va avoir une véritable influence sur votre crawl budget. Comme je l’évoquais en début d’article, si ce délai est très long, le robot crawler aura moins de temps pour explorer le reste de vos URL.

Le robot peut également décider d’accorder moins de ressources de crawl à votre site, ce temps d’attente impactant négativement l’expérience utilisateur.

Pour améliorer votre temps d’affichage, vous avez de nombreuses possibilités :

  • Faire le choix d’un serveur dédié (au lieu d’un serveur mutualisé)
  • Améliorer la configuration de la mise en cache serveur de son site
  • Réduire la taille des fichiers CSS, Javascript
  • Compresser vos fichiers images

N’hésitez pas à faire un tour sur l’outil Google PageSpeed Insights pour connaître le diagnostic du moteur de recherche et ses recommandations !

En résumé : si le milieu du SEO est loin de tout connaître du crawl budget de Google et ses mystères, les principaux facteurs jouant sur ce budget d’exploration sont aujourd'hui connus. Il est tout à fait possible d’améliorer l’exploration des robots des moteurs de recherche sur votre site et cela peut avoir un réel impact sur votre référencement !

Laissez un petit mot

0 0 votes
Évaluation de l'article
S’abonner
Notification pour
guest

0 Commentaires
Commentaires en ligne
Afficher tous les commentaires
seo pages zombies

Pages Zombies : comment les éviter sur son site ?

Si vous possédez un site Web, vous devez avoir des pages zombies. Les pages zombies peuvent en fait nuire à votre référencement SEO et sont des pages que vous devez absolument supprimer de votre site. Les pages zombies sont des pages de votre site qui reçoivent peu ou pas de trafic. Ces pages peuvent exister […]

ymyl

Your Money Your Life : ce qu’il faut savoir en SEO

Vous avez peut-être entendu parler du terme YMYL (Your Money Your Life). Cet acronyme, que l’on peut essayer de traduire en français par “Votre argent, votre vie”, désigne un site web ou une page qui peut avoir un impact direct sur la vie de l’internaute et peut donc affecter son bonheur, sa santé, son argent […]

Être recontacté par Staenk

Parlez-nous de votre projet

  • Hidden
    Code postal
  • Ce champ n’est utilisé qu’à des fins de validation et devrait rester inchangé.

Maud contact

Parlons performance et webmarketing.
Maud vous recontactera sous 48h pour discuter de votre projet.

0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x