Le Crawl Budget peut être traduit en français comme « Budget d’exploration ». Il s’agit du temps que va accorder un moteur de recherche à l’exploration de votre site lors de chacun de ses passages. On peut le considérer comme une limite de pages visitées.
En effet, contrairement à ce que l’on peut penser, Google ne va pas passer une seule fois sur votre site et explorer l’ensemble de ses pages.
Les robots du moteur de recherche, appelés Googlebot, vont en fait souvent explorer une partie de ses pages, puis revenir plus tard. Ce nombre de pages explorées va être déterminé par :
- Plusieurs critères intrinsèques à votre site internet (le type de site dont il s’agit, le domaine d’activité, l’importance perçue par les robots, la fréquence de mise à jour, la qualité du contenu, le nombre d’URLs…).
- La vitesse de chargement de votre site. En effet, plus le temps d’affichage de vos pages sera long, moins Google explorera un nombre important de pages dans son temps dédié à votre site web. Une vitesse de chargement trop lente peut également amener les robots à décider de réduire votre budget de crawl.
La notion de crawl budget est donc très importante en SEO dans le sens où l’on souhaite que Google visite le maximum d’URLs sur notre site, le plus souvent possible, et que l’on souhaite maîtriser au mieux les pages sur lesquelles il se rend en priorité.
Cependant, il faut nuancer son impact sur les petits et moyens sites. En effet, en dessous de 5000 pages, Google n’aura normalement pas de problème à visiter l’ensemble de votre site web.
Néanmoins, le crawl budget devient un enjeu déterminant au-dessus des 10000 pages.
Comment optimiser son crawl budget ?
Vérifier la profondeur de vos pages
La règle est toujours la même en SEO : faites en sorte que vos pages aient un emplacement logique et facile d’accès dans l’arborescence de votre site. Évitez de les cacher (ce qui peut être considéré comme tel lorsque votre URL se trouve à plus de 3 clics de votre page d’accueil).
De manière très simple, avoir un menu clair permet déjà au robot d’exploration de mieux naviguer sur votre site internet et d’y découvrir un maximum de pages.
Vérifier les erreurs techniques qui peuvent freiner les moteurs de recherche
Le parcours du crawler sur votre site doit être des plus fluides. Il faut donc prêter une attention particulière à tout ce qui peut nuire à sa navigation. Par exemple :
- Les erreurs 404 : les URLs répondantes en code d’erreur 404 sont des pages qui n’existent pas ou plus. Lorsque Google tombe sur une page en erreur 404, son parcours est stoppé et n’a plus de suite logique. Il peut potentiellement quitter votre site web.
Vous pouvez notamment identifier les erreurs 404 trouvées par Google sur Google Search Console, rubrique « Couverture ».
- Les liens brisés : il s’agit de liens sur votre site web qui mènent vers une erreur 404. Il est important de corriger ces liens pour ne pas gêner l’exploration.
- Les chaînes de redirection : parfois, une redirection 301 est mise en place sur une URL, puis cette URL de redirection est elle aussi redirigée… Cela crée une chaîne de redirection (plus d’une redirection), ce qui gaspille le crawl des moteurs de recherche.
- Un sitemap qui n’est pas à jour : lorsqu’un sitemap n’est pas mis à jour, ses liens internes peuvent ne plus être d’actualité (redirigés, ou en erreur 404). Les nouvelles URLs du site quant à elles sont moins susceptibles d’être explorées, alors même que l’on souhaite favoriser leur indexation. Ce n’est pas idéal pour l’exploration de vos pages !
- Un fichier robots.txt mal configuré : attention à vérifier ce fichier, il a le pouvoir de bloquer le crawl et l’indexation de certaines de vos pages si elles sont renseignées en /disallow. Le contraire est également valable : si vous ne lui avez pas donné la consigne de ne pas les crawler, les robots peuvent également explorer et indexer certaines pages inutiles (par exemple autogénérées par votre CMS).
Ajouter régulièrement du contenu
Pour déterminer sa fréquence de visite, Google va se baser sur la fréquence de mise à jour de votre site. Si votre site est mis à jour tous les jours (changements dans les contenus, création de nouvelles pages etc.), alors le moteur de recherche est susceptible de l’explorer tous les jours.
Le site d’un média d’actualités sera par exemple visité plusieurs fois par jour par Googlebot ! Un site très statique qui ne présente pas de changements tous les mois peut, quant à lui, mettre plusieurs semaines à être à nouveau exploré par Googlebot.
Pour bénéficier d’un meilleur Crawl Budget, habituez les moteurs de recherche à des contenus nouveaux et mis à jour.
Avoir un nombre important de pages
Plus votre site contient de contenu (avec un ajout régulier de nouvelles pages, comme vu dans le point précédent), plus Google jugera que votre site est un « gros » site et y consacrera du temps.
Pour optimiser son budget de crawl, nous conseillons donc de maximiser le nombre de pages pertinentes de votre site, dans la mesure du possible.
Produire du contenu de qualité
Sachez que votre contenu et sa qualité jouent aussi dans votre crawl budget.
Pour optimiser celui-ci, créez du contenu riche, à valeur ajoutée : Google est capable d’identifier cela et sera susceptible d’accorder plus d’intérêt à votre site et l’explorer davantage !
Optimiser votre maillage interne
Les liens internes sur les sites internet sont ce qui permet à Googlebot de naviguer de page en page. L’optimisation de votre maillage interne est donc importante car elle facilite l’exploration de vos URL.
Un bon maillage interne aide en effet les moteurs de recherche à explorer l’ensemble des pages importantes, de manière fluide et sans obstacles (aucun lien n’est fait vers une page présentant un problème technique).
Améliorer son temps de chargement
Le temps que mettent vos pages à charger va avoir une véritable influence sur votre crawl budget. Comme je l’évoquais en début d’article, si ce délai est très long, le robot crawler aura moins de temps pour explorer le reste de vos URL.
Le robot peut également décider d’accorder moins de ressources de crawl à votre site, ce temps d’attente impactant négativement l’expérience utilisateur.
Pour améliorer votre temps d’affichage, vous avez de nombreuses possibilités :
- Faire le choix d’un serveur dédié (au lieu d’un serveur mutualisé)
- Améliorer la configuration de la mise en cache serveur de son site
- Réduire la taille des fichiers CSS, Javascript
- Compresser vos fichiers images
N’hésitez pas à faire un tour sur l’outil Google PageSpeed Insights pour connaître le diagnostic du moteur de recherche et ses recommandations !
En résumé : si le milieu du SEO est loin de tout connaître du crawl budget de Google et ses mystères, les principaux facteurs jouant sur ce budget d’exploration sont aujourd’hui connus. Il est tout à fait possible d’améliorer l’exploration des robots des moteurs de recherche sur votre site et cela peut avoir un réel impact sur votre référencement !Pourquoi le budget crawl est-il important pour mon référencement ?Expand
Plus Google vient fréquemment sur votre site et visite un nombre important de pages, plus il est susceptible de parcourir rapidement vos nouveaux contenus et d’indexer vos nouvelles pages. Le budget crawl permet d’accélérer votre référencement. Attention cependant, il ne va pas jouer directement sur vos positions !Comment connaître son crawl budget ?Expand
Il n’est pas possible de connaître le crawl budget qu’accorde Google à votre site web, aussi bien en temps qu’en nombre de pages. Cependant, vous pouvez vous en faire une idée à l’aide d’une analyse de logs. Tracker la fréquence de visite ainsi que les URLs explorées par Googlebot vous permettra d’avoir une meilleure compréhension du comportement des robots d’exploration sur votre site.Une agence SEO peut-elle m’aider à améliorer mon crawl budget ?Expand
Bien sûr ! L’amélioration du crawl budget fait partie des spécialités d’une agence de référencement naturel telle que Staenk. Nos experts SEO sont capables de faire l’analyse de l’explorabilité de votre site par les robots et de mettre en place toutes les optimisations nécessaires à faire en sorte que Google vous rende visite plus souvent et plus longtemps.
Ces articles pourraient vous intéresser également :
