Wie zich bezighoudt met SEO heeft waarschijnlijk wel eens van crawlen gehoord: de bots van zoekmachines die je website bezoeken om te beoordelen of jouw content een plekje in de zoekresultaten verdient. En zo ja, op welke plek dan.

Minder mensen zijn bekend met het fenomeen crawl budget. En wie er wel van heeft gehoord, weet vaak eigenlijk niet precies wat crawl budget nu precies is. Daar gaan hieronder verandering in brengen.

In dit artikel behandelen we:

  • Wat crawl budget is
  • Waarom het zo belangrijk is voor SEO
  • Hoe je het maximale resultaat haalt uit jouw budget

Wat is crawl budget?

Het crawl budget is het aantal pagina’s dat bots van zoekmachines crawlen en indexeren op een website in een bepaald tijdsbestek. Zoekmachines hebben geen onbeperkte capaciteit en gebruiken crawl budget om te prioriteren waar en hoe ze hun crawling uitvoeren.

Het crawl budget dat wordt toegekend aan een website wordt bepaald aan de hand van twee factoren:

  1. Crawl limiet: op hoeveel crawling een website kan verwerken en de voorkeuren van de eigenaar.
  2. Crawl behoefte: welke URL’s het meest waard zijn om te (re-)crawlen, gebaseerd op de populariteit van de pagina en hoe vaak hij wordt geüpdatet.

Op basis hiervan wordt dus aan iedere website een crawl budget toegekend door zoekmachines, om de efficiëntie waarmee zij het internet kunnen indexeren te optimaliseren.

Waarom is crawl budget belangrijk voor SEO? (En wanneer moet jij je er druk om maken?)

Uit het bovenstaande wordt waarschijnlijk al duidelijk wat de impact van het crawl budget is op zoekmachine optimalisatie, oftewel SEO. Het budget heeft immers invloed op de mate en snelheid waarmee jouw website kan worden geïndexeerd. Daarmee is het een belangrijke factor in de vraag of Google een pagina überhaupt (snel) indexeert.

En wanneer een pagina niet wordt geïndexeerd, kan hij ook niet ranken op zoektermen.

Dat betekent dus dat een deel van je website niet geïndexeerd zal worden wanneer het aantal pagina’s van je website het crawl budget overschrijdt. Zonde natuurlijk, want elk van die pagina’s betekent gemiste ranking kansen.

Een kanttekening voordat je nu misschien direct in de stress schiet over jouw crawl budget: voor de meeste websites is dit geen issue, omdat Google erg goed is geworden in het vinden en indexeren van de beste pagina’s. Crawl budget is vooral iets om je druk over te maken wanneer je:

  • Een erg grote website hebt. Bij erg grote websites met duizenden pagina’s (vaak zijn dit e-commerce sites met duizenden productpagina’s, denk aan Bol.com of Coolblue) kan Google moeite hebben om ze allemaal te vinden.
  • Net erg veel nieuwe pagina’s hebt toegevoegd. Wanneer je een wekelijkse blog schrijft zullen zoekmachine bots geen moeite hebben die pagina toe te voegen aan de index. Voeg je een nieuwe sectie toe aan je website met tientallen of zelfs honderden pagina’s, dan is het verstandig om te monitoren of het crawl budget niet wordt overschreden en al die nieuwe pagina’s wel worden opgepikt.
  • Veel redirects hebt ingesteld. Een grote hoeveelheid redirects of redirect chains slurpen je crawl budget in hoog tempo op, wat ten koste gaat van de pagina’s die je wél wilt laten vinden.

In die gevallen kan het belangrijk zijn om je crawl budget te optimaliseren. Daar zijn verschillende mogelijkheden voor.

Voordat we daar in duiken, leggen we je eerst uit hoe je kunt checken hoe het zit met het crawl budget van jouw website.

Crawl budget in Google Search Console

Google is gelukkig behoorlijk transparant over welk crawl budget ze aan een site toewijzen. Je kunt hier inzicht in krijgen via je Search Console account.

Kies in het hoofdmenu voor instellingen.

crawl budget

En klik dan onder crawlen op “rapport openen” achter crawlstatistieken.

Crawl budget

Je ziet dan een overzicht van hoeveel pagina’s er gemiddeld per dag op je website gecrawld worden en het totaal aantal uitgevoerde crawl verzoeken. Ook zie je of er problemen waren bij het opvragen van pagina’s, onder de status van de host.

Daarnaast zie je ook een overzicht van het resultaat van de crawling. Zoals of het een geslaagde crawl was, of er niets nieuws te vinden viel, of dat een pagina niet gevonden kon worden.

crawl budget

In dit geval zijn er geen problemen met het crawl budget: het aantal uitgevoerde verzoeken is prima in lijn met de omvang van deze website. Ook in het aantal “mislukte” verzoeken zijn geen gekke dingen te zien.

Zie je hier nu dat het budget tegenvalt in verhouding tot het aantal pagina’s op je site? Dan zijn er een aantal dingen die je kunt doen om het budget te verhogen.

Het crawl budget optimaliseren: best practices voor een optimale benutting van het budget voor jouw site

Het optimaliseren van je crawl budget komt neer op het zo efficiënt mogelijk besteden van je beschikbare budget. Je kunt namelijk niet even bij Google aankloppen en vragen om extra crawl budget. Daarom zul je ervoor moeten zorgen dat je het maximale resultaat haalt met wat je wordt toebedeeld.

Een aantal veel voorkomende manieren waarop crawl budget wordt verspild zijn onder andere:

  • Duplicate content. Pagina’s die (vrijwel) identiek zijn worden sowieso al gezien als slechte SEO omdat ze met elkaar zullen concurreren op dezelfde zoekwoorden, maar ze slurpen ook nog eens onnodig crawl budget op.
  • Lage kwaliteit content wordt ook geïndexeerd en verbruikt dus budget, terwijl het eigenlijk geen kans maakt om goed te ranken.
  • Pagina’s met een hoge laadtijd vertellen zoekmachines dat ze het crawl verzoek niet aankunnen, wat een reden kan zijn om je budget naar beneden bij te stellen.
  • URL’s met parameters die bijvoorbeeld de selectie van een bezoeker in een productfilter opslaan, zoals “https://www.voorbeeldshop.nl/kleding/spijkerbroeken?kleur=zwart” Als deze URL’s algemeen toegankelijk zijn (en dus ook voor crawlers) neemt dat een grote hoeveelheid budget op, terwijl het weinig toevoegt aan de indexering van je site.
  • Slechte interne linkstructuur. De interne linkstructuur is bedoeld om het crawlers van zoekmachines makkelijker te maken al je pagina’s te vinden. Als die structuur niet klopt, kan dat er dus voor zorgen dat de crawlers niet al je pagina’s opmerken.

Tips voor een optimale benutting van je budget

De “bad practices” hierboven geven al een beeld van wat dan de “best practices” zijn om je beschikbare crawl budget zo efficiënt mogelijk te besteden. Om je nog wat verder op weg te helpen zetten we hieronder nog een aantal praktische en concrete tips voor je op een rijtje.

1. Verbeter je website snelheid

Het zorgen voor een goede website snelheid  zou sowieso bovenaan je to-do lijstje voor SEO moeten staan, want het is een belangrijke factor in de ranking kansen van je site. Zoals je hierboven kon lezen, kan een trage site voor crawlers een teken zijn dat je site de crawl verzoeken niet aan kan. Met als gevolg een lager toegekend budget.

Met andere woorden: door de snelheid van je website te verbeteren nodig je de Google crawler uit om een groter aantal van je pagina’s te indexeren. Google stelt zelf dat:

“Making a site faster improves the users’ experience while also increasing crawl rate.”

2. Gebruik interne links

Ook het goed gebruik maken van interne links  valt onder het in bredere zin goed gebruiken van SEO, doordat je er content clusters mee maakt en pillar pages extra ondersteuning geeft.

Het helpt de besteding van je crawl budget doordat crawlende zoekmachines prioriteit geven aan pagina’s met veel binnenkomende interne en externe links. En omdat je over externe links nu eenmaal minder controle hebt, kun je maar beter optimaal inzetten op de distributie van interne links over je eigen site.

3. Structureer je website

Weet je nog dat we schreven dat het crawl budget onder andere wordt bepaald aan de hand van de crawl behoefte en dat die samenhangt met de populariteit van de pagina?

De linkwaarde richting een pagina is voor Google nog altijd een belangrijke graadmeter van die populariteit. Om te zorgen dat al je pagina’s in aanmerking komen voor crawling, zorg je er daarom voor dat link autoriteit door je volledige site kan stromen met een goede website structuur .

Ook dat doe je met de inzet van interne links, maar ook door je website op te bouwen in content clusters  (silo’s) rondom een bepaald onderwerp.

schematische weergave van topic cluster

Vermijd daarom ook het bestaan van zogenaamde “wees pagina’s” (orphan pages) op je website: dat zijn pagina’s die buiten de centrale structuur vallen doordat er vanaf geen enkele pagina naar gelinkt wordt.

Zo’n wees pagina is zowel voor je bezoekers als voor de crawlende zoekmachine moeilijk te vinden. Om je crawl budget optimaal te benutten zorg je er dan ook voor dat elke pagina via minimaal één interne link bereikbaar is.

4. Vermijd duplicate content

Het doel van Google is om voor verschillende zoekopdrachten de beste pagina’s te indexeren en ranken. Dat betekent dat ze geen middelen willen verspillen aan pagina’s met een (vrijwel) identieke inhoud, die hier niets aan toe voegen.

Elke pagina die je wilt laten indexeren moet dus unieke content bevatten, gericht op het specifieke onderwerp waar je die pagina op wilt laten ranken. Is het echt niet te voorkomen? Zorg dan dat je duidelijk maakt welke duplicate content geïndexeerd moet worden met een canonical tag: dat maakt duidelijk welke pagina je zelf het belangrijkst vindt en welke Google dus wel en niet moet bezoeken.

Veelgestelde vragen over crawl budget

Wat is crawl budget?

Crawl budget is het aantal pagina’s dat de Google bot (en andere zoekmachine crawlers) in een bepaald tijdsbestek kan crawlen en indexeren. Het bepaalt dus hoeveel (nieuwe) pagina’s er op korte tijd kunnen worden opgenomen in de zoekmachine index.

Crawl budget komt tot stand door het crawl limiet (hoeveel verzoeken een website kan verwerken) en de crawl behoefte (op basis van de populariteit van pagina’s en hoe vaak ze worden geüpdatet).

Crawl budget verhogen doe je door het beschikbare budget zo optimaal mogelijk te benutten. Daarmee laat je aan Google zien dat jouw site het beschikbare budget efficiënt inzet en dus waard is. In dit artikel gaven we daar een aantal praktische tips voor.

Crawl budget Crawl budget