Wie zich bezighoudt met SEO heeft waarschijnlijk wel eens van crawlen gehoord: de bots van zoekmachines die je website bezoeken om te beoordelen of jouw content een plekje in de zoekresultaten verdient. En zo ja, op welke plek dan.
Minder mensen zijn bekend met het fenomeen crawl budget. En wie er wel van heeft gehoord, weet vaak eigenlijk niet precies wat crawl budget nu precies is. Daar gaan hieronder verandering in brengen.
In dit artikel behandelen we:
Het crawl budget is het aantal pagina’s dat bots van zoekmachines crawlen en indexeren op een website in een bepaald tijdsbestek. Zoekmachines hebben geen onbeperkte capaciteit en gebruiken crawl budget om te prioriteren waar en hoe ze hun crawling uitvoeren.
Het crawl budget dat wordt toegekend aan een website wordt bepaald aan de hand van twee factoren:
Op basis hiervan wordt dus aan iedere website een crawl budget toegekend door zoekmachines, om de efficiëntie waarmee zij het internet kunnen indexeren te optimaliseren.
Uit het bovenstaande wordt waarschijnlijk al duidelijk wat de impact van het crawl budget is op zoekmachine optimalisatie, oftewel SEO. Het budget heeft immers invloed op de mate en snelheid waarmee jouw website kan worden geïndexeerd. Daarmee is het een belangrijke factor in de vraag of Google een pagina überhaupt (snel) indexeert.
En wanneer een pagina niet wordt geïndexeerd, kan hij ook niet ranken op zoektermen.
Dat betekent dus dat een deel van je website niet geïndexeerd zal worden wanneer het aantal pagina’s van je website het crawl budget overschrijdt. Zonde natuurlijk, want elk van die pagina’s betekent gemiste ranking kansen.
Een kanttekening voordat je nu misschien direct in de stress schiet over jouw crawl budget: voor de meeste websites is dit geen issue, omdat Google erg goed is geworden in het vinden en indexeren van de beste pagina’s. Crawl budget is vooral iets om je druk over te maken wanneer je:
In die gevallen kan het belangrijk zijn om je crawl budget te optimaliseren. Daar zijn verschillende mogelijkheden voor.
Voordat we daar in duiken, leggen we je eerst uit hoe je kunt checken hoe het zit met het crawl budget van jouw website.
Google is gelukkig behoorlijk transparant over welk crawl budget ze aan een site toewijzen. Je kunt hier inzicht in krijgen via je Search Console account.
Kies in het hoofdmenu voor instellingen.
En klik dan onder crawlen op “rapport openen” achter crawlstatistieken.
Je ziet dan een overzicht van hoeveel pagina’s er gemiddeld per dag op je website gecrawld worden en het totaal aantal uitgevoerde crawl verzoeken. Ook zie je of er problemen waren bij het opvragen van pagina’s, onder de status van de host.
Daarnaast zie je ook een overzicht van het resultaat van de crawling. Zoals of het een geslaagde crawl was, of er niets nieuws te vinden viel, of dat een pagina niet gevonden kon worden.
In dit geval zijn er geen problemen met het crawl budget: het aantal uitgevoerde verzoeken is prima in lijn met de omvang van deze website. Ook in het aantal “mislukte” verzoeken zijn geen gekke dingen te zien.
Zie je hier nu dat het budget tegenvalt in verhouding tot het aantal pagina’s op je site? Dan zijn er een aantal dingen die je kunt doen om het budget te verhogen.
Het optimaliseren van je crawl budget komt neer op het zo efficiënt mogelijk besteden van je beschikbare budget. Je kunt namelijk niet even bij Google aankloppen en vragen om extra crawl budget. Daarom zul je ervoor moeten zorgen dat je het maximale resultaat haalt met wat je wordt toebedeeld.
Een aantal veel voorkomende manieren waarop crawl budget wordt verspild zijn onder andere:
De “bad practices” hierboven geven al een beeld van wat dan de “best practices” zijn om je beschikbare crawl budget zo efficiënt mogelijk te besteden. Om je nog wat verder op weg te helpen zetten we hieronder nog een aantal praktische en concrete tips voor je op een rijtje.
Het zorgen voor een goede website snelheid zou sowieso bovenaan je to-do lijstje voor SEO moeten staan, want het is een belangrijke factor in de ranking kansen van je site. Zoals je hierboven kon lezen, kan een trage site voor crawlers een teken zijn dat je site de crawl verzoeken niet aan kan. Met als gevolg een lager toegekend budget.
Met andere woorden: door de snelheid van je website te verbeteren nodig je de Google crawler uit om een groter aantal van je pagina’s te indexeren. Google stelt zelf dat:
“Making a site faster improves the users’ experience while also increasing crawl rate.”
Ook het goed gebruik maken van interne links valt onder het in bredere zin goed gebruiken van SEO, doordat je er content clusters mee maakt en pillar pages extra ondersteuning geeft.
Het helpt de besteding van je crawl budget doordat crawlende zoekmachines prioriteit geven aan pagina’s met veel binnenkomende interne en externe links. En omdat je over externe links nu eenmaal minder controle hebt, kun je maar beter optimaal inzetten op de distributie van interne links over je eigen site.
Weet je nog dat we schreven dat het crawl budget onder andere wordt bepaald aan de hand van de crawl behoefte en dat die samenhangt met de populariteit van de pagina?
De linkwaarde richting een pagina is voor Google nog altijd een belangrijke graadmeter van die populariteit. Om te zorgen dat al je pagina’s in aanmerking komen voor crawling, zorg je er daarom voor dat link autoriteit door je volledige site kan stromen met een goede website structuur .
Ook dat doe je met de inzet van interne links, maar ook door je website op te bouwen in content clusters (silo’s) rondom een bepaald onderwerp.
Vermijd daarom ook het bestaan van zogenaamde “wees pagina’s” (orphan pages) op je website: dat zijn pagina’s die buiten de centrale structuur vallen doordat er vanaf geen enkele pagina naar gelinkt wordt.
Zo’n wees pagina is zowel voor je bezoekers als voor de crawlende zoekmachine moeilijk te vinden. Om je crawl budget optimaal te benutten zorg je er dan ook voor dat elke pagina via minimaal één interne link bereikbaar is.
Het doel van Google is om voor verschillende zoekopdrachten de beste pagina’s te indexeren en ranken. Dat betekent dat ze geen middelen willen verspillen aan pagina’s met een (vrijwel) identieke inhoud, die hier niets aan toe voegen.
Elke pagina die je wilt laten indexeren moet dus unieke content bevatten, gericht op het specifieke onderwerp waar je die pagina op wilt laten ranken. Is het echt niet te voorkomen? Zorg dan dat je duidelijk maakt welke duplicate content geïndexeerd moet worden met een canonical tag: dat maakt duidelijk welke pagina je zelf het belangrijkst vindt en welke Google dus wel en niet moet bezoeken.
Crawl budget is het aantal pagina’s dat de Google bot (en andere zoekmachine crawlers) in een bepaald tijdsbestek kan crawlen en indexeren. Het bepaalt dus hoeveel (nieuwe) pagina’s er op korte tijd kunnen worden opgenomen in de zoekmachine index.
Crawl budget komt tot stand door het crawl limiet (hoeveel verzoeken een website kan verwerken) en de crawl behoefte (op basis van de populariteit van pagina’s en hoe vaak ze worden geüpdatet).
Crawl budget verhogen doe je door het beschikbare budget zo optimaal mogelijk te benutten. Daarmee laat je aan Google zien dat jouw site het beschikbare budget efficiënt inzet en dus waard is. In dit artikel gaven we daar een aantal praktische tips voor.