Loader

Wat is crawlen?

Online marketing begrippen
 
Online Marketing Begrippen

Bij crawlen zal een stukje software in de vorm van een “spin” of een “robot” een website analyseren om zo relevante informatie op te nemen in de zoekmachine waar de spin of robot vandaan komt. Daarom is het van belang dat een website niet alleen duidelijk is voor mensen, maar ook voor deze “kruipers”. Wat is crawlen en hoe zorg je ervoor dat een website optimaal toegankelijk is voor spinnen en robots?

Definitie crawlen

Zoekmachines hebben specifieke algoritmen die bepalen hoe hoog een website scoort in de zoekresultaten. Hoe relevant een pagina is telt zwaar mee. Om de inhoud én kwaliteit van websites te beoordelen zoeken “spiders” en “robots” continue naar informatie over websites. Op basis van criteria als populariteit, autoriteit en frequentie van updates zal een site vaker of juist minder vaak bezocht worden. Ervoor zorgen dat de zoekmachines jouw website goed kunnen crawlen is een onderdeel van zoekmachine optimalisatie.

Dode links

Omdat de tijd dat een pagina wordt doorzocht niet onbeperkt kan zijn, is het van belang dat een spider of robot de weg door de website kan vinden. Websites met een duidelijke structuur kunnen snel en nauwkeurig doorzocht worden, wanneer er verwijzingen naar pagina’s zijn, of wanneer pagina’s verouderd zijn nemen ze kostbare tijd in beslag, belangrijke pagina’s komen daardoor lager in de zoekresultaten te staan. Zorg er dus voor dat de website geen overbodige pagina’s bevat, en dat dode links verwijderd worden door bijvoorbeeld een 301-redirect te maken naar een pagina die wel functioneert.

Robot.txt

Het is uiteraard ook mogelijk dat er pagina’s op de website staan die je liever niet terug wilt zien in de zoekresultaten. Denk aan een pagina voor abonnees met speciale downloads. Een robot.txt fungeert als routeplanner die een crawler uitlegt hoe deze het beste door de site kan crawlen. Daarin staat niet alleen de navigatiestructuur om belangrijke pagina’s te vinden, maar ook de pagina’s die juist niet in de zoekresultaten terug moeten komen. Zorg er dus voor dat een website voorzien wordt van een robot.txt zodat de spinnen en robots goed kunnen crawlen.

Quick scan

Ontdek binnen één minuut de knelpunten van uw website en weet waar de kansen liggen voor uw onderneming. Met deze vrijblijvende SEO scan analyseert u uw website op meer dan 150 punten, daarnaast krijgt u inzage in hoe de punten verbeterd kunnen worden.

Direct, online een complete analyse met diverse tips en feiten over de zoekmachine optimalisatie van uw website.





 
Online kansenonderzoek

Meer weten over online marketing? Bekijk alle begrippen. Terug naar de begrippenlijst

DoubleWeb: Onze partner in techniek

Technische verbeteringen aan de website worden uitgevoerd door DoubleWeb, ons zusterbedrijf. Met DoubleWeb heeft u technische specialisten binnen handbereik. Ga naar de website

Close