Bij crawlen zal een stukje software in de vorm van een “spin” of een “robot” een website analyseren om zo relevante informatie op te nemen in de zoekmachine waar de spin of robot vandaan komt. Daarom is het van belang dat een website niet alleen duidelijk is voor mensen, maar ook voor deze “kruipers”. Wat is crawlen en hoe zorg je ervoor dat een website optimaal toegankelijk is voor spinnen en robots?
Zoekmachines hebben specifieke algoritmen die bepalen hoe hoog een website scoort in de zoekresultaten. Hoe relevant een pagina is telt zwaar mee. Om de inhoud én kwaliteit van websites te beoordelen zoeken “spiders” en “robots” continue naar informatie over websites. Op basis van criteria als populariteit, autoriteit en frequentie van updates zal een site vaker of juist minder vaak bezocht worden. Ervoor zorgen dat de zoekmachines jouw website goed kunnen crawlen is valt onder de werkzaamheden van een SEO bureau en is onderdeel van zoekmachine optimalisatie.
Omdat de tijd dat een pagina wordt doorzocht niet onbeperkt kan zijn, is het van belang dat een spider of robot de weg door de website kan vinden. Websites met een duidelijke structuur kunnen snel en nauwkeurig doorzocht worden, wanneer er verwijzingen naar pagina’s zijn, of wanneer pagina’s verouderd zijn nemen ze kostbare tijd in beslag, belangrijke pagina’s komen daardoor lager in de zoekresultaten te staan. Zorg er dus voor dat de website geen overbodige pagina’s bevat, en dat dode links verwijderd worden door bijvoorbeeld een 301-redirect te maken naar een pagina die wel functioneert.
Het is uiteraard ook mogelijk dat er pagina’s op de website staan die je liever niet terug wilt zien in de zoekresultaten. Denk aan een pagina voor abonnees met speciale downloads. Een robot.txt fungeert als routeplanner die een crawler uitlegt hoe deze het beste door de site kan crawlen. Daarin staat niet alleen de navigatiestructuur om belangrijke pagina’s te vinden, maar ook de pagina’s die juist niet in de zoekresultaten terug moeten komen. Zorg er dus voor dat een website voorzien wordt van een robot.txt zodat de spinnen en robots goed kunnen crawlen.
