Download jouw gratis SEO Checklist!
46 checks voor ijzersterke SEO vriendelijke content

Direct gratis in je mailbox
2.400 marketeers en ondernemers gingen je voor
Wekelijks de beste content in je mailbox

Spiders in termen van zoekmachines zijn software programma’s met als doel pagina’s op internet te indexeren voor gebruik in de zoekmachine. Ze zijn continue op zoek naar nieuwe websites, pagina’s en gewijzigde content op webpagina’s. Hoewel verschillende zoekmachines zoals Google en Bing op andere informatie scannen is de werking overeenkomstig. Wat zijn spiders en hoe zorg je ervoor dat deze “crawlers” of “bots” pagina’s kunnen indexeren, of juist overslaan?

Definitie spiders

In het wereldwijde web spreekt het voor zich dat er ook spinnen rondkruipen. Andere termen voor spiders zijn crawlers en bots. Het zijn allemaal geautomatiseerde programma’s die content op het internet indexeren. In principe werken deze programma’s automatisch, het is niet nodig om een nieuwe website aan te melden bij Google, of Bing op de hoogte te stellen wanneer er een nieuwe blog update gepubliceerd wordt. Overigens worden niet alle websites met dezelfde frequentie bezocht, en niet alle pagina’s worden gevonden. Daarom kan het wel voordeel bieden om spiders “uit te nodigen” wanneer een website niet of niet volledig geïndexeerd is.

Links zijn belangrijk voor spiders, bots en crawlers

Wanneer je een formulier invult en op de “verzenden” knop klikt wordt je vaak doorverwezen naar een andere pagina. Spiders voeren geen interactieve handelingen uit en zullen daarom deze achterliggende pagina’s niet zien. Met een XML sitemap die leesbaar is door bots kun je deze pagina’s toch zichtbaar maken voor de zoekmachine. Het omgekeerde geldt ook; soms wil je een specifieke pagina juist niet vindbaar maken in de zoekmachine. Denk aan een download pagina naar een e-book die wel via een klik beschikbaar is op de website, maar niet direct via de zoekmachine bezocht mag worden. Met de robots.txt kun je de spider aangeven welke pagina’s juist niet geïndexeerd mogen worden.

Spider, bot en crawler zijn alledrie termen voor programma’s die het internet indexeren ten behoeve van zoekmachine resultaten.

Volg ons online

Regelmatig delen we inhoudelijke kennisvideo’s op YouTube.
Volg ons op Instagram voor minder officiële posts.
Blijf op de hoogte via LinkedIn van blogs en zakelijk nieuws.
Volg ons op Facebook.

Al onze begrippen

a b c d e f g h i j k l m n o p q r s t u v w x y z