Webspider, web crawler, spider of bot; het zijn allemaal termen voor een programma die websites bezoekt met als doel de beschikbare informatie te lezen en indexeren. Deze data wordt vervolgens gebruikt om de zoekresultaten in zoekmachines te bepalen. Wat is een webspider en hoe gaan deze spiders te werk?
Er zijn veel termen die eigenlijk allemaal hetzelfde betekenen. Een webspider, spider, crawler of bot, deze kleine programma’s struinen dagelijks het internet af op zoek naar nieuwe data om zoekmachines te voorzien van up-to-date informatie over het wereldwijde web. Voor het jaar 2000 was het erg lastig voor zoekmachines om webpagina’s te indexeren, en de juiste informatie te verstrekken. Crawlers gaan methodisch te werk en kunnen autonoom werken om vervolgens input te geven aan zoekmachines. Daarbij zullen ze eerst op zoek gaan naar bestaande URL’s, vervolgens indexeren ze de hyperlinks op de pagina en andere relevante informatie.
Het is niet de bedoeling dat iemand die naar een nieuwe fotocamera zoekt een zoekresultaat voor de Kijkshop onder ogen krijgt. Op die locatie zit wellicht een nieuwe horecazaak die geen klanten trekt omdat de zoekmachine hun gloednieuwe website nog niet geindexeerd heeft. Het is dus van groot belang dat webspiders in grote getale dagelijks op zoek gaan naar nieuwe informatie. Omdat dataverkeer niet onbeperkt en ook niet gratis is, zal de eigenaar van de zoekmachine efficiënt om moeten gaan met de capaciteit van een webspider. Zo zullen websites die vaak worden vernieuwd ook meer aandacht krijgen en vaker geïndexeerd worden om nieuwe informatie snel vindbaar te maken.
Omdat het onmogelijk is om op ieder moment alle informatie op het internet te registreren, is het een optie om via de Google tools informatie handmatig toe te voegen. Zo kan er via Maps een bedrijfslocatie worden toegevoegd, en via My Business kunnen bedrijven hun contactinformatie bijwerken. Het is eveneens mogelijk om Google te verzoeken om een URL opnieuw te indexeren maar dit biedt geen garanties.