Download jouw gratis SEO Checklist!
46 checks voor ijzersterke SEO vriendelijke content

Direct gratis in je mailbox
2.400 marketeers en ondernemers gingen je voor
Wekelijks de beste content in je mailbox

Een robots.txt bestand is een tekstbestand dat webmasters gebruiken om informatie te verschaffen aan bots of crawlers die worden ingezet door zoekmachines om informatie van websites te indexeren. Het kan de ‘zoektocht’ van de crawlers eenvoudiger maken, hoewel het geen verplichte toevoeging is. Wat is robots.txt en wat is hier het belang van bij zoekmachine optimalisatie?

Definitie robots.txt?

De inhoud van dit tekstbestand kan verschillen, in de basis geeft het aan welke pagina’s er op een website aanwezig zijn, en welke pagina’s wel of niet geïndexeerd dienen te worden in zoekresultaten. Wanneer een robots.txt bestand geplaatst wordt zal een zoekmachine hier in principe rekening mee houden, dat betekent overigens niet dat een crawler zelf niet meer controleert of de tekst overeenstemt met de daadwerkelijke indeling op de server. Wanneer er geen tekstbestand opgenomen wordt op de server zal alle gangbare HTML data gescand worden en op gelijke basis geïndexeerd worden voor weergave in de zoekresultaten.

Een optionele toevoeging

Het bestand staat altijd in de root van het domein. In veel gevallen is het bestand niet nodig, webcrawlers kunnen zelf hun weg vinden door een website. Met name websites die nog in de testfase verkeren of pagina’s bevatten die niet zichtbaar behoren te zijn in de zoekresultaten van search engines, kunnen via de robots.txt uitgesloten worden van indexering. Wanneer het zoekalgoritme zelf bepaalt dat een pagina niet interessant is voor weergave in de zoekmachine worden deze sowieso niet opgenomen. Door een “disallow” tag te plaatsen geeft de administrator aan dat een pagina niet gevolgd hoeft te worden. Het bestand behoort tot de standaard binnen het Google algoritme en de inhoud zal gehonoreerd worden, mits de richtlijnen niet worden overschreden.

Uitsluiten niet toevoegen

Bij SEO wordt vaak de vindbaarheid van pagina’s benadrukt, het robots.txt bestand is er juist voor om pagina’s ‘onzichtbaar’ te maken. Ook dit kan voordeel bieden voor SEO omdat pagina’s die niet compleet zijn of mogelijk concurreren met andere pagina’s op het domein zo buiten de zoekresultaten blijven.

Volg ons online

Regelmatig delen we inhoudelijke kennisvideo’s op YouTube.
Volg ons op Instagram voor minder officiële posts.
Blijf op de hoogte via LinkedIn van blogs en zakelijk nieuws.
Volg ons op Facebook.

Al onze begrippen

a b c d e f g h i j k l m n o p q r s t u v w x y z