Loader

Wat is robots.txt?

Online marketing begrippen
 
Online Marketing Begrippen

Een robots.txt bestand is een tekstbestand dat webmasters gebruiken om informatie te verschaffen aan bots of crawlers die worden ingezet door zoekmachines om informatie van websites te indexeren. Het kan de ‘zoektocht’ van de crawlers eenvoudiger maken, hoewel het geen verplichte toevoeging is. Wat is robots.txt en wat is hier het belang van bij zoekmachine optimalisatie?

Definitie robots.txt?

De inhoud van dit tekstbestand kan verschillen, in de basis geeft het aan welke pagina’s er op een website aanwezig zijn, en welke pagina’s wel of niet geïndexeerd dienen te worden in zoekresultaten. Wanneer een robots.txt bestand geplaatst wordt zal een zoekmachine hier in principe rekening mee houden, dat betekent overigens niet dat een crawler zelf niet meer controleert of de tekst overeenstemt met de daadwerkelijke indeling op de server. Wanneer er geen tekstbestand opgenomen wordt op de server zal alle gangbare HTML data gescand worden en op gelijke basis geïndexeerd worden voor weergave in de zoekresultaten.

Een optionele toevoeging

Het bestand staat altijd in de root van het domein. In veel gevallen is het bestand niet nodig, webcrawlers kunnen zelf hun weg vinden door een website. Met name websites die nog in de testfase verkeren of pagina’s bevatten die niet zichtbaar behoren te zijn in de zoekresultaten van search engines, kunnen via de robots.txt uitgesloten worden van indexering. Wanneer het zoekalgoritme zelf bepaalt dat een pagina niet interessant is voor weergave in de zoekmachine worden deze sowieso niet opgenomen. Door een “disallow” tag te plaatsen geeft de administrator aan dat een pagina niet gevolgd hoeft te worden. Het bestand behoort tot de standaard binnen het Google algoritme en de inhoud zal gehonoreerd worden, mits de richtlijnen niet worden overschreden.

Uitsluiten niet toevoegen

Bij SEO wordt vaak de vindbaarheid van pagina’s benadrukt, het robots.txt bestand is er juist voor om pagina’s ‘onzichtbaar’ te maken. Ook dit kan voordeel bieden voor SEO omdat pagina’s die niet compleet zijn of mogelijk concurreren met andere pagina’s op het domein zo buiten de zoekresultaten blijven.

Quick scan

Ontdek binnen één minuut de knelpunten van uw website en weet waar de kansen liggen voor uw onderneming. Met deze vrijblijvende SEO scan analyseert u uw website op meer dan 150 punten, daarnaast krijgt u inzage in hoe de punten verbeterd kunnen worden.

Direct, online een complete analyse met diverse tips en feiten over de zoekmachine optimalisatie van uw website.





 
Online kansenonderzoek

Meer weten over online marketing? Bekijk alle begrippen. Terug naar de begrippenlijst

DoubleWeb: Onze partner in techniek

Technische verbeteringen aan de website worden uitgevoerd door DoubleWeb, ons zusterbedrijf. Met DoubleWeb heeft u technische specialisten binnen handbereik. Ga naar de website

Close