Indexeren staat voor het verzamelen van informatie die op webpagina’s aanwezig is, met als doel relevante zoekresultaten weer te geven in zoekmachines. Een crawler is een geautomatiseerd script dat pagina’s bezoekt en indexeert om zo de inhoud van websites bepalen. Hoewel dit proces continu plaatsvindt wordt niet iedere website actief bijgehouden op wijzigingen. Wat is indexeren en hoe kun je crawlers de weg wijzen door een website?
Zoekmachines zoals Google koppelen een zoekopdracht aan webpagina’s die er het beste op aansluiten. Om dit mogelijk te maken moeten zoekmachines zoveel mogelijk data verzamelen van alle websites die op het internet staan. Dit proces is geautomatiseerd en werkt op basis van crawlers die websites indexeren. Voor zoekmachine optimalisatie is het dus belangrijk dat alle pagina’s goed geïndexeerd worden. Naast het domein worden alle beschikbare pagina’s geïndexeerd en bewaard in een database. Omdat websites vaak veranderen van inhoud zal een website regelmatig bezocht moeten worden om wijzigingen ook door te voeren in de zoekmachine.
Wanneer je een domeinnaam in Google intypt met “site:” ervoor, zullen alle pagina’s op dat domein als resultaat worden weergegeven. Het is ook mogelijk om een individuele pagina te controleren. Daarnaast is het mogelijk om via Google Search Console zelf een nieuwe sitemap toe te voegen. Dan wordt de website sneller opnieuw geïndexeerd. Andere manieren om de site te laten indexeren zijn links naar nieuwe pagina’s toevoegen, meer backlinks naar een pagina vergaren of het delen van de pagina via social media.
Populaire sites die vaak van updates worden voorzien zullen ook vaker geïndexeerd worden, toch is het mogelijk dat een indexatie niet helemaal up-to-date is. Alle pagina’s worden in een cache, een tijdelijk bestand opgeslagen. Zorg er altijd voor dat de website een goed doorzoekbare sitemap heeft waardoor de crawlers de website juist indexeren. Wanneer een pagina “onzichtbaar” is voor crawlers zal deze ook niet te vinden zijn in de zoekmachine.
