Wat is Crawlen?
Crawlen is het doorzoeken van een website door een spider of robot van een zoekmachine.
Zoekmachines moeten jouw website (kunnen) crawlen om deze te indexeren.
Een goede positie in Google krijg je dus alleen wanneer je Google helpt jouw website te begrijpen.
En dat begrijpen doet Google door te crawlen.
Hoe vaak crawlt Google jouw website?
De spiders van Google crawlen regelmatig het web om de index opnieuw samen te stellen. Hoe vaak Google een website crawlt, hangt af van bepaalde factoren, waaronder Pagerank, links naar een pagina en crawlbeperkingen.
De crawlprocedure is algoritmisch bepaald.
Programma’s van Google bepalen welke sites worden gecrawld, hoe vaak dat gebeurt en hoeveel pagina’s van elke website worden opgehaald.
Crawlbeperkingen
Crawlbepekringen kan het vermogen van de Googlebot om alle pagina’s op je website te crawlen beperken.
Als je een grote website hebt, is het belangrijk dat je begrijpt hoe Google die crawlt en welke factoren van invloed zijn op de snelheid waarmee ze dat doen. De impact van crawlen op jouw positie in Google, wordt later besproken.
Laten we eerst eens kijken wat jij kunt doen om Google te helpen jouw website makkelijker te crawlen.
Help Google jouw website te crawlen
De beste manier om Google te helpen je website (vaker) te crawlen is te werken met een duidelijke website navigatie en de juiste signalen.
Maar hoe zorg je daarvoor?
1 | Plaats veel interne links
Zorg dat je via de interne links iedere pagina op je website met elkaar verbindt. Dit helpt Google om pagina’s, die niet direct in je websitemenu staan, ook te vinden. Daarnaast is het gebruiken van interne links sowieso verstandig om te doen, omdat dit ook je website helpt hoger in Google te komen.
2 | Duidelijke website navigatie
Zorg ervoor dat je navigatie gemakkelijk te begrijpen is voor zowel bezoekers als zoekmachines. Een goede navigatie heeft een duidelijke structuur heeft in ieder geval je belangrijkste pagina op je website opgenomen.
3 | Maak een sitemap
Een sitemap is een overzicht van alle pagina’s op je website. Door een sitemap bij Google in te dienen (via de Google Search Console), help je Google om je website gemakkelijker te crawlen. Je kunt een sitemap maken met een xml sitemap generator of bijvoorbeeld een WordPress plug-in.
4 | Maak een robots.txt bestand
Een robots.txt bestand is een tekstbestand dat je in de root (hoofdmap) van je website plaatst. Dit tekstbestand vertelt Google (en andere zoekmachines) welke pagina’s ze wel en niet mogen crawlen op je website.
Als je een sitemap in stap 3 hebt gemaakt, plaats dan de link naar de sitemap in je robots.txt bestand.
5 | Controleer of er crawlfouten zijn
Van tijd tot tijd kan het gebeuren dat Google problemen heeft met het crawlen van je website. Bijvoorbeeld doordat bepaalde pagina’s niet meer bestaan en nu een 404 foutmelding geven.
Zorg dat je regelmatig je website controleert op crawlfouten. Hoe je dit gemakkelijk doet, leg ik je uit in de video.
6 | Plaats regelmatig nieuwe content
Google houdt van content. Als je regelmatig nieuwe content aan je website toevoegt, zal Google dit oppikken en jouw website vaker willen crawlen.
7 | Controleer de laadsnelheid van je pagina’s
Als je pagina’s snel laden, zal Google minder tijd nodig hebben om je pagina te begrijpen en je andere pagina’s te crawlen.
Zie het crawlen een beetje als een soort van elevator pitch. Je krijgt van Google 2 minuten de tijd om jouw complete website te pitchen. Hoe sneller jouw pagina’s laden, hoe minder tijd je opsnoept en hoe meer pagina’s Google in dit tijd zal crawlen.
Het effect van jouw crawlbudget
Hoewel Google het niet bevestigd heeft, merken wij in de praktijk dat bepaalde websites vaker bezocht worden dan andere.
Dit heeft te maken met je crawlbudget. Een soort van portemonnee met daarin wat tijd. Hoe hoger je crawlbudget, hoe meer tijd Google neemt je website te crawlen.
Wil je meer uit je website halen zorg dan dat je via bovenstaande stappen Google helpt je website te crawlen en de juiste signalen geeft om regelmatig terug te komen.
De Google cache
Behalve dat Google je website bezoekt, slaat hij ook een kopie van je pagina’s op in zijn eigen cache.
De cache-versie van een pagina is de versie die Google op zijn servers heeft opgeslagen. Dit is vaak de versie die ook in de zoekresultaten wordt getoond.
Je kunt dit herkennen aan het groene pijltje achter de URL van je website in de zoekresultaten of door cache: en dan de link van de pagina in Google in te vullen.
Bijvoorbeeld:
Om te worden geïndexeerd en te verschijnen in de zoekresultaten van Google, zal je website doorzocht moeten worden door de Googlebot. Dit hele proces heet, zoals je nu inmiddels wel weet, crawlen.
Door te kijken naar de cacheresutaten van een bepaalde pagina, kun je achterhalen wanneer Google voor de laatste keer deze pagina gecrawld heeft.
Ligt deze datum ver in het verleden dan weet je dat Google je website niet vaak crawlt en er werk aan de winkel is.
