Google Crawlen | Uitleg & Tips

Open de marketingkluis​
Of het nu gaat om het generen van leads, het neerzetten van een sterk merk of het besparen van bakken aan tijd. Aan alles is gedacht.

Wat is Crawlen?

Crawlen is het doorzoeken van een website door een spider of robot van een zoekmachine.

Zoekmachines moeten jouw website (kunnen) crawlen om deze te indexeren.

Een goede positie in Google krijg je dus alleen wanneer je Google helpt jouw website te begrijpen.

En dat begrijpen doet Google door te crawlen.

Hoe vaak crawlt Google jouw website?

De spiders van Google crawlen regelmatig het web om de index opnieuw samen te stellen. Hoe vaak Google een website crawlt, hangt af van bepaalde factoren, waaronder Pagerank, links naar een pagina en crawlbeperkingen.

De crawlprocedure is algoritmisch bepaald.

Programma’s van Google bepalen welke sites worden gecrawld, hoe vaak dat gebeurt en hoeveel pagina’s van elke website worden opgehaald.

Crawlbeperkingen

Crawlbepekringen kan het vermogen van de Googlebot om alle pagina’s op je website te crawlen beperken.

Als je een grote website hebt, is het belangrijk dat je begrijpt hoe Google die crawlt en welke factoren van invloed zijn op de snelheid waarmee ze dat doen. De impact van crawlen op jouw positie in Google, wordt later besproken.

Laten we eerst eens kijken wat jij kunt doen om Google te helpen jouw website makkelijker te crawlen.

Help Google jouw website te crawlen

De beste manier om Google te helpen je website (vaker) te crawlen is te werken met een duidelijke website navigatie en de juiste signalen.

Maar hoe zorg je daarvoor?

1 | Plaats veel interne links

Zorg dat je via de interne links iedere pagina op je website met elkaar verbindt. Dit helpt Google om pagina’s, die niet direct in je websitemenu staan, ook te vinden. Daarnaast is het gebruiken van interne links sowieso verstandig om te doen, omdat dit ook je website helpt hoger in Google te komen.

2 | Duidelijke website navigatie

Zorg ervoor dat je navigatie gemakkelijk te begrijpen is voor zowel bezoekers als zoekmachines. Een goede navigatie heeft een duidelijke structuur heeft in ieder geval je belangrijkste pagina op je website opgenomen.

3 | Maak een sitemap

Een sitemap is een overzicht van alle pagina’s op je website. Door een sitemap bij Google in te dienen (via de Google Search Console), help je Google om je website gemakkelijker te crawlen. Je kunt een sitemap maken met een xml sitemap generator of bijvoorbeeld een WordPress plug-in.

4 | Maak een robots.txt bestand

Een robots.txt bestand is een tekstbestand dat je in de root (hoofdmap) van je website plaatst. Dit tekstbestand vertelt Google (en andere zoekmachines) welke pagina’s ze wel en niet mogen crawlen op je website.

Als je een sitemap in stap 3 hebt gemaakt, plaats dan de link naar de sitemap in je robots.txt bestand.

5 | Controleer of er crawlfouten zijn

Van tijd tot tijd kan het gebeuren dat Google problemen heeft met het crawlen van je website. Bijvoorbeeld doordat bepaalde pagina’s niet meer bestaan en nu een 404 foutmelding geven.

Zorg dat je regelmatig je website controleert op crawlfouten. Hoe je dit gemakkelijk doet, leg ik je uit in de video.

6 | Plaats regelmatig nieuwe content

Google houdt van content. Als je regelmatig nieuwe content aan je website toevoegt, zal Google dit oppikken en jouw website vaker willen crawlen.

7 | Controleer de laadsnelheid van je pagina’s

Als je pagina’s snel laden, zal Google minder tijd nodig hebben om je pagina te begrijpen en je andere pagina’s te crawlen.

Zie het crawlen een beetje als een soort van elevator pitch. Je krijgt van Google 2 minuten de tijd om jouw complete website te pitchen. Hoe sneller jouw pagina’s laden, hoe minder tijd je opsnoept en hoe meer pagina’s Google in dit tijd zal crawlen.

Het effect van jouw crawlbudget

Hoewel Google het niet bevestigd heeft, merken wij in de praktijk dat bepaalde websites vaker bezocht worden dan andere.

Dit heeft te maken met je crawlbudget. Een soort van portemonnee met daarin wat tijd. Hoe hoger je crawlbudget, hoe meer tijd Google neemt je website te crawlen.

Wil je meer uit je website halen zorg dan dat je via bovenstaande stappen Google helpt je website te crawlen en de juiste signalen geeft om regelmatig terug te komen.

De Google cache

Behalve dat Google je website bezoekt, slaat hij ook een kopie van je pagina’s op in zijn eigen cache.

De cache-versie van een pagina is de versie die Google op zijn servers heeft opgeslagen. Dit is vaak de versie die ook in de zoekresultaten wordt getoond.

Je kunt dit herkennen aan het groene pijltje achter de URL van je website in de zoekresultaten of door cache: en dan de link van de pagina in Google in te vullen.

Bijvoorbeeld:

Om te worden geïndexeerd en te verschijnen in de zoekresultaten van Google, zal je website doorzocht moeten worden door de Googlebot. Dit hele proces heet, zoals je nu inmiddels wel weet, crawlen.

Door te kijken naar de cacheresutaten van een bepaalde pagina, kun je achterhalen wanneer Google voor de laatste keer deze pagina gecrawld heeft.

Ligt deze datum ver in het verleden dan weet je dat Google je website niet vaak crawlt en er werk aan de winkel is.

Ga ervoor!

Het is je helder wat crawlen inhoudt en waarom dit belangrijk is om je positie in de zoekresultaten te verbeteren. Vind je het toch nog lastig, heb je nog vragen of wil je dat wij met je meekijken? Neem contact op.

Wil jij je tijd liever stoppen in wat écht belangrijk is voor jouw bedrijf? Je hebt een keuze:

SEO uitbesteden.

Open de marketingkluis​
Ga viraal op social media, adverteer met centen i.p.v. euro's en ontvang de beste online marketing technieken.
Inhoud van artikel
Over de auteur

Sebastiaan begint zijn ondernemers carrière (2009) tijdens zijn studie psychologie. Als eigenaar van een studiekeuzeadviesbureau leert hij dat zijn kennis van de psychologie en het brein van jouw klanten enorm handig is binnen de online marketing. 

Dankzij slimme online marketing technieken laat hij het bedrijf razendsnel groeien tot uiteindelijk meerdere locaties door heel Nederland. 

De exacte strategie dat hij heeft gebruikt om zo hard te kunnen groeien, legt hij je stap voor stap uit in het 4-staps klantenplan

Internet-Marketing-Gemak-Over-Ons-Sebastiaan