Wat is Google Crawlen en Hoe Verhoog je Jouw Crawlbudget?

Laat Google je website crawlen! Nu!

Wil je een zoekmachine vriendelijke website? Zorg dan dat Google je website goed kan crawlen.

In dit artikel leer je alles wat jij moet weten over het crawlen van je website en ik leer je een belangrijk bestand te maken waarmee je Google precies zegt wat het moet doen.

Wat is Google Crawlen?

Crawlen is het doorzoeken van een website door een spider, of robot, van een zoekmachine.

Zoekmachines moeten jouw website (kunnen) crawlen om deze te indexeren.

Een goede positie in Google krijg je dus alleen wanneer je Google helpt jouw website te begrijpen. En dat begrijpen doet Google door te crawlen. Voor het crawlen en het beter indexeren door Google gebruik ik de SEO MP Methode.

Wanneer Google jouw website bezoekt, zal de robot door het volgen van alle interne links alle pagina’s van het domein bezoeken en indexeren. Het is dus verstandig een goede linkstructuur te maken.

Verder kun je Google helpen met het crawlen door een sitemap op jouw website te plaatsen. Google biedt in de webmaster tools een functie om een sitemap toe te voegen. Daarover vertel ik je straks wat meer.

Hoe vaak crawlt Google het web?

De spiders van Google crawlen regelmatig het web om de index opnieuw samen te stellen. Hoe vaak Google een website crawlt hangt af van bepaalde factoren, waaronder pagerank, links naar een pagina en crawlbeperkingen.

De crawlprocedure is algoritmisch bepaald. Programma’s van Google bepalen welke sites worden gecrawld, hoe vaak dat gebeurt en hoeveel pagina’s van elke website worden opgehaald.

Crawlbeperkingen in je robots.txt

Met een robots.txt kun je de toegang tot het crawlen van je website beperken. De robots die op je website komen gaan als eerst op zoek naar het robotst.txt bestand. Dit bestand fungeert als handleiding.

Waar mag de robot wel komen, en vooral ook, waar niet?

Heb jij bepaalde informatie op je website staan, bijvoorbeeld een downloadpagina van een e-book, die je liever niet direct beschikbaar stelt aan je bezoekers? Blokkeer deze pagina dan voor Google in je robotst.txt

Een Robots.txt bestand maken

In deze video leg ik je uit hoe je een robots.txt bestand maakt plus een techniek die zelfs de SEO experts vergeten!

Wat heeft het crawlen met een goede positie in Google te maken?

Zoekmachines moeten jouw website crawlen om deze te indexeren.

Een goede positie in Google krijg je dus alleen wanneer je Google helpt jouw website te begrijpen. En dat begrijpen doet Google door te crawlen.

Helaas crawlt Google niet zomaar al jouw webpagina’s. Google bepaalt door het crawlbudget hoe lang het de tijd neemt om jouw website te crawlen. Hoe hoger je budget, hoe langer Google de tijd neemt.

In de Google webmaster tools is er een speciale crawl categorie aangemaakt. In deze categorie vind je functies die je meer vertellen over eventuele crawlfouten, statistieken en sitemaps. Je doet er verstandig aan deze categorie eens in de zoveel tijd te bekijken. Zo ben je altijd op de hoogte van eventuele crawlfouten en problemen met je sitemap.

Waarom je geen crawlfouten wilt hebben

Een crawlfout ontstaat wanneer Google het niet is gelukt om jouw webpagina te crawlen. Wellicht klinkt dit wat technisch, maar wij als bezoekers lopen ook vaak tegen crawlfouten aan.

Een crawlfout is niets meer dan een gebroken link. Kom jij op een gebroken link terecht, dan zie jij dat als bezoeker vaak als een 404 foutmelding: oftewel, de pagina is niet gevonden.

Als je website veel crawlfouten geeft dan kan dit in de ogen van Google betekenen dat jij je website niet netjes onderhoudt. Naast dat dit een verkeerd signaal afgeeft, heeft het nog twee andere belangrijke nadelen:

  • Het crawlbudget gaat op aan verkeerde pagina’s.
  • Je verliest belangrijke linkwaarde.

Het crawlbudget gaat op aan verkeerde pagina’s

Controleer je website regelmatig op crawlfouten. Als Google maar beperkt de tijd neemt om al jouw webpagina’s te crawlen dan wil je niet dat die tijd opgaat aan pagina’s die niet meer bestaan.

Stuit je op een crawlfout? Los deze dan gemakkelijk op via een redirect plugin of via je htacces bestand.

Hoe los je crawlfouten op?

Ga allereerst na of je website crawlfouten heeft. Dit doe je door in te loggen op je Google webmasters account en te klikken op crawlen>crawlfouten

Crawlfouten

Als je een crawlfout hebt gevonden los deze dan op via een 301 redirect.

Een crawlfout oplossen via een 301 redirect

Als je een CMS gebruikt, zoals bijvoorbeeld Joomla of WordPress dan zijn er verschillende plugins beschikbaar die je helpen bij het instellen van de 301 redirects. Gebruik je liever geen plugin of ben je niet in het bezit van een CMS dan kun je de volgende instructie gebruiken:

  1. Open je .htaccess bestand
  2. Gebruik 301 /foute-url http://www.dejuistewebpagina.nl/nieuw
  3. Sla je .htaccess bestand op
  4. Test de 301 redirect

Je verliest belangrijke linkwaarde

Elke pagina op het internet bouwt waarde op. Deze waarde wordt op verschillende manieren uitgedrukt. Vroeger hadden we de pagerank, tegenwoordig wordt er meer gekeken naar de pagina autoriteit en domein autoriteit.

De pagina autoriteit zegt wat over de waarde die een webpagina heeft opgebouwd en de domein autoriteit geeft de waarde van de complete website weer.

Het is goed mogelijk dat er een crawlfout is ontstaan op een webpagina die al waarde heeft opgebouwd. Deze waarde gaat op dat moment verloren. Via een 301 redirect kun je dit probleem oplossen en de waarde doorspelen naar een vervangende pagina.

Hoger in Google? Zorg dat Google je website crawlt!

Wil je meer uit je website halen, besteed dan voldoende aandacht aan de Googlebot optimalisatie. Om te worden geïndexeerd en te verschijnen in de zoekresultaten van Google, zal je website doorzocht moeten worden door de Googlebot. Dit hele proces heet, zoals je nu inmiddels wel weet, crawlen.

Houd de crawlstatistieken in de gaten en los op tijd eventuele crawlfouten op en bekijk welk resultaat het heeft op je positie in Google.

Ben jij er klaar voor of heb je toch nog vragen? Wij horen graag van je!

Plaats een reactie

Begrippen Content Marketing Google Adwords
pakkende-titel
Wat 150.000 Titels ons geleerd hebben over een Pakkende Titel
Online Marketing Strategie
De Online Marketing Strategie voor meer klanten – 7 handige stappen
Keyword Analyse – Kies de Beste Zoekwoorden En Kom Bovenaan in Google
Linkbuilden
Long Tail Keywords Voor Een Hogere Positie In Google
8 SEO-tips voor een vindbare website in 2017
Keyword Analyse – Kies de Beste Zoekwoorden En Kom Bovenaan in Google
Neuromarketing
Hoe belangrijk is taalgebruik voor jouw webteksten?
Overtuig met een goed frame
Wat is framing? Maak een frame dat overtuigt.
Hersendelen-Marketing
3 Verschillende Breinen en Het Effect op Jouw Omzet
LinkedIn Twitter
Hoe werkt facebook? 6 tips hoe je jouw zakelijke Facebook pagina het best in kunt zetten!
Hoe-werkt-twitter-effectiever
Hoe Werkt Twitter en Hoe Zorg je Voor Meer Betrokkenheid?
Definitie Social Media
De Definitie van Social Media en Hoe jij er Succesvol Mee Omgaat