SEOInformatie.nl

Home / Crawlbudget optimaliseren: crawling bij grote websites

Crawlbudget optimaliseren: crawling bij grote websites

Onderzoek hoe crawlers je website bezoeken, herken verspilling door onnodige URL’s en verbeter de ontdekking van belangrijke pagina’s.

Technische SEO

1.253 woorden · circa 6 minuten leestijd

Wat is crawlbudget en voor welke websites is het relevant?

Crawlbudget is een begrip dat wordt gebruikt om te beschrijven hoeveel crawling een zoekmachine op een website kan en wil uitvoeren. Bij Google speelt zowel de beschikbare crawlcapaciteit als de behoefte om documenten opnieuw op te vragen een rol. Het is dus geen vast tegoed dat een beheerder dagelijks kan verdelen over een zelfgekozen aantal pagina’s.

Voor een kleine bedrijfswebsite met enkele tientallen stabiele documenten is het doorgaans belangrijker om de bereikbaarheid, interne links en inhoud te controleren dan om uitgebreid aan crawlbudget te werken. Een grote webshop met veel veranderende producten, een publicatieplatform met omvangrijke archieven of een website met talloze filtercombinaties kan wel te maken krijgen met een situatie waarin belangrijke adressen onvoldoende snel worden ontdekt of opnieuw bezocht.

Begin daarom met een concrete aanleiding. Misschien worden nieuwe artikelen nauwelijks opgehaald, terwijl serverlogboeken veel verzoeken naar tijdelijke sorteeradressen tonen. Of een applicatie produceert onbedoeld steeds nieuwe combinaties waar dezelfde informatie beschikbaar is. Onderzoek eerst of er daadwerkelijk zo’n patroon bestaat. De gids over website-indexering controleren helpt het verschil tussen crawling en opname in een zoekindex vast te stellen. Een pagina die regelmatig wordt bezocht door een crawler, hoeft immers niet daadwerkelijk geïndexeerd te worden.

Breng het beoogde URL-aanbod in kaart

Maak een overzicht van de zelfstandige openbare bestemmingen. Gebruik daarbij gegevens uit het CMS, sitemaps en een beperkte inventarisatie van de normale navigatie. Noteer niet alleen de hoeveelheid pagina’s, maar ook hoe vaak verschillende documenttypen worden gewijzigd. Een nieuwsoverzicht kan dagelijks veranderen, terwijl een technisch naslagwerk langere tijd gelijk blijft.

Bekijk daarnaast welke andere adressen een gewone bezoeker kan opvragen. Interne zoekfuncties, filters, sorteeropties en campagneparameters kunnen veel aanvullende URL’s opleveren. De aanwezigheid van zulke functies is niet automatisch problematisch. Een webshop moet klanten bijvoorbeeld de mogelijkheid bieden om producten op eigenschappen te selecteren. Het gaat erom welke combinaties daadwerkelijk als zelfstandige bestemmingen zijn bedoeld.

Maak per type adres een beslissing over bereikbaarheid, ontdekking en gewenste indexering. Een zorgvuldig samengestelde selectie van producten met eigen relevante informatie kan een zelfstandige categorie vormen. Een willekeurige tijdelijke sortering van dezelfde collectie hoeft doorgaans geen aparte zoekbestemming te worden. De afzonderlijke handleiding over webshopfilters en indexering biedt hiervoor een praktisch kader.

Controleer of het werkelijke URL-aanbod overeenkomt met deze keuzes. Soms ontstaan onbedoelde routes doordat parameters in verschillende volgordes mogen voorkomen of doordat een kalenderfunctie steeds nieuwe perioden kan genereren. Een overzicht van de bedoelde structuur geeft je een referentie waarmee je dergelijke afwijkingen kunt onderzoeken.

Onderzoek crawlactiviteit met rapporten en servergegevens

Gebruik beschikbare zoekmachinerapporten om een eerste beeld van het crawlgedrag te krijgen. Google Search Console biedt voor geschikte properties een rapport over crawlstatistieken. Daarin kunnen onder andere aantallen verzoeken, responsen en andere technische kenmerken worden weergegeven. Bekijk de betekenis van de getoonde gegevens en houd rekening met de omvang en periode van het rapport.

Serverlogboeken kunnen aanvullende details bevatten over ontvangen verzoeken. Maak bij gebruik daarvan onderscheid tussen menselijke bezoekers, verschillende automatische systemen en interne controles. Een user-agent die beweert van een bekende zoekmachine te komen, vormt op zichzelf geen bewijs van die identiteit. Gebruik wanneer nodig de officiële verificatiemethode van de betreffende crawler.

Groepeer de relevante verzoeken vervolgens naar documenttype. Vergelijk bijvoorbeeld artikelen, productpagina’s, filters, bestanden en onbekende routes. Onderzoek welke groepen veel aandacht krijgen en of dat overeenkomt met hun functie. Een hoog aantal verzoeken naar afbeeldingen of scripts is niet automatisch verspilling wanneer die middelen noodzakelijk zijn om de openbare inhoud te verwerken.

Behandel loggegevens zorgvuldig. Zij kunnen persoonsgegevens en vertrouwelijke technische details bevatten. Verzamel alleen wat nodig is voor het onderzoek, beperk toegang en bewaar gegevens niet langer dan passend is. Voor een geaggregeerd rapport over veelvoorkomende responsen is het meestal niet nodig om volledige individuele bezoekgeschiedenissen te kopiëren.

Beperk onbedoelde ontdekking aan de bron

Controleer de onderdelen die nieuwe links produceren. Een fout in een filtertemplate kan bijvoorbeeld op iedere pagina verwijzingen naar vele nieuwe combinaties genereren. Een herstel van die generator voorkomt dat gewone navigatie voortdurend nieuwe ongewenste adressen introduceert. Dat kan veel nuttiger zijn dan achteraf ieder gevonden adres afzonderlijk behandelen.

Maak de normale links consistent. Verwijs rechtstreeks naar de gewenste URL, gebruik een stabiele schrijfwijze en voorkom dat iedere interne bestemming willekeurige meetparameters ontvangt. Controleer of de XML-sitemap alleen adressen bevat die als zelfstandige openbare bestemmingen bedoeld zijn. De gids over XML-sitemaps maken legt uit hoe je die verzameling opbouwt.

Gebruik indexerings- en crawlregels vanuit hun eigen functie. Een canonical geeft een voorkeursversie aan, maar voorkomt niet noodzakelijk dat een alternatieve route wordt opgehaald. Een noindex-instructie moet doorgaans gelezen kunnen worden om te worden verwerkt. Een robots.txt-blokkade beperkt het ophalen van toepasselijke routes, maar garandeert niet dat een bekend adres nooit in een zoekresultaat verschijnt.

Laat belangrijke openbare bestanden bereikbaar wanneer zij noodzakelijk zijn om de pagina te interpreteren. Brede blokkades kunnen onbedoeld ook nuttige documenten of benodigde scripts treffen. Test daarom iedere wijziging op representatieve routes. Raadpleeg de robots.txt-handleiding voor het onderscheid tussen toegangsregels en indexeringssignalen. Bescherm afgeschermde gegevens met daadwerkelijke authenticatie, niet met een crawlregel.

Onderzoek servercapaciteit en terugkerende fouten

Een server die regelmatig overbelast raakt, kan openbare documenten minder betrouwbaar leveren. Onderzoek of belangrijke pagina’s structureel traag antwoorden of terugkerende serverfouten produceren. Vergelijk het tijdstip van afwijkingen met beschikbare infrastructuurgegevens. Een enkel incident is onvoldoende om een algemene capaciteitsbeperking vast te stellen.

Verbeter de onderliggende verwerking wanneer een concrete oorzaak zichtbaar wordt. Mogelijk wordt een dure databasequery bij ieder verzoek herhaald of wordt voor dezelfde openbare informatie telkens een omvangrijke berekening uitgevoerd. Passend cachebeheer kan in bepaalde situaties helpen, zolang gebruikers geen persoonlijke of afgeschermde informatie van anderen ontvangen.

Maak ook onderscheid tussen een legitieme verzoekbeperking en een onbedoelde blokkade van normaal zoekmachineverkeer. Onderzoek daarom de betreffende configuratie voordat je beveiligingsmaatregelen wijzigt. Een website hoeft niet onbeperkt ieder willekeurig verzoek te beantwoorden om vindbaar te zijn. Behoud een betrouwbaar evenwicht tussen beschikbaarheid en veiligheid.

Gebruik de gids over HTTP-statuscodes om verschillende responsen te beoordelen. Kijk na een aanpassing of de relevante pagina’s stabiel bereikbaar blijven. Een technische verbetering hoort niet alleen een betere meting op één testadres op te leveren, maar ook de normale werking van het betreffende paginatype te ondersteunen.

Meet gericht of belangrijke bestemmingen beter worden ontdekt

Leg vooraf vast welk probleem je wilt verminderen. Dat kan een ongewoon groot aantal verzoeken naar overbodige routes zijn, of een langdurige vertraging tussen de publicatie en de eerste waargenomen crawl van belangrijke documenten. Kies een meetperiode die bij het publicatieritme van de website past.

Vergelijk resultaten na een wijziging met de eerdere situatie. Houd rekening met andere ontwikkelingen zoals een nieuwe collectie, een migratie of een veranderde hoeveelheid gepubliceerde inhoud. Minder crawlverzoeken zijn niet automatisch een verbetering wanneer daardoor ook belangrijke pagina’s niet meer worden ontdekt. Meer verzoeken vormen evenmin zelfstandig bewijs van betere zoekprestaties.

Onderzoek steekproefsgewijs of nieuwe documenten via de normale navigatie bereikbaar zijn en in de gewenste sitemap verschijnen. Gebruik waar passend de beschikbare URL-inspectie. Blijf het onderscheid tussen ontdekking, crawling en daadwerkelijke indexering bewaken.

Crawlbudgetbeheer is vooral nuttig wanneer een aantoonbaar grootschalig probleem moet worden opgelost. Een zorgvuldig onderhouden URL-structuur, bruikbare interne links en een stabiele server vormen ook voor kleinere websites een goede basis. Daarmee maak je de openbare informatie bereikbaar zonder iedere denkbare route kunstmatig beschikbaar te houden.

Stel dat een fictief platform dagelijks vijftig nieuwe artikelen publiceert en tegelijkertijd duizenden kalenderadressen genereert waarop geen informatie staat. De beheerder kan eerst de kalendernavigatie onderzoeken en de onbedoelde routes aanpakken. Daarna vergelijkt hij de ontdekking van nieuwe artikelen met het eerdere patroon. Dit voorbeeld illustreert waarom een duidelijk afgebakende oorzaak en een passende meetvraag belangrijker zijn dan een algemene doelstelling om het aantal crawlverzoeken te verhogen.

Direct toepassen

Robots.txt-checker

Bekijk regels, user-agents en sitemapverwijzingen.

Start Robots.txt-checker →

Verder lezen in dit onderwerp

Technische SEO: complete handleiding voor je website →

XML-sitemap maken: volledige uitleg en controle →

Robots.txt: complete handleiding voor crawlregels →