Wat regelt een robots.txt-bestand?
Een robots.txt-bestand bevat aanwijzingen voor automatische bezoekers van een website. Het staat op het hoofdniveau van de host waarop de website bereikbaar is. Een zoekrobot kan het document lezen voordat hij andere bronnen opvraagt. Met de regels kan een beheerder aangeven welke gedeelten van de website voor een bepaalde robot toegankelijk zijn en welke gedeelten niet moeten worden bezocht.
Robots.txt is vooral nuttig voor het beheren van verzoeken aan een website. Een grote webshop kan bijvoorbeeld zeer veel URL’s produceren bij het combineren van filters of het wijzigen van sorteeropties. Wanneer die combinaties geen zelfstandige zoekbestemming vormen, kan het beperken van bepaalde crawlpatronen helpen om onnodige verzoeken te verminderen. Er moet dan wel goed worden onderzocht welke URL’s ook voor bezoekers of voor normale ontdekking van producten nodig zijn.
Het bestand is geen algemene lijst met pagina’s die wel of niet in zoekresultaten mogen staan. Die verwarring leidt regelmatig tot verkeerde instellingen. Bepaal daarom eerst welk gedrag je wilt bereiken voordat je een nieuwe regel toevoegt.
De juiste locatie, host en beschikbaarheid
Een robots.txt-bestand hoort bereikbaar te zijn op het adres dat bestaat uit het protocol, de hostnaam en het pad /robots.txt. Voor een openbare HTTPS-website is dat bijvoorbeeld https://voorbeeld.nl/robots.txt. Een afzonderlijk subdomein kan eigen crawlregels nodig hebben. Regels op het hoofddomein worden niet automatisch toegepast op alle andere hosts die toevallig dezelfde server gebruiken.
Controleer na een verhuizing ook de oude en nieuwe hostnamen. Het kan voorkomen dat de website al is overgezet terwijl een eerdere serverconfiguratie nog een verouderd robots-bestand teruggeeft. Vraag het bestand rechtstreeks op en kijk naar de HTTP-respons en inhoud. Een visuele weergave van een tekstbestand in een browser is op zichzelf niet voldoende om te bevestigen dat de juiste host de verwachte regels aanbiedt.
Behandel robots.txt als een onderdeel van de openbare infrastructuur. Voorkom dat verzoeken worden doorgestuurd naar een HTML-loginpagina, een algemene foutpagina of een dynamisch scherm dat afhankelijk is van cookies. Houd bij wijzigingen rekening met de verwerking en eventuele caching door crawlers; een aangepaste regel is niet noodzakelijk onmiddellijk overal actief.
De betekenis van User-agent, Disallow en Allow
Een User-agent-regel wijst aan voor welke robot of groep robots de daaropvolgende regels bedoeld zijn. Een sterretje wordt gebruikt voor algemene regels. Met Disallow geef je paden aan die de betreffende robot niet hoort op te vragen. Met Allow kun je in geschikte situaties een specifieker toegestaan pad beschrijven. Niet iedere robot ondersteunt alle mogelijke uitbreidingen op dezelfde manier.
Stel dat een fictieve website een interne zoekfunctie heeft op /zoeken. De beheerder kan overwegen om verzoeken naar dat pad voor bepaalde crawlers te beperken. Een regel voor het volledige pad moet echter niet zomaar worden gebruikt wanneer ook openbare informatiepagina’s met dezelfde beginletters bestaan. Kijk daarom naar de exacte routeopbouw en test de werkelijke adressen.
Lege regels verdienen eveneens aandacht. Een lege Disallow-instructie is niet hetzelfde als een regel waarmee de volledige website wordt uitgesloten. Een schuine streep als verboden pad kan juist voor de gehele host gevolgen hebben. Controleer de verschillen zorgvuldig wanneer je bestanden van een ontwikkelomgeving naar een openbare website kopieert. Een configuratie die daar tijdelijk bedoeld was om ontdekking tegen te gaan, kan op productie een ernstig probleem veroorzaken.
Waarom robots.txt geen vervanging is voor noindex
Een crawlverbod vertelt een robot dat een adres niet moet worden opgevraagd. Een noindex-instructie vertelt een ondersteunde zoekmachine dat een opgehaalde bron niet in haar index hoort. De twee maatregelen werken op verschillende momenten in het proces. Dat onderscheid is belangrijk wanneer een al bekende URL uit de zoekresultaten moet verdwijnen.
Een adres kan bekend zijn door externe links, interne verwijzingen of eerdere bezoeken. Wanneer een zoekmachine de pagina vervolgens niet mag ophalen, kan zij niet altijd vaststellen welke indexeringsinstructies op die pagina staan. Een geblokkeerde URL kan daardoor in bepaalde omstandigheden alsnog zonder normale inhoud in zoekresultaten verschijnen.
Gebruik dus niet automatisch een combinatie van Disallow en noindex om zeker te zijn dat een adres verdwijnt. Bekijk welke instructie een crawler moet kunnen lezen en welk resultaat je daadwerkelijk wilt bereiken. Voor een openbaar toegankelijk document dat niet in zoekresultaten hoort, is een ondersteunde indexeringsinstructie vaak toepasselijker. Voor een bron die niemand zonder toestemming mag openen, is echte toegangscontrole nodig. Een robots-bestand is immers openbaar leesbaar en kwaadwillende software hoeft de regels niet te respecteren.
Selecteer regels per paginatype in plaats van per gevoel
Een goede configuratie begint met een inventaris van de website. Deel de URL’s op in inhoudelijke pagina’s, ondersteunende functies, bestanden en adresvarianten. Bepaal vervolgens welke bronnen een crawler moet kunnen ontdekken. Denk ook aan CSS, JavaScript en afbeeldingen die nodig zijn om een pagina goed te begrijpen. Het blokkeren van complete mappen met noodzakelijke middelen kan de verwerking van gewone pagina’s bemoeilijken.
Gebruik bij een webwinkel een overzicht van bestaande filterparameters om te begrijpen hoe het aantal adressen groeit. Een parameter die uitsluitend voor de sorteervolgorde dient, heeft een andere betekenis dan een parameter die een zorgvuldig ingerichte categorie selecteert. Onderzoek of de normale interne links nog steeds naar belangrijke producten leiden wanneer bepaalde combinaties niet meer worden opgehaald.
Bij een gewone informatieve website met enkele tientallen pagina’s is een uitgebreide lijst aan beperkingen vaak niet nodig. Een eenvoudige configuratie die belangrijke inhoud toegankelijk laat en naar de geldige sitemap verwijst, is makkelijker te controleren. Gebruik regels om concrete problemen op te lossen, niet omdat een concurrent een lang robots-bestand heeft of een hulpmiddel automatisch een standaardadvies geeft.
Test vooraf met een kleine maar representatieve URL-lijst
Maak vóór een aanpassing een overzicht van voorbeelden die mogen worden bezocht en voorbeelden die mogelijk moeten worden uitgesloten. Neem de homepage, een belangrijke landingspagina, een artikel, een afbeelding en een pagina met een parameter op. Voeg ook adressen toe die dicht bij de beoogde geblokkeerde route liggen. Zo ontdek je of een regel breder uitpakt dan verwacht.
Controleer welk regelblok van toepassing is op de betreffende crawler. Let bij geavanceerde patronen op verschillen in ondersteuning. Gebruik waar mogelijk een specifieke testtool van de zoekmachine die je probeert te sturen. Een generieke tekstchecker kan de syntaxis en aangetroffen regels tonen, maar is geen garantie dat iedere crawler deze op dezelfde manier interpreteert.
Sla vooraf de huidige versie van het bestand op. Voer de wijziging door en vergelijk de werkelijk aangeboden tekst met het ontwerp. Bij een CMS dat robots.txt dynamisch genereert, is het verstandig na te gaan of een plugin of server aanpassingen overschrijft. Houd een korte lijst met verwachte uitkomsten bij zodat je dezelfde test later na een update opnieuw kunt uitvoeren.
Een ongewenste blokkade onderzoeken
Een onverwachte daling in ontdekking of indexering rechtvaardigt een controle van robots.txt, maar het is niet automatisch de oorzaak. Bekijk eerst op welke pagina’s het probleem optreedt. Wanneer vooral één nieuw gedeelte niet wordt ontdekt, kan de route van dat onderdeel afwijken van de oudere URL’s. Vergelijk de toegangsregels met de werkelijk gepubliceerde adressen.
Controleer vervolgens de status van een getroffen voorbeeld en de aanwezigheid van interne links. Een serververbod, foutieve redirect of tijdelijke storing kan ook tot een onbereikbare pagina leiden. Kijk naar zoekmachinerapporten en, indien beschikbaar, betrouwbare serverlogs om te begrijpen of de betreffende URL is opgevraagd. Houd rekening met het verschil tussen een recente live test en gegevens die eerder zijn verzameld.
Verwijder een foutieve regel pas nadat duidelijk is dat deze niet bedoeld is voor een andere belangrijke functie. Test daarna opnieuw de bereikbaarheid van representatieve pagina’s. Controleer later ook of de zoekmachine haar gegevens heeft bijgewerkt. Het publiceren van een nieuw robots-bestand is slechts de eerste stap; de verwerking van eerder verzamelde informatie kan tijd kosten.
Robots.txt onderhouden na publicatie
Leg vast waarom iedere niet-triviale regel bestaat en wie verantwoordelijk is voor wijzigingen. Vermeld wanneer het beleid is ingesteld, welke URL-patronen het betreft en welke uitzonderingen noodzakelijk zijn. Dit voorkomt dat een nieuwe beheerder een regel verwijdert omdat het doel ervan niet meer duidelijk is. Gebruik versiebeheer of bewaar gedateerde kopieën buiten het openbare webgedeelte.
Controleer na een redesign, domeinmigratie of wijziging van de URL-router opnieuw of de regels aansluiten op het nieuwe aanbod. Besteed speciale aandacht aan nieuwe subdomeinen, filterfuncties en ontwikkelomgevingen. Een sitemapverwijzing moet naar de definitieve en bereikbare XML-versie leiden. De URL’s in dat overzicht horen niet structureel in strijd te zijn met het gewenste openbare crawlbeleid.
Met de robots.txt-checker op SEOInformatie.nl kun je aangetroffen regels en sitemapverwijzingen bekijken. Combineer die controle met een individuele indexeerbaarheidscheck voor belangrijke openbare pagina’s. Gebruik de resultaten als aanwijzingen voor verder onderzoek en niet als een automatische beslissing over wat zoekmachines wel of niet zullen opnemen.
Direct toepassen
Robots.txt-checker
Bekijk regels, user-agents en sitemapverwijzingen.
Start Robots.txt-checker →Verder lezen in dit onderwerp
Technische SEO: complete handleiding voor je website →
XML-sitemap maken: volledige uitleg en controle →
Canonical URL instellen: dubbele URL’s en voorkeursversies →