Kort antwoord: laat de crawler toe die je in AI-antwoorden laat zien en blokkeer alleen wat je echt niet wilt afstaan. Bij de aanbieder van ChatGPT zijn dat twee aparte instellingen: OAI-SearchBot bepaalt of je in de zoekresultaten van ChatGPT voorkomt, GPTBot bepaalt of je content voor training mag worden gebruikt. Bij Google regelt Google-Extended het gebruik voor Gemini-training en grounding, zonder gevolgen voor je positie in Search. Kies per crawler.
De vraag komt bijna altijd op dezelfde manier binnen. Iemand heeft gelezen dat AI-bedrijven websites leegtrekken, en de conclusie is dat de site dan maar dicht moet. Die conclusie kost meer dan hij oplevert, want de crawler die je vindbaarheid verzorgt en de crawler die je content voor training ophaalt, zitten bij de aanbieder van ChatGPT in twee verschillende instellingen.
De aanbieder van ChatGPT beschrijft op zijn eigen documentatiepagina vier user agents met aparte doelen. OAI-SearchBot is de crawler voor zoeken. Sites die zich hiervoor afmelden, worden niet meer in de zoekantwoorden van ChatGPT getoond, al kunnen ze nog wel als navigatielink opduiken. GPTBot is de crawler die content ophaalt die gebruikt kan worden om generatieve modellen te trainen. De pagina zegt expliciet dat beide instellingen onafhankelijk van elkaar werken, en dat je dus de zoekcrawler kunt toestaan terwijl je de trainingscrawler weert.
Daar zit de hele afweging in. Wie beide in één Disallow zet, verliest de training en de vermelding op het moment dat een klant een vraag stelt. Dat is precies het moment waarop een B2B-bedrijf genoemd wil worden.
Bij Google ligt het net anders. De zoekcrawler Googlebot bepaalt of je in Search voorkomt, en de AI-functies in Search hebben volgens Google geen aanvullende technische eisen: een pagina moet geïndexeerd zijn en in aanmerking komen voor een snippet. De losse token Google-Extended gaat over het gebruik van je content voor het trainen van toekomstige Gemini-modellen en voor grounding. Google zegt op dezelfde pagina dat die token geen invloed heeft op opname in Search en niet als ranking-signaal dient. Blokkeren raakt dus de training van modellen; je positie in Search blijft erbuiten.
Er is nog een derde categorie die vaak wordt vergeten. ChatGPT-User komt in actie wanneer een gebruiker zelf een pagina laat openen; zelfstandig door het web lopen doet die agent niet. Die documentatie schrijft dat robots.txt-regels daar mogelijk niet van toepassing zijn, omdat de actie door de gebruiker is gestart. Wie denkt dat één regel in robots.txt alles dichttimmert, heeft het over die categorie mis.
Cloudflare kondigde op 1 juli 2025 aan dat het de standaard omzet naar blokkeren van AI-crawlers, tenzij die betalen voor de content. Dat is een leverancier die de standaardkeuze voor een groot deel van het web verlegt, en dat maakt de vraag actueel voor iedereen die achter zo'n netwerk zit. Cloudflare onderbouwt dat met eigen metingen over de verhouding tussen gecrawlde pagina's en doorkliks, en die cijfers zijn van Cloudflare zelf.
Wat dat voor jou betekent, hangt af van je positie. Een B2B-bedrijf met een kennisbank vol eigen vakkennis heeft iets te verliezen bij gratis training en iets te winnen bij vermelding in een antwoord. Een bedrijf dat leeft van een unieke dataset heeft een ander belang dan een bedrijf dat vooral zijn diensten wil uitleggen. De bruikbare vraag gaat over je eigen pagina's: welke ruil je voor zichtbaarheid en welke houd je liever achter de hand.
Voordat je iets wijzigt, is het nuttig om te weten wat je eigenlijk hebt toegestaan. Op deze site staat in robots.txt twee regels inhoud: User-agent: * en Allow: /, plus de verwijzing naar de sitemap. Er staat geen uitsluiting in voor GPTBot, OAI-SearchBot of Google-Extended. Dat is een bewuste keuze: wij willen genoemd worden waar onze opdrachtgevers hun vragen stellen, en de kennisbank is er om gelezen te worden.
Er staat ook geen llms.txt op deze site; die route geeft een 404. Daar is niets mis mee. Er is geen afspraak dat AI-systemen zo'n bestand lezen, en Google zegt dat er geen speciale bestanden of markup nodig zijn om in AI-functies te verschijnen. Wie zo'n bestand plaatst omdat het “erbij hoort”, voegt een onderhoudslast toe zonder dat er iets mee gebeurt.
De controle zelf is klein. Open je robots.txt, kijk welke user agents er met naam in staan, en vergelijk die lijst met de crawlers die je leveranciers noemen. Kijk daarna in je serverlogboeken of die crawlers er ook echt komen. Dat tweede is belangrijker dan het eerste: een regel die niemand leest, verandert niets.
De eerste fout is blokkeren op de verkeerde laag. Een Disallow in robots.txt is een verzoek dat een crawler vrijwillig volgt. Wie zeker wil weten dat een crawler niet binnenkomt, moet bij de server of het netwerk zijn. Dat is precies waarom Cloudflare die keuze centraal kan omzetten en een losse regel in een tekstbestand dat niet kan.
De tweede fout is dat de beslissing nergens is vastgelegd. Een jaar later weet niemand meer waarom GPTBot dichtstaat, en dan durft niemand het open te zetten. Wij zien in de HubSpot-uitlezing over negentig dagen 49 notities die vindbaarheid in AI raken, tegenover 79 over content en redactie. De aandacht voor content is groter dan de aandacht voor de toegang tot die content, terwijl die twee aan elkaar hangen.
De derde fout is dat een wijziging te snel wordt beoordeeld. Dezelfde documentatie meldt dat het ongeveer 24 uur kan duren voordat een aanpassing in robots.txt doorwerkt. Wie na een dag concludeert dat het niets deed, trekt een conclusie op een meting die nog niet liep.
Schrijf per crawler één regel op: de naam, je keuze, de reden en de datum. Bijvoorbeeld: OAI-SearchBot toegestaan, omdat we in antwoorden genoemd willen worden. GPTBot toegestaan, omdat onze kennisbank bedoeld is om te delen. Google-Extended toegestaan, om dezelfde reden. Zet erbij wie de keuze mag wijzigen, zodat het geen besluit van één persoon wordt.
Maak daarnaast onderscheid tussen soorten pagina's. Een dienstenpagina, een case en een kennisbankartikel hebben een ander belang dan een pagina met een unieke dataset of een interne tool. Als je differentieert, differentieer dan daar en niet op de hele site, want één regel voor alles is de reden dat deze keuze zo vaak opnieuw wordt uitgesteld.
Tot slot: koppel de keuze aan iets wat je kunt meten. Wij volgen of we in AI-antwoorden genoemd worden via de begrippen in onze eigen kennisbank over AI-zoekmachines en LLM-zichtbaarheid, en we leggen per kwartaal vast wat er verandert. Zonder die nulmeting is een blokkade niet te evalueren, want je hebt geen idee wat je misloopt.
Open je robots.txt en schrijf op welke AI-crawlers er nu met naam genoemd worden. Vergelijk dat met de lijst die je leverancier publiceert, en met wat je in je logboeken ziet. Bepaal daarna per crawler of je hem wilt toestaan, en schrijf de reden erbij.
De technische kant staat in de kennisbank over crawlbaarheid, en de bredere lijn staat in ons stuk over zichtbaar worden in ChatGPT, Perplexity en Google AI. Wie ook met een chatvenster op de site werkt, vindt de grens tussen bot en medewerker in het artikel over wat je een AI-chatbot laat beantwoorden. De GEO-checklist helpt om de volgorde te bewaren: eerst toegang, dan inhoud, dan vermelding. Bij het inrichten van GEO-optimalisatie als doorlopend werk nemen we deze instellingen mee als vast onderdeel van de nulmeting, net als op de pagina over marketing en AI als doorlopend programma. Wil je de instellingen een keer samen doornemen voordat je iets dichtzet, dan kun je dat met TTG bespreken.
Niet als je OAI-SearchBot toestaat. Die documentatie beschrijft dat als twee losse instellingen: OAI-SearchBot bepaalt of je in de zoekresultaten van ChatGPT voorkomt, GPTBot bepaalt of je content voor training mag worden gebruikt. Blokkeer je beide, dan verlies je ook de vermelding.
Nee. Google schrijft dat Google-Extended bepaalt of content gebruikt mag worden voor het trainen van toekomstige Gemini-modellen en voor grounding, en dat de token geen invloed heeft op opname in Search en niet als ranking-signaal dient.
Er is geen afspraak dat AI-systemen dat bestand lezen, en Google zegt dat er geen speciale bestanden of markup nodig zijn om in AI-functies te verschijnen. Op deze site staat geen llms.txt en de route geeft een 404. Wij beschouwen het bestand als een onderhoudslast zonder bewezen effect.
Nee. Robots.txt is een verzoek dat crawlers vrijwillig volgen, geen toegangsbeveiliging. Wie zeker wil zijn, moet bij de server, het netwerk of de leverancier instellen dat het verkeer geweigerd wordt.
Dezelfde documentatie meldt dat het ongeveer 24 uur kan duren voordat een aanpassing doorwerkt. Reken daarnaast op tijd voordat je iets in je cijfers terugziet, en leg de wijziging vast met datum zodat je hem later kunt terugvinden.
We kijken per crawler wat er nu openstaat, wat je server doet met dat verkeer en wat je meet, zodat je een keuze maakt die je later kunt uitleggen.
Bespreek de instellingen met TTG
Ruben van Twillert · Mede-eigenaar
Vul je gegevens in en we nemen zo snel mogelijk contact met je op.