Cloudflare introduceert pay-per-crawl: betaalde toegang voor AI
Websites worden tegenwoordig niet alleen bezocht door mensen, maar ook door AI-crawlers die in stilte content verzamelen om hun modellen te voeden. Ze lezen, kopiëren en verwerken teksten zonder melding of toestemming, vaak zonder dat daar iets tegenover staat. Cloudflare vindt dat dat anders kan. Met een nieuw systeem genaamd pay-per-crawl krijgen makers de controle terug.
Wat is pay-per-crawl?
Cloudflare, een technologiebedrijf dat internetbeveiliging, prestaties en betrouwbaarheid verbetert, introduceert een systeem waarbij AI-crawlers zoals GPTBot van OpenAI moeten betalen voor toegang tot jouw content. Website-eigenaren bepalen zelf of ze crawlers toegang geven, crawlers blokkeren of juist geld vragen voor toegang tot hun content.
De techniek achter dit systeem maakt gebruik van een zelden gebruikte statuscode: HTTP 402 (Payment Required). Cloudflare faciliteert de betaling en stuurt de opbrengst door naar de eigenaar van de site. Zo ontstaat een model waarin digitale content financieel erkend wordt, niet alleen door gebruikers, maar ook door machines.
Waarom is dit relevant voor marketeers?
Als je werkt aan merkversterking via content, of dat nu is voor je eigen bedrijf, een klant of een campagne, dan is zichtbaarheid essentieel. Maar de verhouding tussen AI-verkeer en echte bezoekers wordt steeds schever. Cloudflare geeft aan dat Google’s verhouding tussen crawls en bezoekers in een half jaar tijd verschoof van 6:1 naar 18:1.
Met andere woorden: je site wordt veel vaker gescand dan daadwerkelijk bezocht. Je waardevolle inzichten worden dus wel verwerkt in modellen, maar leveren je geen leads, geen views en geen impact op. Pay-per-crawl is een alternatief dat wel recht doet aan jouw investering in content.
Niet alleen voor grote bedrijven
Grote namen zoals The Atlantic, Condé Nast en The Associated Press doen al mee met Cloudflare’s programma. Maar dit systeem is niet exclusief bedoeld voor mediareuzen. Ook ondernemers, consultants, bureaus en opleiders met een eigen domein kunnen profiteren. Heb je een contentstrategie waarin blogs, whitepapers of inzichten centraal staan? Dan is dit voor jou. Je bepaalt zelf welke AI-agents toegang krijgen, en onder welke voorwaarden.
AI en het content-ecosysteem
Cloudflare’s initiatief valt onder een bredere ontwikkeling: de verschuiving van het internet als ‘publieke bron’ naar een ecosysteem waarin contentmakers hun waarde terugkrijgen. Denk aan een toekomst waarin AI-assistenten toegang kopen tot afgeschermde content, op basis van vraag, relevantie en meerwaarde.
Een simpele vraag aan je AI-agent (Bijvoorbeeld: “Wat is de ROI van contentmarketing in B2B?”) kan dan leiden tot een microbetaling aan een expertblog die het antwoord biedt. Pay-per-crawl legt de technische basis voor zo’n systeem.
Wat kun je nu doen?
Momenteel bevindt het systeem zich nog in een gesloten bètafase. Maar het is verstandig om nu al na te denken over je contentbeleid ten opzichte van AI. Wat wil je delen? Wat wil je beschermen? Onder welke voorwaarden mag jouw expertise worden hergebruikt? Als je Cloudflare al gebruikt, wat veel sites doen vanwege DDoS-bescherming en performance-optimalisatie, kun je straks relatief eenvoudig instellen hoe jij met AI-crawlers omgaat.
Of AI-bedrijven straks ook echt gaan betalen, valt nog te bezien. Maar het signaal is duidelijk: content is geen gratis brandstof voor algoritmes. Als maker heb je recht op controle en wellicht ook op een vergoeding. Cloudflare’s pay-per-crawl is daarin een veelbelovende stap richting balans tussen gebruik en waarde.
Maak iedere week een sprong vooruit in je marketing AI transformatie
Elke vrijdag brengen wij je de meest actuele inzichten, nieuws en praktijkvoorbeelden over de impact van AI in de marketingwereld. Of je nu je marketing efficiency wilt verbeteren, klantbetrokkenheid wilt verhogen, je marketingstrategie wilt aanscherpen of je bedrijf digitaal wilt transformeren. ‘Marketing AI Friday’ is jouw wekelijkse gids.
Meld je gratis aan voor Marketing AI Friday.
