De internetbeheerder experimenteert met tools die sites toelaten om zogeheten ‘AI crawlers’ automatisch aan te rekenen voor het gebruiken van hun content.
De ‘pay-per-crawl’ functie is momenteel in beta, zo schrijft Cloudflare op zijn blog. Enkele uitgevers en content creators zijn momenteel de tool aan het testen. Het systeem moet hen wat teruggeven voor een eindeloze stroom aan AI-crawlers die hun sites komen plunderen.
De manier waarop veel AI getraind wordt, is namelijk via ‘scraping’. Een crawler gaat automatisch alle sites en webpagina’s af om daar teksten, beelden en meer te indexeren, die later gebruikt kunnen worden om een AI-model te trainen. Het concept van een crawler bestaat al langer, en wordt al jaren gebruikt door bijvoorbeeld Google en Bing om het internet te indexeren en doorzoekbaar te maken.
De AI-tijd overleven
Maar met de opkomst van AI zijn er nu veel meer crawlers, die extra trafiek genereren zonder daar iets voor terug te geven. Er moet daarom iets worden gedaan om te zorgen dat mensen die eigen content maken de ‘age of AI’ overleven, zegt Cloudflare. En waar nogal wat sites nu beginnen crawlers te blokkeren, zou compensatie misschien ook een oplossing zijn. ‘Originele content is wat van het internet een van de beste uitvindingen van de voorbije eeuw maakt, en het is essentieel dat makers dat blijven doen’, zo schrijft Matthew Prince, CEO van Cloudflare, in een blogpost. ‘Ons doel is om de macht terug in de handen van de makers te leggen, en terwijl ook AI-bedrijven te helpen om te innoveren. We willen de toekomst van een vrij internet beschermen.’
Het systeem, dat eind vorig jaar al werd aangekondigd, laat sites kiezen of ze alle AI-crawlers aanrekenen, dan wel sommigen gratis toelaten, bijvoorbeeld omdat de uitgever al een bredere deal heeft gesloten met dat bedrijf. Dit plan vereist echter ook de medewerking van AI-bedrijven zelf. Cloudflare zegt hier een samenwerking te hebben met enkele partners. Volgens het internetbedrijf hebben die er zelf baat bij om af en toe nieuwe content te krijgen om hun modellen up to date te houden. Het is alvast een eerste idee om een soort compromis te sluiten in een wereld die momenteel nog hele erg Far West aanvoelt.
Cloudflare wil klanten toelaten om specifieke AI-bots te blokkeren