Bijna de helft van al het webverkeer is afkomstig van robots die sites automatisch bezoeken. Maar dat kost websitebeheerders een pak geld en middelen.
43,83 procent van al het webverkeer zou afkomstig zijn van niet-menselijke gebruikers, stelt DeviceAtlas in zijn Mobile Web Intelligence Report voor het eerste kwartaal. 48,59 procent zou afkomstig zijn van mobiel verkeer en 6,38 procent van desktops, aangevuld met 1,2 procent ‘overige’. DeviceAtlas maakt dat rapport uiteraard niet uit liefdadigheid: het bedrijf verkoopt software om na te gaan welke toestellen je sites bezoeken.
Dat niet-menselijke verkeer kan afkomstig zijn van zoekmachines die je site indexeren. Maar ook van automatische scrapers, die op reglematige tijdstippen bepaalde info opvragen, en bots van onder meer spammers en mensen die klikfraude willen uitvoeren. Ook kunnen ze worden ingezet om tickets op te kopen (om zo prijzen te beïnvloeden).
CIO.com wijst er op dat bots zo veel mogelijk menselijk verkeer proberen na te bootsen. Al zijn er ook mogelijkheden om de impact van robotverkeer te beperken. Wie ze kan identificeren kan ze bijvoorbeeld ook langs tragere servers sturen. Wie vaak te maken heeft met scrapers, kan dan weer overwegen om API’s te voorzien waarbij die informatie rechtstreeks wordt gedeeld met anderen.