Jesper Bengtson
En amerikansk webbskapare mätte sin sajt i en vecka och fann att människor stod för bara 5 977 av 1,28 miljoner sidvisningar.
Nick Gray, som driver donatordatabasen PatronView i Austin, Texas, har publicerat serverloggar som visar hur snedvriden trafiken på ett självständigt webbprojekt har blivit. Under en enda vecka serverade sajten 1,28 miljoner fullständiga sidor, medan hans egen självhostade Plausible-analys registrerade 5 977 mänskliga sidvisningar. Det ger ett förhållande på runt 214 icke-mänskliga sidladdningar för varje sidladdning som räknas som mänsklig.
”El 99% del tráfico de mi sitio web son bots”, konstaterade Gray i det blogginlägg som spred sig snabbt i webbutvecklarkretsar. På svenska: 99 procent av trafiken till hans sajt är bots.
Amazon och Anthropic står för de tyngsta lassen
De värsta enskilda syndarna är enligt Grays mätningar AI-företagens crawlers. Amazons Amzn-SearchBot, som matar den interna shoppingassistenten Rufus, drog cirka 117 000 sidor per dygn utan att skicka en enda besökare tillbaka. Anthropics Claude-Searchbot hämtade 420 680 sidor på en vecka och gav i utbyte tolv verkliga besökare, ett förhållande på ungefär 35 000 till 1.
Till jämförelse mätte Gray traditionella Googlebot till 46 hämtningar per faktisk besökare. Skillnaden mellan sökmotorer, som skickar trafik tillbaka, och rena AI-crawlers, som samlar träningsdata utan gengäld, skiljer sig alltså med flera tiopotenser.
En bransch som håller på att göra upp med problemet
Cloudflare, som förmedlar en betydande del av världens webbtrafik, meddelade den 1 juli 2026 att bot-trafiken nu har passerat den mänskliga.
”Now that the majority of traffic on the Internet is non-human, we must go further and act faster so that a sustainable ecosystem can emerge”, uttalade Cloudflares vd Matthew Prince. Han menade att när majoriteten av internettrafiken är icke-mänsklig måste branschen agera snabbare för att ett hållbart ekosystem ska kunna växa fram.
Från den 15 september 2026 börjar Cloudflare som standardinställning blockera så kallade ”mixed-use”-crawlers på annonsfinansierade sajter, det vill säga bottar som blandar sökindexering med insamling av träningsdata. Bolaget bygger samtidigt vidare på sin marknadsplats Pay Per Crawl, som ska ge utgivare möjlighet att ta betalt när AI-företag verkligen använder deras material.
Så ser du själv din bot-trafik
Grays viktigaste poäng är metodisk. Vanliga webbanalys-verktyg som Google Analytics och Plausible bygger på JavaScript i besökarens webbläsare, och de flesta bottar kör aldrig JavaScript. Därför blir bot-trafiken osynlig i den vanliga instrumentpanelen. Vill man se den faktiska bilden måste man titta i serverloggarna, antingen direkt hos webbhotellet eller via en tjänst som Cloudflare, som visar alla HTTP-förfrågningar oavsett om avsändaren är en människa eller en maskin.
Gray driver PatronView bakom en Cloudflare-prenumeration och delade även sitt fullständiga regelverk, med land- och rastrar-blockering via HTTP 403, CAPTCHA för datacenter-IP-adresser, filter mot misstänkt gamla webbläsare och hastighetsbegränsningar. Enligt hans egna siffror aktiverade Cloudflares brandvägg 106 437 utmaningar under mätperioden, varav bara 252 löstes av verkliga användare. Det motsvarar 0,24 procent, ett tydligt tecken på hur få av de blockerade förfrågningarna som kom från människor.
Ett växande problem för det oberoende webbet
Kostnadskurvan är minst lika viktig som trafikkurvan. Gray uppger att hans serverkostnader steg med runt 500 procent under de värsta bot-topparna. En annan iakttagelse pekar åt motsatt håll: sajtens prestandapoäng i Googles Lighthouse-mätning steg från 58 till 99 när han stängde av Cloudflares JavaScript-baserade botdetektering, som enligt hans mätningar lade på närmare tre sekunders behandlingstid på mobiler i mellanklassen. Mönstret upprepas hos större aktörer: Wikimedia Foundation har enligt en genomgång från Digiday rapporterat en 50-procentig ökning av sin infrastrukturkostnad sedan januari 2024, driven av AI-crawlers.
För alla som driver blogg, portfolio eller mindre sajt betyder det två saker. AI-företagen betalar i praktiken ingenting för det innehåll som tränar deras modeller, och notan för bandbredd och serverkraft landar hos utgivaren. Om utvecklingen fortsätter i nuvarande takt kommer allt fler oberoende webbplatser att behöva välja mellan att sätta upp brandväggar, ta betalt för åtkomsten eller acceptera att den mesta av trafiken aldrig blir en läsare.
