Cloudflare pekar ut intern miss: därför låg stora delar av nätet nere

Cloudflares vd Matthew Prince berättar i en ny genomgång att måndagens stora nätstörning inte hade något med en cyberattack att göra. I stället var det en intern ändring i företagets databassystem som slog ut en central komponent och fick mängder av sajter att gå ner.

Internt misstag bakom stoppet

När trafiken började strypas den 18 november trodde Cloudflare först att de utsattes för en massiv DDoS-attack. Men enligt Prince insåg teknikteamet snabbt att något inte stämde. Felet spårades till en ändring i behörigheterna för databassystemet – en justering som påverkade en fil som företagets Bot Management-system är beroende av, rapporterar teksajten Engadget. 

Filändringen gjorde att systemet inte längre kunde läsa in den så kallade ”feature”-filen, som uppdateras automatiskt och används för att avgöra om en förfrågan kommer från en människa eller en bot. När filens storlek ändrades på ett oväntat sätt utlöstes ett fel som gav HTTP 5xx-svar i Cloudflares kärnproxy, den del som hanterar kunders trafik.

En kritisk fil i botförsvaret

Cloudflares Bot Management bygger på maskininlärning som poängsätter varje bot som försöker crawla nätverket. Kunder använder poängen för att släppa in eller blockera specifika botar – till exempel AI-botar som vill skrapa innehåll för att träna språkmodeller.

Läs också: Nvidia passerade 4 000 miljarder dollar

I somras lanserade Cloudflare dessutom experimentet ”pay per crawl”, där webbplatser kan ta betalt av AI-aktörer som vill läsa deras sidor. Den felaktiga filen är central i den processen: utan rätt konfiguration kan modellen inte avgöra om en förfrågan är legitim eller automatiserad.

Värsta avbrottet på flera år

När felet slog till började stora delar av internet uppleva driftproblem. Prince beskriver incidenten som Cloudflares allvarligaste sedan 2019, då en liknande störning stoppade en majoritet av trafiken genom företagets nät.

Efter att orsaken hittats kunde teknikerna återställa systemet – men först efter att mängder av sajter legat nere eller fungerat intermittent världen över.

Företagets ursäkt

Prince ber om ursäkt å teamets vägnar och betonar att det inte finns några tecken på angrepp eller skadlig aktivitet. Störningen var helt och hållet självförvållad.

Läs också: Apple vill köpa F1-rättigheterna

Cloudflare säger sig nu se över processerna för hur interna systemförändringar genomförs – för att undvika att en enda felaktig fil återigen tar stora delar av internet offline.

Läs också: Samsung fortsätter med galna priser