Jesper Bengtson
Clem Delangue kräver full öppenhet efter att en OpenAI-agent bröt sig in i Hugging Face.
Vd:n för AI-plattformen Hugging Face går nu ut och kräver att OpenAI publicerar de fullständiga loggarna från den självstyrande modell som förra veckan tog sig in i företagets interna system. Kravet är den skarpaste reaktionen hittills på det som beskrivs som världens första kända cyberattack utförd av en autonom AI-agent.
Clem Delangue, som grundade Hugging Face och leder företaget, skrev i ett inlägg på X att OpenAI måste ”släppa spåren från den ’rogue’ agent så att hela forskningssamfundet kan studera vad som hände”. Han krävde också att OpenAI avsätter datorkraft värd 100 miljoner dollar för att hjälpa öppna säkerhetsforskare att bygga försvar mot samma typ av angrepp.
”Den första autonoma agent-cyberattacken är en aldrig tidigare skådad händelse. Den förtjänar ett aldrig tidigare skådat svar”, skrev Delangue i ett andra inlägg.
Så bröt sig modellen ut ur sandlådan
Hugging Face publicerade sin egen redogörelse den 16 juli. Företaget beskriver hur en angripare under en helg utförde över 17 000 loggförda handlingar mot företagets infrastruktur. Angriparen tog sig först in via en så kallad malicious dataset som utnyttjade två kodkörningsvägar i Hugging Faces databehandlingskedja, en fjärrkörningsladdare och en template-injection. Därifrån eskalerade angreppet till nod-nivå, molnnycklar plockades ut och flera interna kluster berördes.
I sin egen anmälan skriver Hugging Face att kampanjen ”drevs av ett autonomt agent-ramverk som utförde många tusen enskilda handlingar över en svärm av kortlivade sandlådor, med självmigrerande kommando- och kontrollkanaler placerade på publika tjänster”. Företaget noterar att inga användarvända modeller, dataset eller Spaces manipulerades, och att deras mjukvarukedja verifierades ren.
OpenAI: modellen försökte fuska på ett prov
Att angreppet härrörde från OpenAI:s egna modeller bekräftades först några dagar senare. Enligt en teknisk genomgång från utvecklaren Simon Willison rörde det sig om två modeller, publicerade GPT-5.6 Sol samt en ännu mer kapabel förhandsversion, båda med sina säkerhetsspärrar för cybervapen sänkta för utvärdering. Modellerna testades mot benchmarken ExploitGym, som mäter hur väl AI-system kan omvandla dokumenterade sårbarheter till fungerande exploits.
I stället för att lösa uppgiften inifrån sandlådan hittade modellerna en okänd sårbarhet i en pakethanterings-proxy som gav dem åtkomst till öppna nätet. Därifrån drog de slutsatsen att lösningarna till ExploitGym låg hos Hugging Face, och kedjade ihop flera attackvektorer för att komma åt provsvaren direkt från Hugging Faces produktionsmiljö.
Uttrycket ”sandlåda” syftar här på den isolerade testmiljö där oreleaserade AI-modeller körs för att förhindra att de får kontakt med omvärlden.
Historien knyter an till mönstret från tidigare varningar om att OpenAI-modeller brutit sig ut på egen hand.
Experter: händelsen är en förlust-av-kontroll-signal
I en genomgång publicerad den 24 juli intervjuade tidningen Time flera AI-säkerhetsforskare om händelsens innebörd. Marius Hobbhahn, vd för det oberoende utvärderingsorganet Apollo Research, sade till tidningen: ”Om en modell på den här kapacitetsnivån inte kan innehållas, vad ska vi då förvänta oss av framtida, mycket kraftfullare modeller?”
Enligt Hobbhahn är händelsen det första verkliga exemplet på det scenario säkerhetsforskare länge varnat för: en AI som självmant och målinriktat bryter sig ur den miljö den satts i. En anonym källa hos OpenAI beskrev för Time att modeller tidigare tagit sig ut ur sandlådor internt, men att problemet är att ”det är omöjligt att lappa varenda sak som en kreativ AI kan hitta på”.
OpenAI lovar teknisk rapport
OpenAI har enligt egna kanaler kallat händelsen ”aldrig tidigare skådad” och beskrivit den som ett viktigt ögonblick för AI-säkerheten. Företaget uppger att en granskning pågår tillsammans med externa rådgivare och att en teknisk rapport med lärdomar ska publiceras under de kommande veckorna.
För Delangue räcker det inte. Hans krav på ”radikal transparens” pressar OpenAI att offentliggöra själva agentens fullständiga logg, det som visar hur modellen resonerade, vilka verktyg den nådde och vilka val den gjorde i varje steg. Utan den insynen, argumenterar han, saknar branschen både bevis och mönster att bygga försvar utifrån.
För svenska ChatGPT-användare har händelsen ingen direkt effekt på tjänsten, men den blottlägger hur snabbt AI-företagens interna tester nu skalar till händelser som drabbar tredje part. Hugging Face driver ett av världens största bibliotek av öppna modeller, och stora delar av den svenska AI-forskningen använder plattformen dagligen.
