Grok spammar ”avklädda” deepfakes på X – tusentals i timmen

Forskare och myndigheter varnar för att tekniken riskerar att normalisera sexuella övergrepp i bildform, och flera länder har nu inlett utredningar kring Groks roll. Enligt The Verge, som hänvisar till data från Bloomberg, handlar det om en nivå som vida överstiger de mest kända sajterna för samma typ av material.

6 700 sexuellt laddade bilder i timmen

Den nya siffran kommer från Genevieve Oh, forskare med inriktning på sociala medier och deepfakes. I en 24 timmar lång analys av bilder som kontot @Grok postade på X – mellan 5 och 6 januari – uppskattar hon att Grok genererade cirka 6 700 bilder i timmen som klassades som sexuellt suggestiva eller direkt ”nudifying”. Det rapporterar The Verge, med hänvisning till Bloomberg-data. 

Som jämförelse ska de fem största sajterna för den här typen av AI-material tillsammans ligga på i snitt 79 liknande bilder per timme, enligt Oh. 

Skillnaden mot nudify-appar: Grok är massmarknad

Det finns redan en lång historia av så kallade nudify-appar och tjänster som med AI ”tar av” kläder på bilder av människor – ofta utan samtycke. Flera sådana aktörer har också hamnat i domstol.

Läs också: Nvidia passerade 4 000 miljarder dollar

Men Grok sticker ut på en avgörande punkt: den är direkt inbyggd i X, och därmed tillgänglig för miljontals användare. Den tar heller inte betalt per bild på samma sätt som många av de externa nudify-sajterna.

Effekten, menar kritiker, blir att den här sortens övergreppsbilder inte längre är en nisch på nätets bakgator – utan dyker upp i samma flöde som nyheter, sport och vänners inlägg.

Det är också i den kontexten som en uppmärksammad formulering från Financial Times har spridits: ”X, the deepfake porn site formerly known as Twitter.” 

”De undressade en bild på mig som barn”

En av de personer som sagt sig drabbas är skribenten och politiska strategen Ashley St Clair, som har kopplats till Musk privat. Hon har berättat att Musk-supportrar använt verktyget för något som hon beskriver som en form av hämndporr – och att en bild på henne som barn manipulerats till en sexualiserad version. Det rapporterar bland andra The Daily Beast och The Guardian.

Läs också: Apple vill köpa F1-rättigheterna

Grok: ”Inget system är 100 procent”

Grok-kontot har själv svarat användare och hävdat att många fall där minderåriga förekommer i sexualiserade AI-bilder kan stoppas med bättre filter och övervakning – men medger samtidigt att ”inget system är 100 procent felfritt”, enligt rapportering i brittisk press, enligt The Guardian.

Samtidigt har Grok marknadsförts som en mindre begränsad chatbot, i linje med Musks uttalade ambition om mer ”frihet” och färre spärrar. Under 2024 introducerades även ett läge som beskrivits som mer sexuellt explicit – vilket kritiker menar bidragit till utvecklingen. 

Myndigheter i flera länder utreder Grok

Trycket har växt snabbt internationellt. Enligt TechCrunch och andra medier har Frankrike och Malaysia anslutit sig till Indien i utredningar kring Grok och dess roll i skapandet av icke-samtyckta sexualiserade bilder, inklusive fall där minderåriga förekommer. 

Även andra länder och EU har pekats ut som aktiva i granskningen, enligt AFP. 

Läs också: Samsung fortsätter med galna priser

Vem bär ansvaret – användaren eller plattformen?

En av de stora juridiska knäckfrågorna handlar om ansvar.

Sociala plattformar i USA har länge lutat sig mot Section 230 i Communications Decency Act, som ofta skyddar bolagen från ansvar för vad användarna publicerar. Men när bilder skapas av en AI som är integrerad i plattformen blir gränsen mer oklar: är det fortfarande ”användargenererat” – eller producerar plattformen själv materialet?

Det är just den frågan som nu hamnar i fokus när Grok granskas av myndigheter och jurister världen över.

X: Vi tar bort olagligt innehåll och stänger konton

X har i uttalanden sagt att plattformen agerar mot olagligt innehåll genom att ta bort material, stänga konton och samarbeta med lokala myndigheter när det behövs. Plattformen har också varnat för att den som uppmanar Grok att skapa olagligt innehåll kan drabbas av samma konsekvenser som den som laddar upp det själv. 

Läs också: Håll inne knappen – då avslöjar WhatsApp en dold funktion du inte visste fanns

Men kritiker menar att det inte räcker – särskilt när volymerna uppges ligga på tusentals bilder i timmen.

Det här kan bli ett vägskäl för AI och sociala medier

Det som nu händer kring Grok kan få följder långt bortom X.

Om myndigheter och domstolar slår fast att en plattform kan hållas ansvarig när dess egen AI skapar sexuella deepfakes utan samtycke, förändras spelreglerna för hela branschen. Samtidigt växer en annan oro: att tekniken springer snabbare än lagstiftningen – och att människor hinner skadas på vägen.

Just nu är en sak tydlig: ”nudify”-AI har gått från en dold marknad till ett verktyg i sociala medier i realtid. Och för varje timme som går kan tusentals nya bilder skapas.

Läs också: Samsung Galaxy Z Fold7: Tunnare, starkare och snabbare