Grok spottade ur sig miljoner sexbilder – tusentals ska föreställa barn

Miljoner bilder på 11 dagar – och en chockerande takt

Enligt CCDH:s uppskattning genererade Grok omkring tre miljoner sexualiserade bilder under en 11-dagarsperiod, där cirka 23 000 av bilderna bedömdes föreställa barn. Det motsvarar i snitt runt 190 sexualiserade bilder i minuten – och en misstänkt barnbild ungefär var 41:a sekund, skriver The Guardian.

Så räknade CCDH – och varför siffrorna bör läsas med viss försiktighet

CCDH bygger sin uppskattning på ett slumpmässigt urval av 20 000 Grok-bilder från perioden 29 december till 9 januari, och har sedan räknat upp resultaten mot den totala mängden bilder som Grok ska ha producerat under samma tid. 

Samtidigt pekar flera rapporter på metodrisker: organisationen har beskrivit att analyserna inte nödvändigtvis tar hänsyn till vad användarna faktiskt skrev i sina promptar, och att automatiserade verktyg kan missa sammanhang eller feltolka innehåll, enligt Ars Technica.

X ströp funktionen – men Grok-appen pekas ut som fortsatt problem

Efter växande kritik stramades Groks bildredigering på X åt i flera steg. Bland annat begränsades vissa bildfunktioner, och därefter infördes spärrar mot att “avklä” verkliga personer i bilder på själva plattformen. 

Läs också: Nvidia passerade 4 000 miljarder dollar

Men flera granskningar uppger att den fristående Grok-appen fortfarande ska kunna skapa liknande sexualiserade “nudify”-bilder av verkliga människor – vilket i så fall flyttar problemet från X till appbutikerna., enligt WIRED.

Apple och Google pressas: “Ta ner appen”

En koalition av 28 organisationer har i öppna brev krävt att Apple och Google tar bort X och/eller Grok från App Store och Google Play. Kritiken handlar om att apparna – enligt organisationerna – möjliggör spridning av icke-samtyckta sexualiserade bilder och material som kan vara olagligt. 

Från politiskt håll i USA har även senatorer uppmanat Apple och Google att agera och hänvisat till att liknande innehåll strider mot appbutikernas egna regler, enligt The Verge.

Reglerna finns redan – men efterlevnaden ifrågasätts

Google Plays policy förbjuder uttryckligen appar som distribuerar icke-samtyckt sexuellt innehåll och pekar också ut appar som påstår sig “klä av” människor som exempel på överträdelser. 

Läs också: Apple vill köpa F1-rättigheterna

Apple har i sina App Review Guidelines ett brett säkerhetsramverk för vad som får finnas i App Store – och betonar att appar kan stoppas om de går över gränsen för skadligt eller olämpligt innehåll. 

Vad händer nu?

I nuläget återstår två stora frågor: om spärrarna faktiskt biter i praktiken – och om trycket mot Apple och Google leder till att apparna begränsas eller tas bort. Parallellt fortsätter myndigheter och lagstiftare i flera länder att titta på hur icke-samtyckta AI-bilder ska hanteras, särskilt när det gäller material som kan involvera barn.

Läs också: Samsung fortsätter med galna priser