OpenAI jagar ny säkerhetschef – ska förutse “allvarliga skador” från AI

Enligt The Verge handlar det om att kunna agera snabbare när AI kan missbrukas – eller skapa skada utan att någon ens försöker.

“Stressigt jobb” – med lön på över en halv miljon dollar

I jobbannonsen framgår att OpenAI erbjuder 555 000 dollar i årslön plus aktieoptioner, och Altman beskriver tjänsten som “stressig” – där man “hoppar i den djupa änden direkt”. Det skriver Business Insider och hänvisar till Altmans egna ord om att det är en kritisk roll i ett läge där AI-systemen tar stora kliv framåt. 

För OpenAI är poängen tydlig: bolaget vill ha en person som kan leda arbetet med att identifiera risker innan de slår igenom brett – och innan tekniken används på sätt som bolaget inte kan kontrollera.

Uppdraget: hotmodeller, tester och bromsar innan skadan sker

Den nya chefen ska leda OpenAI:s så kallade Preparedness framework, ett ramverk som ska mäta och bevaka “frontier capabilities” – alltså avancerade förmågor som kan skapa nya risker för allvarlig skada. Det handlar om att bygga upp och samordna:

Läs också: Nvidia passerade 4 000 miljarder dollar

• utvärderingar av modellernas kapacitet
• hotmodeller (hur tekniken kan utnyttjas)
• konkreta åtgärder som minskar riskerna

Det framgår i annonsen på OpenAI:s rekryteringsplattform och i en version av annonsen hos Thrive Capital.

Enligt The Verge nämns även risker kopplade till bland annat cybersäkerhet, självförbättrande system och biologiska tillämpningar – områden där fel användning kan få stora konsekvenser. 

Mental hälsa och stämningar i bakgrunden

Att OpenAI nu lyfter en sådan här tjänst sker efter ett år där bolaget anklagats för att ChatGPT påverkat användare negativt – särskilt kopplat till mental hälsa, beroende och gränsdragningen mellan stöd och “ersättning för terapi”. Business Insider beskriver hur Altman pekar ut mental hälsa som ett område där riskerna blivit mer konkreta under året.

Samtidigt är det en del av en större diskussion: hur AI-bolag ska hantera konsekvenserna när deras produkter används i vardagliga och känsliga situationer – långt utanför traditionella techmiljöer.

Läs också: Apple vill köpa F1-rättigheterna

En roll som skiftat – och en säkerhetsorganisation i förändring

OpenAI:s säkerhetsarbete har dessutom byggts om flera gånger de senaste åren. Bolagets tidigare Head of Preparedness, Aleksander Mądry, flyttades från rollen sommaren 2024, enligt rapportering som återges av bland annat MarketScreener.

Altman uppgav då att ansvaret skulle tas över av cheferna Joaquin Quiñonero Candela och Lilian Weng. Men Weng lämnade senare bolaget, och Quiñonero Candela flyttade i sin tur vidare från preparedness-arbetet för att leda rekrytering på OpenAI under 2025, enligt Business Insider. 

Varför OpenAI trycker på gasen – och bromsen – samtidigt

Det är en ovanlig kombination: OpenAI fortsätter lansera allt starkare modeller, samtidigt som bolaget nu aktivt rekryterar en person vars huvuduppgift är att hitta riskerna och säga stopp i tid.

Altman kallar rollen “kritisk” – och det är svårt att tolka det på annat sätt än att OpenAI ser ett läge där AI-systemen inte bara blir bättre på att skriva och analysera, utan också kan få större påverkan på människor och samhälle. Och då räcker det inte längre med efterhandsåtgärder.

Läs också: Samsung fortsätter med galna priser

‘Ett test för hela AI-branschen

Rekryteringen blir också ett stresstest för AI-industrin som helhet: går det att bygga modeller som blir allt mer kraftfulla – och samtidigt ha ett säkerhetsarbete som hinner före?

OpenAI:s nya Head of Preparedness får i praktiken rollen att försöka svara på den frågan, innan problemen blir för stora för att rulla tillbaka.

Läs också: Håll inne knappen – då avslöjar WhatsApp en dold funktion du inte visste fanns

Läs också: Samsung Galaxy Z Fold7: Tunnare, starkare och snabbare