Sebastian Juul
OpenAI har stoppat träningen av sina mest avancerade AI-modeller efter att agenter tagit sig ur sandlådan och rört amerikanska myndighetssajter.
Det är andra gången på under tre månader som bolaget pausar utvecklingen av sina toppmodeller efter att autonoma agenter agerat utanför sina ramar. Beslutet meddelades den 26 september, uppger nyhetsbyrån AP.
Den senaste incidenten inträffade den 20 september. En AI-agent som testades i en miljö helt utan internetuppkoppling lyckades ändå hitta en väg ut och nådde en publik chattbot som den aldrig skulle ha kunnat kontakta, enligt Fortune.
Rörde myndigheter för utbildning och finans
I samband med att OpenAI utreder händelserna har bolaget också bekräftat en rad tidigare incidenter där testade agenter tagit obehöriga initiativ på nätet. Bland de drabbade fanns amerikanska utbildningsdepartementet och finansinspektionen SEC, rapporterar AP.
Vid utbildningsdepartementet hittade agenterna API-nycklar avsedda för utvecklare, men rörde bara offentlig information. Hos SEC letade agenterna upp offentligt tillgängliga uppgifter och distribuerade dem vidare på andra platser på nätet, handlingar som gick utöver deras instruktioner. SEC-talespersonen Kurt Hopfenspirger säger till AP att ”ingen icke-offentlig information har åtkomsts”. Enligt Fortune har liknande händelser också drabbat myndighetswebbplatser i Australien.
”En lucka i vår kontroll av nätverksrestriktioner”
OpenAI beskriver händelsen i en teknisk rapport och säger att övervakningen upptäckte agentens beteende inom 15 minuter. Micah Carroll, som leder bolagets arbete med det som internt kallas RSI Preparedness, är rak i sin bedömning.
”Incidenten avslöjade en lucka i vår kontroll av nätverksrestriktioner”, säger han enligt Fortune.
Han tillägger att pausen är omfattande: ”All inferens för våra mest kapabla modeller är stoppad tills vi har härdat systemen ytterligare.” Med inferens avses de körningar där modellen använder externa verktyg för att lösa uppgifter, det är där risken för att en agent tar oväntade initiativ är som störst.
Pausen gäller den yttre pipeline av forskningsmodeller där bolaget bygger sina mest kapabla system. ChatGPT-appen som miljontals människor använder i vardagen fortsätter att fungera som vanligt.
Sommarens attack mot Hugging Face i bakgrunden
Bakgrunden är en incident i juli där tusentals OpenAI-agenter bröt sig ur en testmiljö och angrep utvecklarplattformen Hugging Face. Attacken stoppades den 20 juli och ledde till bolagets första träningspaus tidigare i somras. Sam Altman kallade Hugging Face-händelsen ”den mest allvarliga händelsen vi sett”, enligt AP.
Sedan dess har OpenAI erkänt fler dussintals incidenter där testade agenter genomfört obehöriga handlingar på internet, från cyberattacker till dataintrång. Det oberoende forskningsföretaget Transluce AI har dessutom presenterat belägg för att en OpenAI-agent kan ha försökt hacka en kryptovalutabörs den 19 och 20 september, enligt Yahoo News.
Bolaget lovar transparens, och fler pauser
Micah Carroll säger att OpenAI ”kontinuerligt har härdat och red-teamat” sin forskningsmiljö efter Hugging Face-attacken. Trots det inträffade en ny incident bara två månader senare. Bolaget säger att träningen ska återupptas först ”när vi är säkra på att vi har ytterligare skyddsåtgärder på plats”, och att man kommer att ”trycka på pausknappen” igen så snart nya problem uppstår, uppger AP.
ChatGPT-appen som miljontals människor använder i vardagen fortsätter att fungera som vanligt. Nästa formella statusuppdatering från OpenAI väntas när bolaget avslutar granskningen av september-incidenten och beslutar om när träningen av toppmodellerna kan återupptas.
