Apples nya AI skriver långa texter – upp till 128 gånger snabbare

En ny typ av språkmodell

Traditionella språkmodeller som ChatGPT arbetar autoregressivt. Det betyder att de skriver text ett ord (eller token) i taget, där varje nytt ord baseras på allt som skrivits tidigare. Det ger bra precision, men gör processen långsam, skriver 9to5Mac. 

Apples nya metod bygger istället på diffusionsmodeller – en typ av AI som genererar många ord samtidigt och sedan successivt förbättrar dem i flera steg. En vidareutveckling av detta kallas flow-matching-modeller, som hoppar över många av stegen och lär sig skapa hela texten direkt i ett enda svep.

Så fungerar Apples nya modell FS-DFM

I en färsk studie med titeln “FS-DFM: Fast and Accurate Long Text Generation with Few-Step Diffusion Language Models” presenterar forskare från Apple och Ohio State University en ny modell som kombinerar snabbhet och precision.

FS-DFM klarar att skriva hela textstycken på bara åtta snabba förfiningssteg – medan andra diffusionsmodeller kan behöva över tusen steg för att nå samma kvalitet.

Läs också: Nvidia passerade 4 000 miljarder dollar

Forskarna beskriver tre nyckelidéer bakom framgången:

1. Modellen tränas på att klara olika många förfiningsrundor.
   
2. En så kallad “lärare” guidar modellen så att varje steg gör större men ändå precisa förändringar.
   
3. Själva förfiningsprocessen finjusteras för att nå slutresultatet snabbare och stabilare.
   

Resultaten: mindre modell, bättre text

I tester presterade FS-DFM bättre än betydligt större modeller som Dream (7 miljarder parametrar) och LLaDA (8 miljarder parametrar). Trots att FS-DFM finns i mindre varianter på 0,17 till 1,7 miljarder parametrar, lyckades den hålla både lägre perplexitet (bättre textkvalitet) och stabilare entropi (jämnare ordval).

Perplexitet mäter hur naturlig texten låter, medan entropi visar hur säkert modellen väljer ord. För låg entropi gör texten monoton, för hög gör den spretig – FS-DFM lyckades hitta en balans.

Apple öppnar för vidare forskning

Forskarna planerar att publicera kod och modellfiler för att andra ska kunna reproducera resultaten och bygga vidare på arbetet.

Läs också: Apple vill köpa F1-rättigheterna

Den fullständiga studien finns att läsa på arXiv, med flera färgkodade exempel som visar hur modellen stegvis förbättrar texten tills slutversionen är klar.

Apples FS-DFM visar att AI-skrivande inte längre behöver vara långsamt – framtidens språkmodeller kan snart kombinera hastighet, noggrannhet och naturlighet på ett helt nytt sätt.

Läs också: Samsung fortsätter med galna priser