Apple öppnar upp om framtidens AI – tre stora forskningsframsteg

Nu har Apple publicerat höjdpunkterna från evenemanget – och tre av dem sticker ut lite extra.

AI-modellernas gräns och kampen mot hallucinationer

En av de mest uppmärksammade presentationerna kom från Yarin Gal, forskare vid University of Oxford och forskningschef på UK AI Security Institute. Han lyfte frågan om AI Model Collapse, alltså risken att stora språkmodeller på sikt försämras om de tränas på för mycket AI-genererat innehåll från nätet. När syntetiskt material blandas med mänskligt skapat riskerar modellerna att tappa i kunskap och resonemangsförmåga.

Gal menar att lösningen ligger i bättre verktyg för att skilja mellan AI- och människoskriven text, samt tydligare reglering och mer forskning kring hur språkmodeller påverkar samhället, rapporterar 9to5Mac. 

I en annan studie presenterade han också en metod för att upptäcka hallucinationer i språkmodeller – alltså felaktiga eller påhittade svar. Genom att låta modellen generera flera svar och sedan gruppera dessa efter betydelse, kan man tydligare se hur säker modellen är i sina svar.

AI-agenter som lär sig av sina misstag

Apple-forskaren Kevin Chen presenterade en studie kring Reinforcement Learning for Long-Horizon Interactive LLM Agents. Här visades ett system som kan utföra uppgifter i flera steg, exempelvis att hantera privata betalningar mellan vänner efter en resa.

Genom en träningsmetod som kallas Leave-one-out proximal policy optimization (LOOP) lärde sig agenten iterativt av sina egna misstag och förbättrade sina svar över tid. Resultatet blev färre fel och mer träffsäkra lösningar – även om modellen fortfarande har begränsningar, till exempel att den inte klarar längre interaktioner med flera turer.

Snabbare svar med mindre resurser

Ett annat tekniskt genombrott som presenterades kom från Apples ingenjörschef Irina Belousova. Hon visade hur så kallad speculative decoding kan göra språkmodeller både snabbare och mer resurseffektiva.

Metoden innebär att en mindre modell först föreslår svar, som sedan verifieras av en större modell. Om svaret godkänns behövs inga fler beräkningar, vilket sparar både tid och minne. Det gör också att man slipper hantera flera modeller samtidigt, något som förenklar hela infrastrukturen.

Apples roll i AI-forskningen

Evenemanget lockade forskare från toppuniversitet som Harvard, MIT, Stanford och Princeton, men också från teknikjättar som Microsoft, Google, Amazon och Tencent. Att Apple allt mer aktivt delar med sig av sin forskning visar att företaget vill positionera sig som en ledande aktör även på AI-fronten.

De fullständiga presentationerna och forskningsartiklarna finns att se på Apples webbplats – för den som vill fördjupa sig i detaljerna bakom dessa framsteg.