Upptäck hur iPhone 17 Pro kör en språkmodell med 400 miljarder parametrar via Flash-MoE och SSD-användning, trots minnesbegränsningar, men med långsam hastighet.
© A. Krivonosov
iPhone 17 Pro har nyligen lyckats köra ett stort språkmodell med 400 miljarder parametrar, trots de enorma minneskraven. Även i komprimerad form kräver modellen minst 200 GB RAM-minne. Hur är detta möjligt på en smartphone med bara 12 GB LPDDR5X-RAM? Svaret ligger i smarta ingenjörslösningar.
Ett öppen källkod-projekt med namnet Flash-MoE kringgår minnesbegränsningen genom att använda iPhonens SSD-lagring för att överföra data direkt till grafikprocessorn. MoE-modellen hjälper också till: varje genererat ord kräver bara en del av de 400 miljarder parametrarna, vilket minskar belastningen på enheten.
Genereringshastigheten förblir extremt långsam – bara 0,6 tokens per sekund, vilket innebär ungefär ett ord var 1,5 till 2 sekunder. Trots detta visar demonstrationen att sådana massiva modeller kan köras på mobila enheter. Att använda en lokal modell garanterar fullständig integritet och eliminerar behovet av en konstant internetanslutning, men iPhone 17 Pro:s batteri töms snabbt under denna arbetsbelastning.
Sammanfattningsvis visar detta experiment att även mycket resurskrävande språkmodeller kan köras på en smartphone med optimeringar och SSD-användning. Den praktiska användbarheten för sådana installationer är dock begränsad på grund av långsam genereringshastighet och hög systembelastning.