Az iPhone 17 Pro sikeresen futtatott egy 400 milliárd paraméteres nagy nyelvi modellt, Flash-MoE és SSD-használat segítségével, bár lassú generálási sebességgel.
© A. Krivonosov
Az iPhone 17 Pro nemrég sikeresen futtatott egy 400 milliárd paraméteres nagy nyelvi modellt (LLM), annak ellenére, hogy a memóriaigény hatalmas. Még tömörített formában is legalább 200 GB RAM-ra van szüksége a modellnek. De hogyan lehetséges ez egy okostelefonon, amely mindössze 12 GB LPDDR5X RAM-mal rendelkezik? A válasz az okos mérnöki megoldásokban rejlik.
Egy Flash-MoE nevű nyílt forráskódú projekt megkerüli a memóriakorlátot azzal, hogy az iPhone SSD tárolóját használja az adatok közvetlen grafikus processzorba történő átviteléhez. A MoE modell is segít: minden egyes szó generálásához csak a 400 milliárd paraméter egy részére van szükség, ami csökkenti az eszköz terhelését.
A generálási sebesség továbbra is rendkívül lassú – mindössze 0,6 token másodpercenként, ami körülbelül egy szót jelent minden 1,5-2 másodpercben. Ennek ellenére a bemutató azt mutatja, hogy ilyen masszív modellek is futhatnak mobileszközökön. A helyi modell használata teljes adatvédelmet biztosít, és kiküszöböli a folyamatos internetkapcsolat szükségességét, de az iPhone 17 Pro akkumulátora gyorsan merül le ebben a munkaterhelésben.
Összességében ez a kísérlet bizonyítja, hogy még a nagyon erőforrásigényes LLM-ek is futhatnak okostelefonon optimalizálások és SSD-használat segítségével. Azonban az ilyen beállítások gyakorlati használhatósága korlátozott a lassú generálási sebesség és a magas rendszerterhelés miatt.