Scopri come l'iPhone 17 Pro esegue un modello linguistico da 400 miliardi di parametri usando ottimizzazioni e memoria SSD, garantendo privacy ma con velocità ridotta.
© A. Krivonosov
L'iPhone 17 Pro è riuscito a far girare un grande modello linguistico con 400 miliardi di parametri, nonostante i requisiti di memoria enormi. Anche in forma compressa, il modello necessita di almeno 200 GB di RAM. Come è possibile, quindi, su uno smartphone con soli 12 GB di RAM LPDDR5X? La risposta sta in soluzioni ingegneristiche intelligenti.
Un progetto open-source chiamato Flash-MoE aggira il limite di memoria utilizzando la memoria SSD dell'iPhone per trasferire i dati direttamente al processore grafico. Anche il modello MoE aiuta: per generare ogni parola, serve solo una parte dei 400 miliardi di parametri, riducendo così il carico sul dispositivo.
La velocità di generazione rimane estremamente lenta, con appena 0,6 token al secondo, il che significa circa una parola ogni 1,5-2 secondi. Nonostante ciò, la dimostrazione mostra che modelli così massicci possono funzionare su dispositivi mobili. Usare un modello locale garantisce una privacy completa ed elimina la necessità di una connessione internet costante, ma la batteria dell'iPhone 17 Pro si scarica rapidamente sotto questo carico di lavoro.
In pratica, questo esperimento dimostra che anche i modelli linguistici più impegnativi possono girare su uno smartphone grazie a ottimizzazioni e all'uso della memoria SSD. Tuttavia, l'utilità reale di tali configurazioni è limitata a causa delle basse velocità di generazione e dell'elevato sforzo sul sistema.