Danny Weber
Uno sviluppatore ha aggirato i limiti software di Apple e mostrato che il Neural Engine dei chip M4 può fare più della sola inferenza.
Un ricercatore di sicurezza e sviluppatore noto con lo pseudonimo 0X0SOJALSEC sostiene di essere riuscito ad aggirare alcune restrizioni di Apple che normalmente impediscono di usare il Neural Engine dei chip M4 per l’addestramento completo di modelli di intelligenza artificiale.
Il motore neurale di Apple di solito viene usato soprattutto come acceleratore per modelli già addestrati e funzioni IA eseguite direttamente sul dispositivo. L’appassionato, però, è riuscito a sfruttarlo per scenari molto più complessi, compreso l’addestramento di modelli transformer con retropropagazione.
Per farlo ha creato un livello di compilazione personalizzato basato su Model Intermediate Language (MIL). Questo consente di accedere direttamente al Neural Engine, bypassando strumenti abituali di Apple come Core ML e Metal. Durante l’esecuzione, i dati restano nella memoria RAM, riducendo le latenze legate alle scritture continue sull’unità di archiviazione.
Lo sviluppatore ha anche implementato un meccanismo di ripristino dell’addestramento: se il processo si blocca o viene interrotto, il sistema può ripartire dall’ultimo checkpoint senza perdere i progressi già ottenuti.
Il codice sorgente del progetto è già stato pubblicato su GitHub. Secondo l’autore, i primi test hanno mostrato prestazioni elevate: alcune fasi di addestramento di modelli di tipo transformer sui chip M4 si completavano in pochi millisecondi.
Apple non offre ufficialmente agli sviluppatori la possibilità di addestrare reti neurali con il Neural Engine e presenta questo blocco soprattutto come acceleratore per l’inferenza. Il lavoro di reverse engineering suggerisce però che il potenziale hardware dei chip sia molto più ampio di quanto lascino intendere gli strumenti pubblici dell’azienda.
Se l’approccio si dimostrerà utile nella pratica, i computer Mac e i tablet iPad potrebbero diventare una piattaforma più interessante per sviluppare e testare in locale piccoli modelli IA senza dipendere per forza dai servizi cloud.
La scoperta riapre anche la domanda su quante capacità restino nascoste nell’hardware Apple e quante siano inaccessibili non per limiti del silicio, ma per le restrizioni software imposte dall’azienda.
© T. Feodor