Danny Weber
En utvecklare tog sig runt Apples mjukvarugränser och visade att Neural Engine i M4-chip kan göra mer än inferens.
En säkerhetsforskare och utvecklare under pseudonymen 0X0SOJALSEC säger sig ha kringgått begränsningar från Apple som normalt hindrar Neural Engine i M4-chip från att användas för fullskalig träning av AI-modeller.
Apples neurala motor används vanligen främst som accelerator för redan tränade modeller och AI-funktioner som körs lokalt på enheten. Men entusiasten lyckades använda blocket för betydligt mer krävande scenarier, inklusive träning av transformer-modeller med backpropagation.
För detta byggdes ett eget kompilatorlager baserat på Model Intermediate Language (MIL). Det gör det möjligt att kommunicera direkt med Neural Engine och gå runt vanliga Apple-verktyg som Core ML och Metal. Under körningen ligger data kvar i arbetsminnet, vilket minskar fördröjningar från upprepade skrivningar till lagringen.
Utvecklaren har också infört en mekanism för att återuppta träning: om processen fryser eller avbryts kan systemet fortsätta från den senaste kontrollpunkten utan att förlora redan gjorda framsteg.
Projektets källkod finns redan publicerad på GitHub. Enligt skaparen visade de första testerna hög hastighet: vissa träningssteg för modeller av typen transformer på M4-chip tog bara millisekunder.
Apple erbjuder inte officiellt utvecklare att träna neurala nätverk med Neural Engine och beskriver främst blocket som en accelerator för inferens. Reverse engineering-arbetet tyder ändå på att hårdvarans potential är betydligt större än vad bolagets publika verktyg antyder.
Om metoden visar sig praktiskt användbar kan Mac-datorer och iPad-plattor bli en mer intressant plattform för lokal utveckling och testning av små AI-modeller utan att molntjänster måste användas.
Upptäckten väcker åter frågan om hur många funktioner som ligger dolda i Apple-hårdvara och hur många av dem som inte stoppas av själva chippet, utan av företagets mjukvarubegränsningar.
© T. Feodor