Un cercetător în securitate și dezvoltator cunoscut sub pseudonimul 0X0SOJALSEC spune că a reușit să ocolească restricțiile Apple care, în mod normal, împiedică folosirea Neural Engine din cipurile M4 pentru antrenarea completă a modelelor de inteligență artificială.
Motorul neural Apple funcționează de obicei mai ales ca accelerator pentru modele deja antrenate și funcții AI locale pe dispozitiv. Totuși, entuziastul a reușit să folosească acest bloc în scenarii mult mai complexe, inclusiv pentru antrenarea modelelor transformer cu backpropagation.
Pentru asta, a fost creat un strat de compilare personalizat bazat pe Model Intermediate Language (MIL). Acesta permite acces direct la Neural Engine, ocolind instrumentele obișnuite Apple, precum Core ML și Metal. În timpul rulării, datele rămân în memoria RAM, ceea ce ajută la reducerea întârzierilor provocate de scrierile constante pe stocare.
Dezvoltatorul a implementat și un mecanism de reluare a antrenării: dacă procesul se blochează sau este întrerupt, sistemul poate continua de la ultimul checkpoint fără să piardă progresul deja obținut.
Codul sursă al proiectului a fost deja publicat pe GitHub. Potrivit autorului, primele teste au arătat o viteză ridicată: unele etape de antrenare pentru modele de tip transformer pe cipuri M4 se încheiau în câteva milisecunde.
Apple nu le oferă oficial dezvoltatorilor posibilitatea de a antrena rețele neuronale cu Neural Engine și poziționează acest bloc în principal ca accelerator pentru inferență. Totuși, reverse engineering-ul sugerează că potențialul hardware al cipurilor este mult mai larg decât lasă să se înțeleagă instrumentele publice ale companiei.
Dacă abordarea își confirmă utilitatea practică, computerele Mac și tabletele iPad ar putea deveni o platformă mai interesantă pentru dezvoltarea și testarea locală a unor modele AI mici, fără dependență obligatorie de servicii cloud.
Descoperirea ridică din nou întrebarea câte capacități sunt ascunse în hardware-ul Apple și câte rămân inaccesibile nu din cauza siliciului, ci din cauza limitelor software impuse de companie.