Danny Weber
Een ontwikkelaar omzeilde Apples softwaregrenzen en liet zien dat de Neural Engine in M4-chips meer kan dan inferentie versnellen.
Een beveiligingsonderzoeker en ontwikkelaar onder het pseudoniem 0X0SOJALSEC zegt dat hij beperkingen van Apple heeft omzeild die normaal voorkomen dat de Neural Engine in M4-chips wordt gebruikt voor volledige training van AI-modellen.
Apples neurale engine werkt meestal vooral als versneller voor al getrainde modellen en lokale AI-functies op het apparaat. De enthousiasteling wist deze rekeneenheid echter in te zetten voor veel zwaardere scenario’s, waaronder het trainen van transformer-modellen met backpropagation.
Daarvoor werd een eigen compilerlaag gebouwd op basis van Model Intermediate Language (MIL). Die maakt directe toegang tot de Neural Engine mogelijk en omzeilt bekende Apple-tools zoals Core ML en Metal. Tijdens de uitvoering blijven de gegevens in het RAM, wat vertraging door constante schrijfacties naar opslag helpt verminderen.
De ontwikkelaar implementeerde ook een herstelmechanisme voor training: als het proces vastloopt of wordt onderbroken, kan het systeem doorgaan vanaf het laatste checkpoint zonder reeds behaalde vooruitgang te verliezen.
De broncode van het project staat inmiddels op GitHub. Volgens de auteur lieten eerste tests hoge snelheden zien: afzonderlijke trainingsstappen van transformer-achtige modellen op M4-chips werden in milliseconden afgerond.
Apple biedt ontwikkelaars officieel geen manier om neurale netwerken te trainen met de Neural Engine en presenteert dit blok vooral als versneller voor inferentie. De reverse engineering suggereert echter dat het hardwarepotentieel van de chips duidelijk groter is dan Apples publieke tools doen vermoeden.
Als de aanpak in de praktijk nuttig blijkt, kunnen Mac-computers en iPad-tablets een interessanter platform worden voor lokale ontwikkeling en tests van kleine AI-modellen, zonder verplichte afhankelijkheid van clouddiensten.
De ontdekking roept opnieuw de vraag op hoeveel mogelijkheden in Apple-hardware verborgen zitten en hoeveel daarvan niet door het silicium zelf, maar door de softwaregrenzen van het bedrijf onbereikbaar blijven.
© T. Feodor