Egy 0X0SOJALSEC álnevet használó biztonsági kutató és fejlesztő azt állítja, hogy sikerült megkerülnie az Apple korlátozásait, amelyek általában nem engedik a Neural Engine használatát az M4 chipekben teljes értékű mesterségesintelligencia-modellek tanítására.
Az Apple neurális motorja jellemzően már betanított modellek és eszközön futó AI-funkciók gyorsítására szolgál. A lelkes fejlesztőnek azonban sikerült jóval összetettebb feladatokra is befognia ezt az egységet, köztük transformer modellek backpropagation alapú tanítására.
Ehhez saját fordítóréteget készített a Model Intermediate Language (MIL) alapján. Ez közvetlen hozzáférést ad a Neural Engine-hez, megkerülve az Apple megszokott eszközeit, például a Core ML-t és a Metal-t. Futás közben az adatok a memóriában maradnak, ami csökkenti a folyamatos háttértár-írásból eredő késleltetést.
A fejlesztő egy tanítás-visszaállítási mechanizmust is megvalósított: ha a folyamat lefagy vagy megszakad, a rendszer az utolsó ellenőrzőponttól folytathatja, az addigi eredmények elvesztése nélkül.
A projekt forráskódja már elérhető a GitHubon. A szerző szerint az első tesztek nagy sebességet mutattak: a transformer típusú modellek egyes tanítási lépései M4 chipeken néhány ezredmásodperc alatt lefutottak.
Az Apple hivatalosan nem kínál lehetőséget a fejlesztőknek neurális hálók tanítására a Neural Engine segítségével, és ezt az egységet elsősorban inferenciagyorsítóként pozicionálja. A reverse engineering azonban arra utal, hogy a chipek hardveres potenciálja jóval nagyobb, mint amit a cég nyilvános eszközei sejtetnek.
Ha a megközelítés a gyakorlatban is hasznosnak bizonyul, a Mac gépek és az iPad táblagépek vonzóbb platformmá válhatnak kis AI-modellek helyi fejlesztésére és tesztelésére, felhőszolgáltatások kényszere nélkül.
A felfedezés ismét felveti a kérdést, mennyi lehetőség rejtőzik az Apple hardverében, és ezek közül mennyi marad elérhetetlen nem a szilícium, hanem a vállalat szoftveres korlátai miatt.