Bezpečnostní výzkumník a vývojář vystupující pod pseudonymem 0X0SOJALSEC tvrdí, že se mu podařilo obejít omezení Apple, která běžně brání využití Neural Engine v čipech M4 pro plnohodnotné trénování modelů umělé inteligence.
Neuronový engine Applu obvykle slouží hlavně jako akcelerátor pro již natrénované modely a lokální AI funkce běžící na zařízení. Nadšenci se však podařilo tento blok zapojit i do mnohem složitějších scénářů, včetně trénování transformer modelů pomocí zpětného šíření chyby.
K tomu vznikla vlastní kompilační vrstva založená na Model Intermediate Language (MIL). Umožňuje přímý přístup k Neural Engine a obchází běžné nástroje Apple, jako jsou Core ML a Metal. Během běhu zůstávají data v operační paměti, což pomáhá omezit zpoždění způsobená neustálým zápisem na úložiště.
Vývojář také vytvořil mechanismus pro obnovení trénování: pokud proces zamrzne nebo se přeruší, systém může pokračovat od posledního checkpointu bez ztráty už dosaženého pokroku.
Zdrojový kód projektu už byl zveřejněn na GitHubu. Podle autora ukázaly první testy vysokou rychlost: jednotlivé fáze trénování modelů typu transformer na čipech M4 se vešly do milisekund.
Apple oficiálně nenabízí vývojářům možnost trénovat neuronové sítě pomocí Neural Engine a tento blok prezentuje především jako akcelerátor inference. Reverse engineering však naznačuje, že hardwarový potenciál čipů je výrazně širší, než by se mohlo zdát z veřejných nástrojů firmy.
Pokud se přístup osvědčí v praxi, počítače Mac a tablety iPad se mohou stát zajímavější platformou pro lokální vývoj a testování menších AI modelů bez nutnosti spoléhat na cloudové služby.
Objev znovu otevírá otázku, kolik schopností se skrývá v hardwaru Apple a kolik z nich zůstává nedostupných ne kvůli samotnému křemíku, ale kvůli softwarovým omezením firmy.