Badacz bezpieczeństwa i deweloper znany pod pseudonimem 0X0SOJALSEC twierdzi, że udało mu się obejść ograniczenia Apple, które zwykle uniemożliwiają użycie Neural Engine w chipach M4 do pełnego trenowania modeli sztucznej inteligencji.
Silnik neuronowy Apple zazwyczaj działa przede wszystkim jako akcelerator dla już wytrenowanych modeli i lokalnych funkcji AI na urządzeniu. Entuzjaście udało się jednak wykorzystać ten blok w znacznie bardziej wymagających scenariuszach, w tym do trenowania modeli transformer z propagacją wsteczną.
W tym celu powstała własna warstwa kompilacyjna oparta na Model Intermediate Language (MIL). Pozwala ona odwoływać się bezpośrednio do Neural Engine, z pominięciem typowych narzędzi Apple, takich jak Core ML i Metal. Podczas pracy dane pozostają w pamięci RAM, co pomaga ograniczyć opóźnienia związane z ciągłym zapisem na nośniku.
Deweloper przygotował też mechanizm wznawiania trenowania: jeśli proces się zawiesi albo zostanie przerwany, system może kontynuować pracę od ostatniego punktu kontrolnego bez utraty dotychczasowego postępu.
Kod źródłowy projektu jest już dostępny na GitHub. Według autora pierwsze testy pokazały wysoką szybkość działania: wybrane etapy trenowania modeli typu transformer na chipach M4 mieściły się w milisekundach.
Apple oficjalnie nie daje deweloperom możliwości trenowania sieci neuronowych za pomocą Neural Engine i pozycjonuje ten blok głównie jako akcelerator inferencji. Reverse engineering sugeruje jednak, że potencjał sprzętowy chipów jest znacznie szerszy, niż można wywnioskować z publicznych narzędzi firmy.
Jeśli podejście potwierdzi swoją praktyczną wartość, komputery Mac i tablety iPad mogą stać się ciekawszą platformą do lokalnego rozwijania i testowania małych modeli AI bez konieczności korzystania z usług chmurowych.
Odkrycie ponownie stawia pytanie, ile możliwości ukryto w sprzęcie Apple i które z nich pozostają niedostępne nie z powodu samego krzemu, lecz przez ograniczenia programowe narzucone przez firmę.