Danny Weber
Ein Entwickler hat Apples Softwaregrenzen umgangen und gezeigt, dass der Neural Engine im M4 mehr kann als nur Inferenz zu beschleunigen.
Ein Sicherheitsforscher und Entwickler unter dem Pseudonym 0X0SOJALSEC berichtet, dass er Einschränkungen von Apple umgehen konnte. Diese verhindern normalerweise, dass der Neural Engine in M4-Chips für vollständiges Training von KI-Modellen genutzt wird.
Apples neuronale Recheneinheit dient in der Regel vor allem als Beschleuniger für bereits trainierte Modelle und lokale KI-Funktionen auf dem Gerät. Dem Enthusiasten gelang es jedoch, diesen Block für deutlich komplexere Aufgaben einzusetzen, darunter das Training von Transformer-Modellen mit Backpropagation.
Dafür entstand eine eigene Compiler-Schicht auf Basis der Model Intermediate Language (MIL). Sie erlaubt den direkten Zugriff auf den Neural Engine und umgeht dabei bekannte Apple-Werkzeuge wie Core ML und Metal. Während der Ausführung bleiben die Daten im Arbeitsspeicher, was Verzögerungen durch ständige Schreibvorgänge auf den Datenträger reduziert.
Außerdem hat der Entwickler einen Wiederherstellungsmechanismus für das Training umgesetzt: Wenn der Prozess einfriert oder abbricht, kann das System am letzten Checkpoint weitermachen, ohne den bereits erzielten Fortschritt zu verlieren.
Der Quellcode des Projekts wurde bereits auf GitHub veröffentlicht. Nach Angaben des Autors zeigten erste Tests eine hohe Geschwindigkeit: Einzelne Trainingsschritte von Modellen des Typs transformer auf M4-Chips dauerten nur wenige Millisekunden.
Apple bietet Entwicklern offiziell keine Möglichkeit, neuronale Netze mit dem Neural Engine zu trainieren, und positioniert diesen Block vor allem als Beschleuniger für Inferenz. Das Reverse Engineering deutet jedoch darauf hin, dass das Hardwarepotenzial der Chips deutlich größer ist, als es die öffentlichen Werkzeuge des Unternehmens vermuten lassen.
Wenn sich der Ansatz praktisch bewährt, könnten Mac-Computer und iPad-Tablets zu einer interessanteren Plattform für lokale Entwicklung und Tests kleiner KI-Modelle werden, ohne zwingend auf Cloud-Dienste angewiesen zu sein.
Die Entdeckung wirft erneut die Frage auf, wie viele Möglichkeiten in Apple-Hardware verborgen sind und welche davon nicht wegen der Chips selbst, sondern wegen der Softwaregrenzen des Unternehmens unzugänglich bleiben.
© T. Feodor