Danny Weber
Kehittäjä kiersi Applen ohjelmistorajoituksia ja näytti, että M4-sirujen Neural Engine pystyy muuhunkin kuin inferenssiin.
Tietoturvatutkija ja kehittäjä, joka käyttää nimimerkkiä 0X0SOJALSEC, kertoo kiertäneensä Applen rajoituksia, jotka yleensä estävät Neural Enginen käytön M4-siruilla täysimittaiseen tekoälymallien koulutukseen.
Applen neuroverkkoyksikkö toimii tavallisesti ennen kaikkea kiihdyttimenä valmiiksi koulutetuille malleille ja laitteessa paikallisesti toimiville AI-ominaisuuksille. Harrastaja onnistui kuitenkin hyödyntämään sitä paljon vaativammissa käyttötapauksissa, myös transformer-mallien koulutuksessa backpropagation-menetelmällä.
Tätä varten rakennettiin oma kääntäjäkerros, joka perustuu Model Intermediate Language (MIL) -ratkaisuun. Se mahdollistaa suoran yhteyden Neural Engineen ja ohittaa tutut Applen työkalut, kuten Core ML:n ja Metalin. Ajon aikana data pysyy keskusmuistissa, mikä vähentää jatkuvasta tallennusvälineelle kirjoittamisesta syntyviä viiveitä.
Kehittäjä toteutti myös koulutuksen palautusmekanismin: jos prosessi jumittuu tai keskeytyy, järjestelmä voi jatkaa viimeisestä tarkistuspisteestä menettämättä jo saavutettua edistystä.
Projektin lähdekoodi on jo julkaistu GitHubissa. Tekijän mukaan ensimmäiset testit osoittivat suurta nopeutta: tietyt transformer-tyyppisten mallien koulutusvaiheet M4-siruilla valmistuivat millisekunneissa.
Apple ei virallisesti tarjoa kehittäjille mahdollisuutta kouluttaa neuroverkkoja Neural Enginellä, vaan esittelee lohkon ennen kaikkea inferenssin kiihdyttimenä. Reverse engineering kuitenkin viittaa siihen, että sirujen laitteistopotentiaali on selvästi laajempi kuin yhtiön julkiset työkalut antavat ymmärtää.
Jos lähestymistapa osoittautuu käytännössä hyödylliseksi, Mac-tietokoneista ja iPad-tableteista voi tulla kiinnostavampi alusta pienten AI-mallien paikalliseen kehitykseen ja testaukseen ilman pakollista riippuvuutta pilvipalveluista.
Löytö nostaa jälleen esiin kysymyksen siitä, kuinka paljon ominaisuuksia Applen laitteistossa on piilossa ja kuinka moni niistä jää saavuttamatta ohjelmistorajoitusten eikä itse sirun vuoksi.
© T. Feodor