iPhone 17 Pro onnistui ajamaan 400 miljardin parametrin kielimallin älypuhelimessa Flash-MoE-projektin avulla. Lue, miten SSD-tallennus ja MoE-malli mahdollistavat tämän.
© A. Krivonosov
iPhone 17 Pro onnistui äskettäin ajamaan suuren kielimallin (LLM), jossa on 400 miljardia parametria, huolimatta valtavista muistivaatimuksista. Jopa pakattuna malli vaatii vähintään 200 gigatavua RAM-muistia. Miten tämä on mahdollista älypuhelimessa, jossa on vain 12 gigatavua LPDDR5X-RAM-muistia? Vastaus piilee älykkäissä teknisissä ratkaisuissa.
Avoimen lähdekoodin projekti nimeltä Flash-MoE ohittaa muistirajan käyttämällä iPhonen SSD-tallennustilaa siirtämään dataa suoraan grafiikkaprosessorille. MoE-malli auttaa myös: jokaisen sanan generointi vaatii vain osan 400 miljardista parametrista, mikä vähentää laitteen kuormitusta.
Generointinopeus pysyy erittäin hitaana—vain 0,6 tokenia sekunnissa, mikä tarkoittaa noin yhtä sanaa 1,5–2 sekunnin välein. Tästä huolimatta esittely osoittaa, että tällaiset massiiviset mallit voivat toimia mobiililaitteissa. Paikallisen mallin käyttö takaa täydellisen yksityisyyden ja poistaa tarpeen jatkuvalle internetyhteydelle, mutta iPhone 17 Pron akku tyhjentyy nopeasti tällaisessa työkuormassa.
Kokonaisuudessaan tämä kokeilu osoittaa, että jopa erittäin resurssiintensiiviset LLM-mallit voivat toimia älypuhelimessa optimoinneilla ja SSD-käytöllä. Käytännön soveltuvuus on kuitenkin rajoittunutta hitaiden generointinopeuksien ja korkean järjestelmäkuormituksen vuoksi.