iPhone 17 Pro ile dev dil modeli çalıştırma başarısı

iPhone 17 Pro, yalnızca 12 GB LPDDR5X RAM'e sahip olmasına rağmen, son zamanlarda 400 milyar parametreli dev bir dil modelini çalıştırmayı başardı. Bu başarı, modelin sıkıştırılmış halde bile en az 200 GB RAM gerektirmesi göz önüne alındığında oldukça dikkat çekici. Peki bu nasıl mümkün oldu? Cevap, akıllı mühendislik çözümlerinde yatıyor.

Flash-MoE adlı açık kaynaklı bir proje, iPhone'un SSD depolama alanını kullanarak verileri doğrudan grafik işlemcisine aktararak bellek sınırını aşıyor. MoE modeli de bu sürece katkıda bulunuyor: her kelimenin üretilmesi için 400 milyar parametrenin yalnızca bir kısmı kullanılıyor ve bu da cihaz üzerindeki yükü azaltıyor.

Ancak üretim hızı oldukça yavaş kalıyor—saniyede yalnızca 0.6 token, yani yaklaşık her 1.5 ila 2 saniyede bir kelime. Buna rağmen, bu demo, bu denli büyük modellerin mobil cihazlarda çalıştırılabileceğini gösteriyor. Yerel bir model kullanmak tam gizlilik sağlıyor ve sürekli internet bağlantısı ihtiyacını ortadan kaldırıyor, ancak iPhone 17 Pro'nun pil tüketimi bu yük altında hızla artıyor.

Özetle, bu deney, optimizasyonlar ve SSD kullanımı sayesinde son derece kaynak yoğun dil modellerinin bile bir akıllı telefonda çalıştırılabileceğini kanıtlıyor. Ancak yavaş üretim hızları ve yüksek sistem yükü nedeniyle bu tür kurulumların pratik kullanımı sınırlı kalıyor.