Danny Weber
Bir geliştirici Apple’ın yazılım sınırlarını aşarak M4 çiplerindeki Neural Engine’in çıkarımdan fazlasını yapabildiğini gösterdi.
0X0SOJALSEC takma adını kullanan bir güvenlik araştırmacısı ve geliştirici, Apple’ın normalde M4 çiplerindeki Neural Engine biriminin tam kapsamlı yapay zeka modeli eğitimi için kullanılmasını engelleyen kısıtlamalarını aşmayı başardığını söylüyor.
Apple’ın sinir motoru genellikle daha önce eğitilmiş modelleri ve cihaz üzerinde çalışan yerel AI özelliklerini hızlandırmak için kullanılıyor. Ancak geliştirici, bu bloğu backpropagation kullanan transformer model eğitimi dahil çok daha karmaşık senaryolarda çalıştırmayı başardı.
Bunun için Model Intermediate Language (MIL) tabanlı özel bir derleyici katmanı oluşturuldu. Bu katman, Core ML ve Metal gibi alışıldık Apple araçlarını atlayarak Neural Engine ile doğrudan iletişim kurulmasını sağlıyor. Çalışma sırasında veriler RAM’de kalıyor; bu da depolamaya sürekli yazmadan kaynaklanan gecikmeleri azaltıyor.
Geliştirici ayrıca eğitim kurtarma mekanizması da ekledi: süreç donar veya kesilirse sistem, daha önce kazanılan ilerlemeyi kaybetmeden son checkpoint’ten devam edebiliyor.
Projenin kaynak kodu şimdiden GitHub üzerinde yayımlandı. Yazarın aktardığına göre ilk testler yüksek hız gösterdi: M4 çiplerinde transformer tipi modellerin bazı eğitim aşamaları milisaniyeler içinde tamamlandı.
Apple, geliştiricilere Neural Engine ile sinir ağları eğitme imkanı resmi olarak sunmuyor ve bu birimi esas olarak çıkarım hızlandırıcısı olarak konumlandırıyor. Ancak yapılan reverse engineering, çiplerin donanım potansiyelinin şirketin herkese açık araçlarının gösterdiğinden çok daha geniş olduğunu düşündürüyor.
Yaklaşım pratikte işe yaradığını kanıtlarsa Mac bilgisayarlar ve iPad tabletler, küçük AI modellerini bulut servislerine bağlı kalmadan yerel olarak geliştirmek ve test etmek için daha ilgi çekici bir platforma dönüşebilir.
Bu keşif, Apple donanımında kaç özelliğin gizli kaldığı ve bunların kaçının çipin kendisinden değil, şirketin yazılım sınırlarından dolayı erişilemez olduğu sorusunu yeniden gündeme getiriyor.
© T. Feodor