В Apple разработали метод запуска генеративной модели без использования «облака»

Исследователи из Apple представили новый метод работы генеративных искусственных интеллектуальных систем на смартфонах. Соответствующее исследование было обнаружено в архиве препринтов arXiv.

В своей работе команда предложила использовать постоянную память устройства вместо оперативной для обработки операций генеративного ИИ, что делает его доступным даже на старых моделях смартфонов. Этот подход позволяет модели ИИ переиспользовать уже обработанные данные и более эффективно получать информацию из встроенной памяти iPhone, ускоряя таким образом работу сервиса.

Согласно оценке специалистов Apple, новая методология может снизить нагрузку на процессор в 4-5 раз и на графический ускоритель в 20-25 раз. В отличие от таких систем, как ChatGPT, которые обрабатывают данные на серверах, новый метод позволяет обработку данных непосредственно на смартфоне. Авторы исследования подчеркивают, что это открытие важно для внедрения передовых программ, основанных на крупных языковых моделях (LLM), в условиях ограниченных ресурсов, расширяя их применение и доступность.

Ранее сообщалось, что новый Galaxy S24 Ultra будет выпускаться в эксклюзивных цветах.