ИИ от Apple может стать самым лучшим
В Apple рассказали о преимуществах собственного ИИ перед GPT-4
Дмитрий Новиков
Фото: © A. Krivonosov
Исследовательская группа Apple рассказала о новом искусственном интеллекте под названием Ferret-UI, разработанным для анализа и взаимодействия с пользовательскими интерфейсами мобильных приложений без необходимости предварительного обучения. Этот ИИ способен понимать и взаимодействовать с различными интерфейсами приложений.
Ferret-UI является мультимодальной языковой моделью (MLLM), что позволяет ей обучаться на широком спектре данных, включая текст, изображения, видео и аудио. Однако существующие MLLM сталкиваются с трудностями при анализе интерфейсов приложений, частично из-за несоответствия размеров обучающих изображений и размеров экранов смартфонов, а также сложностей в понимании мелких элементов интерфейса. Исследователи Apple заявляют, что Ferret-UI превосходит по эффективности GPT-4V и другие модели, специализирующиеся на анализе интерфейсов.
Потенциальное применение Ferret-UI остается достаточно обширным и не полностью определенным. Это может быть стратегическим ходом Apple, чтобы не раскрывать конкретные планы использования технологии перед конкурентами. Однако предполагаемые сценарии использования включают оценку эффективности пользовательских интерфейсов, помощь людям с ограниченными возможностями в понимании содержимого экрана и интеграцию с голосовым помощником Siri для управления приложениями.
Ранее сообщалось, что «Тинькофф банк» вернул своём приложение в App Store.