У Nvidia появилась собственная нейросеть
Nvidia запустила локальную генеративную нейросеть Chat with RTX на видеокартах
Дмитрий Новиков
Фото: © E. Vartanyan
NVIDIA представила бета-версию приложения Chat with RTX, которое позволяет пользователю запускать на своем ПК чат-бота с генеративным ИИ на базе большой языковой модели (LLM).
Chat with RTX, работающий на компьютерах под управлением Windows с видеокартами NVIDIA GeForce RTX 30xx и RTX 40xx и минимум 8 Гб видеопамяти, предоставляет пользователям возможность создавать текстовые сводки и получать релевантные ответы, анализируя видеоролики и документы пользователя.
Одна из ключевых функций Chat with RTX — способность анализировать видео с YouTube: пользователь может ввести URL-адрес видео, и чат-бот предоставит его текстовое резюме. Однако в ранних версиях приложения были зафиксированы случаи, когда чат-бот ошибочно использовал содержание других роликов для анализа.
Chat with RTX также демонстрирует эффективность при работе с PDF-документами, превосходя по этому показателю такие инструменты, как Microsoft Copilot, благодаря своей способности точно извлекать ключевую информацию без задержек, что часто наблюдается при использовании облачных чат-ботов.
Для функционирования Chat with RTX на ПК пользователя устанавливается веб-сервер и Python, использующий LLM, при этом тензорные ядра видеокарт NVIDIA RTX используются для ускорения обработки запросов. Установка приложения занимает около 30 минут, а его размер на диске составляет примерно 40 Гб, при этом Python потребляет около 3 Гб оперативной памяти во время работы.
Однако эксперты отмечают, что Chat with RTX на данном этапе больше похож на демонстрационную версию для разработчиков и компьютерных энтузиастов из-за ряда технических ограничений и проблем. Например, попытка индексации большого количества документов может привести к сбою приложения, требующему сброса настроек для восстановления работоспособности.
Ранее сообщалось, что компания Яндекс запустила нейробраузер.