Компания NVIDIA выпустила демонстрационное приложение, которое позволяет запустить на вашем ПК персонализированного ИИ-чатбота с использованием определенных видеокарт. Chat with RTX работает на Windows 11 и требует наличия графического процессора GeForce RTX 30 или 40 серии (или GPU поколения RTX Ampere или Ada). Он использует технологию Retrieval-Augmented Generation (RAG), TensorRT-LLM и ускорение RTX для создания большой языковой модели GPT, настроенной на ваш собственный контент.
Вы также можете загружать в него видео из интернета, включая клипы с YouTube. Просто вставьте URL-адрес исходного видео и задайте чатботу любой вопрос, связанный с его содержанием.
Как следует из названия, Retrieval-Augmented Generation - это метод, который повышает точность и надежность генеративных моделей ИИ с помощью фактов, собранных из внешних источников.
Поскольку приложение работает локально, а не в облаке, и обучается на ваших собственных данных, оно должно быть одновременно быстрым и контекстно релевантным. NVIDIA также утверждает, что оно обеспечивает безопасные результаты, что вполне логично, учитывая отсутствие передачи конфиденциальных данных через интернет.
Том Уоррен из The Verge уже протестировал предварительную версию Chat with RTX и, несмотря на некоторые шероховатости, отметил, что система может стать ценным инструментом для журналистов или тех, кто нуждается в анализе набора документов. Например, Уоррен смог получить от бота сводку всей стратегии Microsoft по Xbox Game Pass, используя юридические документы из судебного разбирательства компании с FTC в Редмонде.
Однако с видеофункцией всё было не так гладко. Приложение каким-то образом загрузило стенограмму совершенно другого видео вместо нужного. Примечательно, что это видео даже не было ранее запрошено Уорреном.
Если у вас есть видеокарта GeForce 30 или 40 серии, и вы хотите попробовать Chat with RTX, вы можете скачать установочный файл на сайте NVIDIA.
