Nvidia lanza Chat con RTX: El chatbot AI que corre en tu PC
Nvidia lanza hoy una versión inicial de Chat with RTX , una aplicación de demostración que te permite ejecutar un chatbot de IA personal en tu PC. Puede alimentarlo con vídeos de YouTube y sus propios documentos para crear resúmenes y obtener respuestas relevantes basadas en sus propios datos. Todo se ejecuta localmente en una PC y todo lo que necesita es una GPU RTX serie 30 o 40 con al menos 8 GB de VRAM.
He estado probando brevemente Chat con RTX durante el último día y, aunque la aplicación es un poco tosca, ya puedo ver que es una parte valiosa de la investigación de datos para periodistas o cualquier persona que necesite analizar una colección de documentos.
El chat con RTX puede manejar videos de YouTube, por lo que simplemente ingresa una URL y le permite buscar transcripciones de menciones específicas o resumir un video completo. Encontré esto ideal para buscar podcasts de video, particularmente para encontrar menciones específicas en podcasts durante la semana pasada en medio de rumores sobre el nuevo cambio de estrategia de Xbox de Microsoft .
Sin embargo, no fue perfecto para buscar videos de YouTube. Intenté buscar en la transcripción de un vídeo de Verge YouTube y Chat with RTX descargó la transcripción de un vídeo completamente diferente. Ni siquiera había consultado antes, por lo que claramente hay errores en esta demostración inicial.
:format(webp)/cdn.vox-cdn.com/uploads/chorus_asset/file/25283482/BQXE3at.png)
Por ejemplo, el chatbot hizo un buen trabajo al resumir toda la estrategia de Xbox Game Pass de Microsoft a partir de documentos internos revelados en la prueba:
Según la información de contexto proporcionada, Xbox Game Pass es un servicio de suscripción de contenido de juegos que brinda acceso a una biblioteca de juegos por una tarifa mensual única. Se concibe como una plataforma que permite a los jugadores jugar sus juegos en cualquier lugar y permite a los editores llegar a jugadores en todas partes. El servicio cuenta con el respaldo de Project xCloud y Xbox Series X, y su objetivo es crear un terreno fértil para que los editores moneticen sus juegos. El principal objetivo estratégico de Gaming CSA es escalar Xbox Game Pass, y se cree que existe una importante oportunidad de suscriptores a nivel mundial, con un potencial de 750 millones de suscriptores. El servicio enfrenta tres dinámicas de contenido principales, incluida la necesidad de contenido diferenciado, la expansión más allá de la consola y el suministro limitado de contenido.
También me ha parecido útil para escanear archivos PDF y verificar datos. El propio sistema Copilot de Microsoft no maneja bien archivos PDF dentro de Word, pero el Chat con RTX de Nvidia no tuvo problemas para extraer toda la información clave. Las respuestas también son casi instantáneas, sin el retraso que normalmente se ve cuando se utilizan los chatbots ChatGPT o Copilot basados en la nube.
El gran inconveniente de Chat with RTX es que realmente parece una demostración inicial para desarrolladores. Chat with RTX esencialmente instala un servidor web y una instancia de Python en su PC, que luego aprovecha los modelos Mistral o Llama 2 para consultar los datos que le proporciona. Luego utiliza los núcleos Tensor de Nvidia en una GPU RTX para acelerar sus consultas.
:format(webp)/cdn.vox-cdn.com/uploads/chorus_asset/file/25283483/5UYNJFi.png)
Chat with RTX tardó unos 30 minutos en instalarse
Chat with RTX tardó unos 30 minutos en instalarse en mi PC, que funciona con un procesador Intel Core i9-14900K con una GPU RTX 4090. La aplicación tiene un tamaño de casi 40 GB y la instancia de Python ocupa alrededor de 3 GB de RAM de los 64 GB disponibles en mi sistema. Una vez que se está ejecutando, accede a Chat with RTX desde un navegador, mientras se ejecuta un símbolo del sistema en segundo plano que muestra lo que se está procesando y los códigos de error.
Nvidia no ofrece esto como una aplicación pulida que todos los propietarios de RTX deban descargar e instalar de inmediato. Hay una serie de problemas y limitaciones conocidos, incluido el hecho de que la atribución de la fuente no siempre es precisa. Inicialmente también intenté hacer que Chat con RTX indexara 25.000 documentos, pero esto pareció bloquear la aplicación y tuve que borrar las preferencias para continuar.
El chat con RTX tampoco recuerda el contexto, por lo que las preguntas de seguimiento no pueden basarse en el contexto de una pregunta anterior. También crea archivos JSON dentro de las carpetas que le solicita que indexe, por lo que no recomendaría usar esto en toda la carpeta Documentos en Windows.
Sin embargo, me encanta una buena demostración técnica y Nvidia ciertamente la ha entregado aquí. Muestra la promesa de lo que un chatbot de IA puede hacer localmente en su PC en el futuro, especialmente si no quiere tener que suscribirse a algo como Copilot Pro o ChatGPT Plus solo para analizar sus archivos personales.
