Nvidia a répondu aux attentes des utilisateurs d’ordinateurs Windows équipés de cartes graphiques GeForce RTX 30 et GeoForce RTX 40 en introduisant un produit leur permettant d’exécuter des chatbots IA sur de tels systèmes.
Ce sont des chatbots qui fonctionnent hors ligne. Le logiciel s’appelle Chat with RTX et permet aux utilisateurs de créer des modèles GenAI qui fonctionnent de manière similaire au ChatGPT d’OpenAI, en les connectant à des documents, des fichiers et des notes de manière à pouvoir leur envoyer des requêtes. Chat with RTX utilise par défaut le modèle open source développé par Mistrala, mais peut également prendre en charge d’autres modèles basés sur du texte, notamment le modèle Meta Llama 2.
Cependant, Chat with RTX est très exigeant en ce qui concerne la couche matérielle de l’ordinateur. Ainsi, le téléchargement de tous les fichiers nécessaires consommera beaucoup d’espace disque (jusqu’à 100 Go dans le cas de certains modèles). Actuellement, Chat with RTX fonctionne avec les fichiers texte PDF, doc, docx et .xml. De plus, la solution peut extraire les URL d’une liste de lecture YouTube, lui permettant de charger des transcriptions vidéo à partir de la pallilist, permettant ainsi au modèle sélectionné de vérifier leur contenu.
Cependant, vous devez en être conscient. que Chat with RTX est plus un jouet permettant de mieux comprendre le fonctionnement des chatbots qu’un outil pouvant être utilisé dans une entreprise ou à des fins commerciales. Nvidia admet que la précision des réponses des applications peut être influencée par un certain nombre de facteurs difficiles à contrôler. Par exemple, poser des questions sur des faits contenus dans plusieurs documents donnera probablement de meilleurs résultats que demander un résumé d’un document ou d’un ensemble de documents. Nvidia affirme que la qualité des réponses s’améliorera généralement avec des ensembles de données plus volumineux.
Cette solution cadre bien avec les prédictions contenues dans le rapport récemment publié par le WEF (World Economic Forum). Le forum prédit une augmentation spectaculaire du nombre d’appareils à faible coût capables d’exécuter des modèles GenAI hors ligne, notamment des ordinateurs de bureau, des smartphones, des appareils IoT et des équipements réseau. La raison, selon le WEF, est qu’il existe des avantages évidents : les modèles hors ligne sont non seulement intrinsèquement plus privés – les données qu’ils traitent ne quittent jamais l’appareil sur lequel ils s’exécutent – mais ils ont également une latence plus faible et sont plus rentables que les modèles hébergés dans le cloud. des modèles.
