„Czat z RTX” firmy NVIDIA to zlokalizowany chatbot AI dla komputerów z systemem Windows, obsługiwany przez TensorRT-LLM i dostępny bezpłatnie na wszystkich procesorach graficznych RTX 30 i 40

Rozwijając swój ekosystem sztucznej inteligencji, NVIDIA wprowadziła „Czat z RTX”, chatbota dla komputerów PC z systemem Windows, który działa na platformie TensorRT-LLM i jest dostępny bezpłatnie na najnowszych procesorach graficznych RTX.

NVIDIA chce zastąpić ChatGPT własnym, dostępnym lokalnie chatbotem AI „Czatuj z RTX”, który jest dostępny bezpłatnie na procesorach graficznych RTX 30 i 40

Użyteczność chatbota „Czatuj z RTX” jest bardzo prosta, został zaprojektowany jako zlokalizowany system, co oznacza, że ​​będziesz mieć spersonalizowanego chatbota GPT dostępnego przez cały czas na Twoim komputerze, bez konieczności łączenia się z Internetem. Czat z RTX można w pełni spersonalizować, wykorzystując zestaw danych dostępny lokalnie na Twoim komputerze, a najlepsze jest to, że działa on na prawie wszystkich procesorach graficznych RTX 40 i RTX 30.

Zaczynając od szczegółów, Chat with RTX wykorzystuje oprogramowanie NVIDIA TensorRT-LLM & Retrieval Augmented Generated (RAG), które zostało ogłoszone dla komputerów PC z systemem Windows w zeszłym roku i w pełni wykorzystuje akcelerację RTX dostępną na sprzęcie RTX, aby zapewnić użytkownikom najlepsze możliwe doświadczenia. Po raz kolejny aplikacja jest obsługiwana przez wszystkie procesory graficzne GeForce RTX 30 i 40 z co najmniej 8 GB pamięci wideo.

Po pobraniu za darmo aplikacji „Chat with RTX” użytkownicy mogą podłączyć ją do lokalnego zbioru danych dostępnego na komputerze (.txt,.pdf,.doc,.docx,.xml) i podłączyć do dużego modelu językowego, takiego jak Mistral i Lama 2. Możesz także dodać określone adresy URL, na przykład filmów z YouTube lub całych list odtwarzania, aby jeszcze bardziej ulepszyć wyniki wyszukiwania zbioru danych. Po połączeniu użytkownicy mogą korzystać z Chat With RTX w taki sam sposób, w jaki korzystaliby z ChatGPT, uruchamiając różne zapytania, ale wygenerowane wyniki będą w całości oparte na konkretnym zestawie danych, co zapewni lepsze odpowiedzi w porównaniu z metodami online.

Posiadanie procesora graficznego NVIDIA RTX obsługującego TensorRT-LLM oznacza, że ​​wszystkie dane i projekty będą dostępne lokalnie, zamiast zapisywać je w chmurze. Oszczędziłoby to czas i zapewniło dokładniejsze wyniki. RAG lub pobieranie Augamanted Generation to jedna z technik stosowanych do szybszego uzyskiwania wyników AI za pomocą zlokalizowanej biblioteki, którą można wypełnić zbiorem danych, przez który ma przejść LLM, a następnie wykorzystać możliwości rozumienia języka tego LLM, aby zapewnić dokładne wyniki.

NVIDIA twierdzi, że 5-krotny wzrost wydajności dzięki TensorRT-LLM v0.6.0, który będzie dostępny jeszcze w tym miesiącu. Ponadto umożliwi także obsługę dodatkowych LLM, takich jak Mistral 7B i Nemotron 3 8B.

Aplikację NVIDIA „Chat with RTX” możesz pobrać tutaj . Jest obsługiwany przez komputery z systemem Windows 11 i Windows 10 i wymaga najnowszych sterowników procesora graficznego NVIDIA w celu uzyskania optymalnej wydajności.