AMD Ryzen AI CPU’s en Radeon 7000 GPU’s kunnen gelokaliseerde chatbots uitvoeren met behulp van LLM’s, net als NVIDIA’s chat met RTX

Na de lancering van NVIDIA Chat met RTX biedt AMD gebruikers nu hun eigen gelokaliseerde en op GPT gebaseerde LLM-aangedreven AI-chatbot die kan draaien op Ryzen AI CPU’s en Radeon 7000 GPU’s.

NVIDIA Chat met RTX heeft een concurrent nu AMD zijn eigen gelokaliseerde LLM-aangedreven chatbot onthult die kan draaien op Ryzen AI CPU’s en Radeon 7000 GPU’s

Vorige maand lanceerde NVIDIA zijn “ Chat met RTX ” AI-chatbot die beschikbaar is via zijn RTX 40- en RTX 30-GPU’s en wordt versneld met de TensorRT-LLM-functieset die snellere GenAI-resultaten biedt op basis van de gegevens die u beschikbaar stelt vanaf uw PC of, met andere woorden, een gelokaliseerde dataset. Nu biedt AMD zijn eigen op LLM gebaseerde GPT-chatbot aan die op een breed scala aan hardware kan draaien, zoals de Ryzen AI-pc’s met Ryzen 7000 en Ryzen 8000 APU’s met de XDNA NPU’s, samen met de nieuwste Radeon 7000 GPU’s met AI-acceleratorkernen .

Voor AMD Ryzen AI CPU’s kun je de standaard LM Studio-kopie voor Windows krijgen, terwijl de Radeon RX 7000 GPU’s een ROCm Technical Preview krijgen. De volledige gids wordt hieronder gedeeld:

1. Download de juiste versie van LM Studio:

Voor AMD Ryzen-processors	Voor AMD Radeon RX 7000-serie grafische kaarten
LM Studio – Windows	LM Studio – ROCm technische preview

2. Voer het bestand uit.

3. Kopieer en plak op het tabblad Zoeken de volgende zoekterm, afhankelijk van wat u wilt uitvoeren:

A. Als u Mistral 7b wilt gebruiken, zoekt u naar: “ TheBloke/OpenHermes-2.5-Mistral-7B-GGUF ” en selecteert u dit uit de resultaten aan de linkerkant. Meestal is dit het eerste resultaat. In dit voorbeeld gaan we voor Mistral.

B. Als je LLAMA v2 7b wilt gebruiken, zoek dan naar: “ TheBloke/Llama-2-7B-Chat-GGUF ” en selecteer dit uit de resultaten aan de linkerkant. Meestal is dit het eerste resultaat.

C. Je kunt hier ook met andere modellen experimenteren.

4. Blader in het rechterpaneel naar beneden totdat u het Q4 KM- modelbestand ziet. Klik op downloaden.

A. We raden Q4 KM aan voor de meeste modellen op Ryzen AI. Wacht tot het downloaden is voltooid.

5. Ga naar het chattabblad. Selecteer het model in het centrale vervolgkeuzemenu bovenaan in het midden en wacht tot het laden is voltooid.

6. Als je een AMD Ryzen AI-pc hebt , kun je beginnen met chatten!

A. Als je een AMD Radeon grafische kaart hebt , doe dan het volgende:

i. Vink “GPU Offload” aan op het rechter zijpaneel.

ii. Verplaats de schuifregelaar helemaal naar “Max” .

iii. Zorg ervoor dat AMD ROCm wordt weergegeven als het gedetecteerde GPU-type.

iv. Begin met chatten!

Het hebben van een gelokaliseerde chatbot, aangedreven door AI, kan het leven en werk relatief eenvoudiger maken als deze goed is ingesteld. U kunt uw werk efficiënt uitvoeren en de juiste resultaten behalen op basis van uw vragen en het gegevenspad waarop de LLM is gericht. NVIDIA en AMD versnellen het tempo van AI-aangedreven functies voor consumentenhardware en dit is nog maar het begin. Verwacht meer innovaties naarmate het AI-pc-segment nieuwe hoogten bereikt.