:fill(white):strip_exif()/i/2003959978.jpeg?f=thumbmini)
:fill(white):strip_exif()/i/2005597842.jpeg?f=thumbmini)
:fill(white):strip_exif()/i/2005811614.jpeg?f=thumbmini)
:strip_exif()/u/5722/ocf81_avatar_3.gif?f=community){kind=avatar}
Ik wil graag eens aan de slag met lokaal gehoste LLMs. In eerste instantie was ik van plan mijn 6800XT door te schuiven naar een server en dan een 5080 of 9070 XT te kopen, maar van beide kaarten wordt ik niet heel blij, om het maar zacht te zeggen.
Nu wil ik nog steeds aan de slag met LLMs, dus moet ik daar een kaart voor kopen. Het liefst niet al te duur. Zeker niet meer dan €500 en met minimaal 16GB VRAM om een aardig model te kunnen draaien. Het mag ook een 2e-hands kaart zijn. Tevens moet de databus minimaal 256-bits zijn, zodat een LLM nog op een beetje fatsoenlijke snelheid doorlopen kan worden. Het moet kunnen werken met ollama en/of varianten daarvan die geschikt zijn voor de kaart. CUDA is geen vereiste, dus het mag ook AMD of Intel zijn. De focus ligt vooralsnog niet op trainen.
In mijn eigen zoektocht lijkt de set van mogelijkheden voornamelijk te bestaan uit AMD 6800 XT, AMD 7800 XT of Intel A770 16GB. Als je de eis voor de geheugenbus laat vallen een zou een nVidia 4060 Ti 16GB ook nog kunnen.
Ik zou graag willen weten welke kaarten geschikt zijn en met welke zaken ik dan rekening mee moet houden als ik op die specifieke kaart die je aanraadt een LLM wil draaien.
Nu wil ik nog steeds aan de slag met LLMs, dus moet ik daar een kaart voor kopen. Het liefst niet al te duur. Zeker niet meer dan €500 en met minimaal 16GB VRAM om een aardig model te kunnen draaien. Het mag ook een 2e-hands kaart zijn. Tevens moet de databus minimaal 256-bits zijn, zodat een LLM nog op een beetje fatsoenlijke snelheid doorlopen kan worden. Het moet kunnen werken met ollama en/of varianten daarvan die geschikt zijn voor de kaart. CUDA is geen vereiste, dus het mag ook AMD of Intel zijn. De focus ligt vooralsnog niet op trainen.
In mijn eigen zoektocht lijkt de set van mogelijkheden voornamelijk te bestaan uit AMD 6800 XT, AMD 7800 XT of Intel A770 16GB. Als je de eis voor de geheugenbus laat vallen een zou een nVidia 4060 Ti 16GB ook nog kunnen.
Ik zou graag willen weten welke kaarten geschikt zijn en met welke zaken ik dan rekening mee moet houden als ik op die specifieke kaart die je aanraadt een LLM wil draaien.
[ Voor 5% gewijzigd door ocf81 op 10-03-2025 16:15 ]
© ocf81 1981-infinity
Live the dream! | Politiek Incorrecte Klootzak uitgerust met The Drive to Survive
Bestrijd de plaag die woke heet! | <X> as a Service --> making you a poor & dependent slave