:strip_icc():strip_exif()/u/237152/icon.jpg?f=community){kind=icon}
Ik zoek een?
Een nieuwe GPU, bijbehorende PSU en waarschijnlijk een SSD. Dit om lokaal uitgebreide LLM’s te kunnen draaien en daarvoor een beetje te finetunen. Om eerlijk te zijn weet ik nog niet precies welke modellen, maar ik denk dat Mistral 8x7B of Llama 3.1 SuperNova Lite 14B op dit moment de beste zijn. Maar ik laat me graag adviseren. Ik wil in ieder geval niet meer afhankelijk zijn van GPT4. Voor de genoemde modellen op Q5_K denk ik dat de 7900 XT met 20GB VRAM een heel mooie kaart is, maar hoe toekomstgericht is zoiets? Er is ook een 7900 XTX met 24GB VRAM, is dat echt veel meer toekomstgericht? Waarom dan? Er zijn geruchten over een betaalbare kaart van AMD met 32GB die later dit jaar uit moet komen, maar heeft dat echt meerwaarde voor thuisgebruik? 30B of FP16 gaat volgens mij ook met 32GB niet lukken, dus ik zie niet echt een reden om op zo’n kaart te wachten. Ik verwacht zelf dat 20GB nog wel een aantal jaar relevant blijft, maar ik open dit topic natuurlijk met een reden
Wat is je budget?
Op dit moment ongeveer €1100, maar ik spaar indien nodig rustig verder. Indien mogelijk geef ik zo min mogelijk uit, dan kan ik weer sneller upgraden. Zou dus stiekem graag horen dat ik met 16GB al GPT uit het water blaas, haha.
Heb je bepaalde (merk)voorkeuren?
Qua PSU zal ik waarschijnlijk filteren op Seasonic en niet verder kijken. Liever AMD dan Nvidia, maar prijs en prestaties is belangrijker dan aan een merk blijven hangen. Verder ben ik blij met mijn huidige spullen van Gigabyte. SSD heb ik nog niet over nagedacht en zal waarschijnlijk afhangen van welk bedrag er overblijft.
Specificeer het systeem en de omgeving waarin je het product gaat gebruiken.?
De CPU is een R9 3900X, dus ik verwacht dat die ruim voldoende blijft gedurende de levensduur van de GPU. En thuis en niet professioneel, dus er is geen terugverdientijd of afschrijfperiode of iets dergelijks. Verder zal ik de enige gebruiker zijn.
Een nieuwe GPU, bijbehorende PSU en waarschijnlijk een SSD. Dit om lokaal uitgebreide LLM’s te kunnen draaien en daarvoor een beetje te finetunen. Om eerlijk te zijn weet ik nog niet precies welke modellen, maar ik denk dat Mistral 8x7B of Llama 3.1 SuperNova Lite 14B op dit moment de beste zijn. Maar ik laat me graag adviseren. Ik wil in ieder geval niet meer afhankelijk zijn van GPT4. Voor de genoemde modellen op Q5_K denk ik dat de 7900 XT met 20GB VRAM een heel mooie kaart is, maar hoe toekomstgericht is zoiets? Er is ook een 7900 XTX met 24GB VRAM, is dat echt veel meer toekomstgericht? Waarom dan? Er zijn geruchten over een betaalbare kaart van AMD met 32GB die later dit jaar uit moet komen, maar heeft dat echt meerwaarde voor thuisgebruik? 30B of FP16 gaat volgens mij ook met 32GB niet lukken, dus ik zie niet echt een reden om op zo’n kaart te wachten. Ik verwacht zelf dat 20GB nog wel een aantal jaar relevant blijft, maar ik open dit topic natuurlijk met een reden
Wat is je budget?
Op dit moment ongeveer €1100, maar ik spaar indien nodig rustig verder. Indien mogelijk geef ik zo min mogelijk uit, dan kan ik weer sneller upgraden. Zou dus stiekem graag horen dat ik met 16GB al GPT uit het water blaas, haha.
Heb je bepaalde (merk)voorkeuren?
Qua PSU zal ik waarschijnlijk filteren op Seasonic en niet verder kijken. Liever AMD dan Nvidia, maar prijs en prestaties is belangrijker dan aan een merk blijven hangen. Verder ben ik blij met mijn huidige spullen van Gigabyte. SSD heb ik nog niet over nagedacht en zal waarschijnlijk afhangen van welk bedrag er overblijft.
Specificeer het systeem en de omgeving waarin je het product gaat gebruiken.?
De CPU is een R9 3900X, dus ik verwacht dat die ruim voldoende blijft gedurende de levensduur van de GPU. En thuis en niet professioneel, dus er is geen terugverdientijd of afschrijfperiode of iets dergelijks. Verder zal ik de enige gebruiker zijn.
Luister naar je onderbewustzijn. Er is een reden dat je niet wilt weten hoe je voedsel wordt geproduceerd.
:strip_exif()/u/131025/avatar15.gif?f=community){kind=avatar}