Ik ben op zoek naar een GPU welke ik zo breed mogelijk kan inzetten voor diverse taken rondom werk. De belangrijkste overweging om een GPU naast mijn iGPU aan te schaffen is dat ik bepaalde python processen wil versnellen en wil experimenteren met LLM's. Het sneller kunnen bewerken van video's en foto's is een bonus. Ik speel geen games. Het doel is vooral de GPU als werkpaard in te zetten.
Ik maak gebruik van verschillende python libraries voor topic classification / NLP, ML, waarbij je deze taken (sneller) op een GPU kan draaien. Op dit moment moet ik tussen de 10 en 15 minuten wachten voordat mijn script "klaar" is op mijn Intel Core i7-12700K en ik hoop met de juiste GPU hier tijdswinst mee te behalen. In de toekomst verwacht ik dat ik ook modellen zal moeten trainen om betere resultaten te behalen.
Daarnaast zou het mooi zijn om lokaal een LLM te kunnen draaien om mee te experimenteren waarbij ik https://cheshirecat.ai/ lokaal zou kunnen draaien (zonder gebruik van een API). Ook worden alleen NVIDIA kaarten ondersteund voor o.a. dit pakket maar meestal ook voor de andere python packages zie https://cheshirecat.ai/local-models-with-ollama/ .
Gezien de aard van de data die verwerkt wordt is het erg wenselijk om data en LLM's zo veel mogelijk lokaal te draaien en houden. Ook denk ik dat de kosten uiteindelijk lager kunnen zijn door eenmalig in hardware te investeren i.p.v alles in de cloud te draaien. Naarmate de hoeveelheid data toeneemt lopen (zo te zien) ook de kosten flink op.
Enkele vragen:
Voor het draaien van een LLM op acceptabele snelheid is veel VRAM nodig. Maar hoeveel is er minimaal nodig voor een werkbare opstelling? Het is (voor mij) niet realistisch om 3x een RTX 4090 aan te schaffen of een van de andere top end kaarten.
Is een RTX 4070 TI Super of een (gewone) RTX 4070 voldoende om bovenstaande zaken te kunnen draaien of in ieder geval te kunnen experimenteren?
Is er überhaupt een "instap" GPU voor dit soort werkzaamheden?
Is lees op Reddit dat er voldoende developers zijn die een lokale setup hebben, maar het is me niet helemaal duidelijk welke.
Op dit moment heb ik een PSU van 650 watt. Wat ik begrijp zou dat nog net voldoende moeten zijn voor een RTX 4070 kaart, klopt dat?
Wat budget betreft hoop ik (ver) onder de €1.000,- te blijven, maar sta open voor suggesties die dit probleem
kunnen oplossen boven dit bedrag. Aanvullende wensen voor een GPU is zo stil en energie zuinig mogelijk. Ik ben mij bewust dat dit tegenstrijdig is met de taken welke de GPU uitvoert
.
Wat is jullie advies?
Ik maak gebruik van verschillende python libraries voor topic classification / NLP, ML, waarbij je deze taken (sneller) op een GPU kan draaien. Op dit moment moet ik tussen de 10 en 15 minuten wachten voordat mijn script "klaar" is op mijn Intel Core i7-12700K en ik hoop met de juiste GPU hier tijdswinst mee te behalen. In de toekomst verwacht ik dat ik ook modellen zal moeten trainen om betere resultaten te behalen.
Daarnaast zou het mooi zijn om lokaal een LLM te kunnen draaien om mee te experimenteren waarbij ik https://cheshirecat.ai/ lokaal zou kunnen draaien (zonder gebruik van een API). Ook worden alleen NVIDIA kaarten ondersteund voor o.a. dit pakket maar meestal ook voor de andere python packages zie https://cheshirecat.ai/local-models-with-ollama/ .
Gezien de aard van de data die verwerkt wordt is het erg wenselijk om data en LLM's zo veel mogelijk lokaal te draaien en houden. Ook denk ik dat de kosten uiteindelijk lager kunnen zijn door eenmalig in hardware te investeren i.p.v alles in de cloud te draaien. Naarmate de hoeveelheid data toeneemt lopen (zo te zien) ook de kosten flink op.
Enkele vragen:
Voor het draaien van een LLM op acceptabele snelheid is veel VRAM nodig. Maar hoeveel is er minimaal nodig voor een werkbare opstelling? Het is (voor mij) niet realistisch om 3x een RTX 4090 aan te schaffen of een van de andere top end kaarten.
Is een RTX 4070 TI Super of een (gewone) RTX 4070 voldoende om bovenstaande zaken te kunnen draaien of in ieder geval te kunnen experimenteren?
Is er überhaupt een "instap" GPU voor dit soort werkzaamheden?
Is lees op Reddit dat er voldoende developers zijn die een lokale setup hebben, maar het is me niet helemaal duidelijk welke.
Op dit moment heb ik een PSU van 650 watt. Wat ik begrijp zou dat nog net voldoende moeten zijn voor een RTX 4070 kaart, klopt dat?
Wat budget betreft hoop ik (ver) onder de €1.000,- te blijven, maar sta open voor suggesties die dit probleem
kunnen oplossen boven dit bedrag. Aanvullende wensen voor een GPU is zo stil en energie zuinig mogelijk. Ik ben mij bewust dat dit tegenstrijdig is met de taken welke de GPU uitvoert
. Wat is jullie advies?
/u/238475/crop5db01b7054bdf_cropped.png?f=community)
:strip_icc():strip_exif()/u/106218/wc-backbone.jpg?f=community)
.