AI Upgrade path

[justice strike]

Ik wil wat meer gaan spelen met AI (deep learning en machine learning).

Op het moment heb ik geen fatsoenlijke pc. Mijn laptop is net kapot gegaan en desktop is best oud (Intel i5 3470 met 16gb). Ik heb nu een aantal verschillende upgrade paths:

1. Oude PC upgraden en wachten op een nieuw platform
   • gtx 1060 of rtx 2060 halen en ram te upgraden naar 32gb.
   • Later in het jaar zou ik dan kunnen overstappen naar een nieuw platform
   • pro: lage investering
   • con: trage CPU
2. Laptop kopen met amd 4000 series processor
   • budget: 600 tot 800 eur
   • con: max 16gb, geen upgrade path, geen GPU
   • pro: portable device (dus geen andere laptop of tablet meer nodig)
3. Goedkope am4 cpu kopen en later upgraden met GPU en CPU
   • initieel budget zou dan 400 euro zijn
   • con: initieel geen GPU
   • pro: PCI-E 4.0, upgradeable platform
4. Gen1 threadripper kopen
   • initieel budget 400 euro
   • con: platform is duurder, initiele setup zal beperkter zijn dan AM4, performance is lager
   • pro: veel PCI-E Lanes, meer tweedehands te krijgen. Meer geheugenuitbreiding

Zoals je merkt is mijn budget weIk moet hierbij wel aangeven dan een case en powersupply (randapparatuur) niet gekocht hoeven te worden aangezien ik dat heb. Het betreft dus echt CPU, MOBO, Ram (GPU waar nodig).

ook is het budget voor een laptop hoger dan de andere opties. Dat is omdat ik een mobile device nodig heb, mijn latitude tablet is kapot en die zal ik op termijn willen vervangen, maar als ik dat met een android tablet kan doen omdat ik een desktop heb dan is dat ook goed.

Ik neig naar de eerste optie, omdat dse investering weinig is, maar ben ook bang dat de CPU niet afdoende is om de GPU aan te sturen. In games is dat in iedergeval zeker het geval, maar voor AI weet ik niet in hoeverre dit het geval is. Ik kan dan ook bepalen of ik veel zal gaan doen met Deep Learning, zonder al te veel geld kwijt te zijn.

De laatste optie wil ik al bijna gaan uitsluiten. De PCI-E lanes zijn nu nog wel handig, maar als de GPU's met PCI-E 4 uitkomen dan gaat het AM4 platform voldoende upgradeability hebben om niet alle PCI-E lanes nodig te hebben.

Hoe denken jullie over het bovenstaande verhaal?

[99ruud99]

ALS je al gaat investeren in je pc, zou ik een tweedehands GPU kopen.
De intel is van 2012, dus koop een tweedehands GPU van +- 2013...
Dan kom je uit bij een GTX 970... ik zou dus kijken naar kaarten die tweedehands onder 75 euro blijven.
Dan kan je aan het eind van dit jaar nog upgraden.

Alternatief: je geeft aan dat je een portable device nodig hebt, dus waarom investeer je niet meteen in de laptop? Als je die anders toch moet kopen, dan is dit zeker een idee.


sowieso is het met nieuwere videokaarten maar de vraag of je voeding het aankan (Waarschijnlijk: nee).

[justice strike]

99ruud99 schreef op donderdag 4 juni 2020 @ 10:14:
ALS je al gaat investeren in je pc, zou ik een tweedehands GPU kopen.
De intel is van 2012, dus koop een tweedehands GPU van +- 2013...
Dan kom je uit bij een GTX 970... ik zou dus kijken naar kaarten die tweedehands onder 75 euro blijven.
Dan kan je aan het eind van dit jaar nog upgraden.

Daar heb ik aan gedacht, maar een gtx970 kopen is zeker weggegooid geld. Een rtx 2060 kan ik nog overzetten in een nieuwe pc. Ram is helaas niet over te zetten dus die 16gb ddr3 moet ik maar als leergeld zien.

Alternatief: je geeft aan dat je een portable device nodig hebt, dus waarom investeer je niet meteen in de laptop? Als je die anders toch moet kopen, dan is dit zeker een idee.

Voornamelijk omdat:
1. ik eigenlijk een thin en light wil
2. een laptop niet echt geschikt is voor langdurig GPU processing (i.e. dagen lang).
3. upgrade path redelijk non-existant is

sowieso is het met nieuwere videokaarten maar de vraag of je voeding het aankan (Waarschijnlijk: nee).

Voeding zal ik nog even nakijken, maar ook daar geld voor, die kan ik overzetten naar een nieuw platform.

[99ruud99]

Het klopt dat wanneer je een GPU van 75 euro tweedehands koopt deze waarschijnlijk "weggegooid geld is".
Aan de andere kant, als je nu een RTX 2060 koopt, wil je die vervangen wanneer je je pc koopt. Dan zou je hem hem verkopen, waarschijnlijk voor 100 euro minder dan nieuwprijs, en is het maar de vraag hoe snel dat ding verkoopt.

Natuurlijk blijft het eigen keuze, ik weet dat AI voornamelijk GPU gebasseerd is. Maar zou je de 2060 blijven gebruiken ? Dan kan het waard zijn... anders vrees ik er beetje voor.

[justice strike]

kun je een rtx 2060 niet in sli gebruiken naast een rtx2080? (kun je uberhaupt 2 verschillende kaarten in SLI zetten? Zowieso kun je ze los van elkaar aanspreken (niet mijn voorkeur, maar wel een optie)

Overigens weet ik niet eens of een gtx970 werkt met de CUDA libraries, dat is wel een aantal generaties oud.

[Voor 10% gewijzigd door justice strike op 04-06-2020 10:51]

[justice strike]

Ok. Als we de laptop optie en de upgrade optie even uit deze lijst haal (ik zal in beide gevallen op een gegeven moment naar een nieuw platform moeten gaan).

Is het dan aan te raden om voor een oude threadripper te gaan (slow performance maar wel veel pci-e 3 lanes)

of voor Ryzen 3xxx (betere performance met pci-e 4, maar er zijn nog geen kaarten met pci-e 4 op het moment)

[MacPoedel]

justice strike schreef op donderdag 4 juni 2020 @ 10:50:
kun je een rtx 2060 niet in sli gebruiken naast een rtx2080? (kun je uberhaupt 2 verschillende kaarten in SLI zetten? Zowieso kun je ze los van elkaar aanspreken (niet mijn voorkeur, maar wel een optie)

Overigens weet ik niet eens of een gtx970 werkt met de CUDA libraries, dat is wel een aantal generaties oud.

De SLI connector is bij Turing Geforce kaarten vervangen door NVLink. RTX 2060 heeft helemaal geen NVLink connector, je moet hiervoor minimaal een RTX 2070 Super hebben. Het is al een aantal jaar zo dat midrange Geforce kaarten geen multi-GPU ondersteunen (bv GTX 1060 had ook al geen SLI connector).

Je hebt nog steeds hetzelfde model GPU nodig, dus neen je kunt geen RTX 2070 Super en RTX 2080 combineren met SLI.

Je kunt natuurlijk wel meerdere GPU's los naast elkaar gebruiken, AI heeft wel baat bij NVLink zodat je die als één GPU kan voordoen aan het model. Ik ken hier zelf niet zoveel van, maar wat ik er zo snel over vind is dat het ingewikkelder is om verschillende GPU's te gebruiken en dat het ook als flessenhals werkt. Als je verschillende jobs naast elkaar wilt draaien, is het geen probleem.

justice strike schreef op vrijdag 5 juni 2020 @ 10:17:
Ok. Als we de laptop optie en de upgrade optie even uit deze lijst haal (ik zal in beide gevallen op een gegeven moment naar een nieuw platform moeten gaan).

Is het dan aan te raden om voor een oude threadripper te gaan (slow performance maar wel veel pci-e 3 lanes)

of voor Ryzen 3xxx (betere performance met pci-e 4, maar er zijn nog geen kaarten met pci-e 4 op het moment)

Er zijn wel kaarten met PCIe 4.0, bij AMD alle kaarten met de RDNA architectuur, bij Nvidia kaarten met de Ampere architectuur, dat is nu alleen nog maar in server kaarten maar andere kaarten komen (normaal gezien) ook dit jaar uit.

Verder is voor deep learning de CPU snelheid niet zo kritisch, en er is wel een aanzienlijk verschil in PCIe lanes tussen AM4 (X570) en TR4. Zelfs als zijn het maar PCIe 3.0 lanes, je krijgt er wel 16 per GPU (64 in totaal) terwijl X570 in een multi GPU opstelling maximaal 8 PCIe 4.0 lanes heeft per GPU (dan moet die GPU dat dus ook ondersteunen, een RTX 2080 heeft maar 8 PCIe 3.0 lanes). In het ideale geval is dat dus dezelfde bandbreedte per GPU, maar afhankelijk van het gebruikte moederbord kun je wel 3-4 GPU's rechtstreeks aan de CPU koppelen op TR4 tegenover 2 rechtstreeks aan de GPU en 1 aan de chipset.

Dus je moet voor jezelf uitmaken of je dit systeem vooral voor deep learning wilt, dan is een TR4 systeem niet zo slecht, maar een AM4 Zen 2 systeem is all round beter.

Deze tweedehands aanbieding is ook niet verkeerd denk ik dan: V&A aangeboden: MSI X399 Gaming Pro Carbon AC + Ryzen Threadripper 1950x.

[justice strike]

MacPoedel schreef op vrijdag 5 juni 2020 @ 14:06:
[...]


De SLI connector is bij Turing Geforce kaarten vervangen door NVLink. RTX 2060 heeft helemaal geen NVLink connector, je moet hiervoor minimaal een RTX 2070 Super hebben. Het is al een aantal jaar zo dat midrange Geforce kaarten geen multi-GPU ondersteunen (bv GTX 1060 had ook al geen SLI connector).

Je hebt nog steeds hetzelfde model GPU nodig, dus neen je kunt geen RTX 2070 Super en RTX 2080 combineren met SLI.

Je kunt natuurlijk wel meerdere GPU's los naast elkaar gebruiken, AI heeft wel baat bij NVLink zodat je die als één GPU kan voordoen aan het model. Ik ken hier zelf niet zoveel van, maar wat ik er zo snel over vind is dat het ingewikkelder is om verschillende GPU's te gebruiken en dat het ook als flessenhals werkt. Als je verschillende jobs naast elkaar wilt draaien, is het geen probleem.

Ok goed om te weten dat het een 2070 moet zijn. Misschien moet ik dan maar voor een gtx 1670 gaan ofzo om de kosten wat te drukken

[...]


Er zijn wel kaarten met PCIe 4.0, bij AMD alle kaarten met de RDNA architectuur, bij Nvidia kaarten met de Ampere architectuur, dat is nu alleen nog maar in server kaarten maar andere kaarten komen (normaal gezien) ook dit jaar uit.

van wat ik begrepen heb, zit je beter bij NVIDIA voor AI aangezien AMD niet optimized is voor meeste libraries

Verder is voor deep learning de CPU snelheid niet zo kritisch, en er is wel een aanzienlijk verschil in PCIe lanes tussen AM4 (X570) en TR4. Zelfs als zijn het maar PCIe 3.0 lanes, je krijgt er wel 16 per GPU (64 in totaal) terwijl X570 in een multi GPU opstelling maximaal 8 PCIe 4.0 lanes heeft per GPU (dan moet die GPU dat dus ook ondersteunen, een RTX 2080 heeft maar 8 PCIe 3.0 lanes). In het ideale geval is dat dus dezelfdge bandbreedte per GPU, maar afhankelijk van het gebruikte moederbord kun je wel 3-4 GPU's rechtstreeks aan de CPU koppelen op TR4 tegenover 2 rechtstreeks aan de GPU en 1 aan de chipset.

Dus je moet voor jezelf uitmaken of je dit systeem vooral voor deep learning wilt, dan is een TR4 systeem niet zo slecht, maar een AM4 Zen 2 systeem is all round beter.

Deze tweedehands aanbieding is ook niet verkeerd denk ik dan: V&A aangeboden: MSI X399 Gaming Pro Carbon AC + Ryzen Threadripper 1950x.

Ik kwam een beetje op dezelfde conclusie, maar dit verhaal maakt mij duidelijk dat ik meer dan 2 GPU's nodig heb wil ik gebruik kunnen maken van de voordelen van threadripper.

De vraag is dan ook nog of de extra lanes nut hebben aangezien je met pci-e 4 ook gewoon de GPU op 4x kan laten lopen, waardoor je nog steeds 4 gpu's op de CPU direct kunt aanlsuiten (of zeg ik nu iets vreemds). Alleen heeft NVIDIA nog geen pxi-e 4, maar dat komt dan snel.

Dus tenzij wat ik hierboven aangeef geen hout snijd, heb ik meer voordelen met een ryzen 3/4xxx systeempje zonder dat ik extra hoef te investeren in iets wat ik mogelijk niet gebruik.

[Voor 3% gewijzigd door justice strike op 05-06-2020 14:31]

[MacPoedel]

justice strike schreef op vrijdag 5 juni 2020 @ 14:30:
[...]


Ok goed om te weten dat het een 2070 moet zijn. Misschien moet ik dan maar voor een gtx 1670 gaan ofzo om de kosten wat te drukken

Een RTX 2070 Super, dat is een totaal andere GPU dan de RTX 2070.

Of je naar een nog lager gepositioneerde videokaart moet kijken, hangt van je toepassing af. RTX videokaarten hebben Tensor cores, GTX kaarten hebben die niet. Als je toepassing die Tensor cores gebruikt, is die véél sneller op de RTX dan de GTX, bv hier GTX 1080 Ti vs RTX 2060: https://towardsdatascienc...ive-gtx-card-cd47cd9931d2. En nochtans heeft de GTX 1080 Ti meer CUDA cores.

Een RTX 2060 is mits gebruik van de Tensor cores dan wel een stuk sneller dan een GTX 1660(Ti/Super) en kost maar beperkt meer.

[...]


van wat ik begrepen heb, zit je beter bij NVIDIA voor AI aangezien AMD niet optimized is voor meeste libraries

Ik haal maar aan dat videokaarten met PCIe 4.0 bestaan, je zei eerder dat PCIe 4.0 videokaarten niet bestaan. Dat die AMD videokaarten goed zijn voor deep learning heb ik nooit gezegd.

[...]


Ik kwam een beetje op dezelfde conclusie, maar dit verhaal maakt mij duidelijk dat ik meer dan 2 GPU's nodig heb wil ik gebruik kunnen maken van de voordelen van threadripper.

De vraag is dan ook nog of de extra lanes nut hebben aangezien je met pci-e 4 ook gewoon de GPU op 4x kan laten lopen, waardoor je nog steeds 4 gpu's op de CPU direct kunt aanlsuiten (of zeg ik nu iets vreemds). Alleen heeft NVIDIA nog geen pxi-e 4, maar dat komt dan snel.

Dus tenzij wat ik hierboven aangeef geen hout snijd, heb ik meer voordelen met een ryzen 3/4xxx systeempje zonder dat ik extra hoef te investeren in iets wat ik mogelijk niet gebruik.

Als je de eerste tijd niet van plan bent om meer dan 2 videokaarten te gebruiken, hoef je in dit geval niet naar TR4 te kijken. Wil je er meer dan zou ik op dat moment wel naar een ander platform gaan en geen GPU op 4 lanes laten lopen, als dat zelfs mogelijk is. Er is maar één X570 bord met meer dan 3 PCIe x16 slots. Zou gewoon zonde zijn van de videokaart om die maar op 4 lanes aan te sluiten, voor gaming kom je daar mee weg, voor deep learning niet.

Kort gezegd
- 1-2 GPU's => X570
- 3-4 GPU's => TR4 of sTRX4

De eerste optie (oude desktop upgraden) is puur voor deep learning ook zo slecht nog niet zolang je het bij één videokaart houdt, de CPU is niet zo'n probleem. In gaming wordt een quadcore zonder hyperthreading net wel meer een probleem.

[justice strike]

Kijk, dit is nuttig. Dus, gewoon investeren in een rtx2070 super of beter. Huidige pc gebruiken en upgraden op het moment dat de capaciteit een beetje begint te knijpen.

Cool Ik ben zeer geholpen!