Machine learning/Gaming PC

[The Pauli]

Ik heb niet veel ervaring met het samenstellen van een PC, heb voorheen altijd game laptops gebruikt (14 jaar geleden wel zelf een PC gebouwd). Iemand anders heeft de onderdelen samengesteld op basis van mijn wensen, maar een second opinion kan nooit kwaad.

Op het moment ben ik ook nog op zoek naar een monitor en toetsenbord, daar volgt later misschien ook een vraag over maar heb nog niet een goed genoeg idee voor wat ik zelf wil.

Wat wil je doen met je nieuwe systeem?
De PC zal gebruikt worden voor mijn machine learning (ML) hobby. Aangezien de overlap met een game PC vrij groot is wil ik niet besparen om het daar niet ook bruikbaar voor te maken. Ook wil ik de PC kunnen gebruiken voor surfen/office/film kijken etc.

Wat mag het systeem gaan kosten?
Ik zit niet heel erg gebonden aan een budget maar voel me redelijk comfortabel bij de prijs zoals in de voorgestelde lijst, dus ongeveer ‎€1500 exclusief video kaart.

Zijn er componenten of randapparatuur die je al hebt en mee wil nemen naar je nieuwe systeem?
Nee. Ik overweeg wel nog een extra tweedehands 20x0 kaart te kopen in geval van een gunstige prijs

Wat denk je allemaal nodig te hebben?
Grafische kaart kan niet missen voor ML. (maar wel in de lijst want ze zijn nog niet te koop) Dit zal een nieuwe 30x0 worden, waarschijnlijk een 3080, maar zal een beetje afhangen van reviews etc. Niet elke vorm van ML gaat makkelijk op een grafische kaart, bijvoorbeeld als je een reeks probeert te voorspellen, dan kun je de parallelisatie van je GPU niet goed gebruiken, dus rekenkracht op de CPU is ook nodig. Extra PCI slot voor tweede kaart (voor ML niet relevant dat het verschillende zijn) of eventueel een TPU als deze voor de consument beschikbaar komen. Wifi. Voldoende warmteafvoer.

Heb je nog bepaalde (merk)voorkeuren?
Grafische kaart moet nvidia zijn vanwege cudaNN. Voorkeur voor intel processor i.v.m. optimalisatie in libraries.

Heb je nog bepaalde eisen/wensen?
Hoeft niet geluidsloos, maar liever ook geen tornado (zoals mijn laptop nu wel is als die rekent)

Ga je overklokken?
Nee.

Wat verwacht je van ons?
Graag zou ik horen of er onderdelen zijn die niet goed samen gaan werken of dat er onderdelen zijn die met een kleine upgrade/downgrade meer prestatie leveren of goedkoper zijn zonder prestatie te verliezen.

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i9-10900K Avengers Edition Boxed	€ 499,-	€ 499,-
1	Moederborden	Asus Prime Z490-A	€ 207,58	€ 207,58
1	Interne harde schijven	Seagate ST2000DM008, 2TB	€ 55,56	€ 55,56
1	Behuizingen	Fractal Design Define 7 Tempered Glass Dark Tint Zwart	€ 139,-	€ 139,-
1	Waterkoeling	Corsair Hydro H115i PRO RGB 280mm Liquid CPU Cooler	€ 123,87	€ 123,87
3	Ventilatoren	be quiet! Pure Wings 2 PWM, 140mm	€ 9,06	€ 27,18
1	Geheugen intern	G.Skill Trident Z F4-3600C17D-32GTZKW	€ 134,90	€ 134,90
1	Voedingen	Fractal Design ION+ 860W Platinum	€ 139,95	€ 139,95
1	Solid state drives	Kingston A2000 1TB	€ 98,54	€ 98,54
Bekijk collectie Importeer producten			Totaal	€ 1.425,58

Bedankt voor het lezen van mijn hele bericht!

[Djarune]

Voeding is iets teveel overkill. Neem de pricewatch: Fractal Design ION+ 760W Platinum en je zit nogsteeds ruim. Of ga juist hoger zitten in het geval van een toekomstige 2e kaart. 1000W voeding bijvoorbeeld: pricewatch: be quiet! Dark Power Pro 11 1000W

Geheugen heeft mindere timings (CAS latency van 17). Neem pricewatch: G.Skill Ripjaws V F4-3600C16D-32GVKC

Ik zie het nut niet van een aio als je 1 van de meest luidruchtige hdd's erin plaatst.
Neem
pricewatch: WD Blue 3,5" (256MB cache, 5400rpm), 2TB
pricewatch: WD Blue 3,5" (256MB cache, 5400rpm), 4TB (nog stiller dan de 2TB variant)
of echt stil en snel: pricewatch: Samsung 870 QVO 2TB
Verschil tussen 5400 rpm en 7200rpm was 20 jaar geleden een verschil. Tegenwoordig merk je het niet meer. Ze zijn namelijk beiden langzaam.

Nu het punt met Intel vs AMD.
Misschien moet iemand mij verbeteren, maar met mijn kennis zijn de beste libraries die van Nvidia. Als je een GPU gebruikt kun je beter AMD nemen. AMD heeft PCIe 4.0 en dat gaat zeker voordeel opleveren met de RTX 3080. Bovendien is sinds Zen 2 het gat met Intel enorm klein geworden of zelfs in het voordeel van AMD. Ik denk dat je het beste kunt gaan voor een AMD R9 3900x met een X570 bord (meer PCIe 4.0 lanes voor eventueel een 2e kaart). Een Threadripper past niet in het budget helaas.

[ Voor 8% gewijzigd door Djarune op 04-09-2020 11:25 ]

[michielRB]

Ik snap niet zo goed waarom er niet gekozen wordt voor een SSD. Desnoods met een HDD als datadisk er bij. Het maakt de pc zo veel sneller als je een SSD hebt voor OS en applicaties.

/edit: @Djarune Ik heb helemaal over die kingston heen gelezen. * michielRB spuitelf

[ Voor 21% gewijzigd door michielRB op 04-09-2020 11:37 ]

[Djarune]

@michielRB er zit ook al een Kingston A2000 bij.

[-The_Mask-]

Djarune schreef op vrijdag 4 september 2020 @ 11:20:

Ik zie het nut niet van een aio als je 1 van de meest luidruchtige hdd's erin plaatst.

Zulke all-in-one waterkoelers koop je niet voor de stilte, daarvoor maken ze gewoonte veel geluid.

Iemand die echte stilte wil gebruikt juist een high-end luchtkoeler voor zo'n PC.

[michielRB]

Ik zou niet aan waterkoeling beginnen. Zet er liever een goede/stille koeler/fan op.

[The Pauli]

Ontzettend bedankt voor de hulp allemaal.

Voor de voeding ben ik gegaan voor de 1200W versie ipv dan 1000W versie want die was goedkoper en zie verder geen nadelen, hoor het graag als ik het mis heb.

Suggestie voor het geheugen en disk heb ik overgenomen.

Ik was onder de indruk dat een waterkoeler tegenwoordig niet heel veel meer voorstelt dan vier extra schroeven vastdraaien. De hoop is toch iets meer warmte meteen de kast uit te krijgen, maar het is geen harde eis.

Dan rest er nog het CPU verhaal. In eerste instantie was ik niet overtuigd genoeg van de 3900x t.o.v. de 10900 om de overstap van intel naar AMD te maken. Echter realiseerde ik me wel dat er maar 16 PCI lanes in zitten, dus dan zou een tweede GPU opeens heel ongunstig uit komen. Als ik dan bij intel zou willen blijven moet ik upgraden naar 10900X en een duurder moederbord (vanwege sockets) voor +200e. (zie onderstaande lijst)

De 3900x heeft 24 lanes, gaat de PCIe 4 daar dan nog voor compenseren?

Met de kosten van de 10900X zit een (simpele) threadripper toch opeens weer dichtbij, maar die hebben voor zoveer ik kan vinden in de pricewatch ook geen PCIe 4.

Het lijkt erop dat een tweede GPU aansturen met een CPU in deze range net niet lekker gaat werken.
Heeft iemand suggesties?

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i9-10900X Boxed	€ 599,-	€ 599,-
1	Moederborden	MSI X299 Raider	€ 245,03	€ 245,03
1	Interne harde schijven	WD Blue 3,5" (256MB cache, 5400rpm), 2TB	€ 57,21	€ 57,21
1	Behuizingen	Fractal Design Define 7 Tempered Glass Dark Tint Zwart	€ 139,-	€ 139,-
1	Waterkoeling	Corsair Hydro H115i PRO RGB 280mm Liquid CPU Cooler	€ 123,87	€ 123,87
3	Ventilatoren	be quiet! Pure Wings 2 PWM, 140mm	€ 9,06	€ 27,18
1	Geheugen intern	G.Skill Ripjaws V F4-3600C16D-32GVKC	€ 142,90	€ 142,90
1	Voedingen	be quiet! Dark Power Pro 11 1200W	€ 210,06	€ 210,06
1	Solid state drives	Kingston A2000 1TB	€ 98,54	€ 98,54
Bekijk collectie Importeer producten			Totaal	€ 1.642,79

[-The_Mask-]

Threadripper 3000 op socket TRX4 heeft PCI Express 4.0. Ook Threadripper 4000, vanzelfsprekend, welke later dit jaar moet verschijnen.

Maar het moge duidelijk zijn dat je daarmee niet binnen de 1500 euro blijft zonder videokaart, binnen de 1500 euro exclusief alles, lukt wel.
pricewatch: AMD Ryzen Threadripper 3960X Boxed

[ Voor 92% gewijzigd door -The_Mask- op 04-09-2020 15:32 ]

[GarBaGe]

Ik zou het idee van de 2e GPU in de toekomst laten varen.
De RTX3080 ondersteunt geen SLI.
Ik ga er vanuit dat de videokaart wat vaker vernieuwd wordt dan de rest van de machine.
Als in: 3-4 jaar voor videokaart en 6-8 jaar voor de rest van de machine.

[The Pauli]

Geen SLI is geen probleem voor machine learning, ik snap dat ik de tweede kaart (bijna) niet kan gebruiken bij gamen.

Staat de threadripper 3000 in de pricewatch? Ik kan hem namelijk niet vinden.
Edit: Ah daar wordt natuurlijk gewoon de hele serie mee bedoelt.
Die serie begint helaas pas vanaf 1200 euro. Ik zie geen 12 of 16 core versie.
Edit edit: bovenstaand bericht was inmiddels al aangepast met een link naar de pricewatch.

Ik vermoed dat meer dan 16 cores niet heel veel oplevert voor algoritmen die slecht schalen. Algoritmen die dat wel doen zijn voor de GPU ipv CPU. Als ze 12 cores hadden voor de helft van de 24 core versie dan was ik een klant geweest...

[ Voor 61% gewijzigd door The Pauli op 04-09-2020 15:53 ]

[GarBaGe]

De RTX3080 is pas te koop vanaf 17 september.
Ik verwacht hem niet eerder in de pricewatch.

Is voor ML wellicht meer videogeheugen interessant?
De RTX3090 heeft 24GB ipv de 10GB op de 3080.

[jvanderneut]

Als AMD alternatief zou je dit kunnen overwegen:

#	Category	Product	Prijs	Subtotaal
1	Processors	AMD Ryzen 9 3900X (BOX) Boxed	€ 424,04	€ 424,04
1	Moederborden	Asus ROG Strix X570-E Gaming	€ 265,-	€ 265,-
1	Behuizingen	Fractal Design Define 7 Tempered Glass Dark Tint Zwart	€ 139,-	€ 139,-
1	Processorkoeling	be quiet! Dark Rock Pro 4	€ 71,62	€ 71,62
3	Ventilatoren	be quiet! Pure Wings 2 PWM, 140mm	€ 9,06	€ 27,18
1	Geheugen intern	G.Skill Ripjaws V F4-3600C16D-32GVKC	€ 142,90	€ 142,90
1	Voedingen	be quiet! Dark Power Pro 11 1200W	€ 210,06	€ 210,06
1	Solid state drives	Kingston A2000 1TB	€ 98,34	€ 98,34
1	Solid state drives	Samsung 870 QVO 2TB	€ 193,90	€ 193,90
Bekijk collectie Importeer producten			Totaal	€ 1.572,04

Met 2 grafische kaarten loopt elke PCIe slot met 8 lane, maar wel op PCIe 4.0, dus netto even snel per kaart als een intel systeem met 1 kaart. Verder de HDD eruit voor de voorgestelde SSD en een goede luchtkoeler ipv waterkoeling zodat je systeem stil is. De extra fans hoef je denk ik alleen te doen als je die 2e grafische kaart in het systeem stopt. Bij de kast worden al 3 fans meegeleverd.

(edit: moederbord op verzoek veranderd naar versie met wifi)

[Djarune]

jvanderneut schreef op vrijdag 4 september 2020 @ 17:08:
Met 2 grafische kaarten loopt elke PCIe slot met 8 lane, maar wel op PCIe 4.0, dus netto even snel per kaart als een intel systeem met 1 kaart.

Bovendien ging de RTX 2080 Ti maar net over de grens van PCIe 3.0 x8 heen. Ik kan me dus haast niet voorstellen dat 2x PCIe 4.0 x8 de 2x RTX 3080 limiteert.

[-The_Mask-]

Djarune schreef op vrijdag 4 september 2020 @ 19:56:
[...]


Bovendien ging de RTX 2080 Ti maar net over de grens van PCIe 3.0 x8 heen. Ik kan me dus haast niet voorstellen dat 2x PCIe 4.0 x8 de 2x RTX 3080 limiteert.

PCI Express 3.0 x8 kan wel degelijk een serieuze bottleneck zijn voor een RTX 2080 Ti, dat is gewoon afhankelijk van de toepassing. Als je veel dat heen en weer stuurt tussen het werkgeheugen en videogeheugen zal er een heel groot verschil in zitten.

[redblack]

Bij deep learning wordt de GPU gebruikt voor de pre-processing.

Laten we als voorbeeld image segmentation namen. Je traint je neurale netwerk in een trainingslus. In die trainingslus doet de GPU het meeste werk. De CPU moet zorgen dat de GPU werkt te doen heeft. De GPU is de coordinator,

In de trainingslus wordt telkens een batch van, zeg 16 plaatjes verwerkt. De CPU zorgt er voor dat iedere batch (iedere iteratie in de traingslus) goed afgehandeld wordt. Het aantal batches kan tussen de 100 en de 100 0000 liggen.

De taken van de CPU zien er zo uit in pseudo code

Voor iedere batch:
1. Laden van 16 plaatjes + labels van de ssd of direct uit het geheugen
2. Transformaties, zoals herschalen, random crops, normalisatie, etc, voor plaatjes en labels
3. De 16 getransformeerde plaatjes samenvoegen in een zogenaamde batch
4. Batch naar de GPU sturen
5. GPU aan het werk zetten (loss uitrekenen, back propagation en update stap uitvoeren)
6. Eventueel nog wat nawerk zoals het schrijven naar een log-bestand


Hoeveel threads je nodig hebt per GPU hangt af van
1. De complexiteit van je trainingslus (vooral transformaties kunnen zwaar zijn)
2. De efficentie van je implementatie. Als je een heel slechte implementatie hebt dan gaan zelfs meer cores je niet helpen
3. De hoeveelheid tijd dat die de GPU nodig heeft voor de update stap. Diepere netwerken vergen meer rekentijd voor de GPU. Lanzamere GPU neemt ook meer tijd. Dit betekend meer tijd voor de CPU om de volgende batches voor te bereiden.

Voor zware applicaties als image segmentation heb ik genoeg aan 5 treads per GPU op een 5 jaar oude intel processor. Het schrijven van een goede data pipeline is belangrijker dan botte rekenkracht. Na optimalisatie is je pipeline zomaar een factor 100 sneller.


Als je deep learning wilt doen met 2 GPU's, dan is de AMD Ryzen 9 3900X (BOX) ruim voldoende. 12 threads per kaart op 3.8 mHz is zeer royaal.

Voor deep learning zit je qua pcie lanes ook goed met 8 per kaart. Als je maar twee kaarten gebruikt kun je zelfs prima uit de voeten met 4 lanes per kaart. Met meer kaarten is het aan te raden om meer lanes per kaart te gebruiken. Zie de blog van Tim Dettmers https://timdettmers.com/2...o_I_need_8x16x_PCIe_lanes

Met 2 GPU's verdient het geheugen nog wel enkele aandacht. Met 24 threads worden 24 batches tegelijkertijd voorbereid. Met 32GB ram verdeelt over 24 threads heb je per thread ongveer 1 GB voor de pre-processing. Dit is mager.

Als vuistregel gebruikt men vaak 2 * GPU geheugen * #Threads. Deze regel is erg ruim. Ik zou zelf de helft nemen, dan zit je nog steeds ruim. Stel je koopt 2x de RTX3080, met 10 GB en je traint met 20 threads. Dan kom je uit op 10 * 20 GB dit is 100GB. Dan zou je aan 128 GB genoeg hebben. Misschien dat je met 64 GB al voldoende hebt. Geheugen kun je later makkelijk uitbreiden.

2x RTX3080 is trouwens een goede keuze qua prijs prestatie voor deep learning. Goedkoper dan 1x RTX3090 en ongeveer 1.7 keer zo snel tijdens trainen. Bovendien kun je op 1 kaart verder gaan met prototyping terwijl je op de andere aan het trainen bent.

Meer dan twee kaarten uit de RTX3000 gaat niet zonder meer lukken qua warmte en qua ruimte.

[ Voor 34% gewijzigd door redblack op 23-09-2020 10:12 ]