Thuisserver voor virtualisatie (Proxmox VE) - Ryzen 3600

[unezra]

Hallo iedereen,

Intro

Mijn plan is dit jaar mijn setup van 3 HP Microserver Gen8's te vervangen door één krachtiger en energiezuinger systeem. De setup ziet er nu ongeveer zo uit:

• 2x Hypervisor (16G RAM, 128G SSD voor het OS)
• 1x FreeNAS (16G RAM, 128 SSD voor het OS, 4x5T storage)
• 8 poorts PoE switch
• 24 poorts non-PoE switch
• Firewall/Router (Ubiquiti EdgeRouter Lite 3
• Ziggo modem/router (Ziggo Zakelijk Pro)
• 2x AP (Ubiquiti Unifi Pro)

Stroomverbruik van dat geheel vind ik wat te gortig worden (165W bij normaal gebruik) en ik wil tegelijkertijd naar een eenvoudiger setup die makkelijker te onderhouden is. Ofwel:

• Servers terugbrengen naar één
• Switches terugbrengen naar één

Vervangende switch ligt al klaar, dat gaat een enkele Aruba 2930F (JL261A) worden:
pricewatch: Aruba Aruba 2930F 24G PoE+ 4SFP
(Ik heb d'r 2 van liggen hier. Leftovers van kantoor en ze lijken relatief zuinig en stil te zijn.)

Ziggo modem/router, EdgeRouter en de AP's blijven uiteraard ook.

De Microservers wil ik vervangen.

Ik heb flink gezocht naar een goede kast en kwam uiteindelijk uit op de InWin IW-MS08.

https://www.ipc.in-win.com/IW-MS08

Helaas, die is extreem slecht verkrijgbaar, de reviews zijn niet geweldig (amper luchtstroom over de disks) en alles groter of anders dan dat voelt als een verspilling van geld. Dus ik heb besloten mijn oude, ongeveer 10 jaar oude CoolerMaster kast te recyclen.

Dit kastje:


Grootste voordelen van die kast:

• Std. ATX board past er in
• Std. ATX voeding past er in
• 5x5,25" aan de buitenkant
• 2x3,5" aan de buitenkant (als ik de front USB verwijder)
• 7x Full-height PCIe slots
• Geluidsisolerend materiaal

Ik wil eigenlijk alleen het metaal van de kast en de 4x3,5" hot-swap bay recyclen. (Dat ding kan SATA-600 aan.) Verder wil ik alle inner guts, inclusief de casefans, vervangen. Mogelijk neem ik wel de GFX kaart mee. Dat is een Sapphire Radeon HD5450. pricewatch: Sapphire Radeon HD 5450 1GB

Ook heb ik nog een AMD FirePro W4100 liggen die er in zou kunnen:
pricewatch: AMD FirePro W4100

Verder gaan nog mee:

• Een gloednieuwe 12cm casefan (Corsair HD120 RGB LED - pricewatch: Corsair HD120 RGB LED (met PWM-controller), 120mm ) die ik nog over heb van mijn PC build van 2 jaar geleden.
• Mijn huidige 5T HDD's waarvan ik er 7 (1 nieuw) op de plank heb liggen en 4 op dit moment in gebruik zijn. Bedoeling is er 4-6 in te zetten en de rest spare te houden.
• 4x 1GBit Ethernet kaart (HP, ligt hier op de plank)
• 64G RAM uit een paar DL20 Gen9's

Gebruiksdoel
Ik ga d'r Proxmox (PVE) op draaien, net als nu. - https://www.proxmox.com/en/proxmox-ve

Op Proxmox gaan een aantal services draaien zoals mijn spamfilter (Proxmox Mail Gateway, PMG), shelldoos, webserver, monitoring, etc. Extra functionaliteit gaat de NAS functionaliteit zijn. Dat doe ik nu met FreeNAS die zowel NFS (voor PVE) als SMB (voor mijn laptops en PC) aan bied. Deze functionaliteit zal ik op de eoa manier moeten overnemen.

Daarnaast wil ik graag ruimte over houden om te experimenteren. Ik heb zware (test/lab) hardware thuis liggen, maar dat spul staat amper aan omdat het én te veel herrie maakt én te veel stroom vreet. (200W+) Kortom, ik wil wat extra CPU power en memory hebben zodat ik mijn labdozen nóg minder nodig heb.

Kortom, mijn belangrijkste eisen zijn:

• CPU met genoeg power, redelijk wat cores en HyperThreading
• 64G geheugen
• 8x SATA-600
• 2x NVMe
• Voldoende PCIe slots zodat er wanneer nodig een HBA geplaatst kan worden.

Lijst
Ik kom voorlopig uit op deze lijst:

#	Category	Product	Prijs	Subtotaal
1	Processors	AMD Ryzen 5 3600 Boxed	€ 204,90	€ 204,90
1	Moederborden	ASRock X570 Phantom Gaming 4	€ 173,01	€ 173,01
1	Backup drives en removable storage	Fantec SNT-BA2131-1	€ 75,19	€ 75,19
8	Kabels	Delock 0.5m SATA Cable	€ 1,17	€ 9,36
1	Casemodding	Icy Dock Dual Bay 2.5" SATA Mobile Rack	€ 38,50	€ 38,50
1	Ventilatoren	Corsair HD120 RGB LED (zonder PWM-controller), 120mm	€ 19,-	€ 19,-
1	Voedingen	Corsair RM650 (2019)	€ 86,-	€ 86,-
2	Solid state drives	Corsair Force MP300 120GB	€ 33,45	€ 66,90
2	Solid state drives	Transcend SSD230S 128GB	€ 30,95	€ 61,90
Bekijk collectie Importeer producten			Totaal	€ 734,76

Optioneel hierin zijn:

• 3x 3,5" in 2x 5,25" hot-swap bay (kan ik nu inbouwen, kan ook later als nodig)
• GFX kaart (mogelijk recycle ik een van de 2 die ik al heb)
• NVMe's (wil ik gebruiken als read/write cache, ik ga ZFS gebruiken, kan zijn dat dit voorlopig niet nodig is)
• SSD's (ik heb nog 2x 128G liggen, kan zijn dat ik die recycle)

Tijdspanne
Ik heb geen haast. Globale planning is ergens tussen "volgende maand" en "rond november". Huidig spul draait en voldoet.

Budget
Variabel. Ik wil er niet de hoofdprijs aan uitgeven (daarom dus bezuiniging op de kast en het recyclen van wat andere onderdelen) maar wil wel een systeem dat én een beetje energiebewust is én performt.

Vraag
De CPU lijkt me zo'n beetje de enig logische keuze maar qua board ben ik er absoluut niet over uit. Kortom: Mijn vraag is of deze samenstelling inderdaad een prima samenstelling is, of dat ik gezien de use-case, nog zaken kan verbeteren.

Volgens mij ben ik erwel zo'n beetje. Mochten me nog dingen te binnen schieten, vul ik dat uiteraard of in de TS of in de reacties aan.

[Voor 0% gewijzigd door unezra op 27-08-2019 09:54. Reden: Vergeten dat ik ook nog 64G RAM heb liggen.]

[serial_killa159]

unezra schreef op dinsdag 27 augustus 2019 @ 09:26:
Extra functionaliteit gaat de NAS functionaliteit zijn. Dat doe ik nu met FreeNAS die zowel NFS (voor PVE) als SMB (voor mijn laptops en PC) aan bied. Deze functionaliteit zal ik op de eoa manier moeten overnemen.

Met een hba erbij in passthrough kan je freenas virtueel draaien op proxmox.
dan kan je gewoon je huidige freenas config terug zetten en werkt het direct.
Je kan ook de sata controller van je moederbord door geven maar dan kan je de sata connectoren op je moederbord alleen maar voor freenas gebruiken.

[unezra]

serial_killa159 schreef op woensdag 28 augustus 2019 @ 07:52:
[...]
Met een hba erbij in passthrough kan je freenas virtueel draaien op proxmox.
dan kan je gewoon je huidige freenas config terug zetten en werkt het direct.
Je kan ook de sata controller van je moederbord door geven maar dan kan je de sata connectoren op je moederbord alleen maar voor freenas gebruiken.

Dat is een optie, maar ik vind FreeNAS in die situatie vooral nadelen hebben.

FreeNAS *eist* 8G aan geheugen, minimaal, terwijl PVE zelf al ZFS babbelt en een beetje NAS waarschijnlijk meer dan genoeg heeft aan 2-4G geheugen. Dus daar gooi ik 4-6G aan geheugen weg.

Ook heeft FreeNAS behoefte aan eigen disks, terwijl ik mijn vm's ook nog ergens kwijt wil. (Het kan wel op een andere manier. FreeNAS werkt prima met QCOW2 images onder water, maar dat is wel een tikje riskant.)

Kortom, FreeNAS ga ik hier niet meer op gebruiken en daarvoor ga ik echt op zoek naar een andere oplossing. (Ik vind de FreeNAS GUI ook maar zo-zo. Het werkt zeker prima, maar de UI designer faalt nogal hard bij FreeNAS.)

[unezra]

Anyone?

[serial_killa159]

Heb je dit moederbord al bekeken?
ASRock Rack X470D4U
Het bord heeft een ipmi interface en met dit bord zou je ook je gpu achterwege kunnen laten.
Er is een goede review geschreven door een mede tweaker.

[unezra]

serial_killa159 schreef op vrijdag 30 augustus 2019 @ 20:32:
Heb je dit moederbord al bekeken?
ASRock Rack X470D4U
Het bord heeft een ipmi interface en met dit bord zou je ook je gpu achterwege kunnen laten.
Er is een goede review geschreven door een mede tweaker.

Hmmm. Ik denk dat je de review van @ocf81 bedoelt? Die ga ik eens rustig bekijken.

Ik had dat board eerder op mijn lijstje staan gek genoeg, maar niet meer heroverwogen in deze build. Nu ik er naar kijk, weet ik niet goed waarom. Ik ga 'm opnieuw op de lijst zetten. Misschien is dat tóch wel het juiste board voor mijn build.

[-The_Mask-]

Ik zou geen X570 moederbord nemen als dat niet strikt noodzakelijk is, alleen maar een hoog verbruik.
pricewatch: Cooler Master V Series V550 is een kwalitatief betere voeding welke ook nog eens een stuk efficiënter is met name bij lage vermogens. Extra modulaire sata kabels kun je eventueel krijgen via CoolerMaster.

[unezra]

-The_Mask- schreef op zaterdag 31 augustus 2019 @ 09:03:
Ik zou geen X570 moederbord nemen als dat niet strikt noodzakelijk is, alleen maar een hoog verbruik.
pricewatch: Cooler Master V Series V550 is een kwalitatief betere voeding welke ook nog eens een stuk efficiënter is met name bij lage vermogens. Extra modulaire sata kabels kun je eventueel krijgen via CoolerMaster.

Ok. Heb je een betere suggestie voor het mainboard? (Dat wel voorziet in de rest van mijn eisen.)
Formaat is het probleem niet, het mag groot zijn. De kast is een full-size ATX kast.

Qua voeding, klinkt interessant, die ga ik overwegen. Reguliere load zal relatief laag zijn. Niet nul, met een aantal vm's aan de pruttel is er altijd wel wát load, maar ik hoop in regulier gebruik toch wel vrij laag uit te komen.

Een van de redenen voor consolidatie is immers stroombesparing. Ik verbruik nu 165W in "rust", waarvan 33W voor mijn modem, router/firewall en 2 switches. Ofwel, mijn Microservers verbruiken zo'n 132W samen. Ik hoop dat terug te kunnen brengen tot 50W en samen met het vervangen van mijn switch, in rust rond de 75W uit te komen. (Al kan het wel zijn dat ik mijn firewall vervang door een pfSense of FortiGate doos met een regulier verbruik van tussen de 10W en 20W, maar dat voegt functionaliteit toe. Ik heb nu een EdgeRouter en wil iets dat ook meteen DHCP en authorative DNS doet. pfSense en FortiGate kunnen dat.)

[3DDude]

64G RAM uit een paar DL20 Gen9's

Kan die ECC memory in dat bord / CPU dan ?
En ik zou voor 128Gb gaan maar met elk mobo met 4 dimm slots heb je 32Gb dimms nodig.

Heb je daar rekening mee gehouden ?

Verder vind ik de ssds wat klein, meestal optimale performance is vanaf 256 Gb.

Verder zie ik geen stroom beveiliging of backup

[unezra]

3DDude schreef op zaterdag 31 augustus 2019 @ 09:19:
64G RAM uit een paar DL20 Gen9's

Kan die ECC memory in dat bord / CPU dan ?
En ik zou voor 128Gb gaan maar met elk mobo met 4 dimm slots heb je 32Gb dimms nodig.

Jup. Dat board snapt ECC, CPU onofficieel ook.

128G is niet nodig, op dit moment heb ik voor mijn vm's rond de 20G nodig. ZFS wil in de nieuwe setup ook nog iets. Dus alles bij elkaar schat ik nu zo'n 28, 30G nodig te hebben. Met 64G heb ik dus nog ruim de helft over. 128G is dan flink overkill.

Prima als ik een betaalbaar board vind met 8 memory slots, zodat ik naar 128G kan als ik wil, maar ik zie mezelf gedurende de gewenste levensduur van de machine (5 - 10 jaar), niet over de 64G heen gaan.

Qua storage is het een ander verhaal, maar disks zijn eenvoudig te vervangen.

Heb je daar rekening mee gehouden ?

Verder vind ik de ssds wat klein, meestal optimale performance is vanaf 256 Gb.

Performance van de SSD's is irrelevant. Ze gaan waarschijnlijk enkel het OS (Proxmox VE) draaien en misschien de ISO datastore. Ik heb nog 2x128G liggen, misschien dat ik die recycle. De NVMe's zijn ook optioneel, daar wil ik caching op gaan doen maar het kan zijn dat ik dat pas doe als het nodig is. (Of ik zet het er meteen in om vanaf dag 1 er plezier van te hebben en zo min mogelijk hardwarematig aan mijn machine te rommelen.)

Verder zie ik geen stroom beveiliging of backup

Stroom beveiliging is er al. Ik heb dit beestje:
pricewatch: Eaton 5P 1550 Global Tower

Samen met zijn netwerkkaart zodat ik 'm eenvoudig uit kan lezen:
pricewatch: Eaton Netwerkkaart: Network Card-MS

(En ja, dat is verhoudingsgewijs een absurd dure kaart voor een eenvoudige UPS, maar goed, ik heb het in huis en ben er blij mee.)

Backup is een ander verhaal. Dat MOET ik echt nog een keer regelen. Ik ben al jaren aan het nadenken hoe. Cloud is erg duur, misschien dat ik dit toch op ga lossen met een van de huidige HP Microservers. Die zou ik dmv. WoL bijvoorbeeld 1x per week aan kunnen zetten, ZFS snapshots overtanken en dan weer uit. Geen idee of hier ready-made oplossingen voor zijn. (Zodat ik niet zelf hoef te gaan zitten scripten.)

Op die manier is het stroomtechnisch nog wel te doen. De disks heb ik al in huis, of ik investeer tóch in een set 10T+ disks in mirror of zelfs enkel. Grootste puzzel dan gaat zijn de plaats. Zet ik zo'n ding in de schuur (15 meter van mijn huis af), of op een andere verdieping. (De kans dat het héle huis affikt is vrij klein.)

[serial_killa159]

unezra schreef op zaterdag 31 augustus 2019 @ 08:39:
[...]

Hmmm. Ik denk dat je de review van @ocf81 bedoelt? Die ga ik eens rustig bekijken.
...

Ja die bedoel ik.

-The_Mask- schreef op zaterdag 31 augustus 2019 @ 09:03:
Ik zou geen X570 moederbord nemen als dat niet strikt noodzakelijk is, alleen maar een hoog verbruik.

Goed punt, hier kan je het verschil in stroomverbruik zien tussen x470 en x570.

met dan nog eens de gpu eruit die ook idle 6.9w verbruik heeft zou het een zuinige server kunnen worden. Bron

unezra schreef op zaterdag 31 augustus 2019 @ 09:16:
[...]
...
(Al kan het wel zijn dat ik mijn firewall vervang door een pfSense of FortiGate doos met een regulier verbruik van tussen de 10W en 20W, maar dat voegt functionaliteit toe. Ik heb nu een EdgeRouter en wil iets dat ook meteen DHCP en authorative DNS doet. pfSense en FortiGate kunnen dat.)

pfSense draait perfect op proxmox

[unezra]

serial_killa159 schreef op zaterdag 31 augustus 2019 @ 10:34:
[...]
Ja die bedoel ik.
[...]
Goed punt, hier kan je het verschil in stroomverbruik zien tussen x470 en x570.

met dan nog eens de gpu eruit die ook idle 6.9w verbruik heeft zou het een zuinige server kunnen worden. Bron

Hmm.
Het lijkt weinig, maar als ik er qua functionaliteit niet op hoef in te leveren is het zeker wel interessant.

Lastig. Een van de voordelen van de X570 is dat het board naar 128G kan. (Fin, dat denk ik niet nodig te hebben, maar het kán en ik weet niet of ik die mogelijkheid stiekem wel een voordeel vind.)

Dit is een van de goedkoopste X570 borden:
pricewatch: ASRock X570 Phantom Gaming 4

Maar voldoet volgens mij wel aan al mijn wensen en eisen. Als het verschil 5W is, kost me dan nog geen €10 per jaar extra ten opzichte van een X470 bord.

Dat vind ik dus echt nog wel een lastige overweging. Energiebesparing is zeker een ding, maar ik wil ook een toekomstbestendig bord waar ik in principe 5-10 jaar mee kan doen.

[...]
pfSense draait perfect op proxmox

Jup, maar daar ga ik het sowieso niet op draaien.
Meest waarschijnlijke is dat ik een Deciso DEC2670 OPNSense doos ga ombouwen naar pfSense, zodat ik Bind kan draaien. (OPNSense kent geen authorative nameserver, pfSense wel. De hardware moet het aan kunnen, op exact dezelfde hardware en CPU, AMD A10, word ook pfSense gedraait.)

Deze doos:
https://www.deciso.com/product-catalog/dec2670/

Zo'n CPU zit er in: https://en.wikichip.org/wiki/amd/a10

Andere alternatief is een FortiGate 90D of 100D inzetten. Die draaien geen Bind, maar kunnen wel voor authorative DNS ingezet worden. (That is, het kan best zijn dat ze stiekem wél Bind draaien, zo'n halve FortiGate is OSS, maar daar zijn ze niet al te publiek in.)

[-The_Mask-]

Het mobo van @serial_killa159 ondersteund ook 32GB reepjes en een totaal van 128GB.

[unezra]

-The_Mask- schreef op zaterdag 31 augustus 2019 @ 11:20:
Het mobo van @serial_killa159 ondersteund ook 32GB reepjes en een totaal van 128GB.

Ah. Crap.
Pricewatch weer eens in de bonen. Daar staat max. 64G terwijl dat volgens de ASRock site gewoon 128G is.

pricewatch: ASRock Rack X470D4U
https://www.asrockrack.co...el=X470D4U#Specifications

Ik dien wel ff een reportje in.

Dan is het los van de negatieve punten in de review en mijn andere overwegingen idd een heel interessant bord.

EDIT:
Zijn er voor dit bord überhaupt koelers te krijgen die (naast niet nadelig zijn voor de airflow), ook de RAM slots volledig vrij laten zodat je ook het RAM kunt wisselen zonder de koeler van de CPU te moeten halen?

[Voor 14% gewijzigd door unezra op 31-08-2019 11:36]

[-The_Mask-]

Wat mij betreft is het de beste keuze, omdat het het enige mobo is met een IGP. Daarnaast is het gewoon een server mobo server features en geen desktop mobo zoals alle anderen.

[unezra]

-The_Mask- schreef op zaterdag 31 augustus 2019 @ 11:36:
Wat mij betreft is het de beste keuze, omdat het het enige mobo is met een IGP. Daarnaast is het gewoon een server mobo server features en geen desktop mobo zoals alle anderen.

Jup.

Het maffe is dat ik dit bord al veel eerder dit jaar in het vizier had en d'r van weg ben gedreven. Het heeft wel wat nadelen, maar het lijkt er op of die redelijk overkomelijk zijn.

Alleen die CPU koeler zit me echt een beetje dwars. (Zie de edit van mijn vorige reactie.) Het is te doen, RAM is ook niet iets dat ik dagelijks vervang, maar toch. Ik vind het geen prettig idee en het is echt een extra punt van aandacht qua koeler. (Ik gok zo dat de stock koeler dus NIET gaat passen als ik dit zo lees.)

[synoniem]

Even tussendoor OPNsense kan toch gewoon Unbound of opendDNS draaien?

[unezra]

synoniem schreef op zaterdag 31 augustus 2019 @ 11:52:
Even tussendoor OPNsense kan toch gewoon Unbound of opendDNS draaien?

Unbound, ja. Maar dat is geen authorative DNS, enkel een forwarder met local overrides.
Da's niet genoeg. Ik wil thuis echt een aantal volledige zones draaien.

OpendDNS kan ik niet terugvinden in de plugins.
https://docs.opnsense.org/plugins.html

Er is ook wel een Bind plugin voor OPNSense:
https://docs.opnsense.org/manual/how-tos/bind.html

Die is alleen compleet rudimentair. Gisteren mee getest in een vm, heftig onbruikbaar. Daar gaat nog wel een jaar of wat overheen voordat dat ding nuttig is. De Bind implementatie van pfSense is wel volledig. De GUI is ehm, shit, maar functioneel en heeft in principe alle features die het nodig heeft. (Om bij je zones te komen moet je echt helemaal naar beneden scrollen en dan krijg je een lijstje. Fin, het laat ook de zonefile zelf zien, die goed leesbar is.)

Op zich ook geen groot probleem. Die AMD A10 schijnt prima pfSense te kunnen draaien, het enige dat ik moet doen is het ding omflashen van OPNSense naar pfSense. Dat lijkt straightforward te zijn en normaliter is dat eenmalig. Updates moeten gewoon via de CLI of GUI van pfSense kunnen. Misschien dat ik het de komende dagen gewoon eens probeer, doos ligt toch naast me.

EDIT: Ik ben in de war gebracht qua CPU.
Het gaat om deze CPU in mijn beoogde firewall: http://www.cpu-world.com/...%20-%20GE416RIBJ44HM.html
Dit is het board dat er in zit: https://www.deciso.com/netboard-a10-gen2/

Lijkt gewoon stock AMD te zijn, maar dan in een SoC vorm.

Anyway. Dat staat verder redelijk los van deze build ook.

[Voor 11% gewijzigd door unezra op 31-08-2019 12:11]

[synoniem]

unezra schreef op zaterdag 31 augustus 2019 @ 11:59:
[...]


Unbound, ja. Maar dat is geen authorative DNS, enkel een forwarder met local overrides.
Da's niet genoeg. Ik wil thuis echt een aantal volledige zones draaien.

OpendDNS kan ik niet terugvinden in de plugins.
https://docs.opnsense.org/plugins.html

Er is ook wel een Bind plugin voor OPNSense:
https://docs.opnsense.org/manual/how-tos/bind.html

Die is alleen compleet rudimentair. Gisteren mee getest in een vm, heftig onbruikbaar. Daar gaat nog wel een jaar of wat overheen voordat dat ding nuttig is. De Bind implementatie van pfSense is wel volledig. De GUI is ehm, shit, maar functioneel en heeft in principe alle features die het nodig heeft. (Om bij je zones te komen moet je echt helemaal naar beneden scrollen en dan krijg je een lijstje. Fin, het laat ook de zonefile zelf zien, die goed leesbar is.)

Op zich ook geen groot probleem. Die AMD A10 schijnt prima pfSense te kunnen draaien, het enige dat ik moet doen is het ding omflashen van OPNSense naar pfSense. Dat lijkt straightforward te zijn en normaliter is dat eenmalig. Updates moeten gewoon via de CLI of GUI van pfSense kunnen. Misschien dat ik het de komende dagen gewoon eens probeer, doos ligt toch naast me.

EDIT: Ik ben in de war gebracht qua CPU.
Het gaat om deze CPU in mijn beoogde firewall: http://www.cpu-world.com/...%20-%20GE416RIBJ44HM.html
Dit is het board dat er in zit: https://www.deciso.com/netboard-a10-gen2/

Lijkt gewoon stock AMD te zijn, maar dan in een SoC vorm.

Anyway. Dat staat verder redelijk los van deze build ook.

Bedankt voor de info. Ik ben juist bezig OPNsense te verkennen omdat pfSense wat hoekige kantjes heeft met timeschedules. Ik draai overigens pfSense op een 1 virtuele cpu, 1,5 Gb geheugen en 64 Gb disk en die houdt moeiteloos een 1 Gb verbinding tussen mijn gewone LAN en test LAN in stand.

[unezra]

synoniem schreef op zaterdag 31 augustus 2019 @ 12:19:
[...]
Bedankt voor de info. Ik ben juist bezig OPNsense te verkennen omdat pfSense wat hoekige kantjes heeft met timeschedules. Ik draai overigens pfSense op een 1 virtuele cpu, 1,5 Gb geheugen en 64 Gb disk en die houdt moeiteloos een 1 Gb verbinding tussen mijn gewone LAN en test LAN in stand.

Jup.
Ik vind het ook geen ideale oplossing en de Bind implementatie is lelijk. Maar hij is wél volledig lijkt het.

Zo vaak wijzig ik ook geen zaken in mijn zones thuis en het lijkt iig beter te zijn dan met de hand zonefiles bewerken. (Ik wil ook van de afhankelijkheid van mijn hypervisor af. Liefst had ik het op mijn huidige router/firewall gedraait, een EdgeRouter Lite 3, maar die kan het niet. Fin, die OPNSense doos heb ik liggen dus die ombouwen is nu ook weer niet zo'n ramp.)

Kan altijd nog een slave pfSense met beperkte functionaliteit (alleen DNS en DHCP) draaien op een vm.

---

Ondertussen zit ik even te kijken naar koelers voor dat ASRock board, maar dat is lastig. Ik zie wel iets als dit:
pricewatch: Thermaltake Riing Silent 12 RGB Sync Edition

Die lijkt smal genoeg te zijn om boven het RAM uit te komen en dus niet in de weg te zitten, maar ik heb geen idee hoe de uitlijning is en of dat niet beroerd is voor mijn airflow.

In dezelfde hoek zit deze:
pricewatch: Cooler Master Hyper T4

Zelfde issues.

Qua hoogte kan het een uitdaging vormen. Het is een std. ATX kast, dus een 12cm fan kan wat krap worden als de heatpipes wat lang zijn en hoog boven het block uittoornen.

Deze is wat lager:
pricewatch: Noctua NH-U9DO

Iemand die daar wat nuttigs over kan zeggen? (Dus én laag én passend in de airflow én dusdanig dat ik alle RAM kan vervangen zonder de CPU cooler d'r af te moeten halen.)

[ocf81]

@unezra Wel even opletten dat Ryzen alleen UDIMMs slikt. Ik weet niet of jij ook ECC UDIMMs hebt?

[unezra]

ocf81 schreef op zaterdag 31 augustus 2019 @ 12:56:
@unezra Wel even opletten dat Ryzen alleen UDIMMs slikt. Ik weet niet of jij ook ECC UDIMMs hebt?

Volgens de specsheet van de DL20 Gen9 waar ze uit komen, ondersteunt dat ding ook enkel UDIMM:
https://h20195.www2.hpe.c...nt.aspx?docname=c04834947

Type:DDR4 Unbuffered (UDIMM)Unbuffered (UDIMM)DIMM Slots Available44 DIMM slots per processor; 2 channels per processor, 2 DIMMs per channel Maximum Capacity (UDIMM)64GB(4 x 16GB UDIMM @2400MHz)

De theorie is dat dat dus prima moet werken.

(Het plan is even geweest die DL20's in te zetten, ondanks het grote nadeel dat er maar 2 disks in passen. Dat plan ben ik héél rap vanaf gestapt toen ik ze thuis aanzette. Op dat moment ben ik teruggegaan naar het oude plan op basis van een Ryzen CPU zelf iets te bouwen. Het mag wel wát herrie maken, hoeft niet fluisterstil, maar die 1U fannetjes maken me echt te veel kabaal.)

[ocf81]

unezra schreef op zaterdag 31 augustus 2019 @ 13:00:
[...]


Volgens de specsheet van de DL20 Gen9 waar ze uit komen, ondersteunt dat ding ook enkel UDIMM:
https://h20195.www2.hpe.c...nt.aspx?docname=c04834947

Type:DDR4 Unbuffered (UDIMM)Unbuffered (UDIMM)DIMM Slots Available44 DIMM slots per processor; 2 channels per processor, 2 DIMMs per channel Maximum Capacity (UDIMM)64GB(4 x 16GB UDIMM @2400MHz)

De theorie is dat dat dus prima moet werken.

(Het plan is even geweest die DL20's in te zetten, ondanks het grote nadeel dat er maar 2 disks in passen. Dat plan ben ik héél rap vanaf gestapt toen ik ze thuis aanzette. Op dat moment ben ik teruggegaan naar het oude plan op basis van een Ryzen CPU zelf iets te bouwen. Het mag wel wát herrie maken, hoeft niet fluisterstil, maar die 1U fannetjes maken me echt te veel kabaal.)

Klinkt goed. Succes met de build!

[unezra]

Qua CPU fans zit ik te denken aan een van deze 2:
pricewatch: Noctua NH-U12A
pricewatch: Noctua NH-U12 SE-AM4

De laatste is een paar tientjes goedkoper dan de eerste en speciaal gebouwd voor AM4, maar heeft wel "maar" 1 fan ipv 2. Verder zie ik niet echt nadelen. (Ik heb nog niet uitgemeten of dat goed in mijn kast past, moet de specsheet nog even goed bekijken.)

Noctual zelf zegt dat de eerste specifiek geschikt is voor dat ASRock board en *niet* over het geheugen heen hangt:
https://noctua.at/en/nh-u12a.html
https://noctua.at/en/prod...ail/nh-u12a/specification

Due to its asymmetric design, the NH-U12A does not overhang the RAM slots on Intel LGA115x and AMD AM4 based motherboards, which ensures easy access to the modules and 100% compatibility with tall heat-spreaders.

Bij de tweede staat dat er niet expliciet bij:
https://noctua.at/en/prod...ler-retail/nh-u12s-se-am4
https://noctua.at/en/prod...u12s-se-am4/specification

Toch lijkt die 2e qua afmeting als ik zo snel kijk niet afwijkend te zijn.

Kan iemand daar iets nuttigs over zeggen en aangeven of beide idd kunnen en of de AM4-only koeler een logische keuze is? (Prijs vind ik zeker interessant. Als ik zonder consessies te doen op de koeler een paar tientjes kan besparen zeg ik geen nee.)

EDIT:
Zie dat Scythe ook een fan heeft die zou moeten passen:
pricewatch: Scythe Kotetsu Mark II
http://www.scythe-eu.com/...oler/kotetsu-mark-ii.html

Die is nóg wat goedkoper en vrij laag (15,6cm).

[Voor 11% gewijzigd door unezra op 02-09-2019 15:04]

[dcm360]

Met een Wraith Prism lukte het mij nog (net) om geheugen te plaatsen. Dat waren wel 'kale' modules, dus als er een heatspreader op zit lukt het waarschijnlijk net niet.

[unezra]

dcm360 schreef op maandag 2 september 2019 @ 14:13:
Met een Wraith Prism lukte het mij nog (net) om geheugen te plaatsen. Dat waren wel 'kale' modules, dus als er een heatspreader op zit lukt het waarschijnlijk net niet.

Hmm.
Ik kan helaas op de site van AMD niet de exacte specs van hun koelers vinden:
https://www.amd.com/en/technologies/cpu-cooler-solution

Bij de 3600 Boxed word overigens de Stealh meegeleverd. Grote kans dat dat hem word, de boxed is goedkoper dan de tray en de X voegt in dit scenario amper wat toe maar is wel fors duurder.

Nadeel van niet kunnen vinden van de specs van de AMD koelers, is dat ik dus sterk twijfel of ik het af kan met de meegeleverde Stealth (wat weer een paar € scheelt), of dat ik beter voor de zekerheid voor een paar tientjes een losse koeler kan kopen.

Bij dit board is het bekend dat de memory sloten érg dicht op de CPU staan, dus wel iets om heel erg rekening mee te houden helaas.

Baal nog steeds dat het board in NL zo slecht te krijgen is. Het lijkt echt een prima board voor wat ik er mee wil, maar MaxICT, waar ik toch wat mindere geluiden over hoor.

[Voor 31% gewijzigd door unezra op 02-09-2019 15:23]

[dcm360]

Dat de afmetingen niet echt goed te vinden zijn is inderdaad jammer, al heb ik het idee dat de Stealth sowieso niet groter is dan de Prism. En met die laatste had ik dus geen problemen.

Zelf was ik ook een beetje huiverig over MaxICT, maar ze hebben bij mij dit moederbord vorige maand sneller geleverd dan de aangegeven levertijd, en een issue met een andere bestelling (Intel P4510) hebben ze netjes opgelost.

[unezra]

dcm360 schreef op maandag 2 september 2019 @ 15:37:
Dat de afmetingen niet echt goed te vinden zijn is inderdaad jammer, al heb ik het idee dat de Stealth sowieso niet groter is dan de Prism. En met die laatste had ik dus geen problemen.

Hmm. Daar ga ik dan nog even over na denken.

An sick kan ik de gok met een Scythe Kotetsu Mark II van €35,- of een Noctua NH-U12 SE-AM4 van €55,- ook nog wel nemen. De Scythe is iets rumoeriger, de Noctua is fluisterstil en expliciet smal. Dat chocoladebruin van de Noctua heb ik in die kast toch geen last van.

Zelf was ik ook een beetje huiverig over MaxICT, maar ze hebben bij mij dit moederbord vorige maand sneller geleverd dan de aangegeven levertijd, en een issue met een andere bestelling (Intel P4510) hebben ze netjes opgelost.

Ok. Liefst wil ik alle componenten bij 1 partij bestellen, zeker de componenten die moeten samenwerken.
(Al heb ik natuurlijk het geheugen zelf al, dat ga ik niet vervangen. Dus in dit geval vooral CPU en board, misschien met de CPU cooler.)

Het is ook niet dat ik veel keuze heb, zij zijn de enigen die dat board leveren in NL.

Qua andere boards met de specs die ik nodig heb is het vrij bedroevend gesteld. Allemaal ASRock en de rest is allemaal X570.

categorie: Moederborden

Qua energieverbruik zit ik dan qua board hoger én moet ik nog eens een losse gfx kaart d'r in stoppen die zwaar overspecced is, terwijl dat ASRock Rack bord on-board dat ding heeft en nog eens Out of Band ook. Dat ASRock Rack board klinkt opnieuw als een van de betere keuzes. Juist vanwege dit doel.

Qua PCI slots zit ik goed. 2x16 en 1x8. Stel dat ik toch extra storage nodig heb, kost me dan 1 slot voor een HBA. 1 slot gaat sowieso een 4x1G NIC in. Heb ik nog 1 x16 of x8 slot over. Ik weet niet waar ik dat in een server voor zou moeten gebruiken.

pricewatch: ASRock Rack X470D4U


pricewatch: ASRock X570 Pro4


Plus, wat ook mee speelt in de wens voor een X470 board:
reviews: Ryzen 5 3600 en 3600X - Nieuwe Ryzens op budget

Voor dat geld koop je een goed en relatief uitontwikkeld X470 board, of een nieuw en nog niet uitontwikkeld X570 board terwijl de features van X570 niet boeiend zijn voor dit doel.

Kortom, ik puzzel zeker nog even door, maar het board met een van deze fans lijkt me toch wel een goede keuze: https://tweakers.net/pric...e/1124369;1329424;722365/

Qua CPU heb ik nog even de 3600 tegen de 3700X aan gezet maar de 3700X ding is 2x zo duur. Dat is niet interessant. De oude 1800X (die ik in mijn PC heb) is zeker tof, 8 cores, maar beperkt van nut hier.

De HDD bracket is vooral detail, ook daar kans dat ik de knoop door ga hakken voor 2x 2,5" in een 3,5" bay en 3x3,5" in 2x5,25". Daarvan kan ik er dan één niet gebruiken. In dat bakje leg ik dan wel een USB stick met de PVE installer. (Hoewel, die is natuurlijk niet nodig met de out of band, ik las dat je prima een ISO kunt mounten via het netwerk. Ook wel weer handig.)

---

EDIT: Shit, die socket is natuurlijk een kwart slag gedraait. Als ik het goed zie, niet ten opzichte van het geheugen, maar wel ten opzichte van de IO. Is dat nog erg nadelig qua koeling? (Ik gok dat de CPU fan naar boven gaat blazen en via mijn exchaust naar buiten, maar kan geen plaatjes vinden.) Of moet ik dan tóch voor een top-down koeler gaan zoals de AMD koelers?

[Voor 4% gewijzigd door unezra op 02-09-2019 16:27]

[ocf81]

@unezra Een Noctua kan je in twee richtingen oriënteren. Er zit altijd een kit voor beide oriëntaties bij. Voor de AMD koelers is de ASRock layout minder handig omdat de vinnen dwars op de richting van de luchtstroom staan. Natuurlijk is de luchtstroom bij de AMD koelers van boven, maar ik denk dat een factor kan zijn van welke kan de lucht wordt aangevoerd.

[Voor 23% gewijzigd door ocf81 op 02-09-2019 21:15]

[unezra]

ocf81 schreef op maandag 2 september 2019 @ 21:08:
@unezra Een Noctua kan je in twee richtingen oriënteren. Er zit altijd een kit voor beide oriëntaties bij. Voor de AMD koelers is de ASRock layout minder handig omdat de vinnen dwars op de richting van de luchtstroom staan. Natuurlijk is de luchtstroom bij de AMD koelers van boven, maar ik denk dat een factor kan zijn van welke kan de lucht wordt aangevoerd.

Ah, kijk. Dus dan zou de Noctua NH-U12 SE-AM4 misschien wel de beste keuze zijn.
pricewatch: Noctua NH-U12 SE-AM4

Met €56,- ook nog wel redelijk betalen. Morgen eens kijken of 'ie qua hoogte ook in mijn kast past.

Planning is nog steeds ergens eind september te bestellen en dan eind september, begin oktober te gaan bouwen. Heb steeds meer zin in het project. Alles komt nu een beetje bij elkaar, voor mijn firewall/DHCP/DNS heb ik ook een oplossing bedacht, netwerk ligt qua hardware klaar. (Ik wil iig switch en server combineren, firewall kan later omgezet worden omdat ik de meeste vm's 1:1 ga overzetten.)

Kast zelf krijgt 1 intake en 1 exchaust fan. Waarschijnlijk deze:
pricewatch: Corsair HD120 RGB LED (zonder PWM-controller), 120mm

Daarvan heb ik er nog één liggen (met RGB controller) én het geeft een klein randje RGB. Niet nuttig, wel leuk. Fans zelf zijn ook prima qua CFM. Alternatief zijn de 12cm fans van mijn Scythe Mugen. Heb ik ook nog liggen. (De Mugen fans in mijn PC heb ik ooit vervangen door die Corsair fans vanwege het lichtspektakel. Ziet er zuper gaaf uit, nog steeds. De fans zijn prima fans though dus die heb ik netjes bewaard.)

Geen extreme airflow dus, wel genoeg om de boel een beetje koel te houden.

[ocf81]

Ik heb in al mijn servers U9S of D9D's zitten, afgezien van de 2U server, daar zit een SuperMicro koeler in, en als ik daar een AMD in zou doen, dan gaat daar denk ik een Dynatron in. (aangezien ik verder geen goed alternatief ken voor AMD)

[unezra]

ocf81 schreef op maandag 2 september 2019 @ 21:35:
Ik heb in al mijn servers U9S of D9D's zitten, afgezien van de 2U server, daar zit een SuperMicro koeler in, en als ik daar een AMD in zou doen, dan gaat daar denk ik een Dynatron in. (aangezien ik verder geen goed alternatief ken voor AMD)

Hmm. Die zijn ook nog het overwegen waard inderdaad.
Thnx! Dat is een goede tip. Ik heb ze toegevoegd aan mijn shortlist.

Qua clearance moet dat zeker passen en er zitten AM4 brackets bij. Keuze genoeg dus.

[ocf81]

Als je de ruimte voor een tower cooler hebt zou ik de Dynatron skippen. Dat is eigenlijk alleen interessant voor 1U en 2U. Ze maken veel lawaai en koelen niet zo super.
[edit]
Overigens zou ik mij niet zo heel veel zorgen maken over overhang als je een Noctua gebruikt. Zoals ik in mijn review ook al aangeef overhangt op de ASRock de koeler de DIMMs enigszins. Maar de hoogte van onderkant van de koeler is hoog genoeg om de DIMMs niet aan te raken. Het enige is dan dat je even rekening moet houden met inbouwen omdat je dan eerst je DIMMs moet plaatsen.

[Voor 53% gewijzigd door ocf81 op 02-09-2019 22:12]

[unezra]

@ocf81 CPU koeler over het geheugen hangen vind ik zelf geen prettig idee. Niet dat er snel iets met het geheugen gebeurt, maar op de eoa manier wil ik zo min mogelijk aan mijn CPU en koeler rommelen.

Daarom wil ik dus expliciet een koeler die ook op dat ASRock Rack board, de memorybanks volledig vrij laat. (Wie weet krijg ik ooit de geest en vervang tóch de 16G strips door 2x32G of zelfs 4x32G, of gebeurt er iets met het geheugen waardoor ik het alnog moet of wil vervangen.

Tot mijn grote verrassing schijnt de Ryzen 5 3600 dus 128G aan te kunnen. Dat wist ik niet.
https://en.wikichip.org/wiki/amd/ryzen_5/3600

The 3600 supports up to 128 GiB of dual-channel DDR4-3200 memory.

Kortom, nog steeds verwacht ik niet meer dan 64G nodig te hebben, maar word dat toch een keer krap, is de weg ook zonder CPU te vervangen vrij naar 96G of 128G RAM.

Maar goed, gezien de lovende geluiden over de Noctua's denk ik dat dat toch de meest logische keuze gaat zijn.

Kast even opgemeten, met het huidige board heb ik tussen board en kast 170mm clearance. De NH-U12S SE-AM4 is 158 mm hoog, dat word met 12mm speling behoorlijk krap dus.

De NH-U9S is 125 mm hoog. De NH-D9L zelfs maar 110 mm. Beide koelers staan dan weer niet op de HCL mbt de ASRock Rack van Noctua. Fin, dat zou ik bij Noctua zelf kunnen navragen. (Op die lijst staat alleen de NH-U12A en die is, net als de AM4 variant, 158 mm hoog.

EDIT: Zojuist Noctua maar even gemaild met deze vraag. Hoop dat ze met zekerheid kunnen aangeven welke coolers nog meer goed gaan passen op dat board, liefst mét vrije toegang tot het RAM.

[Voor 6% gewijzigd door unezra op 03-09-2019 09:26]

[unezra]

Ok. Antwoord van Noctua.

Zij geven aan dat de NH-U9S en NH-U12S (al dan niet in de AM4 uitvoering) goede keuzes zijn. Uiteraard ook de NH-U12A, maar die is erg groot, duur en heeft 2 fans terwijl ik dat niet nodig heb.

Ik denk dat, gezien de hoogte, ik voor de NH-U9S zal gaan. Qua prijs zijn ze vrijwel gelijk, qua prestaties ook, alleen maakt de 9S wat meer herrie dan de 12S omdat 'ie domweg meer toeren maakt.

https://tweakers.net/pricewatch/compare/722365;424011/

[ocf81]

Als de 12 past, dan zou ik die nemen. Dan kan je eventueel nog naar een 3950X, mocht de drang daartoe ontstaan. Voor het prijsverschil tussen de twee koelers hoef je het niet te laten.

[Voor 10% gewijzigd door ocf81 op 05-09-2019 11:20]

[unezra]

ocf81 schreef op woensdag 4 september 2019 @ 22:15:
Als de 12 past, dan zou ik die nemen. Dan kan je eventueel nog naar een 3950X, mocht de drang daartoe ontstaan. Voor het prijsverschil tussen de twee koelers hoef je het niet te laten.

Hmm. Ook weer waar.
Ik ga nog even goed meten of de 12 past. Specsheet er bij, kijken hoe hoog een AM4 socket met CPU is, etc.

[ocf81]

158mm is net 5 mm te veel voor een 4U kast. Voor een desktopkast zou het nog wel eens kunnen passen.

[unezra]

Vandaag het moederbord besteld.
Levertijd was altijd meerdere weken, zag dat het nu 1-3 werkdagen was.

Morgen terug naar huis (nu nog op vakantie) en dan hoop ik morgen of overmorgen de rest van de spullen te bestellen. Checkte per toeval even hoe het met de levertijd van het bord zat en besloot in ieder geval het bord te bestellen. De rest van de onderdelen zijn veel makkelijker en/of variabel. Zelfs de CPU. Op dit moment neig ik naar de Ryzen 5 3600, maar ik zou prima kunnen uitwijken naar de Ryzen 7 3700X als die beter leverbaar is.

Aantal onderdelen ga ik nog even over nadenken en ondertussen ook even puzzelen op het recyclen van een van mijn Microservers. Daar wil ik een backupserver van maken. Misschien dat ik dat met mijn bestaande disks doe. Idee daarvan is dat 'ie niet permanent aan staat, maar ik 'm via WoL laat booten als ik de backup ga pushen, of kijk of in het BIOS het mogelijk is het ding op een specifiek tijdstip te starten zodat 'ie de backup pullt.

Voor dat hele gebeuren wil ik Sanoid/Syncoid gebruiken:
https://github.com/jimsalterjrs/sanoid

Lijkt toch de handigste oplossing met de minste impact op het onderliggende OS te zijn.

Qua CPU cooler ga ik nog 1x goed meten en dan kiezen. Al twijfel ik toch nog over de stock koeler. Die is in principe sterk genoeg en zit toch bij de CPU geleverd. (Boxed is goedkoper dan tray.)

[ocf81]

Hmm, sanoid zal ik zeker eens bekijken als ik een backup storage server ga bouwen. (volgend jaar ofzo)

Succes met de build

[unezra]

ocf81 schreef op maandag 16 september 2019 @ 22:35:
Hmm, sanoid zal ik zeker eens bekijken als ik een backup storage server ga bouwen. (volgend jaar ofzo)

Ik wil al járen een backup server en in principe heb ik nu letterlijk alle onderdelen die ik nodig heb over. Als ik mijn huidige 5T's recycle, kan ik letterlijk mijn huidige FreeNAS machine gebruiken daarvoor. Al dan niet met FreeNAS of met stock Debian. (Ik heb nog niet uitgezocht of Syncoid ook met FreeNAS als ontvangende server werkt. Zou wel mooi zijn.)

Kortom, zonde om het niet te doen.

Succes met de build

Thnx. Heb er nu ook wel echt heel veel zin in.
Met een beetje geluk zijn alle onderdelen binnen een week binnen en kan ik de boel langzaam op gaan bouwen.

Ik zal nog wel een update geven als ik alle laatste beslissingen heb genomen en alles is besteld. (In de hoop dat anderen ook nog wat aan het topic hebben.)

Iedereen:
Heel hartelijk dank voor de input. Het heeft enorm geholpen met de laatste overwegingen.

[unezra]

Vanavond nog ff zitten tunen. Dit moet 'm worden:

#	Category	Product	Prijs	Subtotaal
1	Processors	AMD Ryzen 5 3600 Boxed	€ 195,-	€ 195,-
1	Moederborden	ASRock Rack X470D4U	€ 223,50	€ 223,50
1	Controllers	BitFenix USB 3.0 Front Panel 2-Port version	€ 0,-	€ 0,-
1	Backup drives en removable storage	Fantec SNT-BA2131-1	€ 75,19	€ 75,19
8	Kabels	Delock 0.5m SATA Cable	€ 1,17	€ 9,36
1	Kabels	Silverstone SilvStone SST-PP07-BTSBG	€ 8,69	€ 8,69
1	Casemodding	Icy Dock Dual Bay 2.5" SATA Mobile Rack	€ 38,50	€ 38,50
1	Ventilatoren	Corsair HD120 RGB LED (zonder PWM-controller), 120mm	€ 22,95	€ 22,95
1	Voedingen	Cooler Master V Series V550	€ 86,90	€ 86,90
2	Solid state drives	Corsair Force MP300 120GB	€ 35,49	€ 70,98
2	Solid state drives	Transcend SSD230S 256GB	€ 44,49	€ 88,98
Bekijk collectie Importeer producten			Totaal	€ 820,05

- Koeler ga ik voorlopig voor de stock AMD koeler, bevalt die niet, komt er wel een 3rd party koeler op.
- Casefans zijn er in totaal 2, maar ik heb al een identieke hier liggen dus.
- SSD's heb ik wat vergroot, deze zijn net iets sneller, kunnen meer read/writes aan en het prijsverschil is dusdanig laag dat ik dat wel interessant vind.

Verder een grote shakeout gedaan qua kabels én een 2x USB 3.0 frontpanel gevonden dat als het goed is op de interne header moet passen. (Huidige panel past niet, dat gaat er uit en zo heb ik tenminste 2 USB poorten aan de voorkant die werken. Altijd handig.)

Zoals eerder aangegeven, de NVMe's zijn puur voor ZFS caching, ik ga ze niet voor het OS gebruiken. Daarvoor pak ik de 2,5" SATA SSD's. Die zijn snel zát. Bijna alles komt op mijn 5T HDD's te draaien die ik al heb liggen uit mijn oude server.

Nog op- en aanmerkingen voor ik (waarschijnlijk morgen), ga bestellen?

[-The_Mask-]

@unezra In plaats van zo'n molex naar sata verloopje kun je ook een modulaire sata kabel halen.
https://www.cmstore.eu/sp...ata-90-modular-flatcable/

[unezra]

-The_Mask- schreef op dinsdag 17 september 2019 @ 22:05:
@unezra In plaats van zo'n molex naar sata verloopje kun je ook een modulaire sata kabel halen.
https://www.cmstore.eu/sp...ata-90-modular-flatcable/

Verdomd, natuurlijk.
Da's idd wel een betere oplossing.

Het was even speuren, maar dat soort kabels lijken toch ook in de Pricewatch te staan. (Die zijn dan wél echt nieuw, niet van refurbished PSU's.)

Deze bijvoorbeeld:
pricewatch: be quiet! SATA power cable (600mm, 4x SATA)

Dat lijkt me dan ook meteen de handigste omdat 'ie rechte en geen haakse connectoren heeft. Alle meegeleverde kabels hebben haakse SATA power connectoren. Super handig voor veel zaken, maar een paar rechte lijkt me pratischer. (Zeker ook omdat ik mijn Corsair RGB module er aan wil hangen en die netjes wil kunnen wegwerken in de kast. Een rechte SATA power stekker d'r op is dan praktischer. Dan kan 'ie mooi plat met tie-wraps of klittenband ergens in een verloren hoekje gestrapt worden.)

Omdat het toch even wat zoeken was, hier ook even wat links naar de juiste Pricewatch voor dergelijke kabels.

Filtertje op Be Quiet!
categorie: Kabels

Ander filtertje:
categorie: Kabels

[hmmmmmmmmmpffff]

Misschien leuk om nog ergens pics te posten als je setup af is?

[-The_Mask-]

unezra schreef op woensdag 18 september 2019 @ 10:25:
[...]


Deze bijvoorbeeld:
pricewatch: be quiet! SATA power cable (600mm, 4x SATA)

Dat lijkt me dan ook meteen de handigste omdat 'ie rechte en geen haakse connectoren heeft. Alle meegeleverde kabels hebben haakse SATA power connectoren. Super handig voor veel zaken, maar een paar rechte lijkt me pratischer. (Zeker ook omdat ik mijn Corsair RGB module er aan wil hangen en die netjes wil kunnen wegwerken in de kast. Een rechte SATA power stekker d'r op is dan praktischer. Dan kan 'ie mooi plat met tie-wraps of klittenband ergens in een verloren hoekje gestrapt worden.)

Omdat het toch even wat zoeken was, hier ook even wat links naar de juiste Pricewatch voor dergelijke kabels.

Filtertje op Be Quiet!
categorie: Kabels

Ander filtertje:
categorie: Kabels

Je hebt een Cooler Master voeding, geen be quiet!.

[unezra]

-The_Mask- schreef op woensdag 18 september 2019 @ 10:36:
[...]
Je hebt een Cooler Master voeding, geen be quiet!.

De ellende is, CM levert zo te zien helemaal geen losse modulaire kabels, anders dan diegenen die uit refurb voedingen komen. Ik kan ze iig echt helemaal nergens vinden.

Fin, zekere voor het onzekere genomen en toch idd de CM kabels besteld. €15,- voor 2 kabels inclusief shipping. Stel dát die kabels toch later arriveren dan de rest van de onderdelen is dat geen probleem, het is vooral voor het mooi.

hmmmmmmmmmpffff schreef op woensdag 18 september 2019 @ 10:29:
Misschien leuk om nog ergens pics te posten als je setup af is?

Ik zal d'r aan proberen te denken ook tijdens de build foto's te maken.

De foto's in de TS zijn oude foto's van de vorige incarnatie van de server. Aan de buitenkant zal 'ie er goeddeels hetzelfde uit blijven zien. De binnenkant veranderd wel radicaal. Ik hoop dat het RGB effect een beetje uit pakt zoals ik hoop en ik ondanks dat het een oude zwarte kast is, het er tóch een beetje leuk uit ziet op die manier.

---

EDIT:
Ik heb vanochtend alles besteld.

Links en rechts nog wat losse onderdelen zoals die kabels, maar verder dit:

#	Category	Product	Prijs	Subtotaal
1	Processors	AMD Ryzen 5 3600 Boxed	€ 195,-	€ 195,-
1	Moederborden	ASRock Rack X470D4U	€ 223,50	€ 223,50
1	Controllers	BitFenix USB 3.0 Front Panel 2-Port version	€ 0,-	€ 0,-
1	Backup drives en removable storage	Fantec SNT-BA2131-1	€ 75,19	€ 75,19
1	Casemodding	Icy Dock Dual Bay 2.5" SATA Mobile Rack	€ 38,50	€ 38,50
2	Ventilatoren	Corsair HD120 RGB LED (zonder PWM-controller), 120mm	€ 22,95	€ 45,90
1	Voedingen	Cooler Master V Series V550	€ 86,90	€ 86,90
2	Solid state drives	Corsair Force MP300 120GB	€ 35,49	€ 70,98
2	Solid state drives	Transcend SSD230S 256GB	€ 44,49	€ 88,98
2	Externe HDD/SSD behuizingen	Icy Dock 2.5" to 3.5" SSD & SATA Hard Drive Converter Zwart	€ 16,99	€ 33,98
Bekijk collectie Importeer producten			Totaal	€ 858,93

#	Category	Product	Prijs	Subtotaal
1	Computer accessoires	Startech.com 4U 19in stalen verticale wandmontagesteun voor apparatuur racks	€ 72,68	€ 72,68
1	Casemodding	Corsair RGB LED Lighting PRO Expansion Kit	€ 27,90	€ 27,90
Bekijk collectie Importeer producten			Totaal	€ 100,58

[Voor 65% gewijzigd door unezra op 18-09-2019 16:21]

[unezra]

@ocf81 Het AsRock bord is binnen (vanavond inbouwen), waarmee ik meteen een vraag heb.

Mijn oorspronkelijke plan was mijn OS SSD's op poort 0 en 1 te zetten, maar dat lijken de Asmedia 1061 poorten te zijn, niet de direct op de chipset aangesloten poorten.

Levert dit in jouw beleving nog nadelen op (los van wat latency), of is dit goed te doen?

De verdeling die ik had bedacht was:

0 & 1 (AsMedia) - 2x 256G SSD (ZFS Mirror - OS, ISO, etc)
2, 3, 4 & 6 - 4x 5T HDD (RAIDZ1 - vm's)
7 & 8 - 2x 1T SSD (ZFS Mirror - vm's die wat extra IOPS en IO snelheid goed kunnen gebruiken)

Maar als het beter is de OS disks op de direct aangesloten poorten te zetten denk ik dat ik juist 7 & 8 als OS poort gebruik en dus effectief 0 & 1 en 7 & 8 omwissel.

EDIT:
Die 1T SSD's heb ik nog liggen. Het is niet 100% zeker dat ze goed zijn, zo ja, gaan ze er in. Zo nee, jammer, 2 lege drivebays die ik later wel of niet een keer ga gebruiken.

[Voor 10% gewijzigd door unezra op 25-09-2019 12:48]

[ocf81]

@unezra Sorry dat ik nu pas reageer. Drukke week gehad. Ik heb de ASMedia poorten vermeden. Ik kan er helaas niet zo veel over zeggen.

[Voor 3% gewijzigd door ocf81 op 28-09-2019 01:20]

[unezra]

ocf81 schreef op zaterdag 28 september 2019 @ 01:20:
@unezra Sorry dat ik nu pas reageer. Drukke week gehad. Ik heb de ASMedia poorten vermeden. Ik kan er helaas niet zo veel over zeggen.

No worries.

Weet je toevallig wel welke de ASMedia poorten zijn?

Ik dacht oorspronkelijk dat het 0 & 1 was, maar het lijkt er toch op of het 8 & 9 zijn (6 & 7 bestaan niet), maar ben daar niet 100% zeker van.

root@clarke:~# grep SATA dmesg_201909281043.txt | grep ata
[ 1.896692] ata1: SATA max UDMA/133 abar m131072@0xf7580000 port 0xf7580100 irq 53
[ 1.896694] ata2: SATA max UDMA/133 abar m131072@0xf7580000 port 0xf7580180 irq 53
[ 1.896695] ata3: SATA max UDMA/133 abar m131072@0xf7580000 port 0xf7580200 irq 53
[ 1.896697] ata4: SATA max UDMA/133 abar m131072@0xf7580000 port 0xf7580280 irq 53
[ 1.896698] ata5: SATA max UDMA/133 abar m131072@0xf7580000 port 0xf7580300 irq 53
[ 1.896700] ata6: SATA max UDMA/133 abar m131072@0xf7580000 port 0xf7580380 irq 53
[ 1.896701] ata7: SATA max UDMA/133 abar m131072@0xf7580000 port 0xf7580400 irq 53
[ 1.896703] ata8: SATA max UDMA/133 abar m131072@0xf7580000 port 0xf7580480 irq 53
[ 1.900061] ata9: SATA max UDMA/133 abar m512@0xf7200000 port 0xf7200100 irq 59
[ 1.900063] ata10: SATA max UDMA/133 abar m512@0xf7200000 port 0xf7200180 irq 59
[ 1.900332] ata11: SATA max UDMA/133 abar m2048@0xf7b00000 port 0xf7b00100 irq 61
[ 1.900608] ata12: SATA max UDMA/133 abar m2048@0xf7a00000 port 0xf7a00100 irq 63
[ 2.214140] ata11: SATA link down (SStatus 0 SControl 300)
[ 2.218140] ata12: SATA link down (SStatus 0 SControl 300)
[ 2.372023] ata1: SATA link up 6.0 Gbps (SStatus 133 SControl 300)
[ 2.380028] ata9: SATA link up 6.0 Gbps (SStatus 133 SControl 300)
[ 2.848045] ata2: SATA link up 6.0 Gbps (SStatus 133 SControl 300)
[ 3.320427] ata3: SATA link up 6.0 Gbps (SStatus 133 SControl 300)
[ 3.948418] ata4: SATA link up 6.0 Gbps (SStatus 133 SControl 300)
[ 5.136435] ata5: SATA link down (SStatus 0 SControl 0)
[ 5.448126] ata6: SATA link down (SStatus 0 SControl 300)
[ 5.920637] ata7: SATA link up 6.0 Gbps (SStatus 133 SControl 300)
[ 6.548425] ata8: SATA link up 6.0 Gbps (SStatus 133 SControl 300)
[ 7.168432] ata10: SATA link up 6.0 Gbps (SStatus 133 SControl 300)

Het is een wilde gok, maar ik zie maar 2x "m512", op de poorten die ik verwacht, namelijk ata 9 & ata 10 (dus op het board op poort 8 & 9). Ook zijn die 2 up.

Daar hangen mijn 2 Samsung EVO's aan.

root@clarke:~# dmesg | grep -i EVO
[ 2.382502] ata9.00: ATA-9: Samsung SSD 840 EVO 1TB, EXT0DB6Q, max UDMA/133
[ 7.171748] ata10.00: ATA-9: Samsung SSD 840 EVO 1TB, EXT0DB6Q, max UDMA/133

Wat ik dan weer niet logisch vind, is dat ata 5 & ata 6 down zijn, tenzij ze een rare volgorde hanteren en daar lijkt het wel op.

[ 2.372664] ata1.00: ATA-9: TS256GSSD230S, S0423A, max UDMA/133
[ 2.848834] ata2.00: ATA-9: TS256GSSD230S, S0423A, max UDMA/133
[ 3.467803] ata3.00: ATA-8: TOSHIBA MD04ACA500, FP2A, max UDMA/100
[ 4.096872] ata4.00: ATA-8: TOSHIBA MD04ACA500, FP2A, max UDMA/100
[ 6.070157] ata7.00: ATA-8: TOSHIBA MD04ACA500, FP2A, max UDMA/100
[ 6.692793] ata8.00: ATA-8: TOSHIBA MD04ACA500, FP2A, max UDMA/100
[ 2.382502] ata9.00: ATA-9: Samsung SSD 840 EVO 1TB, EXT0DB6Q, max UDMA/133
[ 7.171748] ata10.00: ATA-9: Samsung SSD 840 EVO 1TB, EXT0DB6Q, max UDMA/133

For the record, zoals ik het nu heb geprikt is:

• Poort 0 & 1 : Transcend TS256x SSD's
• Poort 2, 3, 4 & 5 : Toshiba MD HDD's
• Poort 8 & 9 : Samsung EVO SSD's

Kortom, het is allemaal een tikje verwarrend.

[ocf81]

Volgens de handleiding zijn er 2 poorten die 90° gekanteld zijn die op de ASMedia zijn aangesloten. Er staat niet bij welke dat zijn. Als ik jouw verhaal lees en naar het plaatje kijk in de handleiding dan lijkt mij dat het dan gaat om de 2 poorten die net wat los staan van de andere poorten.

[unezra]

ocf81 schreef op zaterdag 28 september 2019 @ 18:03:
Volgens de handleiding zijn er 2 poorten die 90° gekanteld zijn die op de ASMedia zijn aangesloten. Er staat niet bij welke dat zijn. Als ik jouw verhaal lees en naar het plaatje kijk in de handleiding dan lijkt mij dat het dan gaat om de 2 poorten die net wat los staan van de andere poorten.

Ja. De handleiding heb ik ook bekeken.
De gekantelde poorten zou je verwachten dat het de 2 poorten zijn die los op het board staan, maar:

X470D4U: 6 x SATA3 6.0 Gb/s (1x SATA DOM port), support RAID 0, 1, 10
X470D4U: Asmedia 1061: 2 x SATA3 6.0 Gb/s

En laat nu niet die SATA DOM poort recht op het moederbord staan.
De SATA DOM is poort 0, links daarvan zit poort 1.

"14" is de SATA DOM, "13" de 2e SATA poort.

Vandaar, samen met de meldingen uit dmesg, lijkt het of de asmedia poorten inderdaad de poorten zijn de wat los van de rest staan. 21 en 22 in de handleiding dus. Helaas zijn ze daar totaal niet duidelijk over.

[dcm360]

Het staat er niet expliciet, maar er valt wel uit te lezen dat de 'onderste' 2 poorten (volgens mij dan 22 en 23 in de handleiding) aan de ASMedia controller zijn aangesloten. De onderste 2 poorten werken namelijk alleen op dit specifieke model, en alleen dit model heeft de ASMedia controller.

[ocf81]

Idd, je moet even naar dat diagram op pagina 14 kijken.

[unezra]

dcm360 schreef op zondag 29 september 2019 @ 23:22:
Het staat er niet expliciet, maar er valt wel uit te lezen dat de 'onderste' 2 poorten (volgens mij dan 22 en 23 in de handleiding) aan de ASMedia controller zijn aangesloten. De onderste 2 poorten werken namelijk alleen op dit specifieke model, en alleen dit model heeft de ASMedia controller.

ocf81 schreef op maandag 30 september 2019 @ 16:02:
Idd, je moet even naar dat diagram op pagina 14 kijken.

Juh, hoewel het daar ook niet 100% duidelijk uit word.
Ach. Het lijkt er iig op of ik het goed heb beredeneerd en de juiste disks aan de juiste poorten zitten. Da's het belangrijkste.

Vandaag beginnen aan een van de engste klussen: Migratie van de eerste vm's en data naar mijn nieuwe machine. Ik kán daarna nog terug, maar niet zonder (enig) gegevensverlies.

Met wat geluk kan ik deze week de migratie afronden, de oude servers uitzetten en wie weet, de oude NAS al ombouwen tot backupserver. (Vanaf dat moment kan ik niet meer terug, ik heb dan alle data enkel nog op de nieuwe server staan.)

[unezra]

Server draait en is vandaag naar beneden verhuisd.
Migratie afgerond.

Last-minute nog wel mijn switch vervangen door een stiller exemplaar. De herrie was me helaas toch te gortig.

Al met al enorm blij mee, ding is qua CPU score 3x zo snel als mijn 3 oude servers bij elkaar. Lokale storage zorgt er mede voor dat echt alles snappy aan voelt. Standaard energieverbruik is van 165W naar 110W gegaan. (Voor alles, dus modem, router, switches, firewall én server. Gemeten op mijn UPS.)

RAM zit ik voorlopig ruim in:
29.21% (18.38 GiB of 62.90 GiB)

ZFS snapshots op een acceptabele manier werkend, moet nog wel worden getuned.

Zat te doen op het nieuwe ding, maar de oude spullen zijn afgekoppeld en krijgen binnenkort een nieuw leven. (Een van de machines ga ik mijn backups heen zetten, de andere 2 worden waarschijnlijk lab servers der vervanging van mijn zware DL bakken.)

Zal er aan proberen te denken binnenkort wat foto's te plaatsen van het eindresultaat.