ChangWang CW56-58
:fill(white):strip_exif()/f/image/wvV82k2OuH3lDGGL6hDP4FTY.png?f=user_large)
Achtergrond
Met de huidige EU energie crisis (+komende CO2 tax) en om wat hitte en herrie te verwijderen, ben ik opzoek gegaan naar een klein en zuinig machientje dat de 8 VMs die ik altijd wil laten draaien kan hosten.
Ik heb twee grote dual AMD EPYC Milan hosts met een lading NVMe disks en GPUs en een SMB 10Gbit switch. Bij voorkeur zou het systeem 8-16 Zen3 cores (voor vMotion), 64-128GB RAM en 2-4 2.5-10Gbit ESXi 8 compatible NICs hebben.
Toen ik de
CW56-58 zag, was mijn interesse gewekt, zou dit mijn ultieme geluid/hitte/stroom safer worden waarmee ik mijn big boys 90% van de tijd mee in standby kon zetten?
CPU
De CW56-58 komt met opties voor twee AMD Cezanne U (Zen3, Ryzen 5000 Mobile) en een Barcelo refresh CPU:
Ik heb gekozen voor de Barcelo refresh 5825U gezien het kleine prijsverschil.
Wat erg interessant is aan al deze CPUs is dat ze een enkele Core Chiplet Die (CCD) hebben, dus bij de 5825U delen alle acht cores een enkele L3 cache. Dus als je een 8 vCPU VM maakt, dan kunnen alle acht cores samenwerken in plaats van twee groepen van vier..
code:
1
2
3
4
5
6
| sched-stats -t ncpus
16 PCPUs
8 cores
1 LLCs
1 packages
1 NUMA nodes |
Aanbevolen VM instelling is om de cores per socket gelijk te maken aan het aantal vCPUs.
De CPUs hebben 16 bruikbare PCIe 3.0 lanes.
Systeem
De behuizing voelt veel steviger dan de foto's laten zien. Het voelt luxueus aan, alles is dik en zwaar en volledig van aluminium, bijna zoals de betere fanless cases alsof elke kant een heatsink is. De behuizing is 16.8cm breed, 13.17cm diep en 6.3cm hoog inclusief de 3mm voetjes.
:no_upscale():strip_icc():fill(white):strip_exif()/f/image/w69gcshayLcleTOna60qJP5x.jpg?f=user_large)
De voorkant van de behuizing heeft een power button, CMOS reset pinhole, een full-featured Type-C USB poort met data/display/reverse charging, twee Type A USB2.0 en twee Type-A USB3.1 poorten, plus een Realtek RT5170 SD cardreader. Het is vreemd dat de native USB3.2 gen 2 van de CPU niet gebruikt wordt, de Type A poorten komen waarschijnlijk van de chipset. De laatste BIOS heeft zelfs een UEFI module om te kunnen booten van de cardreader. Nou zou ik een SD kaart
niet aanraden om ESXi van te booten, er is is niets mis met het installeren van ESXi vanaf SD.
De bovenkant van de behuizingen heeft een intake voor wat ChangWang een coppertube turbine noemt, een blower fan. De CPU zit aan de achterzijde van het moederbord en zit onderste boven in de kast.
:fill(white):strip_exif()/f/image/QoXVIwOXtu9HmpMzlurZQQtR.png?f=user_large)
Een leuk detail is dat alle fan openingen een mesh achtige tape hebben als stof filter.
:no_upscale():strip_icc():fill(white):strip_exif()/f/image/cx73DvOkxUESp7fVC98NbEJp.jpg?f=user_large)
De achterkant van de unit heeft een HDMI en DisplayPort, vier RJ45 Intel I226-V 2.5Gbit poorten, een DC input en een terminal voor aarding.
:no_upscale():strip_icc():fill(white):strip_exif()/f/image/1fTWCFc9GV7e5zQ12A8skiaa.jpg?f=user_large)
De onderkant heeft rubberen voetjes en een PWM 80mm fan, het RPM signaal van deze fan is niet gebruikt (maar drie aders van de vier pinnen zijn verbonden), het systeem gebruikt het RPM signaal van de blowerfan.
:no_upscale():strip_icc():fill(white):strip_exif()/f/image/TNle72Na2f5R9nplIvLJ4m7i.jpg?f=user_large)
Je kunt de fan vervangen door een 2.5" SATA drive.
:no_upscale():strip_icc():fill(white):strip_exif()/f/image/m5mihYtAbCQ6sxn08DW49EBT.jpg?f=user_large)
Hiervoor zijn schroeven en een kabel meegeleverd.
:fill(white):strip_exif()/f/image/mxyaVbIIH58UUPpbqkQLnm6x.png?f=user_large)
Ik zou het echter niet aanraden, de fan geeft welkome airflow aan de bovenzijde van het moederbord.
:no_upscale():strip_icc():fill(white):strip_exif()/f/image/Npb0Eqxqn6kSzO0CyNQObpya.jpg?f=user_large)
Nu we het toch over koeling hebben, ik zou absoluut de thermalpaste van de blowerfan vervangen. ChangWang gebruikt Xinyue's 7921, maar zelfs nieuw werkt het voor geen meter. Het vervangen met Noctua NT-H1 (zou NT-H2 aanraden, maar die had ik niet meer) gaf een verschil van 12 graden, wat over tijd alleen maar groter kan worden. Je kunt de koeler verwijderen met de vier zwarte schroeven op het moederbord, twee tussen de M.2 drives en twee onder de SODIMMs. Voor extra koeling is het mogelijk om thermische geleidende stickers van 1mm tussen de blowerfan en de behuizing te plakken.
Je kunt in de BIOS kiezen (Advanced->AMD CBS->NBIO->SMU->System Configuration) tussen 10/15(standaard)/25/35 Watt, blijkbaar hadden oudere versies van het BIOS ook 45W en 54W, maar dit is verwijderd.
:fill(white):strip_exif()/f/image/U98v3M3GbFb8Wv4TIBZwtWL1.png?f=user_large)
Ik heb een vermoeden waarom dit is, met de standaard thermalpaste is zelfs 35W al niet te doen. Ik moest mijn test afbreken toen de CPU de 99 graden aantikte en nog steeds snel steeg, aangezien ik niet wilde weten wat er bij de CPU max van 105 graden zou gebeuren.
Met de nieuwe paste werkte alle standen prima, zelfs met een uur CPU stressen.
| BIOS Setting | 10W | 15W (standaard) | 25W | 35W |
| Short TDP Limit | 18W | 30W | 48W | 60W |
| Total System Power Short* | 39W | 55W | 84W | 120W |
| All Core Turbo Short | 2.7GHz | 3.1GHz | 3.8GHz | 4GHz |
| Short Time | 10s | 3.5m | 5m | 8m |
| Short Temp | 70° C | 72° C | 76° C | 83° C |
| Long TDP Limit | 15W | 25W | 37.5W | 42W |
| Total System Power Long* | 33W | 35W | 55W | 80W |
|
| All Core Turbo Long | 2.4GHz | 2.4GHz | 3.1GHz | 3.7GHz |
| Long Temp | 64° C | 64° C | 67° C | 77° C |
* Wattages gemeten met
Cresta RCE-1106 (9162).
Ik heb gekozen om voor 25 Watt te gaan, dit geeft me een sustained All Core Turbo van ongeveer dezelde snelheid als mijn dual AMD EPYC 7713 (3.1GHz), een 5 minutes short All Core Turbo van 3.8GHz, single core Turbo van 4.5GHz en slechts 55W bij langere zware load, terwijl het idle stroomverbruik (10W in Windows 11 met 1 NIC actief) gelijk is en ik comfortabel ben met de temperaturen. 35 Watt zou ik niet aanraden, met de standaard thermalpaste werkt het niet goed en het piek stroomverbruik ligt boven de rating van de (waarschijnlijk niet al te beste) powersupply.
:no_upscale():strip_icc():fill(white):strip_exif()/f/image/4DgyL2b3EUqrYw85eJDs1lBK.jpg?f=user_large)
Onder ESXi zal het idle stroomverbruik waarschijnlijk een paar Watt omhoog gaan en zonder scherm kan de frequency wat omhoog gaan omdat er wat meer package power voor de CPU overblijft.
De unit is stil wanneer hij idle is, ongeveer 45dB op kort piek vermogen zo'n 40dB bij lange maximale belasting, gemeten op 50cm afstand. Nou zou je kunnen denken dat dit vrij stil is, maar omdat het geluid vrij hoog is klinkt het harder. Prima voor in de meterkast, maar zou hem niet op mijn bureau willen hebben als het systeem niet idle draait.
De meeste Chinese fabrikanten geven geen BIOS updates, maar ChangWang doet dit
wel! Mijn systeem kwam met de laatste 0.22 BIOS van 9 Oktober 2022 en draait microcode 0x0a50000d, dit lijkt de laatste AGESA V2 PI 1.2.0.7 te zijn.
Memory/Storage
:no_upscale():strip_icc():fill(white):strip_exif()/f/image/LH8rGySgH8OOKkpN4pH6xihg.jpg?f=user_large)
Ik heb twee
Crucial CT32G4SFD832A 32GB DDR4-3200 CL22 DIMMs gebruikt, voor een totaal van 64GB, het maximum van dit systeem. Standaard gaat er 1GB naar graphics. Omdat de ESXi console dit niet nodig heeft en mijn workload het wel kan gebruiken heb ik aangepast naar 64MB in de BIOS (Advanced->AMD CBS->NBIO->SMU->GFX Configuration->UMA Frame buffer size). Ik heb een paar rondes memtest x86 gedaan voor ik ESXi ben gaan installeren, wat een pass gaf.
De M.2 sloten hebben alleen schroefgaten voor 2280 drives, dus zorg dat je geen 110 of 60mm drives koopt, maar haal 80mm drives. Er was een Black Friday deal op de Samsung 980 Pro 2TB, ik heb gekozen voor twee met heatsinks, omdat in systemen zoals dit de NVMe controllers snel te heet worden. Zoals je in de foto kunt zien passen deze bijna niet, de bovenste drive zit onder een minuscule hoek om de ongebruikte ATX power input heen. Een heatsink die ook maar iets, zelfs een haar, breder of hoger is gaat niet passen. De 980 Pro is PCIe 4.0, terwijl het systeem 3.0 is, maar de hogere snelheden zijn altijd mooi meegenomen mocht ik in de toekomst het systeem vervangen.
ESXi
ESXi 8.0 installeren is een eitje aangezien alles in het systeem compatible is. Secure boot werkt gewoon en zelfs voor de NICs hoef je
niet meer de Community Networking Driver Fling te installeren.
:fill(white):strip_exif()/f/image/FKUAIATm73c2gocUY8TL6tNL.png?f=user_large)
Idle verbuik zonder VMs in ESXi is 15 Watt, met een enkele idle VM is het 16 Watt. De sustained All Core boost frequency is 3375MHz met een verbruik van 55 Watts en de korte boost frequency is 3900MHz met een verbruik van 84 Watts. Single Core boost is 4500MHz.
:fill(white):strip_exif()/f/image/pQxuZ4emoBxtITsyoS85OLVT.png?f=user_large)
De volgorde van de NICs is gelijk aan de print op de case en de NICs werken op zowel 2.5 als 1Gbit switch poorten.
:fill(white):strip_exif()/f/image/iDFCUxQ1m8IVeZjzj4P4n1JF.png?f=user_large)
Wat niet werkt is TPM, omdat fTPM alleen een CRB interface heeft en niet TIS/FIFO wat momenteel de enige ondersteunde TPM 2.0 interface van ESXi is. TPM uitzetten in de BIOS (Advanced->Trusted Computing->Security Device Support->Disabled) verwijderd de waarschuwingen en foutmeldingen. Je kunt nog steeds vTPM gebruiken zonder fysieke TPM.
Wat ook niet werkt is vMotion van AMD EPYC Milan zonder EVC, omdat Process-context identifiers (PCID) niet beschikbaar is, vreemd aangezien dit een Zen 3 CPU feature zou moeten zijn. Mogelijk niet op mobile CPU, of misschien een foutje in de firmware? Maar met EVC op Zen 2 (AMD Rome heeft geen PCID) voor beide hosts werkt vMotion van/naar AMD Milan prima.
:fill(white):strip_exif()/f/image/v8kxqZrz7zlChSOq8ckGLYmH.png?f=user_large)
:fill(white):strip_exif()/f/image/L0bmmAXjQKEUFsttxlqHsJ88.png?f=user_large)
Behalve die twee dingen werkt alles vlekkeloos. De disk performance in een VM is geweldig met meer dan 360K IOPs random write per SSD.
:fill(white):strip_exif()/f/image/nsdQwr4zT9iyxYJXNpNfGUTO.png?f=user_large)
Slot
Beide Milan hosts en de 10Gbit switch verbruiken idle ongeveer 700 Watt. Zelfs met 1 host in standby, hebben we het nog over 400 Watt.
:fill(white):strip_exif()/f/image/VDdnSd1MT2qA5VX3SLHly5YC.png?f=user_large)
Met beide hosts in standby, de 10Gbit SMB switch uit en een consumer 10Gbit switch, is het verbruik 45 Watt.
:fill(white):strip_exif()/f/image/S1dtFwQt265E40t4IPfFBe34.png?f=user_large)
Het gemiddelde verbruik over 24 uur van de CW56-58 met 8 draaiende VMs (total average usage is 970MHz) is 21W. (Zowel de Cresta 9162 als een VoltCraft SEM6000 komen op 21W.)
En wanneer ik iets moet benchmarken of GPUs wil gebruiken kan ik de hosts aanzetten (of in standby zetten) vanuit vCenter. Terwijl ik voor kleinere taken de CW56-58 kan gebruiken.
:fill(white):strip_exif()/f/image/8uUoDQu9I0IWOo4ZGkSESH9f.png?f=user_large)
In totaal bespaar ik zo 2600kWh per jaar en met de huidige stroomprijzen is een systeem van 1000 euro in een paar maanden volledig terugverdient. Eventueel zou ik de grote jongens volledig van de stroom kunnen halen (geen IPMI) en nog eens 250kWh besparen.
Edit: Ik kreeg de vraag, hoe koop je dat?
https://a.aliexpress.com/_msBzT1M of
zoek naar AMD 5825U i226-v op AliExpress.
En dan kiezen voor:
- No RAM, no storage
- EU Plug
- 5825U
Momenteel 424,92 euro, ik zou in Nederland merk
geheugen/
storage kopen en
goede koelpasta.
Bijvoorbeeld:
[
Voor 255% gewijzigd door
|sWORDs| op 25-12-2022 11:42
]
/u/4022/crop5abf5052151cb_cropped.png?f=community)
:strip_exif()/u/8422/waarschuwing.gif?f=community)
/u/216161/crop5daf72732a011.png?f=community)
/u/59144/aMSN_96.png?f=community)
:strip_exif()/u/301133/crop6737b754ae5aa_cropped.gif?f=community)
:no_upscale():strip_icc():fill(white):strip_exif()/f/image/njzuiGaHUVgbVGFQp2ao92Ol.jpg?f=user_large)
:no_upscale():strip_icc():fill(white):strip_exif()/f/image/r9YJMx1ZdyWrZGtnCT6kEIcK.jpg?f=user_large)
:no_upscale():strip_icc():fill(white):strip_exif()/f/image/bk3NvU7Nm7b6qbIryh4VSKgq.jpg?f=user_large)
/u/42845/crop6463ab3467c0d_cropped.png?f=community)
/u/11437/wandcontactdoos.png?f=community)
:strip_exif()/u/128173/crop59a1592e54731_cropped.gif?f=community)
:fill(white):strip_exif()/f/image/fXZ9KyduRZD4oEA9Xij30VIb.png?f=user_large)
Moet het ding maar weer eens aanslingeren (we zijn momenteel redelijk heftig aan het verbouwen) en kijken hoeveel ik daadwerkelijk nodig heb voordat ik een besluit neem 
/u/114692/crop5d2eeb8cac79c_cropped.png?f=community)
:strip_exif()/u/10111/crop67d5f1a9809eb_cropped.gif?f=community)
:no_upscale():strip_icc():fill(white):strip_exif()/f/image/6IstbJXoqPAF4FYVEDFGe3Ky.jpg?f=user_large)
:no_upscale():strip_icc():fill(white):strip_exif()/f/image/rPbWMUsryXoZuKgjwMttDm2v.jpg?f=user_large)
:strip_icc():strip_exif()/u/146731/crop562615a0aa64c.jpeg?f=community)
:strip_exif()/u/11342/S_borg98.gif?f=community)
:strip_icc():strip_exif()/u/234232/crop6342d2d18b1af_cropped.jpg?f=community)
/u/170728/owl.png?f=community)
:fill(white):strip_exif()/f/image/6kSBDFxL28uQnjxVYu2XPrBz.png?f=user_large)
:strip_icc():strip_exif()/u/94045/crop66c1b4250e8a2_cropped.jpg?f=community)
:strip_exif()/u/291260/crop676483f9433f8_cropped.webp?f=community)
:strip_icc():strip_exif()/u/26028/penguin.jpg?f=community)
