'Oude' ESXi server upgrade voor energy-efficiency

[k_delaat]

Sinds enkele jaren gebruik ik voor de hobby een server waarop ik meerdere VM sessies heb draaien. Destijds heb ik hiervoor een server aangeschaft met onderstaande componenten (en prijzen):

#	Product	Prijs	Subtotaal
2	Intel Xeon E5335 Boxed	€ 299,60	€ 599,20
1	Intel Server Board S5000PSL	€ 410,90	€ 410,90
3	Seagate Barracuda 7200.11 ST31500341AS, 1,5TB	€ 94,70	€ 284,10
2	Seagate Barracuda 7200.12 ST3500413AS, 500GB	€ 96,-	€ 192,-
2	Seagate Barracuda 7200.14 ST500DM002, 500GB	€ 96,-	€ 192,-
3	Seagate Barracuda 7200.14 ST2000DM001, 2TB	€ 103,-	€ 309,-
1	Intel SC5400BRP	€ 441,30	€ 441,30
1	Intel 6-Drive Hot-Swap Expander Kit AXX6DRV3GEXP	€ 175,-	€ 175,-
1	Intel AXX4DRV3GEXP (4 Drive SAS/SATA Bay Expander)	€ 147,-	€ 147,-
3	Kingston ValueRAM KVR667D2D4F5K2/4G	€ 265,60	€ 796,80
1	Intel SRCSAS18E (8x SAS RAID, XOR, 256MB, PCI-e)	€ 491,50	€ 491,50
Bekijk collectie Importeer producten		Totaal	€ 4.038,80

Nu moet ik sinds kort mijn eigen energie rekening betalen en kwam ik er achter dat bovenstaand systeem ongeveer 400W idle verbruikt, wat neerkomt op zo'n € 55 per maand.

Daarom wil ik kijken om zonder een te grote investering te doen bovenstaand systeem wat energie efficiënter maken. Het liefst zou ik de case met hot-swap bays blijven gebruiken. Verder zijn de HDD's voorlopig nog prima. Ik heb zelf rond gekeken en kwam zo terecht bij BBG zuinige fileserver op mux' blog.

Ook had ik zelf een update samen gesteld met onderstaande componenten, echter dit vind ik al vrij duur worden (er van uit gaande dat deze componenten in de huidige case passen).

#	Product	Prijs	Subtotaal
1	Intel Xeon E5-2609 v2 Boxed	€ 257,73	€ 257,73
1	Intel DBS2600CP4	€ 457,-	€ 457,-
2	Kingston KVR1333D3E9SK2/16G	€ 151,60	€ 303,20
Bekijk collectie Importeer producten		Totaal	€ 1.017,93

Graag zou ik advies van jullie willen wat mogelijk is en wat een redelijk idle verbruik kan zijn.

[Demo]

Ik snap je keuzes niet helemaal, je hebt het over hobby, energiebesparing en komt vervolgens met een Socket 2011 Xeon en een dual CPU moederbord aan en vindt dat vrij duur worden Je geeft aan de blog van mux te hebben gelezen, waarom dan niet zijn advies volgen? Ben je voor 500 euro klaar. Hou je nog wat geld over om 7 verouderde schijven te vervangen door één modern exemplaar van 4 TB, verkoopt de oude voor een paar tientjes en bespaar je nog eens 40 watt. Of je gebruikt ze voor de backup van je belangrijkste files
Verder, wat doe je met die server, hoeveel VM's staan er op en maak je gebruik van VT-d? Als dat niet het geval is, zou je zelfs voor een Avoton-bordje kunnen gaan.

[ Voor 13% gewijzigd door Demo op 06-01-2014 13:43 ]

[Paul]

Voor een fileserver met ZFS is dat een leuke inderdaad, als je echter geen ZFS gaat gebruiken en bereid bent de ECC op het geheugen te laten varen dan zijn er nog veel goedkoper oplossingen.

Als ik de getallen van CPUBenchmark.net haal is de 7 jaar oude E5335 vrijwel exact even snel als een (vrijwel) nieuwe Celeron G1610. Doe daar 16 GB geheugen, een moederbord en een PicoPSU bij en je zit onder de 20 Watt in Windows, onder de 30 in VMware...

#	Product	Prijs	Subtotaal
1	Intel Celeron G1610 Boxed	€ 34,49	€ 34,49
1	ASRock B75M-ITX	€ 63,50	€ 63,50
1	Zalman ZM-T2	€ 20,-	€ 20,-
1	Corsair CMV16GX3M2A1333C9	€ 126,-	€ 126,-
1	Mini-box picoPSU 90 + 80W Adapter Power Kit	€ 64,95	€ 64,95
Bekijk collectie Importeer producten		Totaal	€ 308,94

Je hebt helaas DM uitstaan anders kon ik je een aanbod doen voor bovenstaand systeem Wil je wel nieuw dan kom je voor iets hoger bedrag op en G1820 (en een ander mobo ivm ander socket).

[ Voor 3% gewijzigd door Paul op 06-01-2014 14:12 ]

[rookie no. 1]

HP Proliant Microserver Gen8 G2020T of G1610T iets voor je? Ding is vrij zuinig, compleet en geschikt voor gebruik met (HP) VMWare producten. Je kunt er desgewenst nog een nieuwere Intel Xeon CPU in zetten als je wat meer performance wilt, maar dat lijkt me voor hobby doeleinden niet direct nodig.

[k_delaat]

Demoniac schreef op maandag 06 januari 2014 @ 13:41:
Ik snap je keuzes niet helemaal, je hebt het over hobby, energiebesparing en komt vervolgens met een Socket 2011 Xeon en een dual CPU moederbord aan en vindt dat vrij duur worden Je geeft aan de blog van mux te hebben gelezen, waarom dan niet zijn advies volgen? Ben je voor 500 euro klaar. Hou je nog wat geld over om 7 verouderde schijven te vervangen door één modern exemplaar van 4 TB, verkoopt de oude voor een paar tientjes en bespaar je nog eens 40 watt. Of je gebruikt ze voor de backup van je belangrijkste files
Verder, wat doe je met die server, hoeveel VM's staan er op en maak je gebruik van VT-d? Als dat niet het geval is, zou je zelfs voor een Avoton-bordje kunnen gaan.

Ik begrijp dat er zuinigere (en vooral goedkopere) oplossingen zijn dan een dual CPU moederbord. De reden dat ik deze geselecteerd had was dat hij dezelfde form-factor heeft als het huidige moederbord. Ik dacht dat dit nodig was om dezelfde behuizing te kunnen blijven gebruiken (incl 10 hot-swap bays). Hiervoor heb ik ook een SAS controller nodig (die ik reeds heb, maar onboard zou mooier zijn).
Om je overige vragen te beantwoorden, er draaien altijd 4 win2k8 en 2 linux sessies, daarnaast soms wat win7/8 sessies om dingen te testen. Ik maak op dit moment geen gebruik van VT-d. De beperkingen die het systeem nu kent is volgens mij de redelijk trage CPU en vooral een tekort aan memory (dat FB-DIMM is belachelijk duur).

Wat ik verder wil doen is inderdaad een fileserver met ZFS maken, en daarnaast de VM sessies draaien.

[ Voor 3% gewijzigd door k_delaat op 06-01-2014 19:23 ]

[Paul]

k_delaat schreef op maandag 06 januari 2014 @ 19:16:
Wat ik verder wil doen is inderdaad een fileserver met ZFS maken, en daarnaast de VM sessies draaien

Dat is inderdaad een redelijk belangrijke requirement, ZFS op VMware Je hebt momenteel 4,5 TB. Hoeveel daarvan is in gebruik voor VM's?

De E3-setup van Mux is een goede voor je denk ik, al kun je (vanwege je aantallen VM's) overwegen voor een E5 te gaan omdat je dan meer dan 32 GB geheugen aan kunt spreken. Let wel, alleen voor je ZFS-VM ga je al 8 GB nodig hebben en liever nog 16 GB... Voor ZFS geldt: meer is beter...

E5-setup:

#	Product	Prijs	Subtotaal
1	Intel Xeon E5-1620 v2 Tray	€ 296,67	€ 296,67
1	Supermicro X9SRL-F	€ 270,11	€ 270,11
3	Seagate STx000VN000, 4TB	€ 161,-	€ 483,-
1	Supermicro SNK-P0050AP4	€ 33,99	€ 33,99
1	be quiet! Shadow Wings PWM, 92mm	€ 12,-	€ 12,-
2	Crucial CT204872BB160B	€ 138,58	€ 277,16
1	Crucial 2.5" M500 240GB	€ 113,03	€ 113,03
Bekijk collectie Importeer producten		Totaal	€ 1.485,96

Max 1 processor, maar wel een quad-core op 3.5 GHz. 256 GB ram mogelijk (met 32 GB geheugenreepjes), er zit nu 32 in.

Zonder de extra schijven is het even duur als de optie die jij opgeeft, maar je kunt je bestaande schijven niet in een RAIDZ waardoor je dus zonder redundancy draait. Als je de bestaande schijven verkoopt verdien je al 150 tot 200 euro (grove schatting) van de 450 terug en je krijgt er redundancy en 2x zoveel schijfruimte voor terug Voor 150 extra krijg je zelfs 3x zoveel ruimte.

Zuinige ESXi Server Is een goed topic om te volgen, de meeste mensen daar gebruiken hun vmware-host ook als FreeNAS-machine

Er zitten ook grote nadelen aan ZFS op VMware, twee belangrijke topics:
- Please do not run FreeNAS in production as a Virtual Machine!
- "Absolutely must virtualize FreeNAS!" ... a guide to not completely losing your data.

[ Voor 6% gewijzigd door Paul op 06-01-2014 22:46 ]

[k_delaat]

Paul schreef op maandag 06 januari 2014 @ 22:35:
[...]

Dat is inderdaad een redelijk belangrijke requirement, ZFS op VMware Je hebt momenteel 4,5 TB. Hoeveel daarvan is in gebruik voor VM's?

De E3-setup van Mux is een goede voor je denk ik, al kun je (vanwege je aantallen VM's) overwegen voor een E5 te gaan omdat je dan meer dan 32 GB geheugen aan kunt spreken. Let wel, alleen voor je ZFS-VM ga je al 8 GB nodig hebben en liever nog 16 GB... Voor ZFS geldt: meer is beter...
[...]

Momenteel heb ik 8,5 TB netto, en hiervan heb ik 5 TB als data opslag en de overige ruimte gebruik ik voor VM's (en een hoop reserve ruimte).

Nadat ik de diverse tips gelezen heb, begrijp ik dat VT-d met een HBA-controller aan te raden is. Dat komt mooi overeen met dat ik mijn bestaande controller en case wil blijven gebruiken. Nadeel van de huidige controller is de 2TB limiet. Ik kan echter wel 1 (of 2) 2TB disks bij kopen. Dan kan ik hiermee een data opslag maken van 6-8 TB. Een paar van de overige disks (2x1,5TB in RAID 1) zou ik kunnen gebruiken op de onboard HBA voor de VM sessies.

Wat betreft geheugen, volgens jou config zou ik 32GB hebben, hiervan kan ik er 16-20 voor ZFS gebruiken en dan houd ik er nog 12-16 over voor de VM's, wat neerkomt op gemiddeld 2-2,7 GB/VM. Iets wat voldoende is voor mijn sessies.

Wat denken jullie hierover, zou dit een goede overweging zijn?

En wat is het verwachte idle verbruik? Dan kan ik kijken wat de terugverdientijd is.

[Paul]

k_delaat schreef op dinsdag 07 januari 2014 @ 11:13:
Nadat ik de diverse tips gelezen heb, begrijp ik dat VT-d met een HBA-controller aan te raden is. Dat komt mooi overeen met dat ik mijn bestaande controller en case wil blijven gebruiken. Nadeel van de huidige controller is de 2TB limiet. Ik kan echter wel 1 (of 2) 2TB disks bij kopen. Dan kan ik hiermee een data opslag maken van 6-8 TB. Een paar van de overige disks (2x1,5TB in RAID 1) zou ik kunnen gebruiken op de onboard HBA voor de VM sessies.

Ah, ik had over het hoofd gezien dat je meer schijven hebt

Met het juiste bord kun je onboard controllers doorzetten naar je ZFS-VM zodat je daar schijven aan kunt hangen. Dan ben je ook van je 2 TB limiet af en kun je besparen op het aantal schijven en dus op stroomkosten.

Een raid-controller doorgeven aan ZFS is niet aan te raden, tenzij je de controller om kunt flashen naar 'IT'-mode zodat het een dom doorgeefluik wordt. ZFS wil zo dicht mogelijk op de hardware zitten en heeft zelf een goede cache, terwijl juist de cache van de RAID-controller een grote kans op dataverlies introduceert.

Mogelijk heb je de bestaande controller wel nodig om een RAID1 te kunnen bouwen voor VMware. Vmware 5.0 Update 1 (en hoger) heeft drivers voor Intel C600-chipsets maar of dat ook in RAID werkt weet ik niet. Kan het over een weekje (hoop ik) voor je testen

De setup in mijn vorige post is in grote lijnen wat ik zelf heb besteld. Heb het helaas nog niet binnen maar ik hoop/verwacht in VMware met schijven idle / spinned down rond 40 Watt uit te komen.

[k_delaat]

@Paul ik wacht graag je bevindingen af met deze hardware. Ook ben ik benieuwd naar het energie verbruik.

Ondertussen heb ik me redelijk ingelezen over NFS en de combinatie met VMware. Dit is toch de route die ik uiteindelijk wil nemen, maar wil eerst meer weten over de maandelijkse besparing. Dit is namelijk de hoofdreden van de update en dus belangrijk voordat ik deze grote update ga doorvoeren.