Storage Server zuiniger maken

[WhiteDog]

Wat wil je doen met je nieuwe systeem?
Ik heb een server die ik zuiniger wil maken. Het is een storage server die ik gebruik voor off-site backups van webhosting servers. Verder wordt hij gebruikt als Home Server en af en toe om wat met virtuele machines te spelen.

Momenteel gebruik ik een gerecycleerde Asus Striker Extreme + Q6600 combinatie.
Volgens de grafiekjes op mijn UPS verbruikt deze idle 180W (disks spinned down) en bij activiteit 280W (CPU + disk activiteit). Ruw uitgerekend zo'n 400 a 500 € per jaar aan stroom dus (België).

Wat mag het systeem gaan kosten?
Maximaal 500 €, dit komt ongeveer overeen met de besparing die dit oplevert op 2 jaar aan energiekost.

Zijn er componenten of randapparatuur die je al hebt en mee wil nemen naar je nieuwe systeem?

• be Quiet! Dark Power Pro 1000W voeding (85% efficency)
• Areca 1280 RAID controller (24 poorts)
• 18 disks

Wat denk je allemaal nodig te hebben?

• Moederbord met minmiaal 2x 16x PCIe (3.0), eSATA en onboard HDMI en/of DVI
• Zuinige CPU
• Minimaal 12 GB geheugen

Heb je nog bepaalde (merk)voorkeuren?
Nee

Heb je nog bepaalde eisen/wensen?
Energieverbruik is het belangrijkste

Ga je overklokken?
Nee

Even een paar dingen toelichten

• Ik ben me bewust dat de voeding overkill is. Alleen draait het ding al wel 6 jaar 24/7 en wil ik hem nog wel even houden. Ik vraag me wel af of een "oversized" voeding ook gevolgen heeft voor het energieverbruik? Ik ga er vanuit dat hij niet "meer" verbruikt gewoon omdat hij meer "kan" verbruiken toch?
• De RAID-controller heeft ook zijn leeftijd en is vast ook niet de zuinigste. Vandaar graag een moederbord met een PCIe 3.0 slot zodat ik er in de toekomst een moderne (en zuinigere) controller kan inzetten.
• Graag een moederbord met eSATA daar ik nog een externe HDD-bay heb die ik wel eens gebruik (en die via eSATA werkt).

Zelf kom ik tot dit lijstje. De CPU heb ik gekozen vanwege het lage verbruik (35W TDP) en het moederbord vanwege 2 PCIe sloten + onboard video + eSATA. Het geheugen heb ik eerder lukraak uitgekozen

#	Product	Prijs	Subtotaal
1	Intel Core i5-4590T Tray	€ 201,86	€ 201,86
1	ASRock Z97 Extreme6	€ 177,-	€ 177,-
1	Crucial Ballistix Sport BLS2C8G3D1609ES2LX0CEU	€ 119,30	€ 119,30
Bekijk collectie Importeer producten		Totaal	€ 498,16

Alvast bedankt voor jullie moeite!

[Tribits]

Educated guess, maar die 1000 watt voeding zou ik er als eerste uitknikkeren. Ik heb hier 1 systeem staan met een dergelijke voeding, wel eens even aan zitten meten en flink geschrokken van het idle verbruik van het ding. 80 plus gold kent geen minimum rendement voor 10 procent en daar zit je systeem waarschijnlijk idle flink onder. Los daarvan is het een relatief kleine investering om de voeding te vervangen door een exemplaar van 450 watt.

Als ik zo snel even zoek heeft die raid controller een klein passief koelertje, ik kan me niet indenken dat het ding meer dan 50 watt verstookt, waarschijnlijk zelfs nog niet de helft.

Sowieso zijn er trouwens wel goedkopere moederborden te vinden met een eSATA aansluiting maar volgens mij moet het ook wel lukken met een SATA naar eSATA convertor op slot plaat. In dat geval moet je wel een moederbord voor de helft van het geld kunnen vinden.

Verder heeft een socket 1150 CPU max 16 PCIe lanes dus meer dan 2x8 ga je sowieso niet krijgen, maar dat even terzijde.

CPU zal wel voldoende zijn, hoewel een dual core ook wel zal voldoen als je de VM activiteiten ergens anders naar toe verhuist. Overigens moet je bij een tray model nog wel even een cooler aanschaffen, om nog maar even een open deur in te trappen. De S versies zijn iets sneller en ook als boxed te verkrijgen maar hebben weer een stuk hogere TDP.

[thibautb]

Ik zou het moederbord veranderen naar een pricewatch: MSI B85M Eco
pricewatch: MSI H97M Eco daarmee ga je ook wel wat besparen...

Maar wat Tribits hierboven zegt is al heel goed ggezegd, ik zou hem gewoon helemaal volgen!

[johnkeates]

Na dat je je voeding weggedaan hebt:

- Operating System & instellingen: een goed ingericht Linux of BSD systeem kan erg zuinig werken, Windows niet echt

- RAID: een controller kan onder I/O load zuiniger zijn dan een CPU die RAID doet, maar tijdens idle is een RAID controller altijd meer stroom aan het vreten dan een CPU die geen RAID berekeningen aan het doen is

- Disks: staat PUIS aan en heb je een spindown time ingesteld waar je mee kan leven?

Je kan ook voor een moederbord gaan dat al veel poorten heeft. Een van de X10 serie van Supermicro heeft bijvoorbeeld zomaar 24 poorten beschikbaar om wat te noemen (8x SAS, 4x SATA dacht ik, SAS kan je ook voor SATA gebruiken, zelfde aansluiting en gewoon compatible).

Als je een nieuw moederbord neemt en de oude CPU er niet meer in past (wat waarschijnlijk het geval is) kan je ook voor een Xeon E3 gaan, die zijn er om te beginnen met bijv. 20 PCIe lanes en ook te krijgen met een 15W TDP.

[WhiteDog]

Tribits schreef op vrijdag 20 februari 2015 @ 22:57:
Educated guess, maar die 1000 watt voeding zou ik er als eerste uitknikkeren ... Los daarvan is het een relatief kleine investering om de voeding te vervangen door een exemplaar van 450 watt.

De voeding heb ik destijds ook wel gekozen vanwege de vele aansluitingen die mogelijk zijn. De disks zitten in 3-to-5 enclosures en vragen wel wat molexen en SATA-stroomconnectors om aan te sluiten. Er zitten ook een stuk of 6 fans in die ik deels rechtstreeks op de PSU kon aansluiten. Een 450W voeding met een ketting van 10 molex splitters is vast ook niet ideaal.

Wil dus gerust uitkijken voor een andere PSU maar dan moet ik hier wel even specifiek rekening mee houden

Als ik zo snel even zoek heeft die raid controller een klein passief koelertje, ik kan me niet indenken dat het ding meer dan 50 watt verstookt, waarschijnlijk zelfs nog niet de helft.

Hier de datasheet, 11W in totaal lijkt me (onderaan links staan de Power Requirements).

Sowieso zijn er trouwens wel goedkopere moederborden te vinden met een eSATA aansluiting maar volgens mij moet het ook wel lukken met een SATA naar eSATA convertor op slot plaat. In dat geval moet je wel een moederbord voor de helft van het geld kunnen vinden.

Wel even opletten want eSATA is niet *helemaal* hetzelfde als SATA (shielding, cable length, hot swap niet noodzakelijk ondersteund, ...). Een bracket kost 7€ maar zal niet noodzakelijk goed werken in mijn situatie. Een losse PCIe eSATA controller kost 30 €, een miniSAS naar eSATA kabel nog meer

Dit moet ik voor mezelf even afwegen.

Verder heeft een socket 1150 CPU max 16 PCIe lanes dus meer dan 2x8 ga je sowieso niet krijgen, maar dat even terzijde.

Ik had begrepen dat de 2.0 en 3.0 lanes afzonderlijk van elkaar aangesproken kunnen worden. Huidige controller is overigens maar PCIe 8x. In de toekomst heb ik aan 1x PCIe 3.0 16x wel voldoende, maar een 2e slot is wel een vereiste (al was het maar om even 2 controllers tegelijk erin te kunnen doen).

CPU zal wel voldoende zijn, hoewel een dual core ook wel zal voldoen als je de VM activiteiten ergens anders naar toe verhuist. Overigens moet je bij een tray model nog wel even een cooler aanschaffen, om nog maar even een open deur in te trappen. De S versies zijn iets sneller en ook als boxed te verkrijgen maar hebben weer een stuk hogere TDP.

Helemaal waar, al heb ik nog wel een aantal stock coolers liggen en er is voldoende airflow in de case.

johnkeates schreef op vrijdag 20 februari 2015 @ 23:12:
- Operating System & instellingen: een goed ingericht Linux of BSD systeem kan erg zuinig werken, Windows niet echt

Graag, kijk alleen op tegen het omzetten van mijn partities naar een Linux filesysteem. Heb daarnaast nog een paar windows-only tools draaien.

- RAID: een controller kan onder I/O load zuiniger zijn dan een CPU die RAID doet, maar tijdens idle is een RAID controller altijd meer stroom aan het vreten dan een CPU die geen RAID berekeningen aan het doen is

Gaat die ook niet even wat zuiniger draaien dan?

- Disks: staat PUIS aan en heb je een spindown time ingesteld waar je mee kan leven?

PUIS ken ik helaas niet, spin-down staat inderdaad ingesteld. Overdag staat het ding meestal niets te doen maar omdat e.e.a. vanaf het net geïnitieerd wordt is Hibernate / WOL.ook niet echt een optie.

Je kan ook voor een moederbord gaan dat al veel poorten heeft. Een van de X10 serie van Supermicro heeft bijvoorbeeld zomaar 24 poorten beschikbaar om wat te noemen (8x SAS, 4x SATA dacht ik, SAS kan je ook voor SATA gebruiken, zelfde aansluiting en gewoon compatible).

Als je een nieuw moederbord neemt en de oude CPU er niet meer in past (wat waarschijnlijk het geval is) kan je ook voor een Xeon E3 gaan, die zijn er om te beginnen met bijv. 20 PCIe lanes en ook te krijgen met een 15W TDP.

Correct, maar die heeft geen ingebouwde GPU. Wel zo handig dat je een scherm kan aansluiten indien nodig en niet eerst ven een GPU moet gaan inbouwen. Al zal die X10 dan wel zelf een VGA controller en KVM ingebouwd hebben Moederbord zal ook wel iets duurder zijn dan wat ik in gedachten had.

Ik kan alvast weer hard gaan nadenken

[Tribits]

Kabeltjes aan elkaar knopen is nooit echt een aanrader maar als de connectoren van voldoende kwaliteit zijn zal het wel werken. Voor schijven gaat er toch een vrij lage stroom doorheen, belangrijkste risico is dat de contacten gaan corroderen of lostrillen en je een onbetrouwbaar systeem krijgt.

Ik weet niet of je het Storage showoff topic - 20+ TB storage systems topic trouwens al had gevonden. Daarin komen onder andere wat systemen voorbij met plusminus 50 schijven, veelal inclusief foto's en omschrijving. Daarnaast is er ook nog Het grote DIY RAID NAS topic deel 3 en Het grote zuinige server topic. Eventueel kunnen ze je daar misschien beter verder helpen met specifieke vragen.

[johnkeates]

De moederborden uit die server zijn aardig betaalbaar, en Xeon E3 v3 chips zijn met iGPU te krijgen.

Verder ga je als je dit soort storage setups wil draaien voor langere termijn hoe dan ook tegen de limieten van het antieke RAID idee aan lopen. Ja het werkt wel een beetje en ja het wordt nog gebruik, maar als je een grote, veilige en zuinige data bak wil maken is een hardware RAID controller samen met windows zo'n beetje de slechtste combinatie ooit.

[WhiteDog]

thibautb schreef op vrijdag 20 februari 2015 @ 23:09:
Ik zou het moederbord veranderen naar een pricewatch: MSI B85M Eco
pricewatch: MSI H97M Eco daarmee ga je ook wel wat besparen...

Ik had hem eerst niet helemaal door Zeer interessant bordje, zou hem zo kopen voor een desktop. Alleen is het voor mij een deal-breaker dat er geen 2e PCIe 16x slot op zit (bv. in plaats van dat nutteloos PCI slot). Indien ik ooit een nieuwe controller koop en e.e.a. wil overzetten gaat dat dus niet.

Tribits schreef op zaterdag 21 februari 2015 @ 00:47:
Kabeltjes aan elkaar knopen is nooit echt een aanrader maar als de connectoren van voldoende kwaliteit zijn zal het wel werken. Voor schijven gaat er toch een vrij lage stroom doorheen, belangrijkste risico is dat de contacten gaan corroderen of lostrillen en je een onbetrouwbaar systeem krijgt.

Ik weet niet of je het Storage showoff topic - 20+ TB storage systems topic trouwens al had gevonden. Daarin komen onder andere wat systemen voorbij met plusminus 50 schijven, veelal inclusief foto's en omschrijving. Daarnaast is er ook nog Het grote DIY RAID NAS topic deel 3 en Het grote zuinige server topic. Eventueel kunnen ze je daar misschien beter verder helpen met specifieke vragen.

Yup ik ken de bewuste topics. Mijn hele setup zit overigens in een Lian-Li PC343 case die er met disks ongeveer uitziet zoals deze.

De bedoeling was vooral een "quick win" te bekomen (even moederbord swappen en klaar). Al begin ik me meer en meer af te vragen waar die 180W idle vandaan komt. Welk aandeel heeft de CPU, het moederbord en de voeding hierin...

[WhiteDog]

johnkeates schreef op zaterdag 21 februari 2015 @ 00:53:
De moederborden uit die server zijn aardig betaalbaar, en Xeon E3 v3 chips zijn met iGPU te krijgen.

Verder ga je als je dit soort storage setups wil draaien voor langere termijn hoe dan ook tegen de limieten van het antieke RAID idee aan lopen. Ja het werkt wel een beetje en ja het wordt nog gebruik, maar als je een grote, veilige en zuinige data bak wil maken is een hardware RAID controller samen met windows zo'n beetje de slechtste combinatie ooit.

Het blijft een Home Server natuurlijk, een 24-bay NAS is ook niet meteen goedkoop. Ik vermoed dat ik hem nu nog een laatste upgrade geef en binnen een jaar of 5 wel vervang door een 8-bay NAS met 10 TB disks oid.

Het hebben van een gigantisch apparaat vol met disks is zeker geen doelstelling in mijn leven.

Even off-topic, maar kan je kort uitleggen hoe je zoiets de dag van vandaag dan wel aanpakt? Wat is het hedendaagse moderne alternatief voor bv. RAID6 wat ik nu gebruik? Schiet maar wat keywords mijn richting uit, ik google de rest wel even

[johnkeates]

ZFS, BTRFS, of de welbekende MDADM + LVM optie met daar op EXT4, NTFS of iets vergelijkbaars om maar wat te noemen. Een NAS is de oplossing ook niet, dat zijn eigenlijk underpowered linux servers in een beperkte behuizing.

Een home server hoeft eigenlijk alleen maar windows te draaien op het moment dat je een of andere windows-only toepassing draait op je server. Maar er is bijna geen enkele normale server service die exclusief op windows draait (met uitzondering van diverse Microsoft producten uiteraard). Een ander punt is vaak de GUI. Mensen willen Windows want ze denken dat om dat er een Windows GUI bij zit het beheren van een server ongeveer hetzelfde zal zijn als het beheren van een desktop, wat in de praktijk natuurlijk onzin is, serverbeheer is altijd een vak apart, ongeacht de toepassing. Het hangt er natuurlijk sterk van af wat je doet met je server, maar over het algemeen heb je in het basisgebruik weinig voordelen aan de Windows GUI, en in het hardcore gebruik zit ie eigenlijk vooral in de weg en installeer je de GUI toch niet mee.

Wat je veel ziet is dat mensen die storage willen doen en 'wat extra dingen' (zoals torrents, nieuwsgroepen, automatische synchronisatie tools voor backups, websites, streaming servers, databases, vpn, enz.) en daar een gespecialiseerde Linux of BSD distributie voor gebruiken. Neem bijvoorbeeld ZFSguru, FreeNAS of anders een grote bekende Linux distributie met SAMBA of LIO er op. Er zijn ook dingen als Xpenology die een nagenoeg complete "Synology" experience bieden voor homemade hardware. Uiteraard is het het beste om een storage systeem ook zo veel mogelijk een storage systeem te laten zijn en niet allemaal rare taken toevoegen zodat de performance omlaag gaat, maar dat is juist voor een thuisserver weer wat minder belangrijk als je hem niet constant gebruikt voor al je data.

RAID6 schiet te kort op de punten waar de meeste mensen het voor gebruiken: qua snelheid en veiligheid is het gewoon niet goed genoeg als bijv. ZFS op dezelfde hardware. ZFS kan je niet met Windows gebruiken maar wel met BSD en Linux. Daarnaast ben je afhankelijk van een controller en de fabrikant van de controller en mag je hopen dat ie het blijft doen, updates verzorgd worden als het OS bijgewerkt moet worden, en dat als ie stuk gaat je nog ergens een vervanger kan vinden als ie niet meer verkocht wordt.

Met nagenoeg alle andere oplossingen prik je gewoon al je schijven in 'normale' SATA of SAS aansluitingen en regelt een geavanceerde storage laag in je besturingssysteem alles. Om dat dat in Windows gewoon standaard niet of niet goed ingebouwd zit kom je dan bijna altijd wel terecht bij RAID kaarten of halfzachte oplossingen die veel geld kosten en slechtere performance leveren op dezelfde hardware.

Boven op de voordelen in het makkelijker opvangen van uitgevallen schijven heb je ook op bestandssysteem niveau betere opties. ZFS is alles-in-een: het beheert je schijven, je partitionering en je bestanden, terwijl het daarnaast controlesommen berekent zodat bitflips en ander on-disk data corruptie opgepakt kan worden om dat de data te controleren is. Zodra er dus een stukje 'foute' data gevonden wordt, zorgt ZFS er voor dat het juiste stukje uit de backup, of kopie, of RAID versie gehaald wordt van een andere disk. Daarnaast is het flink sneller, en ook makkelijker flink sneller te maken. Meer snelheid is een kwestie van meer harde schijven gebruiken, want ZFS verdeelt de activiteit waar mogelijk om zo maximale performance te halen. Daarnaast kan je ook meer RAM in je systeem stoppen voor meer buffers en SSD's als caching laag voor zowel lezen als schrijven zodat ook dat versneld kan worden. Het doet eigenlijk alles wat een dure enterprise level RAID controller doet, maar dan nog meer, en ook nog eens sneller en veiliger.

Als je een goedkope setup wil kan je ook voor een moederbord met genoeg PCIe sloten gaan, en dan een of twee tweedehands ServeRAID kaarten (IBM M1005 ofzo dacht ik) er in stoppen waar je in elk geval 16 disks mee kan aansluiten. De rest past dan misschien wel op je moederbord en anders kan je nog kijken of je huidige RAID kaart geflasht kan worden naar een normale HBA kaart. (vaak IT mode genoemd voor LSI chips)

Afhankelijk van je setup kan je ook overwegen virtualisatie te bekijken. Dan kan je bijvoorbeeld op een type-1 hypervisor (Xen of VmWare ofzo) ook windows er naast draaien. Ik weet uit eigen ervaring dat je in elk geval met Xen ook nog prima ZFS-on-Linux er bij kan hebben draaien, dat gaat gewoon native en niet via een FUSE laagje. Xen+ZFS gaat dus prima, en dan Windows daar weer naast kan ook als je dat nog ergens voor nodig hebt. Ik trek op m'n 16-disk setup m'n gigabit verbinding heel makkelijk plat, nog geen trunk gedaan om te kijken hoe hard ie precies kan via netwerk sharing, maar snel gaat 't wel. (En om eerlijk te zijn had ik na 100MB per seconde ook niet echt last van wachttijden ofzo) Gezien je budget 500 is denk ik dat je er wel kan komen als je een goedkope E3 v3 Xeon neemt en een SuperMicro moederbord, heb je ook gelijk IPMI, wat weer extra leuk is. (remote management via extra netwerk poort met iKVM, sensors enz.) Een X10SLM-F + E3-1231V3 ofzo zit wel ergens op je budget als je al DDR3 RAM hebt. Stel dat je minder wil uitgeven, dan kan je S1155 doen, dat is de vorige generatie maar ook flink zuinig en een best pak goedkoper.

[ Voor 12% gewijzigd door johnkeates op 21-02-2015 04:05 ]

[WhiteDog]

Hartelijk dank voor de uiteenzetting john. Ik onthou:

• ZFS is het softwarematig alternatief voor RAID6 met een heleboel extra functionaliteit en zekerheid.
• Draai een systeem zoals FreeNAS
• Voordeel van ZFS is dat ik niet afhankelijk ben van de RAID-fabrikant en dat ik steeds aan mijn data kan zolang ik maar genoeg SATA-poorten vind om al mijn disks aan te sluiten

Mijn eerste gedachte was ook een laagje virtualisatie ertussen en bv. FreeNAS en Windows naast elkaar draaien. De eerste post die ik tegenkwam op het FreeNAS forum was helaas een sticky genaamd "draai FreeNAS niet op een VM"

Om dan maar even een alternatief plan voor te stellen waar ik in de toekomst mee weg kan:

1. Ik koop nu een SuperMicro bord en Xeon CPU
2. Deze gebruik ik nog even met Windows en mijn huidige RAID controller
3. De volgende keer dat ik nieuwe disks aanschaf, sluit ik deze als JBOD aan op de Areca RAID controller
4. Ik installeer bv. FreeNAS en maak een ZFS systeem
5. Ik kopiëer alle data van de andere disks (NTFS) naar het nieuwe ZFS systeem
6. Ik doe ook de andere disks als JBOD en maak er een 2e en/of 3e array mee met ZFS.
7. Gaat de Areca RAID controller ooit stuk dan vervang ik hem door een Non-RAID disk controller, bv. de Areca ARC-1320IX-16

Enige wat ik niet meteen begrijp is waarom je een RAID-controller moet omflashen naar een gewone disk controller. Wat is het probleem met JBOD?

Ik ga alvast wat nieuwe combinaties maken in de Pricewatch...