Home web + storage server aankoopadvies

[cogat]

Ik wil een thuisserver bouwen voor data opslag, backups en wat simpele webservices draaien. Ik heb helaas erg weinig ervaring met hardware, dus ik kom hier voor advies van de wijze Tweakers. Ik hoop dat ik mijn vraag duidelijk heb gesteld maar anders geef ik graag meer informatie.

Opslag

Ik wil bij voorkeur ZFS gaan gebruiken als bestandssysteem om de data-integriteit functies en flexibiliteit qua uitbreiding van volumes. Ik heb momenteel zo'n 6TB aan data maar wil beginnen met 10TB functionele opslagcapiciteit met oog op de toekomst.

Een klein deel van mijn data is erg belangrijk voor mijn werk en mag echt niet verloren gaan, dit is slechts zo'n 100GB, het zou fijn

Services

Ik zou de volgende services willen draaien op mijn server:

• IMAP/SMTP server
• ftp fileserver
• webserver
• rsync voor backups maken, valideren en terugzetten b.w.z. van test
• Matrix (Synapse + identity server)
• IPFS

OS support

Linux in ieder geval en Free/Open/NetBSD is een pre.

Nonfuntioneel

Ik geef sterk de voorkeur aan stillere, betrouwbaardere en lager-in-energieverbruik onderdelen. Formaat van de server is geen probleem.
De ruimte waar de server in komt te staan heeft geen klimaatcontrole dus laag stroomgebruik en goede luchtstroom in de server lijken me belangrijk.

Budget

Zo'n 2000 euro, maar liever minder als dat kan zonder betrouwbaarheid en energieverbuik negatief te beinvloeden.

[Chocola]

Ik zit een beetje in dezelfde situatie als jij, dus kan wel vertellen waar ik voor gekozen heb.

Wat waren de eisen/wensen
- ZFS of btrfs
- +/- 6TB aan redundant data
- Flexibiliteit om webservers, proxies, VPN-servers, e-mailservers e.d. te draaien
- Betrouwbare backup voor al mijn andere servers (in verschllende landen/steden)
- Betrouwbaar (ECC + UPS) en secure (geen Windows of andere insecure rommel)
- Stil (geen geluid) en zuinig (lage stroomrekening)
- Alles open source / niets closed source

Wat ik uiteindelijk heb gedaan:
Alles in één is simpelweg niet handig als ik het simpel wilde houden. Met ZFS wil je rechtstreeks de schijven kunnen benaderen, en alles virtualiseren met VT-d ging me te ver qua complexiteit. Ik ben het liefst niet afhankelijk van technische componenten als het niet noodzakelijk is. Uiteindelijk dus gekozen voor twee servers, één dedicated NAS en één hypervisor.

De NAS draait FreeNAS 9 latest (maar had ook prima FreeBSD 11 kunnen draaien als ik minder lui was) en heeft 4 3TB schijven die ik nog had. De schijven zitten in 2 ZFS mirrors van 3TB per stuk. Daarnaast zitten er nog 2 250GB SSD's in een mirror. Mirror 1 is bedoeld als share en opslag van data, mirror 2 voor backups en ISO-storage voor de hypervisor en de ssd mirror wordt gebruikt voor NFS shares en iSCSI shares waar VM's op draaien. Daarnaast draai ik er wat BSD Jails op, denk hierbij aan Syncthing, een backupjail die te benaderen is via SSH e.d.

De hypervisor draait op Debian 8 met Proxmox (KVM en LXC). Er zit één SSD in van 500GB voor de minder belangrijke VM's of als performance heel belangrijk is. De belangrijke VM's draaien op de NFS-VM-share.

In beide zit een 10 gigabit netwerkkaart, dus onderling verkeer gaat lekker snel over fiber.

Wat betreft hardware heb ik de volgende keuzes gemaakt:

NAS
- MOBO Supermicro X11SSH-LN4F € 250
Ik hou van netwerkconnectiviteit, zodoende de LN4F-versie. Het kan ook goedkoper als je met minder GbE-poorten genoegen neemt. Verdere overwegingen waren support voor ECC en IPMI.

- CPU Intel Core i3-6100 € 112
Meer dan snel genoeg voor deze NAS. Een Pentium kan ook prima. Supporten beide ECC in deze generatie.

- PSU Seasonic G-series 360 watt € 60
Ik ben nog steeds erg tevreden over Seasonic. Stil, werkt goed en lijken best zuinig uit vergelijkingen te komen. Wat me ook aanspreekt is de lange garantietermijn. Hiervoor had ik altijd Be Quiet!'s, die zijn wat goedkoper en hebben me ook nooit in de steek gelaten. Kun je ook nog overwegen.

- RAM Crucial CT16G4WFD8213 € 150
RAM is duur helaas... Helemaal als je ZFS gebruikt. Ik ben voor 16GB gegaan omdat ik hiervoor met 8GB regelmatig te weinig had om consistente performance te halen. Helemaal als je 10TB nodig hebt (wat 20TB aan disks zijn als je RaidZ negeert omdat het crappy is) is 16GB denk ik wel de minimale hoeveelheid die ik zou aanraden.

- CONTROLLER IBM ServeRAID M1015 € 75
Niet noodzakelijk, kan prima met de onboard SATA-poorten. Tweedehands gekocht van een Tweaker.

- USB Sandisk Cruzer Fit 16GB € 16
Ik heb er hier drie van genomen en in een 3-way mirror geconfigureerd voor het OS. Overkill? Ja, maar ik hou van overkill als het bijna niets kost.

Zonder schijven (had ik nog) en behuizing (heel smaakgebonden, ik heb alles in een rack zitten) kwam alles op zo een € 650 voor de NAS.

Hypervisor
- MOBO Supermicro A1SRM-2758F € 250
Overgenomen van een Tweaker. Ik vind dit echt hele leuke bordjes. Liever natuurlijk Xeon-D, maar dit is - nog steeds - heel erg onbetaalbaar. Zodoende maar voor Avoton/Rangeley gekozen. De single core performance valt wat tegen, maar voor mij meer dan voldoende. Er draaien nu een stuk of 15 VM's op (Debian 8 & 9, CentOS 7, FreeBSD 11, openBSD 6, Parrot (ook Debian) e.d.) en die zijn allemaal lekker bezig. Het mobo trekt dit meer dan prima :-). Ik denk dat als je het niet heel gek maakt, je hier prima 20 permanente VM's op kunt draaien. Om een stresstest te doen heeft er ook al een keer 350 LXC-containers op gedraaid, zelfs dit ging prima. Natuurlijk ligt het eraan wat je allemaal draait. Een downloadserver die constant par-bestanden aan het berekenen of rars aan het uitpakken is zal al snel een hele core vreten.

- RAM Kingston ValueRAM KVR16E11K4/32 € 280
Duur wederom... En ik had eigenlijk ook al wel genoeg aan 16GB achteraf gezien. Ik geef mijn VM's nu allemaal lekker veel RAM omdat het er toch is, maar met 16GB had ik prima uit de voeten gekund.

- PSU Seasonic G-series 360 watt € 60
Same as before

- SSD Samsung 850 EVO 500GB € 120
Ook overgenomen van een Tweaker. Was een nieuwe voor uit mijn hoofd 30-40 euro minder dan de nieuwprijs. 500GB is wat overkill voor wat VM's, de grote storage draai ik namelijk toch op de NAS, maar vanwege de gunstige prijs toch maar 500GB genomen. Nieuw zou ik denk ik voor 250GB gegaan zijn. Specifiek voor deze Samsung gekozen vanwege de garantietermijn trouwens.

Voor de hypervisor was het dus in totaal (en zonder behuizing weer) zo een € 710.

Hierbij dient opgemerkt te worden dat ik ook nog Intel X520-DA2's in de servertjes heb zitten, die heb ik niet meegerekend omdat je waarschijnlijk geen 10 gigabit in je huis (LAN) hebt liggen (want wie wel ). Ook heb ik nog een UPS'je gekocht zodat de servertjes veilig kunnen afsluiten bij stroomuitval.

De NAS incl. schijven gebruikt idle zo een 25 watt. De hypervisor een heel stuk minder (10-15 ofzo). Ze zijn beide letterlijk geruisloos, wat niet gek is als je bedenkt dat het best efficiente CPU's zijn die makkelijk te koelen zijn met de stock coolers.

Ik raad je ook aan om af en toe tweedehands te kijken. Ik was voor dit alles (excl. behuizingen en HDD's) zo een € 1300-1400 kwijt, maar dat moet makkelijk met minder lukken. Er staan bijvoorbeeld wel eens SuperMicro mobo's + CPU's te koop van iets oudere generaties. Dan verbruiken ze wat meer, maar je bespaard makkelijk 150 euro. Ik ging voor een wat lager stroomverbruik tegen hogere aanschafkosten. Achteraf had ik ook geld kunnen besparen door andere keuzes te maken (zoals minder geheugen).

Wat betreft HDD's ben ik al jaren erg tevreden over HGST's. Ik gebruik nu zelf HGST NAS schijven van 3TB en ze stellen niet teleur. Ze halen in die NAS snelheden van ongeveer 200 MB/s (als de files niet in ARC zitten of als write cache vol zit) alleen zijn niet zo stil als je zou willen. Ik heb ook nog wat WD Red's, en die zijn trager (+/- 150 MB/s) maar wel een stuk stiller, koeler en zuiniger onder load. Als verbruik dus heel belangrijk is kun je ook WD Red's overwegen. De SSD mirror haalt read ongeveer 700 MB/s en write 450 MB/s.

Nou tot zover mijn ervaringen. Ik hoop dat je er wat aan hebt. Ik hou deze thread wel in de gaten voor het geval je nog vragen hebt.

[cogat]

Heel erg bedankt voor je gedetailleerde reactie!

Ik ben geen reguliere Tweaker dus ik zag je post pas laat, toen ik toevallig weer bij de Pricewatch moest zijn, sorry voor de late reactie.

Ik vind je NAS-hypervisor scheiding een goed idee, en aangezien ik beide nog niet urgent nodig heb en VM's goed kan draaien op m'n i7/16GB werkcomputer ga ik beginnen met de NAS bouwen. Je keuzes komen behoorlijk goed overeen met mijn prioriteiten, ik zou nog iets verder gaan voor laag stroomgebruik (omdat ik veel tijd in de kamer waar m'n NAS komt doorbreng), al zal ik bepaalde dingen niet direct erbij kopen (zoals 10 gigabit NIC's, eerst kijken of ik 1 gigabit vol krijg). Ik heb ook nog twee vragen:

* Wat is de meerwaarde van een aparte SATA controller? Is het hogere snelheid (ondanks de overeenkomende 6GB/s specificatie), betrouwbaarheid of gewoon meer beschikbare poorten? Iets anders?

* Wat heb je tegen RAID-Z / RAID-Z2, wat voor eisen voldoet het voor jou niet aan?
Als nadelen zie ik: totale schrijfsnelheid van N 150MB/s drives word ~150MB/s, uitbreiden van zvol kan niet (of je vervangt alle schijven met grotere schijven/migreert je data naar een nieuwe zvol) en rebuilds duren 12 to 48 uur. Zou je zeggen dat het wel praktisch is als mijn IOPS en availability eisen vrij laag zijn, aangezien ik aanvankelijk alleen persoonlijke hoeveelheden media ga consumeren en het behoud van m'n data veel belangrijker vind dan een dag downtime per jaar?
Mijn ISP (Ziggo) bied slechts max 120Mb/s aan (als het mooi weer is en de wind goed staat) dus dat + BluRay ongecomprimeerd over de LAN a 48MB/s zou makkelijk moeten passen met een RAID-Z array van bv. 4x 3TB WD Red. Als ik veel VM's ga draaien zou ik gaan kijken naar m'n pool uitbreiden met wat snellere opslag bv. met mirroring, maar voor een hypervisor wil ik toch nog een paar maanden sparen.

[Chocola]

Graag gedaan!

Een aparte SATA-controller kan meerwaarde hebben om verschillende redenen. Een paar voorbeelden:
- de onboard controller maakt gebruik van een of andere crappy Marvell-controller en is niet in staat om goede performance te halen.
- Je hebt te weinig onboard poorten en wil dus uitbreiden (veel servermobo's hebben maar een paar poorten).
- Je bent niet tevreden over de stabiliteit van onboard poorten.
- De onboard poorten geven de disks niet rechtstreeks door aan het OS (veel servermobo's doen dit niet).
- De onboard controller wordt niet ondersteund door het OS.

In andere woorden: als je een SuperMicro moederbord neemt met bijv. 6 of 8 SATA-poorten die gebruik maken van een Intel controller, dan zit je eigenlijk al goed genoeg in de meeste gevallen en hoef je geen losse controller aan te schaffen.

Wat betreft RAIDZ/2/mirror is het meer een kwestie van de context waarin je de NAS bouwt. In alle gevallen zijn de mogelijkheden om een zpool uit te breiden zeer beperkt met ZFS. Het komt mijns inziens neer op capaciteit vs. betrouwbaarheid. RAID5/RAIDz1 zijn al jaren dood, om de simpele reden dat het rebuilden van de enkele kapotte schijf zo zwaar is dat er een verhoogd risico is dat er nog een tweede schijf sterft, en dan is het over met de pret. RAID6/RAIDz2 zijn wat dat betreft een stuk beter en bieden meer capaciteit dan RAID1/MIRROR. RAID1/MIRROR levert in op capaciteit, maar heeft andere voordelen. Wat interessant leesvoer voor je: http://jrs-s.net/2015/02/...e-mirror-vdevs-not-raidz/.

Als het dus om wat films en series gaat die je toch wel opnieuw kunt downloaden dan is RAIDz2 prima. RAIDz1 zou ik zelf denk ik nooit meer doen, omdat het conceptueel gezien bad practice is. Sommigen zijn het hier niet mee eens, maar op fora komen zo vaak mensen langs met lost data bij gebruik van RAID5 dat ik dat nog steeds niet helemaal begrijp ;-).

Als je drie schijven hebt zou ik zelf voor mirror (2) + backup (1) gaan, maar dat is misschien wat overkill in jouw geval. Als je per se RAIDz1 wil gebruiken dan is het zeker verstandig om het ook nog te backuppen ergens, tenzij de data niet belangrijk is.

Succes!

[ Voor 3% gewijzigd door Chocola op 20-02-2017 17:25 ]