Aankoop Home-server

[Le Enfant!]

Na heel wat maanden kijken naar topics als Het grote ESXi/vSphere Topic en Het grote zuinige server topic - deel 2, is het moment aangebroken om zelf een homeserver te bouwen en in 'productie' te nemen. De oorspronkelijke reden om te kijken naar een server of een NAS was het gebrek aan opslag. Nu heb ik inmiddels ook een job in de IT waardoor ik ook meer wil spelen met servers en dergelijke. Daarom dat naast storage de server ook moet kunnen dienen als lab. Als ik iets snel wil proberen of voor tijdens mijn studie voor enkele certificaten.

Volgende software zie ik me momenteel draaien op de server:
- Virtualisatie adhv ESXi, al ben ik ook aan het kijken naar bv. Proxmox (al gaat me voorkeur uit naar ESXi)
- Storage wil ik doen adhv FreeNas (als het kan met ZFS)
- Omdat ik ZFS wil gebruiken, ben ik ook aan het kijken om RAIDZ te gebruiken.
- Aangezien 90% van mijn data bestaat uit muziek en video wil ik ook enkele applicaties gebruiken die daarop aansluiten. Zoals Plex Media Server (incl. transcoden naar bijvoorbeeld smartphone, tablet of mijn toekomstige HTPC/mediaspeler). Ook moet de data toegankelijk zijn om opgepikt te worden door verschillende apparaten.
- Enkele VM's met consumer OS'en zoals (de verschillende) Windows-versies alsook Debian en/of Ubuntu.
- Ik wil ook graag experimenten met bijvoorbeeld VPN (PiHole), een mailserver of een webserver. Dit is nog niet concreet, maar ik zou toch al die mogelijkheid willen hebben op mijn toekomstige homeserver.

Enkele struikelblokken waarvan ik al kennis heb genomen:
Freenas i.c.m. ESXi (en eigenlijk ieder andere hypervisor). Volgens deze pagina zou het moeten lukken met enkele compromissen. Zo zou ik een HBA-controller (ivm PCI-e Passthrough) moeten aanschaffen en is RAID-Z bijna verplicht. Daarvoor zal ik zeker al één schijf moeten opofferen (al heb ik een berekening gemaakt die me zegt dat ik maar 7.8 TB van de 12 TB aan vrije ruimte zal hebben). Als ik striping gebruik, dan kan ik de data niet recupereren.
Daarom ben ik ook bereid om eventueel volgend jaar een simpele Synology NAS of HP Proliant MicroServer aan te schaffen om deze te gebruiken als back-up. Als er naar mijn mening teveel vrije ruimte wordt verspilt aan enkel RAID-Z, dan kan ik bijvoorbeeld overschakelen naar striping en kan ik de data handmatig overzetten moest er iets corrupt zijn. Als dit überhaupt mogelijk of verstandig is.
RAID-Z. Zoals je wellicht hierboven hebt gelezen is RAID-Z niet echt opslagefficiënt. Volgens deze pagina is het verstandiger om mirror vdevs te gebruiken. Dit zou de opslagefficiëntie ten goede komen en het zou mijn leven ook minder een hel maken moest ik in de toekomst willen uitbreiden. Maar kan dit wel als ik wil virtualiseren?

Qua hardware heb ik volgende in één van mijn wenslijsten (heb er meerdere , maar met deze ben ik het meest tevreden):

#	Product	Prijs	Subtotaal
1	Intel Pentium G4620 Boxed	€ 100,95	€ 100,95
1	Supermicro X11SSH-LN4F	€ 245,50	€ 245,50
3	WD Red WD30EFRX, 3TB	€ 110,-	€ 330,-
1	Fractal Design Define R5 Zwart	€ 99,50	€ 99,50
1	Kingston ValueRAM KVR24E17D8/16MA	€ 164,-	€ 164,-
1	Seasonic G-series 360 watt	€ 59,95	€ 59,95
Bekijk collectie Importeer producten		Totaal	€ 999,90

CPU: Voor de CPU heb ik gekozen voor de Intel Pentium G4620.. Deze CPU wordt het meest aangeraden. Ik neem aan dat het voor mijn use-case perfect is, maar ik twijfel nog tussen dit of een Xeon. Kan ik bijvoorbeeld deze Xeon aanschaffen of gaat dit overkill zijn? Ik wil namelijk geen onndige kosten maken als deze niet nodig zijn. Of bestaan er goedkopere Xeon's die perfect aansluiten met wat ik wil met het systeem? Of moet ik die verdomde Xeon uit mijn hoofd zetten en gewoon gaan voor de CPU die ik nu in mijn wenslijst heb?
Moederbord: Supermicro straat er om bekend om degelijke moederborden uit te brengen voor de gemiddelde hobbyist. Wederom ook veel aangeraden op zowat het hele web. Bestaan er betere, meer bang for the bucket moederborden? Of zal dit enkel er voor zorgen dat ik teveel compromissen moet maken? Het moederbord heeft alle features die ik nodig zou hebben.
3x WD Red WD30EFRX: Heb zelf al zo een schijf in mijn Desktop PC zitten en die zou ik ook meenemen naar mijn server. Dat zou de fysieke opslagruimte naar 12 TB brengen. Al hoor ik dat de goedkopere Green-lijn ook perfect zou draaien in een server-configuratie. Is dat zo en indien dit zo is, zouden er conflicten optreden als ik drie Green-schijven zou hebben en 1 Red-schijf? Het advies luidt o m altijd dezelfde modellen gebruiken in een server-omgeving.
Behuizing: Behuizing is in principe een placeholder. Er kunnen hier wel veel schijven in, maar ik zou perfect met minder kunnen. Heb een Fractal Design Define R4 Pearl Black of een Fractal Design Define S op het oog die ook zouden voldoen. Het kan zelfs nog goedkoper, als het maar een gesloten behuizing zonder tierlantijntjes is en ook geschikt voor Micro-ATX.
RAM: Aangezien ik ZFS wil gebruiken is ECC bijna verplicht. Daarom ook dit geheugen. De bedoeling is dat ik begin met 16 GB en moest het krap worden om nog eens hetzelfde geheugenlatje te kopen om zo op 32GB te zitten.
Voeding: Ik neem aan dat een server niet zo veel watt vraagt als een gemiddelde game-pc, daarom ook dat ik denk dat ik met 360 watt genoeg zal hebben. Wordt tevens ook vaak aangeraden. Misschien niet de meeste zuinige, al denk dat een PicoPSU te krap zal worden.
Overige: In de plaats van een SSD zal ik een USB gebruiken om ESXi te booten. Aangezien het ding vaker aan zal staan dan uit is het verschil in snelheid marginaal in mijn ogen. Sowieso kost een NVMe SSD niet zo veel en kan ik indien nodig eentje aanschaffen.
Ook een HBA-controller zal ik moeten aanschaffen, hier zou ik eventueel advies voor willen krijgen. Er staan ietwat te veel HBA-controllers op het wilde web (alhoewel een IBM HBA-controller het meest wordt gebruikt). Liefst iets dat rond de 200 euro kost (minder mag altijd!).

Qua budget wil ik rond de 1000 euro uitgeven, al zal ik met die HBA-controller er ferm over zitten.

Wat verwacht je van ons?
Het belangrijkste is dat ik zeker wil weten of de hardware de software en de mogelijkheden die ik wil kan ondersteunen. Ook wil ik bang for the bucket. Als iets overkill zou zijn, ben ik bereid om voor iets goedkoper te gaan. Al denk ik dat ik op dat gebied redelijk 'goed' zit. Het derde puntje is samen nadenken of alles wel haalbaar is en overlopen wat ik eventueel nog kan doen. Ik heb maanden deze zoektocht op mijn eentje gedaan en het zou verfrissend zijn om eens feedback te krijgen van andere hobbyisten / IT'ers.

[Cyphax]

In hoeverre past een pricewatch: HP Proliant MicroServer Gen8 G1610T? Als ik kijk naar je wensen: er zitten 4 bays in, naast een interne usb-poort, een interne micro-sd-poort (handig voor jou, om die hypervisor vanaf te draaien) en een aansluiting voor de optische speler. Die zat er bij mij niet bij, maar ik kon daar wel een SSD op aansluiten. Je kunt er geloof ik 16GB RAM in zetten, ECC. Verder is ie helemaal compleet en omdat het een server is heb je ook RAID-mogelijkheden out-of-the-box. Je kunt de CPU upgraden met een bepaalde Xeon maar de Celeron die erin zit is wellicht snel genoeg. Zit je volgens mij goed binnen budget?

[ Voor 7% gewijzigd door Cyphax op 04-06-2017 15:45 ]

[FireDrunk]

Een microserver is wel erg oud intussen. Daar zit oud geheugen in (DDR3) een best oude CPU (G1610, 3-4 generaties oud), en het ding is niet super zuinig.
Bovendien heeft het ding met de standaard CPU geen VT-d, dan moet je er eerst een Xeon in zetten.

@Le Enfant!
Over je setup: Prima keuzes allemaal. RAIDZ is juist de meest opslagefficiente mode waar in je in kan draaien, waar je nog enigzins iets van recovery hebt. Aan de andere kant, waarom niet gewoon losse disks met losse pools? Niets weerhoud je ervan om van elke schijf een losse pool te maken, en losse filesystems op deze pool. Je kan dan niet alle ruimte als 1 schijf gebruiken, maar als je een beetje handig bent is dat met mountpoints ook nog wel op te lossen.

Je kan dan later zelfs nog zeggen, ik ga 1 schijf mirroren, en de andere twee blijven los. Dan kan je je belangrijke data (VM's, Documenten, Foto's) op die ene mirror zetten, en je Films etc zet je op de twee losse schijven.

Je hebt als je een NVMe drive neemt ook geen losse HBA nodig. Dan kan je ESXi + VM's draaien van de NVMe schijf, en je onboard HBA doorgeven aan je FreeNAS VM.

Green schijven of Red schijven is beide prima voor ZFS, maakt niets uit. Red schijven hebben wel een extra jaar garantie, als je dat nog interessant vindt.

Overigens vind ik 1000 euro voor zo'n machine wel veel geld. Je geeft 250 euro uit aan een moederbord bijvoorbeeld, en het is eigenlijk nog niet eens zo'n heel spannend bord...

pricewatch: Gigabyte GA-X150M-PRO ECC

Nu zeg ik niet dat de borden helemaal gelijk zijn, want Supermicro is zeker wel een goed merk, maar is dat je 100 euro waard?

Ook de behuizing vind ik erg prijzig. Ga je er naast liggen slapen? Want ook hier geef je 100 euro uit, terwijl je misschien wel met 40 euro toe kan. Als het ding alleen maar ergens onder het bureau of in de meterkast komt, zou ik er zo min mogelijk geld aan uit geven..

[unezra]

Ik twijfel over een aantal dingen.

Je lijkt aan te geven dat je FreeNAS *bovenop* Proxmox of ESXi wilt draaien en daarom PCIe passthrough nodig hebt. Dat zou ik niet doen. Ik zou een losse FreeNAS server neerzetten en een losse hypervisor. Geen gedoe met passthrough en veel flexibeler. Je vm's kun je dan draaien vanaf je NAS dmv NFS, je SMB verkeer draai je rechtstreeks.

Mocht je ooit een 2e hypervisor willen, kun je makkelijk uitbreiden en je hypervisors kunnen heel minimaal worden uitgerust. (Geen of zeer beperkt lokale storage.)

Qua RAIDZ, met 4 disks of minder zou ik het niet doen. Het levert amper voordelen op en is veel trager dan een mirrored stripe (RAID10 equivalent). RAIDZ levert bij 4 disks net zo veel kans op uitval op (je mag in beide gevallen precies 1 disk verliezen), maar recoveren en throughput is trager. Kortom, het levert eigenlijk geen voordelen op.

Een Microserver is nog steeds een prima keuze ook al zijn ze misschien minder zuinig dan modernere machines. Yet, ze zijn onverwoestbaar en uitstekend geschikt voor zowel gebruik als FreeNAS machine als als Proxmox/ESXi hypervisor.

Wat is de reden dat je voor ESXi wilt gaan en niet voor Proxmox? Ik zou namelijk 100% voor dat laatste gaan, de mogelijkheden zijn zo veel uitgebreider dan bij ESXi. Die overweging zou ik dus zeker nog een keer maken nadat je beide opties goed hebt bekeken en wellicht hier nog wat hebt geleden / gevraagd over beide mogelijkheden.

[TommieW]

Ook een HBA-controller zal ik moeten aanschaffen, hier zou ik eventueel advies voor willen krijgen. Er staan ietwat te veel HBA-controllers op het wilde web (alhoewel een IBM HBA-controller het meest wordt gebruikt). Liefst iets dat rond de 200 euro kost (minder mag altijd!).

Binnen de FreeNAS wereld, wordt het meestal aangeraden om te kijken naar een IBM ServeRAID M1015. ^Bron Deze zijn verkrijgbaar op eBay voor een euro of 70. Let er wel op dat je nog kabels van SCSI naar SATA moet hebben. Deze staan op eBay voor een euro of 8 of bij Alternate voor 20 euro.

Er zullen vast heel wat andere HBA's prima werken, maar van deze weet je zeker dat het wordt ondersteund door FreeNAS. Let er wel op dat de M1015 out-of-the-box een RAID controller is. Deze moet je even omflashen naar een HBA. Hiervoor zijn er zat tutorials over hoe je dat moet doen.

Let er tenslotte ook op dat zowel je CPU als je moederbord ondersteuning voor IOMMU hebben. (Bij Intel heet dit VT-d.)

[unezra]

TommieW schreef op maandag 5 juni 2017 @ 09:04:
[...]
Binnen de FreeNAS wereld, wordt het meestal aangeraden om te kijken naar een IBM ServeRAID M1015. ^Bron Deze zijn verkrijgbaar op eBay voor een euro of 70. Let er wel op dat je nog kabels van SCSI naar SATA moet hebben. Deze staan op eBay voor een euro of 8 of bij Alternate voor 20 euro.

Ondanks dat dat ding veel gebruikt word, ben ik altijd een beetje huiverig voor controllers die een niet officieel supporte firmware nodig hebben om 'm in HBA mode te krijgen. Wij zijn om die reden gegaan voor een LSI SAS 9207-8i met zgn. IT firmware. Wel even oppassen, er zijn versies die *niet* goed zijn en effectief je data slopen. (Lang leve ZFS, dat corrigeert het realtime zonder schade en een firmware update helpt.)

Die controller was wel wat duurder dan 200 EUR. (Zijn opvolgers ook.)

Qua HBA, in principe is dat met FreeNAS/ZFS niet nodig. Als je voldoende SATA aansluitingen op je mainboard hebt ben je er ook, zolang die maar direct worden aangestuurd. In een Microserver is dat bijvoorbeeld het geval. On-board controller kun je in AHCI mode zetten en dan is het effectief een HBA met 5 SATA poorten. Werkt prima. Een dure HBA word pas interessant als je met veel disks gaat werken en/of absolute performance nodig hebt. In de praktijk is het niet per-se een nuttige investering.

Om die reden heb ik thuis dus ook mijn Microserver niet voorzien van een losse HBA, zonde van het PCIe slot en dat kon ik nuttiger gebruiken voor een 4-poorts NIC. Alleen in de server van mijn stichting heb ik wel die LSI HBA gezet omdat de meegeleverde P410 niet in HBA mode kan en er 12 disks in zitten. (Server draait trouwens geen FreeNAS maar Proxmox met ZFS als onderlaag. Same shit. ZFS is wat de HBA nodig heeft, niet FreeNAS specifiek.)

[FireDrunk]

Ik heb jaren met IT-Mode firmware op een OEM Kaart gedraaid, dat werkt prima. Ook het flashen heb ik al tig keer gedaan. Het is niet heel spannend. Het crossflashen is gewoon een valide werkwijze, alleen willen niet alle fabrikanten er aan meewerken. Supermicro levert zelfs gewoon zelf de gevalideerde IT-Mode firmware voor zijn controllers.

LSI (of Avago, of hoe heet het tegenwoordig... Broadcom?) zelf heeft liever dat je meer euro's betaald voor hetzelfde chipje... Dat noemen ze marketing

Je punt over SATA is wel zeker terecht. Als je bij een HBA weg kan blijven, zeker doen. Scheelt geld, stroom en configuatieinstellingen.

Vandaar mijn tip voor een NVMe drive. Bij die microserver heb je weer het ge-eikel dat je niet zomaar van de 5e SATA poort kan booten.

[|sWORDs|]

unezra schreef op maandag 5 juni 2017 @ 08:49:
[...]Ik zou een losse FreeNAS server neerzetten en een losse hypervisor. Geen gedoe met passthrough en veel flexibeler. Je vm's kun je dan draaien vanaf je NAS dmv NFS, je SMB verkeer draai je rechtstreeks.

[...]

Dat zou ik absoluut afraden zonder 10Gbit.

@Le Enfant! Laat de HBA gewoon zitten en geef de Intel controller (Ook een freenas aanbevolen controller) door naar een VM, je boot toch van USB.
Het geld van een HBA zou je beter in een NVMe drive kunnen stoppen, dan hoef je niet van USB te booten en kun je de VM's op local storage draaien en alleen de data op de virtuele NAS zetten.

[ Voor 31% gewijzigd door |sWORDs| op 05-06-2017 12:02 ]

[unezra]

|sWORDs| schreef op maandag 5 juni 2017 @ 11:57:
[...]

Dat zou ik absoluut afraden zonder 10Gbit.

Welnee. Dat werkt echt *prima*.
10GBit is hardstikke leuk, in een bedrijf met honderden vm's en gebruikers.

Privé of in kleinere zakelijke omgevingen werkt GBit prima en heb je toch wat meer snelheid nodig, knoop je d'r een paar aan elkaar met LACP waardoor je meerdere streams van ieder 1GBit hebt.

Met de paar handen vol vm's die de gemiddelde persoon hier zal draaien, heb je meer dan genoeg aan 1xGBit of 2xGBit LACP.

[|sWORDs|]

unezra schreef op maandag 5 juni 2017 @ 12:02:
[...]


Welnee. Dat werkt echt *prima*.
10GBit is hardstikke leuk, in een bedrijf met honderden vm's en gebruikers.

Privé of in kleinere zakelijke omgevingen werkt GBit prima en heb je toch wat meer snelheid nodig, knoop je d'r een paar aan elkaar met LACP waardoor je meerdere streams van ieder 1GBit hebt.

Met de paar handen vol vm's die de gemiddelde persoon hier zal draaien, heb je meer dan genoeg aan 1xGBit of 2xGBit LACP.

NFS en iSCSI en zijn helemaal niet sneller met LACP. Bij iSCSI zou je MPIO moeten gebruiken, maar dan zit je nog steeds maar op ~130-140MB/s. Combineer dit met de verschrikkelijk slechte 4K performance van ZFS en spinning disks en er blijft echt helemaal niets over.

[unezra]

|sWORDs| schreef op maandag 5 juni 2017 @ 12:05:
[...]
NFS en iSCSI en zijn helemaal niet sneller met LACP. Bij iSCSI zou je MPIO moeten gebruiken, maar dan zit je nog steeds maar op ~130-140MB/s. Combineer dit met de verschrikkelijk slechte 4K performance van ZFS en spinning disks en er blijft echt helemaal niet over.

Het punt is dat je dus in heel veel gevallen geen 10GBit nodig hebt.

LACP is as-such niet sneller, het word wel sneller als je meerdere TCP streams hebt omdat je 1GBit per stream kunt gebruiken. Dus bouw je je setup op met 1 NAS en 2 hypervisors, is dat wel degelijk sneller met LACP omdat beide hypervisors ieder met 1GBit/s kunnen kletsen met je storage.

De bottleneck zal niet je GBit verbinding zijn, dus is 10GBit/s overdreven en nodeloos duur. Wil je snelheidsverbetering: stop meer geheugen in je ZFS doos en/of ga cachen op SSD.

[|sWORDs|]

unezra schreef op maandag 5 juni 2017 @ 12:07:
[...]


Het punt is dat je dus in heel veel gevallen geen 10GBit nodig hebt.

LACP is as-such niet sneller, het word wel sneller als je meerdere TCP streams hebt omdat je 1GBit per stream kunt gebruiken. Dus bouw je je setup op met 1 NAS en 2 hypervisors, is dat wel degelijk sneller met LACP omdat beide hypervisors ieder met 1GBit/s kunnen kletsen met je storage.

De bottleneck zal niet je GBit verbinding zijn, dus is 10GBit/s overdreven en nodeloos duur. Wil je snelheidsverbetering: stop meer geheugen in je ZFS doos en/of ga cachen op SSD.

Je hebt niets aan LACP tenzij je meerdere hosts hebt en preferred paths instelt, zelfs dan is de winst heel erg beperkt. Ik zeg ook niet dat hij 10Gbit moet nemen, maar ik raad aan om een NVMe drive toe te voegen. SSD zou ook prima kunnen zijn, echter moet er dan ook weer een controller bij komen.

Verder zou ik me eerst even wat inlezen op storage; LACP gebruik je daar niet, voor storage gebruik je multipath.

[CooleSmurf]

En met multipath kan je de performance zeker verbeteren met meerdere nic's, zie b.v. met iSCSI over 4 nic's met multipath:



Uiteraard moet de onderliggende storage dit wel aankunnen.

[unezra]

|sWORDs| schreef op maandag 5 juni 2017 @ 12:13:
[...]
Je hebt niets aan LACP tenzij je meerdere hosts hebt en preferred paths instelt, zelfs dan is de winst heel erg beperkt.

De winst is 1GBit per stream. Effectief thuis levert me dat een verdubbeling van de theoretische snelheid naar mijn NAS op. Dat vind ik niet "heel erg beperkt". Als je het goed in stelt, zoals je zegt, kan het ook met 1 host en ook dan is de winst 100% want meerdere streams.

Dan nog is wat ik thuis heb overdreven. Ik zou het ook prima zonder LACP en met een enkele 1GBit verbinding kunnen doen. Ik vond het vooral leuk en leerzaam het op deze manier vorm te geven.

Ik zeg ook niet dat hij 10Gbit moet nemen, maar ik raad aan om een NVMe drive toe te voegen. SSD zou ook prima kunnen zijn, echter moet er dan ook weer een controller bij komen.

Mwah, NVMe is ook daar overrated. Je kunt prima cachen op een stock SATA SSD op een on-board SATA poort. Bij een Microserver zijn die poorten beperkt maar kies je voor alleen read-cache, kun je prima FreeNAS op een Microserver met readcache op SSD, FreeNAS op USB of MicroSD en je storage op 4x HDD doen.

Wil je nog meer snelheid: SSD's in plaats van HDD's. Word het wel een dure hobby. SSD is per T fors duurder dan HDD en ook daar, waarom... Als je het niet nodig hebt is het zonde van het geld.

Dat dus ook voor 10GBit. Hardstikke leuk, maar pas vanaf een bepaalde behoefte en het gaat hier om een home server. Niet om een professionele setup met honderden gebruikers en vm's.

Verder zou ik me eerst even wat inlezen op storage; LACP gebruik je daar niet, voor storage gebruik je multipath.

Ik zal mijn switch even vertellen dat 'ie geen LACP doet omdat het om storage gaat.

[|sWORDs|]

CooleSmurf schreef op maandag 5 juni 2017 @ 12:18:
En met multipath kan je de performance zeker verbeteren met meerdere nic's, zie b.v. met iSCSI over 4 nic's met multipath:

[afbeelding]

Uiteraard moet de onderliggende storage dit wel aankunnen.

Wat gebruik je daar precies qua hard en software aan beide kanten?

QNAP 870 met 3770t en 16GB (822MB/s read en 524MB/s write lokaal) -> Twee Supermicro E3 v3's met ESXi 6:

|sWORDs| schreef op maandag 6 april 2015 @ 13:47:
[...]Mocht je iSCSI target meerdere NICs hebben dan kun je de prestaties nog behoorlijk tunen met preferred path en je path selection policy, maar dat helpt alleen voor het totaal, per individuele VM blijft het altijd maximaal 110-120MB/s. MPIO helpt, maar is geen wondermiddel. Met 1 path naar twee hosts en IO naar vm's op beide hosts haal ik 110MB/s, met 2 NICs voor iSCSI per host (en 3 op de target) haal ik 130MB/s op 1 host en 170MB/s vanaf twee hosts. Best (vrijwel, geen jumbo frames gebruikt) case scenario, target SSD raid0, switch met alleen iSCSI, VM's met paravirtual SCSI adapter. Preferred path moet ik nog testen, maar ik verwacht 220MB/s aan traffic totaal van 2 hosts.[...]

unezra schreef op maandag 5 juni 2017 @ 12:23:
[...]

Ik zal mijn switch even vertellen dat 'ie geen LACP doet omdat het om storage gaat.

Dat heeft niets met je switch te maken, maar met vrijwel alles heb je geen Multiple Connections per Session (MCS).
https://www.starwindsoftw...-and-speed-in-this-case-2

Maar laten we het eens vergelijken:

Extra host voor storage:
-Meer kosten (600-800?)
-Hoger stroomverbruik (2x?)
-Lagere performance (100x bij 4K? 12x bij Seq read, 6x bij Seq write, waarbij nog veel meer bij parallelle activiteiten?)

NVMe drive:
-Niet gemakkelijk uit te breiden naar meerdere hosts (maar voor meer performance kan er altijd nog eerst naar een i7 of E3 en 64GB gegaan worden)

[ Voor 30% gewijzigd door |sWORDs| op 05-06-2017 12:52 ]

[CooleSmurf]

Storage

• ZFS server (OmniOS)
• All-SSD pool (2 * 2 mirror)
• Supermicro MB met xeon CPU
• dual 10Gbit nics voor ESXi A server (performance server)
• 4 * 1 Gbit nics voor ESXi B server

ESXi B Server

• Intel I5
• ESXI 6.5
• Multipath t.b.v. iSCSI verkeer
• Jumbo frames
• esxcli storage nmp psp roundrobin deviceconfig set -d naa.devicename --iops 1 --type iops (t.b.v. performance verbetering)

Screenshot is van Windows 8.1 VM (oud t.b.v. test)

[|sWORDs|]

CooleSmurf schreef op maandag 5 juni 2017 @ 12:45:
Storage

• ZFS server (OmniOS)
• All-SSD pool (2 * 2 mirror)
• Supermicro MB met xeon CPU
• dual 10Gbit nics voor ESXi A server (performance server)
• 4 * 1 Gbit nics voor ESXi B server

ESXi B Server

• Intel I5
• ESXI 6.5
• Multipath t.b.v. iSCSI verkeer
• Jumbo frames
• esxcli storage nmp psp roundrobin deviceconfig set -d naa.devicename --iops 1 --type iops (t.b.v. performance verbetering)

Screenshot is van Windows 8.1 VM (oud t.b.v. test)

Wel mooie scores, dat schaalt een stuk beter dan het hier deed en ook nog van een enkele VM!

unezra schreef op maandag 5 juni 2017 @ 12:23:
[...]

Mwah, NVMe is ook daar overrated.


[...]

Bijna alle SSDs vallen door de mand met virtualisatie, de Samsung 840/850 Pro (een beetje) en 960 Pro plus Intel P3xx0/750 zijn hier de grote uitzondering op.

[ Voor 17% gewijzigd door |sWORDs| op 05-06-2017 12:57 ]

[CooleSmurf]

Klopt, ook nog even een test gedaan met Queue Depth = 1:



Schalen gaat dan niet zo mooi als met Queue Depth = 10.

Als het wat toevoegt kan ik ook nog dezelfde tests uitvoeren met de dual 10Gbit nics (ook MPIO).

[|sWORDs|]

CooleSmurf schreef op maandag 5 juni 2017 @ 12:56:
Klopt, ook nog even een test gedaan met Queue Depth = 1:

[afbeelding]

Schalen gaat dan niet zo mooi als met Queue Depth = 10.

Als het wat toevoegt kan ik ook nog dezelfde tests uitvoeren met de dual 10Gbit nics (ook MPIO).

Nee, je laat een perfecte schaling zien met Omni OS als target voor ESXi 6.5, dat is hiermee wel bewezen.
Ik vraag me alleen af of het bij mij nou ESXi 6 of 5.5 was en of het nou de target of ESXi was.
Neemt niet weg dat ik ook daarmee niet 3 spinning disks met ZFS voor virtualisatie zou gebruiken.

Edit: Als ik zo een beetje terug lees denk ik 5.5:
https://forum.qnap.com/vi...php?f=199&t=97507#p432986

[ Voor 22% gewijzigd door |sWORDs| op 05-06-2017 13:08 ]

[unezra]

|sWORDs| schreef op maandag 5 juni 2017 @ 12:26:
Dat heeft niets met je switch te maken, maar met vrijwel alles heb je geen Multiple Connections per Session (MCS).
https://www.starwindsoftw...-and-speed-in-this-case-2

Dat artikel heeft het heel specifiek over iSCSI.
Ik heb het over NFS.

Met zulke setups bied iSCSI in mijn beleving geen voordelen en kies ik liever voor NFS. Ook bedrijfsmatig hebben we doelbewust gekozen voor NFS. Ik weet niet of MPIO kan met NFS maar met meerdere hypervisors is dat as-such minder relevant omdat je IO load toch al verdeeld word.

Maar laten we het eens vergelijken:

Extra host voor storage:
-Meer kosten (600-800?)
-Hoger stroomverbruik (2x?)
-Lagere performance (100x bij 4K? 12x bij Seq read, 6x bij Seq write, waarbij nog veel meer bij parallelle activiteiten?)

Klopt allemaal maar *veel* flexibeler, concept geschikt voor grotere setups en meer snelheid is alleen nuttig als je het nodig hebt.

Wat jij zegt is een beetje hetzelfde als zeggen dat je in een LAN altijd GBit nodig hebt want dat is beter. Ik draai een bedrijf van 100 man waarbij een belangrijk deel van de access switches 100MBit PoE+ zijn. Moet ik die dingen vervangen omdat GBit sneller is? Welnee. We draaien vrijwel uitsluitend met Thin Clients en die hebben zelfs aan 10MBit genoeg.

De reden dat we toch ook GBit switches hebben is vanwege de printers en dat een defecte 100MBit switch vervangen door een nieuwe 100MBit switch niet loont. Die switches zijn nieuw slecht te krijgen en niet noodzakelijkerwijs goedkoper dan een goede GBit switch. Dus worden ze als ze kapot gaan, vervangen door 48 poorts GBit PoE+ switches. De snelheid as-such is totaal irrelevant.

NVMe drive:
-Niet gemakkelijk uit te breiden naar meerdere hosts (maar voor meer performance kan er altijd nog eerst naar een i7 of E3 en 64GB gegaan worden)

NVMe is niet "niet gemakkelijk uit te breiden naar meerdere host", het is gewoon een doos met lokale storage en caching. Hardstikke leuk en prima als je niet meer dan 1 machine nodig hebt, maar totaal inflexibel. Met lokale storage is het toch al snellere storage en wil je nog sneller, stock SSD d'r in of wat geheugen bijprikken. Grote kans dat je dan meer dan genoeg performance hebt voor een servertje thuis.

De hele crux in deze situatie is dat TS ws genoeg heeft aan een enkele server met lokale storage. Dan is het maar de vraag of je met NVMe moet gaan stoeien. Snelheid niet nodig, nodeloos duur.

Wil TS een flexibeler setup en wat meer geld uitgeven, dan kan TS het beste beginnen met een gesplitste setup. 1 NAS en 1 hypervisor, later uit te breiden naar meerdere hypervisors als er toch meer capaciteit nodig is.

[|sWORDs|]

unezra schreef op maandag 5 juni 2017 @ 14:19:
[...]

De hele crux in deze situatie is dat TS ws genoeg heeft aan een enkele server met lokale storage.


[...]

I rest my case.

[buell]

Bij toeval kom ik op je post.

Ik heb de volgende hardware:

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1230 v6 Boxed	€ 297,50	€ 297,50
1	Supermicro X11SSH-LN4F	€ 246,-	€ 246,-
4	WD Red WD30EFRX, 3TB	€ 109,90	€ 439,60
1	Fractal Design Define R5 Zwart	€ 94,95	€ 94,95
1	Startech.com 4x SATA Power Splitter Adapter Cable (PYO4SATA)	€ 5,15	€ 5,15
1	Noctua NH-U9B SE2	€ 48,45	€ 48,45
1	be quiet! Pure Wings 2, 140mm	€ 9,29	€ 9,29
2	Kingston ValueRAM KVR21E15D8/16	€ 165,82	€ 331,64
1	Conceptronic PCI Express Card SATA 600	€ 28,40	€ 28,40
1	Cooler Master V Series V550	€ 92,95	€ 92,95
1	Samsung 960 EVO 250GB	€ 126,95	€ 126,95
Bekijk collectie Importeer producten		Totaal	€ 1.720,88

Daarnaast had ik nog 3 3Tb wd red liggen.

ik heb nu ESXI er op staan vanaf de interne USB en met passtru van de intel sunpoint naar Freenas. De M2 gebruik ik om datastore op te zetten met o.a. freenas, windows, pfsense etc...
Draait nu een goede maand super goed. Ik gebruik Raidz-2. Ook hangt er een losse SSD in de freenas van 120Gb waarop ik swap files heb en jails plaats. de harde schijven stuur ik spin down omdat dit verbruik scheelt en er niet continu om data wordt gevraagd.
Daarnaast heb ik een off site backup freenas server met 5tb disk die tot nu toe mijn belangrijkste data repliceert via freenas.
Verder heb ik onder freenas Plex weer gezet. na verschillende dingen te hebben uitgeprobeerd kwam ik er achter dat dit gewoon mega stabiel draait. ik heb ongeveer 4 externe gebruikers op dit moment binnen de familie.
Onder windows zit mijn camera beveiliging en downloads komen daar vandaan.
Pfsense is nog niet up en running.

Ik kan je deze setup zeker aanraden met wat jij wilt.

[player-x]

FireDrunk schreef op zondag 4 juni 2017 @ 16:51:
Een microserver is wel erg oud intussen. Daar zit oud geheugen in (DDR3) een best oude CPU (G1610, 3-4 generaties oud), en het ding is niet super zuinig.

Stroom verbruik van 28W/44W idle/load (zonder HDDs), vind ik het verbruik best mee vallen, moderne oplossingen zijn nouwelijks zuiniger en een stuk duurder, iets wat je nooit terugverdiend.

Bovendien heeft het ding met de standaard CPU geen VT-d, dan moet je er eerst een Xeon in zetten.

Je kan een nieuwe CPU kopen, maar die dingen zijn ook prima tweede hands te krijgen, waarmee je een aardige stuiver extra mee kan besparen, en persoonlijk zie ik totaal geen probleem met een tweedehands CPUs, zeker als die niet over geklokt kan worden, in tegen stelling van de K series, en zelfs daar zie ik weinig problemen mee, geheugen en de CPU zijn de twee betrouwbaarste onderdelen in je PC/server.

Deze 45W CPU heeft bv VT-d: V&A aangeboden: Intel Core i5 2500T Tray €50 werkt niet, geen ECC.
Je hebt het beste Xeon v2 nodig voor VT-d, maar die zijn vaak op Tweakers V&A te krijgen en anders wel op bv eBay, of gewoon nieuw.

Mijn advies: als de HP microserver alles heeft wat je nodig hebt, zoek dan niet veder, is een prima ECC oplossingen voor nagenoeg alle 4 bay home servers, en er niets wat je voor de prijs kan krijgen dat hem echt verslaat.

Koop niks duurs, als goedkoop goed genoeg is, en wil je later toch wat zwaarders, heb je een mooi kleine (off-line) backup server.

[ Voor 23% gewijzigd door player-x op 08-06-2017 11:12 ]

[buell]

Betreft verbuik van de setup die ik heb:

Ik heb dit gemeten met een meter die ik ooit bij de lidl heb gekocht. Kan je tussen de stekker steken en het verbruik en de power factor aflezen.
idle 22/25 watt en met alle drives aan 35/40 watt.

[player-x]

buell schreef op donderdag 8 juni 2017 @ 09:00:
Betreft verbuik van de setup die ik heb:

Ik heb dit gemeten met een meter die ik ooit bij de lidl heb gekocht. Kan je tussen de stekker steken en het verbruik en de power factor aflezen.
idle 22/25 watt en met alle drives aan 35/40 watt.

Ik vind €1300 wel erg veel geld voor 12TB aan opslagruimte, imho zijn er veel zelfbouwers, die hun home server zwaar over designen voor wat ze nodig hebben, heb zelf voor maar €1000 meer een 80TB server gebouwd.

Zet op papier wat je server echt minimaal moet kunnen, en zoek dan de goedkoopste betrouwbare hardware er bij die dat kan doen, bij een configuratie van 4(+1) HDD ben ik nog steeds niks beters tegen gekomen dan de HP Microserver, zij het met een eventueele CPU upgrade, zoals een Xeon v2.

[buell]

player-x schreef op donderdag 8 juni 2017 @ 11:07:
[...]

Ik vind €1300 wel erg veel geld voor 12TB aan opslagruimte

Als je op mijn bericht reageert weet ik niet waar je je info vandaan hebt.....Mag ik je er ook aan herinneren dat het voor de meeste hobby is en hobby kost geld.

[FireDrunk]

Laten we niet meer onnodig discussieren tot @Le Enfant! zelf reageerd. Hij heeft nog niets gezegd...

[Le Enfant!]

FireDrunk schreef op maandag 12 juni 2017 @ 19:41:
Laten we niet meer onnodig discussieren tot @Le Enfant! zelf reageerd. Hij heeft nog niets gezegd...

Ja, mijn excuses. De input wordt zeker gewaardeerd en heb zeker wat gedaan met het advies, maar heb nog niet de tijd gevonden om inhoudelijk te kunnen reageren. Dit zal wellicht voor dit weekend zijn.

[Le Enfant!]

Alvast bedankt voor de reacties en mijn excuses dat de reactie een beetje op zich liet wachten.

Cyphax schreef op zondag 4 juni 2017 @ 15:43:
In hoeverre past een pricewatch: HP Proliant MicroServer Gen8 G1610T? Als ik kijk naar je wensen: er zitten 4 bays in, naast een interne usb-poort, een interne micro-sd-poort (handig voor jou, om die hypervisor vanaf te draaien) en een aansluiting voor de optische speler. Die zat er bij mij niet bij, maar ik kon daar wel een SSD op aansluiten. Je kunt er geloof ik 16GB RAM in zetten, ECC. Verder is ie helemaal compleet en omdat het een server is heb je ook RAID-mogelijkheden out-of-the-box. Je kunt de CPU upgraden met een bepaalde Xeon maar de Celeron die erin zit is wellicht snel genoeg. Zit je volgens mij goed binnen budget?

Ik zal dit nog even verder onderzoeken vooraleer ik dit als een potentiële kandidaat zie. Op het eerste oog ziet het er goed uit, alleen zie ik die maximum aan geheugen een beetje als een struikelblok. Sowieso ben ik niet echt fan van all-in-one merktoestellen en blijft mijn voorkeur bij zelfbouw. Al sluit ik deze zeker niet uit.

FireDrunk schreef op zondag 4 juni 2017 @ 16:51:
Over je setup: Prima keuzes allemaal. RAIDZ is juist de meest opslagefficiente mode waar in je in kan draaien, waar je nog enigzins iets van recovery hebt. Aan de andere kant, waarom niet gewoon losse disks met losse pools? Niets weerhoud je ervan om van elke schijf een losse pool te maken, en losse filesystems op deze pool. Je kan dan niet alle ruimte als 1 schijf gebruiken, maar als je een beetje handig bent is dat met mountpoints ook nog wel op te lossen.

Je kan dan later zelfs nog zeggen, ik ga 1 schijf mirroren, en de andere twee blijven los. Dan kan je je belangrijke data (VM's, Documenten, Foto's) op die ene mirror zetten, en je Films etc zet je op de twee losse schijven.

Interessant! Bedankt voor de tip.

FireDrunk schreef op zondag 4 juni 2017 @ 16:51:Je hebt als je een NVMe drive neemt ook geen losse HBA nodig. Dan kan je ESXi + VM's draaien van de NVMe schijf, en je onboard HBA doorgeven aan je FreeNAS VM.

Heb een NVMe SSD toegevoegd aan mijn wenslijst, in ieder geval bedankt voor de tip!

FireDrunk schreef op zondag 4 juni 2017 @ 16:51:
Overigens vind ik 1000 euro voor zo'n machine wel veel geld. Je geeft 250 euro uit aan een moederbord bijvoorbeeld, en het is eigenlijk nog niet eens zo'n heel spannend bord...

pricewatch: Gigabyte GA-X150M-PRO ECC

Nu zeg ik niet dat de borden helemaal gelijk zijn, want Supermicro is zeker wel een goed merk, maar is dat je 100 euro waard?

Heb twee lijsten gemaakt, met enerzijds het Gigabyte bord en anderzijds het Supermicro-bord. Het heeft me in ieder geval aan het denken gezet.

FireDrunk schreef op zondag 4 juni 2017 @ 16:51:Ook de behuizing vind ik erg prijzig. Ga je er naast liggen slapen? Want ook hier geef je 100 euro uit, terwijl je misschien wel met 40 euro toe kan. Als het ding alleen maar ergens onder het bureau of in de meterkast komt, zou ik er zo min mogelijk geld aan uit geven..

Was sowieso bedoeld als een placeholder, heb ondertussen een twintig euro goedkopere behuizing gevonden. Het kan zoals je zegt nog goedkoper, maar ik heb tot nu toe nog geen behuizing gezien in dat prijssegment die voldoet aan mijn 'eisen'. Die eis is wel enkel dat hij 'gesloten' is (m.a.w. geen plekken waar het duidelijk zichtbaar is dat je daar een CD-Rom lezer kunt plaatsen).

unezra schreef op maandag 5 juni 2017 @ 08:49:
Je lijkt aan te geven dat je FreeNAS *bovenop* Proxmox of ESXi wilt draaien en daarom PCIe passthrough nodig hebt. Dat zou ik niet doen. Ik zou een losse FreeNAS server neerzetten en een losse hypervisor. Geen gedoe met passthrough en veel flexibeler. Je vm's kun je dan draaien vanaf je NAS dmv NFS, je SMB verkeer draai je rechtstreeks.

Ik ben niet echt happig om twee toestellen te bouwen met functies die één toestel perfect (of mits enige moeite) kan. Ik ben wel van plan om een simpele Synology NAS aan te schaffen om dat te gebruiken als back-up (die zal dan niet staan waar ik woon, maar op een andere plek). Ik denk ook niet dat het zo energievriendelijk is om twee toestellen in te schakelen. Ik heb trouwens ook de discussie gelezen die onder jouw bericht werd gevoerd en ook ik heb het gevoel dat dit niet echt bedoeld is voor een thuisopstelling.

unezra schreef op maandag 5 juni 2017 @ 08:49:
Qua RAIDZ, met 4 disks of minder zou ik het niet doen. Het levert amper voordelen op en is veel trager dan een mirrored stripe (RAID10 equivalent). RAIDZ levert bij 4 disks net zo veel kans op uitval op (je mag in beide gevallen precies 1 disk verliezen), maar recoveren en throughput is trager. Kortom, het levert eigenlijk geen voordelen op.

Heb het idee om RAIDZ te gebruiken even terug naar de 'tekentafel' gedaan om hier terug op te komen als de server d'r daadwerkelijk staat. Ik kan dan genoeg experimenteren.

unezra schreef op maandag 5 juni 2017 @ 08:49:
Wat is de reden dat je voor ESXi wilt gaan en niet voor Proxmox? Ik zou namelijk 100% voor dat laatste gaan, de mogelijkheden zijn zo veel uitgebreider dan bij ESXi. Die overweging zou ik dus zeker nog een keer maken nadat je beide opties goed hebt bekeken en wellicht hier nog wat hebt geleden / gevraagd over beide mogelijkheden.

De grootste reden waarom ik voor ESXi kies is omdat ik daar vertrouwd mee ben. Heb al vaak mogen spelen met de 'echte' ESX in het bedrijf en naar mijn mening is het iets waar ik mee weg kan. Proxmox heb ik maar eens vluchtig gezien. Nu is het niet 100% zeker dat ik ook daadwerkelijk voor ESXi zal gaan. Zoals al eerder gezegd wil ik me de eerste weken vooral bezighouden met testen wat werkt met zowel de server als met mezelf.

|sWORDs| schreef op maandag 5 juni 2017 @ 11:57:
Laat de HBA gewoon zitten en geef de Intel controller (Ook een freenas aanbevolen controller) door naar een VM, je boot toch van USB.
Het geld van een HBA zou je beter in een NVMe drive kunnen stoppen, dan hoef je niet van USB te booten en kun je de VM's op local storage draaien en alleen de data op de virtuele NAS zetten.

Heb een Samsung 960 EVO 250GB toegevoegd. Ik ben nog aan het twijfelen of een Intel 600p ook kan, maar ik zie niet erg veel verschil tussen de EVO 250GB of de Intel 256 GB. Er bestaat ook een 128 GB-versie, maar ik heb het gevoel dat die minder zal presteren dan bovenstaande.

Ik heb nu de volgende wenslijsten gemaakt;

#	Product	Prijs	Subtotaal
1	Intel Pentium G4620 Boxed	€ 100,95	€ 100,95
1	Supermicro X11SSH-LN4F	€ 244,-	€ 244,-
3	WD Red WD30EFRX, 3TB	€ 108,95	€ 326,85
1	Fractal Design Define S	€ 74,95	€ 74,95
1	Kingston ValueRAM KVR24E17D8/16MA	€ 165,82	€ 165,82
1	Seasonic G-series 360 watt	€ 59,95	€ 59,95
1	Samsung 960 EVO 250GB	€ 126,-	€ 126,-
Bekijk collectie Importeer producten		Totaal	€ 1.098,52

#	Product	Prijs	Subtotaal
1	Intel Pentium G4620 Boxed	€ 100,95	€ 100,95
1	Gigabyte GA-X150M-PRO ECC	€ 113,95	€ 113,95
3	WD Red WD30EFRX, 3TB	€ 108,95	€ 326,85
1	Fractal Design Define S	€ 74,95	€ 74,95
1	Kingston ValueRAM KVR21E15D8/16	€ 165,82	€ 165,82
1	Seasonic G-series 360 watt	€ 59,95	€ 59,95
1	Samsung 960 EVO 250GB	€ 126,-	€ 126,-
Bekijk collectie Importeer producten		Totaal	€ 968,47

Volgende dingen ben ik nog aan het vergelijken of wil ik vergelijken
Supermicro vs. Gigabyte bord
Fractal Design Define S vs goedkopere behuizing (met eis 'gesloten')
Samsung 960 EVO 250GB vs. Intel 600p (EVO 250 GB is de betere keuze, de Intel 600p 250 GB kost een beetje meer en is theoretisch minder dan de EVO).
Samsung 960 EVO 250GB vs Intel 600p 128 GB (de Intel kost de helft minder, maar is ook minder goed dan de EVO)

Ik heb trouwens ook eens gekeken wat een Xeon zou kosten in de setup. Ga ik voor de setup met het Gigabyte bord, dan zal de totale prijs op 1.112,59 (exclusief de bestelkosten) komen. Ga ik voor de setup met het Supermicro bord, dan komt de totale prijs (exclusief de bestelkosten) op 1.242,64. Ik denk dus dat ik het idee om een Xeon aan te schaffen laat varen, ik heb het gevoel dat het zo een beetje overkill zal worden.

[|sWORDs|]

12% meer op het hele systeem voor 42% betere prestaties is misschien geen slecht idee.

[Le Enfant!]

Ik heb net een bestelling geplaatst voor volgende items;

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1225 v6 Boxed	€ 232,50	€ 232,50
1	Gigabyte GA-X150M-PRO ECC	€ 106,-	€ 106,-
3	WD Red WD30EFRX, 3TB	€ 105,-	€ 315,-
1	Cooler Master Force 500	€ 40,-	€ 40,-
1	Kingston ValueRAM KVR21E15D8/16	€ 169,99	€ 169,99
1	Seasonic G-series 360 watt	€ 61,-	€ 61,-
1	Samsung 960 EVO 250GB	€ 123,50	€ 123,50
Bekijk collectie Importeer producten		Totaal	€ 1.047,99

Er zit nog een 3TB HDD in mijn computer die ik tevens ook in mijn server zal plaatsen. Ik denk dat ik toch voor RAID-Z ga. RAID-Z2 is me te gortig voor de data die er maar op komt te staan. Sowieso komt er eind 2018 / begin 2019 een Gen8 die gaat dienst doen als back-up server. Hypervisor gaat ESXi worden, al ga ik ook Proxmox een kans wagen. Ik wil de server tegen eind dit jaar in productie hebben. Vanaf dan wil ik ook mijn 'archief' overzetten. Deze staat nu op een 1TB externe schijf en een 5TB externe schijf. Nu is het vooral spelen met de dingen die ik er op wil doen. Ik wil in ieder geval iedereen bedanken voor het mee denken. Jullie zien me wel nog in de vele server threads hier op Tweakers.