Server bouwen met NVME raid

[Verwijderd]

Zoals topic reeds aangeeft wil ik de optie bekijken om een server te bouwen met nvme raid capaciteiten.

Nou heb ik bij Highpoint NVME raid adapters gevonden, echter wat mij verbaast is dat de rest van de wereld kennelijk nog een beetje achterover leunt in zijn luie stoel ?

Normaal koop ik Proliant servers, echter Proliants en SSD zijn nogal een prijzig verhaal, maar Proliant en NVME komt nieteens voor. (Ook Dell heeft geen NVME servers). Je zou bijna een consumenten bak in elkaar zetten met NVME disk erin en inzetten als server. Helaas is het qua redundancy dan weer extreem slecht gesteld en zul je continu backups moeten draaien en een 2e consumenten bak reserve moeten hebben om eventuele hardware storingen binnen x uur op te lossen.

Desalniettemin is het ( voor zover mij bekend) verbazingwekkend dat de consumenten drives van tegenwoordig qua IO de SAS 12G disken voorbij rennen. Tevens is het tenenkrommend dat 1 SAS12 disk even duur kost als 1 NVME disk.

Heeft iemand hier ervaring met servers die booten van zo`n highpoint nvme raid adapter ?
Ik zou dit wellicht kunnen stoppen in een supermicro server aangezien die wat meer slikken qua hardware dan de firmware blocked HP en Dell machines.

Info over highpoint nvme raid adapters. http://www.highpoint-tech.com/USA_new/CS-product_nvme.htm

[ Voor 3% gewijzigd door Verwijderd op 05-09-2017 00:30 ]

[DaMoUsYs]

Je bedoelt zoiets als ze bij Dell hebben ?

PowerEdge Boot Optimized Storage Solution (BOSS)
http://topics-cdn.dell.co..._user's%20guide_en-us.pdf

[CH4OS]

Heb je NVMe wel echt nodig in een server? Als in: wat wil je uiteindelijk met de server gaan doen?
Wellicht is NVMe wat teveel performance en zal de server het niet of nauwelijks gebruiken. Het is dan gewoon zonde om dergelijke SSD's aan te schaffen.

NVMe is naar mijn weten vooral geschikt voor workstation machines, niet zozeer voor servers.

[Verwijderd]

DaMoUsYs schreef op dinsdag 5 september 2017 @ 00:34:
Je bedoelt zoiets als ze bij Dell hebben ?

PowerEdge Boot Optimized Storage Solution (BOSS)
http://topics-cdn.dell.co..._user's%20guide_en-us.pdf

Die kan slechts raid 1 aan. Ik zou graag raid 10 willen zoals ik nu ook op de proliant heb.

[Verwijderd]

CH4OS schreef op dinsdag 5 september 2017 @ 00:37:
Heb je NVMe wel echt nodig in een server? Als in: wat wil je uiteindelijk met de server gaan doen?
Wellicht is NVMe wat teveel performance en zal de server het niet of nauwelijks gebruiken. Het is dan gewoon zonde om dergelijke SSD's aan te schaffen.

NVMe is naar mijn weten vooral geschikt voor workstation machines, niet zozeer voor servers.

De server wordt een vervanging van mijn huidge web/mail/vm server. (ongeacht of het nou een HP of een Supermicro is). Heb thuis een intel skull canyon nuc met nvme ( ook web en mail server en vm ) en dat draait vele malen sneller dan de proliant server die nu staat te zoemen in een datacenter.

NVMe is het snelste wat er is, indien de server goed in elkaar zit kan die desnoods 10 jaar mee.
Punt is , of ik koop een SSD HP server a 3000 a 4000 euro, of ik knutsel zelf een server in elkaar (supermicro) met zo`n Highpoint nvme adapter. Teveel IO bestaat niet, en ik heb het idee dat ik goekoper uit ben om dit te doen en er ook nog eens een supersnelle server aan over houdt.

[ Voor 15% gewijzigd door Verwijderd op 05-09-2017 00:51 ]

[Dennism]

Ligt er ook aan denk ik waar je de server voor wil gaan gebruiken wat aan te raden is. Een (mission critical) zakelijke server / cluster zou ik niet snel op SuperMicro zelfbouw met componenten van andere 3de partijen laten draaien tenzij je het kan veroorloven om hardware op de plank te hebben liggen als reserver en je veel tijd kan investeren in de hardware of downtime niets kost. Het is leuk zolang het draait, maar gaat er wat mis wil je niet in een situatie komen waarbij verschillende vendoren naar elkaar gaan lopen wijzen en jij onder tussen met (dure) downtime zit.

Heb zelf nog niet gewerkt met NVME icm met Proliant (bijna alles wat ik gebruik qua proliant zijn virtualisatie nodes en hebben geen eigen drives). Maar in de Proliant Gen9 manual staat volgens mij gewoon NVME support in. http://h20628.www2.hp.com...ct/emr_na-c04436966-5.pdf en ik verwacht eigenlijk bij de Gen 10 ook gewoon NVME support, daar deze ook bijv. Intel VROC moeten gaan supporten (al dan niet onder een naampje dat HP er voor bedenkt).

[CH4OS]

Verwijderd schreef op dinsdag 5 september 2017 @ 00:46:
NVMe is het snelste wat er is, indien de server goed in elkaar zit kan die desnoods 10 jaar mee.
Punt is , of ik koop een SSD HP server a 3000 a 4000 euro, of ik knutsel zelf een server in elkaar (supermicro) met zo`n Highpoint nvme adapter. Teveel IO bestaat niet, en ik heb het idee dat ik goekoper uit ben om dit te doen en er ook nog eens een supersnelle server aan over houdt.

An sich is de I/O dus niet echt nodig en denk ik ook niet dat je veel verschil gaat merken als je een NVMe of een gewone SSD gaat gebruiken. Ik zou het goedkoper gaan doen en normale SSD's in de server steken, ook die halen (zeker in RAID) ook meer dan genoeg I/O voor een dergelijke server.

Of je moet echt heel spannende dingen in die VM's gaan doen, al denk ik dat je met een normale SSD dan ook prima af kan.

[ Voor 7% gewijzigd door CH4OS op 05-09-2017 01:04 ]

[johnkeates]

Er bestaan servers met NVMe support, maar de meeste systemen die nog van klassieke RAID controllers uit gaan kunnen er niet van opstarten. Hetzelfde geldt voor moderne systemen als ZFS en BTRFS, daar kunnen ze vaak ook niet van opstarten.

De technologie verandert wel, maar niet zo snel als bij de consumenten. Het is een stuk moeilijker om technologie te verifiëren voor een server dan voor een consument of stand-alone systeem. Dat is ook de reden dat er maar een beperkt aantal opties zijn bij retail servers, en dat er vaak maar een beperkte selectie aan onderdelen beschikbaar is. Daarnaast is de markt ook vooral goed met zichzelf beschermen. Zo kan het zijn dat een HBA prima hetzelfde thermal profile heeft als een RAID controller, maar je kan hem niet in het RAID controller PCIe slot gebruiken om dat die 'gereserveerd' is. Dus hoewel het aan de spec zou voldoen en in een rack de server geen problemen met bijv. stroom of airflow/temps zou geven, is het niet getest en daarom niet in de BIOS of UEFI geprogrammeerd als optie.

Verder is er qua IO vaak weinig te halen met NVMe specifiek, het gaat niet over het protocol, maar over de bandbreedte en cycles/transfers. Een PCIe SSD zal vrij hard kunnen, zonder dat het NVMe hoeft te zijn. Hoewel AHCI niet 100% dezelfde stats zal halen is het niet significant langzamer.

Er is ook een groot verschil tussen de consumenten storage en de server storage. Betrouwbaarheid, temperatuur, stroomgebruik, fysieke bevestiging zijn allemaal een stuk belangrijker om dat het ook effect heeft op de omgeving, niet alleen dat ene systeem.

Als je snelle storage wil maken kan je prima PCIe SSD's kopen, of SAS SSD's en software striping gebruiken zonder dat je trager bent dan NVMe. Alles wat je in de controller of hardware duwt is in theorie leuk, maar in plaats daar van kan je ook gewoon genoeg RAM en CPU regelen zodat je het direct in de hypervisor of het OS kan doen.

[ Voor 5% gewijzigd door johnkeates op 05-09-2017 01:04 ]

[CH4OS]

johnkeates schreef op dinsdag 5 september 2017 @ 01:03:
Er bestaan servers met NVMe support, maar de meeste systemen die nog van klassieke RAID controllers uit gaan kunnen er niet van opstarten. Hetzelfde geldt voor moderne systemen als ZFS en BTRFS, daar kunnen ze vaak ook niet van opstarten.

Bij Linux dien je ook nog zfs initramfs als package te installeren, dan kan een Linux machine prima van ZFS af booten.

[johnkeates]

CH4OS schreef op dinsdag 5 september 2017 @ 01:05:
[...]
Bij Linux dien je ook nog zfs initramfs als package te installeren, dan kan een Linux machine prima van ZFS af booten.

Dat hangt dus van de server af. Sommige servers kunnen niet van een HBA booten als die origineel in RAID mode draait. Voornamelijk bij HP een probleem. ZFS doe je liever niet op een RAID controller met JBOD/RAID0 single-disks, maar op een 'echte' HBA. Sommige HP SmartArray controllers kunnen in HBA mode werken, maar de firmware ondersteunt die schijven dan dus niet. Dan moet je /boot op een losse USB stick of SD kaart zetten en daar de bootloader installeren. De bootloader (bijv. Grub2) kan je vmlinuz en initramfs van /boot laden en die kan je ZFS pools wel importeren en gebruiken. Dan werkt root-on-ZFS inderdaad.

Bij Dell is het vaak wat makkelijker met een H-series controller.

[ Voor 9% gewijzigd door johnkeates op 05-09-2017 01:09 ]

[Verwijderd]

Dennism schreef op dinsdag 5 september 2017 @ 01:02:
Ligt er ook aan denk ik waar je de server voor wil gaan gebruiken wat aan te raden is. Een (mission critical) zakelijke server / cluster zou ik niet snel op SuperMicro zelfbouw met componenten van andere 3de partijen laten draaien tenzij je het kan veroorloven om hardware op de plank te hebben liggen als reserver en je veel tijd kan investeren in de hardware of downtime niets kost. Het is leuk zolang het draait, maar gaat er wat mis wil je niet in een situatie komen waarbij verschillende vendoren naar elkaar gaan lopen wijzen en jij onder tussen met (dure) downtime zit.

Heb zelf nog niet gewerkt met NVME icm met Proliant (bijna alles wat ik gebruik qua proliant zijn virtualisatie nodes en hebben geen eigen drives). Maar in de Proliant Gen9 manual staat volgens mij gewoon NVME support in. http://h20628.www2.hp.com...ct/emr_na-c04436966-5.pdf en ik verwacht eigenlijk bij de Gen 10 ook gewoon NVME support, daar deze ook bijv. Intel VROC moeten gaan supporten (al dan niet onder een naampje dat HP er voor bedenkt).

Ben ook altijd gecharmeerd van de mooie interfaces en redundancy van de HP servers, echter vroeg me dus af of het niet anders kon.

T`is nou geen mission critical machine, maar hij zou wel binnen een dag weer online moeten zijn of worden overgezet via de backups naar een andere host. Zal even zoeken in de manual. wist niet dat HP dit ging supporten,.

[ Voor 6% gewijzigd door Verwijderd op 05-09-2017 01:31 ]

[hans_lenze]

De meest gebruikte NVMe aansluiting op een server is U.2 (SFF-8639). Deze disks worden in de normale hotswap bays aan de voorkant geplaatst maar gebruiken andere pinnen op de connector.

HP Proliant servers hebben niet allemaal het juiste backplane.
Zie als voorbeeld https://www.hpe.com/us/en...mware-ssd.1009954853.html en de gelinkte data sheet.

Dell PowerEdge servers hebben soms ondersteuning voor Express Flash. Dat is hun marketing naam voor PCI-E verbonden SSDs.
http://www.dell.com/learn...s/poweredge-express-flash
Wederom hebben sommige servers het juiste backplane en anderen niet.

Supermicro noemt het gewoon NVMe, dus die heb je waarschijnlijk al gevonden.
Voorbeeld: https://www.supermicro.co...U/1029/SYS-1029U-TR4T.cfm
Ook hier is niet elke drive bay van de juiste connector voorzien. Uit de specs:
10 Hot-swap 2.5" Drive Bays;
10 SATA3 (2 hybrid ports - 2 NVMe opt.)

De reden dat NVMe en RAID niet lekker samen gaat, is de snelheid. Een RAID controller voegt significante extra latency toe aan het geheel. De meerderheid van de (software en hardware) fabrikanten gaat uit van RAIN in plaats van RAID.

[kdekker]

Dit is een oud topic. En je verhaal is eigenlijk niet afgerond. Hoe is het allemaal afgelopen?
Ik kijk zelf ook rond voor een Dell server. Daar zit (op bepaalde modellen) ruimte voor NMVe SSDs (U.2 aansluiting). Maar en RAID-1 en bootable, dat ben ik ook nog niet tegengekomen, Daarom ben ik benieuwd waar je uitgekomen bent.

Ik wil zelf RAID voor de betrouwbaarheid (al is een controller zelf ook een single-point of failure). En NVMe/PCIe SSDs voor de IOPS (voor random read/writes van veel kleine bestanden en database acties).

[Urk]

Inmiddels is dit topic alweer 2 jaar geleden geupdatet. Ik ben ook benieuwd wat jullie ervaringen hiermee zijn. Ik heb binnenkort nog even een gesprek met een technische expert van Dell PowerEdge servers. Wat ik begreep zijn er nu wellicht wat meer opties maar RAID icm met PCIe NVME drives is nog steeds niet beschikbaar en werkt ook niet op die manier. Dell heeft wel PCIe NVME drives in een 2,5" hot swap form factor maar die blijk je te moeten aansturen met software RAID, bijv de S140. Iemand hier al ervaring mee? Hoe werkt en configureerd je dit precies in Windows Server zonder met failover?
De prijsverschillen tussen SAS/SATA SSD's en NVMe SSD's is namelijk ook niet meer zo groot...