High performance opslag mogelijk met HDD's?

[The_wave]

Ik ben bezig met het samenstellen van een nieuwe storage server en ben aan het afwegen of ik nu best voor een klassieke raid setup zou gaan of voor een ZFS based systeem. Raw performance gaat boven de rebuild tijden/redundantie.
De eisen zijn stevig: zo moet het systeem rond 4GB/sec (ja gigabyte) kunnen aanleveren. Om dit te halen dacht ik te werken met een hardware raid10 configuratie:

- Supermicro chassis voor 24 disken
- MegaRAID SAS 9361-24i controller met cache module
- 24 x 10TB HGST Ultrastar SAS 12Gb/s
- 2 x Xeon E5-2630V4 op Supermicro board, 64GB memory
- Windows Server met SMB

Volgens calculators zou deze config rond de 4GB/sec sequential read moet halen.

Een ZFS based systeem lijkt mij ook interessant. Ik dacht dan aan een striped mirrored vdev zpool met dezelfde disken in bovenstaande setup.
Met ZFS moet er extra geinvesteerd worden in Cpu power/memory/ssd caching, uiteraard met HBA cards ipv Raid cards.
Daarnaast heb ik de indruk dat de ZFS performance flink afhankelijk is van de hoeveelheid cache en daardoor op vlak van raw disk read performance lager scoort dan hardware raid? Eénmaal de cache verzadigt is lijkt mij de performance in elkaar te stuiken. Of ben ik hierin mis?

De uiteindelijke data zal na bewerking naar een ander systeem overgezet worden.

[Room42]

En gaat het om 4GB/s sequentiële data of random? En wat zijn de eisen m.b.t. IOPS? Hoeveel clients zullen er tegelijk gebruikmaken?

[TommyboyNL]

Wat is het verwachte read/write gedrag? 1 keer schrijven, vaak lezen? 50/50? Beiden tegelijk? Is het 1 stream van 4GB/s, of meerdere kleine streams? Hoe ga je de data van deze doos afkrijgen? 32Gb/s is geen kattenpis. Waarom specifiek deze 3 jaar oude CPU?

[The_wave]

Worst case 2 clients, maar dan zouden beide clients nog elk tussen de 1 en 1.5GB/sec moeten kunnen halen.
Het gaat voornamelijk om grote files (lezen). Een cijfer plakken op de IOPS lijkt mij moeilijk. Liefst zo hoog mogelijk natuurlijk maar dat lijkt mij enkel haalbaar met SSD's maar dan stijgen de kosten flink.

Deze cpu(s) heb ik gekozen om de kosten te drukken. Aangezien het hardware raid is, lijkt mij de cpu voldoende?

[ Voor 15% gewijzigd door The_wave op 27-05-2019 20:19 ]

[TommyboyNL]

The_wave schreef op maandag 27 mei 2019 @ 20:17:
Worst case 2 clients

En wat betekent dat volgens jou? Wat is best-case? En wat is het antwoord op de andere gestelde vragen?
- gaat het om 4GB/s sequentiële data of random?
- Hoe ga je de data van deze doos afkrijgen en naar je clients? Ethernet? Fibre channel? Infiniband?
- Wat is het verwachte read/write gedrag?
- Hoeveel IOPS zoek je? "Zo veel mogelijk" zegt niks. Een NVME disk doet er honderdduizenden, een spinning disk doet er tientallen, misschien zelfs 100 als ze gunstig ten opzichte van elkaar staan.

Edit: Een moderne Threadripper of Epyc is overigens even duur als 1 van jouw CPU's, maar levert even veel performance als beide Intels samen. De hogere core clock helpt ook mee als processen niet goed multithreaded zijn.

[ Voor 19% gewijzigd door TommyboyNL op 27-05-2019 21:36 ]

[The_wave]

Het is me niet duidelijk hoe ik het benodigde aantal IOPS kan bepalen. In dit geval voor file transfer activiteit met max. 2 clients. Ik heb me voornamelijk gefocust op sequential transfer rates.

- Gaat het om 4GB/s sequentiële data of random?
Beide clients moeten tussen 1 en 1.5GB/s kunnen lezen tegelijkertijd. Dus 2 streams van elk 1.5GB/s max.

- Hoe ga je de data van deze doos afkrijgen en naar je clients? Ethernet? Fibre channel? Infiniband?
Via 2 x 50GbE poorten in de server direct naar beide clients met 50GbE

- Wat is het verwachte read/write gedrag?
Ik verwacht 60% reads en 40% writes

- Hoeveel IOPS zoek je? "Zo veel mogelijk" zegt niks. Een NVME disk doet er honderdduizenden, een spinning disk doet er tientallen, misschien zelfs 100 als ze gunstig ten opzichte van elkaar staan.
Hiermee zit ik vast om dit te kunnen bepalen. Met zoveel mogelijk bedoel ik dat ik het maximum aantal IOPS eruit wil halen met 24 spinning HDD's en hardware raid 10. Volgens deze calculator ( http://www.team.ru/IOPS-Counter.php ) zou deze setup op 3840 IOPS uitkomen.

Threadripper of Epyc ga ik zeker bekijken. Bedankt voor de tip.

[Ernemmer]

Beetje offtopic, maar ik ben wel benieuwd waar je dit voor gaat gebruiken.

[MAX3400]

Waar zit het probleem nu? Je storage-idee is zwaar overkill en imho moet je gaan tieren.

Tier 1: hot data, paar "pro-sumer" NVME SSD's, capaciteit & aantal mag je zelf berekenen op je huidige / verwachte cache-hit ratio.

Tier 2: cold storage, desnoods een array SATA-300.

SAS RAID0 vind ik, in de huidige vraagstelling, waarschijnlijk veel te duur; sowieso lees ik nergens een budget dus dat wordt lastig(er) rekenen.

[Question Mark]

The_wave schreef op dinsdag 28 mei 2019 @ 10:45:
Dus 2 streams van elk 1.5GB/s max.

Die disken doen 249 MB/S read (sequentueel). 24 stuks in een Raid 10, betekend 12x 249 MB = 2988 MB/Sec. Dat wordt al krap dan... Met twee streams concurrent, en ook nog random read (en write) ga je de benodigde performance niet halen.

The_wave schreef op dinsdag 28 mei 2019 @ 10:45:
- Hoe ga je de data van deze doos afkrijgen en naar je clients? Ethernet? Fibre channel? Infiniband?
Via 2 x 50GbE poorten in de server direct naar beide clients met 50GbE

Let even op support voor SMB Direct (RDMA). Dat scheelt veel latency en cpu-cycles.

[ Voor 33% gewijzigd door Question Mark op 28-05-2019 11:04 ]

[1Kb]

Misschien handig als aanvullend: een paar maanden geleden heeft Linus Tech Tips op youtube een filmpje geplaatst waar ze een nieuwe storage configuratie gebruiken (cache ssd + hdd) in vergelijking met hun huidige ssd storage systeem. LTT heeft 6 editors simultaan op hun storage systeem (4k) Misschien dat dit helpt met je beeld vorming / verwachting wat kan en misschien niet

[GarBaGe]

Deze SSD doet dat in z'n eentje: https://www.anandtech.com...600-nvme-ssd-with-pcie-40

Bijna 5 GB/sec

[unezra]

Gaat dit om een bedrijfsmatige setup of een hobbydoos?

Als het gaat om een bedrijfsmatige machine, zou ik sowieso wel even heel goed nadenken of je dit zelf wel in elkaar wil knutselen of dat je beter iets kunt kopen dat off-the-shelf is waarbij je allerlei garanties op performance én support krijgt van de leverancier.

En inderdaad, wat ga je er mee doen? Waarom wil je deze specs hebben, waarvoor heb je ze nodig? Is er uberhaupt budget?

[MAX3400]

GarBaGe schreef op dinsdag 28 mei 2019 @ 18:29:
Deze SSD doet dat in z'n eentje: https://www.anandtech.com...600-nvme-ssd-with-pcie-40

Bijna 5 GB/sec

En op welk moederbord ga je dat prikken dan; PCI-E 4.0 is zeeeer dun gezaaid. Kan je beter pricewatch: Kingston DCP1000 800GB inzetten; met 1 SSD klaar om 4GB/s sequential read te kunnen leveren.

@The_wave heeft nog geen budget nog specifieke metingen/requirements dus geen idee of de random write in zijn opstelling misschien wel QD32 heeft; dan mag je opnieuw gaan rekenen of & hoeveel SSD's dit kunnen handhaven.

/edit: Kingston heeft zelfs een Optane-hybrid gemaakt: https://www.liqid.com/pro...ss-memory/element-lqd3900 ; kan je heerlijk 1.5TB versneld gebufferd krijgen door de Optane-opstelling.

[ Voor 12% gewijzigd door MAX3400 op 28-05-2019 22:08 ]