SSDs in RAID voor IO intensieve applicatie: setup raid en FS

[superduper]

Hi,

Ik ben bezig een zware linux server op te zetten voor zeer IO intensief rekenwerk.

Het wordt een 2x18 core, 256GB RAM, 2x LSI 9271-8i met elk 8 Samsung SM853T 960 GB SSDs.

Nu ben ik me aan het inlezen in de raid toepassingen van SSDs, maar er is erg veel tegenstrijdigheid, met name in de wat oudere reviews. Deze SSDs zijn enterprise levels, dus als het goed is minder last van de beschreven wear/tear van de consumer schijven.

Mijn zorgen zitten wel in de goede aansluiting van de raid controller met de SSDs. Alles is prima supported, maar ik lees niets over TRIM behalve dat dit wel vaker vervalt achter een raid controller. LSI heeft SSD guard, maar dat lijkt me meer een dure naam voor hot-spares. We zijn bereid om deze setup wel uit te proberen, dus dan komt de inrichting.

Om een goede balans te krijgen tussen snelheid en fout tolerantie wil ik voor RAID 10 gaan. Dat kost helaas wel veel disks tov bv RAID 5/6. Bij de laatste opties lees ik dat de impact van de pairty veel vraagt van de SSDs.

Vraag: is dat laatste inderdaad nog van belang?Beinvloed dit alle schijven? Is RAID 10 inderdaad veel sneller dan RAID5 of 6?

Vraag: De IO die we krijgen zijn veel grote bestanden (100-300 GB) die als 1 stream geschreven of gelezen worden. Wat voor Stripe size past hier het beste bij?


Dan het FS; mijn persoonlijke ervaring houdt helaas op bij EXT3/4, maar ik weet dat er best wat andere mogelijkheden zijn. Ik lees goed verhalen over XFS, maar ook EXT4. Btrfs en F2FS komen er wat wisselend vanaf. iemand die hier ervaringen mee heeft?

[GeeMoney]

Ik heb geen idee van de kosten van je opzet maar er zijn appliances te koop die eigenlijk bieden wat jij vraagt zonder dat je je zorgen hoeft te maken over de inrichting/keuzes van combinaties hardware, support en garanties.
Ik heb met producten van FusionIO positieve ervaringen.

Enige wat dan nog rest is een knappe linux bak op te tuigen met FC aansluitingen richting die appliance en genoeg CPU-cores om de data te kunnen verplaatsen. RAM is dan minder belangrijk al is het wel handig als caching natuurlijk maar ik verwacht dat je dan met 64-96GB een aardig eind komt.

Mocht je toch bij de zelfbouw blijven kan je ook eens het ZFS topic bekijken.

Wat versta je overigens onder zwaar IO werk? (hoeveel IOPS/doorvoer heb je nodig/ is er nu?)

[ Voor 51% gewijzigd door GeeMoney op 30-04-2015 11:15 ]

[superduper]

Het is een combi van rekenwerk en IO, dus de CPUs moeten dicht op de data zitten. De opzet met flash op PCIe kaarten hebben we eerder uitgeprobeerd een jaar of twee terug en was heel slecht bevallen (revodrive X3 had zeer beroerde linux support en bleek erg onbetrouwbaar). Ook zijn deze nog niet groot genoeg om richting de 10 TB ruimte te bieden.

De vraag wat we nodig hebben is terecht en is helaas nog niet precies te zeggen. We werken nu in een shared omgeving en krijgen dus opgeblazen benchmarks. Deze unit is om enerzijds met onze toepassing te kunnen beginnen en zo ook gaandeweg de juiste specs op te stellen om verder op te schalen.

ZFS topic staat al een tijd bij mijn bookmarks; schrik wel van verhalen van compleet verruieerde partities...

GeeMoney schreef op donderdag 30 april 2015 @ 11:06:
Ik heb geen idee van de kosten van je opzet maar er zijn appliances te koop die eigenlijk bieden wat jij vraagt zonder dat je je zorgen hoeft te maken over de inrichting/keuzes van combinaties hardware, support en garanties.
Ik heb met producten van FusionIO positieve ervaringen.

Enige wat dan nog rest is een knappe linux bak op te tuigen met FC aansluitingen richting die appliance en genoeg CPU-cores om de data te kunnen verplaatsen. RAM is dan minder belangrijk al is het wel handig als caching natuurlijk maar ik verwacht dat je dan met 64-96GB een aardig eind komt.

Mocht je toch bij de zelfbouw blijven kan je ook eens het ZFS topic bekijken.

Wat versta je overigens onder zwaar IO werk? (hoeveel IOPS/doorvoer heb je nodig/ is er nu?)

[GeeMoney]

superduper schreef op donderdag 30 april 2015 @ 11:54:
Het is een combi van rekenwerk en IO, dus de CPUs moeten dicht op de data zitten. De opzet met flash op PCIe kaarten hebben we eerder uitgeprobeerd een jaar of twee terug en was heel slecht bevallen (revodrive X3 had zeer beroerde linux support en bleek erg onbetrouwbaar). Ook zijn deze nog niet groot genoeg om richting de 10 TB ruimte te bieden.

De vraag wat we nodig hebben is terecht en is helaas nog niet precies te zeggen. We werken nu in een shared omgeving en krijgen dus opgeblazen benchmarks. Deze unit is om enerzijds met onze toepassing te kunnen beginnen en zo ook gaandeweg de juiste specs op te stellen om verder op te schalen.

ZFS topic staat al een tijd bij mijn bookmarks; schrik wel van verhalen van compleet verruieerde partities...


[...]

Ok duidelijk, er is nog niets duidelijk
Flash boxen van FusionIO waar ik mee gewerkt heb waren tegen de 40TB in size.

Overigens zijn ze overgenomen door SanDisk:
http://www.theregister.co...disks_big_data_flash_box/

En de boxen zijn leverbaar tot 500TB en door middel van 6-SAS aansluitingen of zoals ik het altijd had over 4 FC aansluitingen te ontsluiten naar je machine. In mijn situatie was het trouwens allemaal RAID10.
Ik moet tevens vermelden dat ik bij alle combinaties die ik heb gebouwd/gebruikt heb het platform pSeries met als OS AIX was welke zeker qua IO enorm sterk en capable is.
Linux durf ik niet te zeggen al gok ik dat het een betere weg is als Windows.

Even wat algemene cijfertjes zoals ik me herinner:
Met de FusionIO box icm een 8-core Power8 kreeg ik gemakkelijk enkele Gb/s en zo'n 45-50k aan iops.
Die combinatie werd ingezet voor OLTP/batches.

[barry457]

Ik zou ook een kijken naar FusionIO. Op het werk hebben wij daar 2 kaarten van. Dingen zijn retesnel. MS en Facebook gebruiken deze kaarten ook voor hun Farms.

[eL_Jay]

Is een PCI SSD niet een optie.

[maratropa]

Qua TRIM;

Hier bij windows 8.1 is het zo dat ik een LSI adapter (9300-8i) met IT firmware heb draaien, en daar zitten SSD's aan die in windows software raid 0 staan. Dan werkt TRIM gewoon, omdat er geen hardware raid layer is. Ik neem aan dat dat met Linux ook te doen moet zijn?

[ Voor 7% gewijzigd door maratropa op 30-04-2015 13:01 ]

[superduper]

maratropa schreef op donderdag 30 april 2015 @ 13:00:
Qua TRIM;

Hier bij windows 8.1 is het zo dat ik een LSI adapter (9300-8i) met IT firmware heb draaien, en daar zitten SSD's aan die in windows software raid 0 staan. Dan werkt TRIM gewoon, omdat er geen hardware raid layer is. Ik neem aan dat dat met Linux ook te doen moet zijn?

Is inderdaad een optie op de boel via software raid te sturen, maar dan is de dure RAID controller overkill. Qua CPU zitten we wel redelijk goed met 36 cores, ook al worden die wel flink belast.

Misschien moeten we maar gewoon wat scenarios testen en benchmarken.