Storage oplossing op basis van SSD

[GreenGras]

Momenteel maak ik gebruik van een MSA1000 van HP met 146GB SCSI schijven en mijn 2 ESX hosts zijn hierop met glas (fibre) aangesloten. De performance hiervan valt vreselijk tegen. Daarnaast is het stroomverbruik dramatisch hoog en werkt het kreng lang niet zo betrouwbaar als ik had gehoopt, ondanks de RAID6 config met hotspares

Ik ben nu dus aan het zoeken naar een betere storage oplossing en moet eerlijk toegeven dat dit behoorlijk tegen valt. De "out of the box" oplossingen bieden niet de performance die ik zoek en zijn relatief duur. Bovendien zijn er nauwelijks 2,5 inch SAS/SATA rackmountable storagesystemen verkrijgbaar. De andere optie, een dedicated storage server, heeft weer meer management nodig en daarbij loop ik een hoger risico op configuratieproblemen of instabiliteit.

Omdat een 300GB SCA SCSI schijf van 15k rpm in prijs nauwelijks verschilt van een OCZ SSD van 250GB, lijkt dit mij het juiste moment om SSD storage te gaan overwegen maar het valt me op dat er nog erg weinig over te vinden is op het internet. SSD's worden maar zat getest maar ik kan eigenlijk geeneen echte test vinden van een SSD RAID5 / RAID6 dedicated storage oplossing. Ook is er nog erg weinig bekend over ESX i.s.m. SSD en daar ben ik natuurlijk ook benieuwd naar: Hoe performen virtuele servers op SSD en wat zijn de risico's i.v.m. data corruptie of "wear" van de SSD's?

Ik heb daarnet het "DIY NAS" topic door zitten spitten en het stikt echt van de know how op dit gebied op tweakers, echter nog vrij weinig op het gebied van RAID SSD... Heeft iemand hier al ervaring mee en wat zijn de uitkomsten? Is openfiler een optie voor mijn behoefte en werkt dit inderdaad stabiel? Linux kennis is helaas zeer beperkt dus kan ik openfiler ook als "leek" fatsoenlijk bedienen en configureren? Vooralsnog heb ik dus heel veel vragen en zeer weinig antwoorden momenteel, ik hoop dat jullie me wat input kunnen bieden zodat ik straks de juiste keuze maak. Het is tenslotte weer een investering van zo'n 5k en dat moet wel meteen goed zijn... Bij voorbaat enorm bedankt voor eventuele tips!!!

[McKaamos]

SSD's zijn leuk, maar ze hebben nog last van performance degradatie.
Je zou OCZ kunnen overwegen icm de Garbage Collection firmware. Dat werkt standalone, dus zou het niet uit moeten maken of je in RAID werkt of niet.

Andere SSD's werken (of gaan werken) met TRIM, maar dat vereist dat je OS en storage drivers er support voor bieden. Op het moment wil dat wel, maar alleen met Microsofts eigen drivers onder Win7.
Andere OSsen hebben nog geen TRIM support en RAID fabrikanten hebben nog geen drivers met TRIM Passthrough.

Datacorruptie treed in de regel niet meer op, hoewel er nog wel eens problemen zijn bij het flashen van de SSD naar een nieuwe firmware.

SSD is op het moment eigenlijk alleen leuk in een desktop PC met Win7 er op.
Ik zou iig nog even wachten als ik een dergelijke storage oplossing zou gaan gebruiken icm SSD's.

[PeterPan]

Ik weet niet of het in je budget past maar SUN gebruikt SSD's in haar nieuwe 7xxx storage oplossingen maar wel nog alleen als (ZFS) log schijf en cache. Staar je niet blind op de configuraties die ze op de site noemen, custom configuraties (met b.v. meer SSD's) zijn ook mogelijk.

SUN wil wel heel erg graag haar nieuwe systeem in de markt zetten dus een demo moet te regelen zijn.

[Femme]

Enterprise ssd's zoals de Intel X25-M en de Samsung slc-ssd's die door Dell worden geleverd hebben nauwelijks last van performancedegradatie vanwege de grote reservecapaciteit. De grote reservecapaciteit zorgt tevens voor een langere levensduur. Voor servertoepassingen waarbij er veel schrijfacties plaatsvinden wil je sowieso geen mlc-flash gebruiken. Zo'n beetje alle serverbouwers leveren inmiddels solid state drives dus kennelijk hebben zijn vertrouwen in deze techologie. Wel vragen ze momenteel nog woekerprijzen voor ssd's. In de losse verkoop vallen de prijzen van de drives erg mee. Een X25-E 32GB die los 275 euro excl. btw kost, kan bij een oem zomaar drie of vier keer zo duur zijn.

Volgens mij zijn er genoeg leveranciers die servers leveren met 2,5 inch sata/sas-bays. Als je ssd's gaat gebruiken heb je veel minder drives nodig om een bepaald performanceniveau te halen. Een 2U server met 8 bays kan een I/O performance leveren die een aantal factoren hoger is dan van een externe enclosure met vijftien 15.000rpm sas disks.

[GreenGras]

McKaamos schreef op maandag 02 november 2009 @ 11:22:
Andere SSD's werken (of gaan werken) met TRIM, maar dat vereist dat je OS en storage drivers er support voor bieden. Op het moment wil dat wel, maar alleen met Microsofts eigen drivers onder Win7.
Andere OSsen hebben nog geen TRIM support en RAID fabrikanten hebben nog geen drivers met TRIM Passthrough.

SSD is op het moment eigenlijk alleen leuk in een desktop PC met Win7 er op.
Ik zou iig nog even wachten als ik een dergelijke storage oplossing zou gaan gebruiken icm SSD's.

Duidelijk, vooral die TRIM functie baart me dan zorgen. Gaat hiervoor ondersteuning komen en bij welke RAID fabrikant kun je verwachten dat dit op korte termijn komt? Ik neig zelf sterk naar Areca, echter kan ik ook daar nog niet veel informatie vinden.

Ik weet dat wachten verstandig is, maar wil toch voor het eind van het jaar een keuze gemaakt hebben. Early adoption is misschien een risico, maar gezien de prijsverhoudingen durf ik dat risico inmiddels wel te nemen...

Femme schreef op maandag 02 november 2009 @ 11:49:
Enterprise ssd's zoals de Intel X25-M en de Samsung slc-ssd's die door Dell worden geleverd hebben nauwelijks last van performancedegradatie vanwege de grote reservecapaciteit. De grote reservecapaciteit zorgt tevens voor een langere levensduur. Voor servertoepassingen waarbij er veel schrijfacties plaatsvinden wil je sowieso geen mlc-flash gebruiken. Zo'n beetje alle serverbouwers leveren inmiddels solid state drives dus kennelijk hebben zijn vertrouwen in deze techologie. Wel vragen ze momenteel nog woekerprijzen voor ssd's. In de losse verkoop vallen de prijzen van de drives erg mee. Een X25-E 32GB die los 275 euro excl. btw kost, kan bij een oem zomaar drie of vier keer zo duur zijn.

Volgens mij zijn er genoeg leveranciers die servers leveren met 2,5 inch sata/sas-bays. Als je ssd's gaat gebruiken heb je veel minder drives nodig om een bepaald performanceniveau te halen. Een 2U server met 8 bays kan een I/O performance leveren die een aantal factoren hoger is dan van een externe enclosure met vijftien 15.000rpm sas disks.

Ik moet eerlijk bekennen dat de performance degradatie niet eens mijn grootste zorg is (oops, schop ik nu tweakers tegen het zere been?). Ik ben vooral gecharmeerd van SSD door de imposante IOPS prestaties en de extreem korte zoektijd, dat is namelijk wat de gebruiker gaat ervaren (vnl kleinere (office) bestanden en dergelijke). Daarnaast doen wij er alles aan om elektriciteit te besparen en dus is ook het lage energieverbruik een belangrijke factor. Nevertheless is het natuurlijk super om te horen dat dit bij de X25-M gelukkig nauwelijks meer voor komt!

Wat OEMs betreft sluit ik me volledig bij je aan, ik kreeg zowat een hartverzakking toen ik de prijzen van HP onder ogen kreeg voor SSD based storage. Echt ongehoord duur gewoon en voor ons geen optie omdat de huidige MSA1000 ook al teleurstellende performance biedt, zeker als je de kosten bekijkt.

Er bestaan inderdaad zat servers met 2,5 inch SAS/SATA bays, echter speelt hierbij vooral de vraag watvoor storage server (software) goed zou zijn en hoe dit het beste kan worden verbonden (iSCSI? Fibre?). Daarnaast wil ik graag mijn virtuele servers op SSD storage draaien maar als ik Femme goed begrijp, zou dit nog weleens problemen kunnen geven?

Het ontbreekt met name op dit vlak nog aan waardevolle informatie, ik heb eigenlijk nog geeneen test kunnen vinden van ESX op SSD RAID en dat valt me toch wat tegen. Vooralsnog dus nog maar even afwachten, of is dit misschien een mooi testproject voor Tweakers zelf?

[nilski]

Gezien je Config ga ik er van uit dat het geen thuis servertje is.
Persoonlijk vind ik het in een productieve omgeving nog wat gewaagd om over te stappen op de nieuwste technologie. Wat heb je zoal geprobeerd om de performance en betrouwbaarheid van je MSA te analyseren?
Zou de MSA eigenlijk betere prestaties moeten leveren?

Maar goed, ik struikelde over dit Topic omdat ik eens met ZFS wil gaan experimenteren.
Vooral vanwege de nieuwe dedupe mogelijkheid, maar ook omdat het er ondertussen op lijkt dat het stabiel en betrouwbaar is. (Je kan zelfs dedupe en compressie tegelijk aan hebben staan). Verder kan je de performance met een SSD als Log Device opkrikken.
Je kan zpools als ISCSI, NFS AoE of wat dan ook sharen. Voor VM's dus uitermate geschikt.
Al met al lijkt het me de ultieme oplossing voor Storage.
Hier een linkje voor het opzetten van een Storage Servertje.

Even wat anders dan een Openfiler..

[GreenGras]

nilski schreef op donderdag 19 november 2009 @ 10:47:
Gezien je Config ga ik er van uit dat het geen thuis servertje is.
Persoonlijk vind ik het in een productieve omgeving nog wat gewaagd om over te stappen op de nieuwste technologie. Wat heb je zoal geprobeerd om de performance en betrouwbaarheid van je MSA te analyseren?
Zou de MSA eigenlijk betere prestaties moeten leveren?

Maar goed, ik struikelde over dit Topic omdat ik eens met ZFS wil gaan experimenteren.
Vooral vanwege de nieuwe dedupe mogelijkheid, maar ook omdat het er ondertussen op lijkt dat het stabiel en betrouwbaar is. (Je kan zelfs dedupe en compressie tegelijk aan hebben staan). Verder kan je de performance met een SSD als Log Device opkrikken.
Je kan zpools als ISCSI, NFS AoE of wat dan ook sharen. Voor VM's dus uitermate geschikt.
Al met al lijkt het me de ultieme oplossing voor Storage.
Hier een linkje voor het opzetten van een Storage Servertje.

Even wat anders dan een Openfiler..

We hebben eergisteren de knoop doorgehakt en 4 stuks OCZ Colossus SSD's van 500GB besteld. Echter, omdat we het hier over zeer early adoptation hebben, hebben we wel besloten deze SSD's vooralsnog alleen in een fileserver te gaan gebruiken. Het werken met daadwerkelijk productieservers (ESX) op zo'n SSD RAIDset vind ik gewoon nog iets te link. Ook plaatsen we twee 1,5TB Sata schijfjes in mirror in dezelfde server die elke avond synced zodat we bij problemen eenvoudig kunnen schakelen of recoveren.
Toch ben ik enorm benieuwd wat dit gaat doen m.b.t. gebruikers perceptie en dergelijke, we hebben in ieder geval hoge verwachtingen!

Het ZFS verhaal ziet er interessant, maar dat gaan we zeker niet doen. Daarmee zouden we nog verder afzakken in een voor ons onbekend domein en daarmee stapelen de risico's (qua beheer en support) zich nog hoger op en dan daag je het lot echt uit naar mijn idee. Echter, wanneer we ook het VMFS op SSD's gaan draaien en daar onze virtuals op gaan zetten, is het een overweging waard.

Nevertheless ben ik benieuwd naar de benches van het zootje in RAID5 straks, want dat moet natuurlijk wel even worden gedaan alvorens we het in productie nemen ;-)

[Femme]

Vanwaar de keuze voor de OCZ Colossus? Er zijn andere ssd's waar meer ervaringen mee bekend zijn wat betreft compatibiliteit en betrouwbaarheid. De performance zal tevens beter zijn als je een groter aantal kleine ssd's gebruikt en opzichte van vier Colossussen. Wat betreft prijs maakt het weinig verschil. Op trim-support in de Colossus zou ik niet rekenen (er zit een Silicon Image raidchip in waarvan het maar de vraag is of die ooit trim zal ondersteunen, ook vraag ik me af hoe de firmware geupdate zal worden aangezien een Colossus feitelijk twee Indilinx-controllers die achter een raidchip verborgen worden gehouden).

GreenGras schreef op maandag 02 november 2009 @ 23:42:
[...]

Ik moet eerlijk bekennen dat de performance degradatie niet eens mijn grootste zorg is (oops, schop ik nu tweakers tegen het zere been?). Ik ben vooral gecharmeerd van SSD door de imposante IOPS prestaties en de extreem korte zoektijd, dat is namelijk wat de gebruiker gaat ervaren (vnl kleinere (office) bestanden en dergelijke).

Maar dan neem ik aan dat je liever niet hebt dat de prestaties verminderen. Trim is daarvoor in veel gevallen een oplossing, de andere oplossing is om flink wat overcapaciteit te reserveren.

[GreenGras]

Femme schreef op donderdag 19 november 2009 @ 18:33:
Vanwaar de keuze voor de OCZ Colossus? Er zijn andere ssd's waar meer ervaringen mee bekend zijn wat betreft compatibiliteit en betrouwbaarheid. De performance zal tevens beter zijn als je een groter aantal kleine ssd's gebruikt en opzichte van vier Colossussen. Wat betreft prijs maakt het weinig verschil. Op trim-support in de Colossus zou ik niet rekenen (er zit een Silicon Image raidchip in waarvan het maar de vraag is of die ooit trim zal ondersteunen, ook vraag ik me af hoe de firmware geupdate zal worden aangezien een Colossus feitelijk twee Indilinx-controllers die achter een raidchip verborgen worden gehouden).


[...]


Maar dan neem ik aan dat je liever niet hebt dat de prestaties verminderen. Trim is daarvoor in veel gevallen een oplossing, de andere oplossing is om flink wat overcapaciteit te reserveren.

Ik heb begrepen dat de Colossus intern uit 2 Vertex SSD's bestaat welke zijn verbonden d.m.v. een Silicon RAID controllertje. De controller op beide Vertexen is de inmiddels goed geteste Indilinx en daar heb ik wel vertrouwen in. Ook hoeft de Silicon image RAIDchip geen TRIM functie te ondersteunen omdat de twee Indilinx controllers dat al doen, mits ze de juiste firmware hebben.

Ik ben het eens met je vraagtekens omtrent de update mogelijkheden voor de firmware maar ga er vanuit dat de colossus exemplaren op zijn minst de vertex 1.30 firmware aan boord hebben, daarmee zou TRIM dus geen probleem mogen zijn.

De keuze voor de Colossus is tweeledig: Allereerst passen ze zonder problemen in de 3,5 brackets van onze server en daarnaast zijn er in het 2,5 inch formaat geen grotere SSD's dan 250GB beschikbaar. Daar komt nog bij, dat er veel kasten zijn met 2,5 inch bays MAAR bij Supermicro heb je dan het probleem dat deze alleen met backplanes worden geleverd die dedicated SAS vereisen en geen SATA ondersteunen :-\ Daar baalde ik ook behoorlijk van en dus hebben we een kast uitgezocht met 3,5 inch bays omdat daar wel een SATA backplane voor beschikbaar is. Dit kost 1U meer (kast is 3U) maar lost ook meteen het probleem met de full-height en full-length SAS RAID controller die we erin willen plaatsen.

Het OS zelf komt overigens op 2 Vertex 30GB SSD's te staan (mirrored) en ik ben erg benieuwd naar het stroomverbruik van de complete server straks. De MSA1000 trekt namelijk meer dan 2 Ampere en dat is echt achterlijk veel vind ik (we betalen maandelijks ook behoorlijk wat bij omdat we meer stroom verbruiken dan contractueel is vastgelegd).

[Femme]

GreenGras schreef op vrijdag 20 november 2009 @ 11:06:
[...]

Ik heb begrepen dat de Colossus intern uit 2 Vertex SSD's bestaat welke zijn verbonden d.m.v. een Silicon RAID controllertje. De controller op beide Vertexen is de inmiddels goed geteste Indilinx en daar heb ik wel vertrouwen in. Ook hoeft de Silicon image RAIDchip geen TRIM functie te ondersteunen omdat de twee Indilinx controllers dat al doen, mits ze de juiste firmware hebben.

Zo werkt het niet. De Silicon Image chip presenteert de twee Indilinx-ssd's als een enkele sata-drive aan het besturingssysteem. Een besturingssysteem dat trim ondersteunt verstuurt trim-commando's naar de sata-drive. Het Silicon Image-chipje zal deze commando's negeren omdat hij er niets mee kan. De raidchip moet expliciteit ondersteuning hebben voor trim om de lba-adressen in de trim-commando's te kunnen vertalen naar trim-commando's voor de achterliggende drives.

Trim wordt overigens vanaf firmware 1.40 ondersteund.

Waarschijnlijk zal die raidchip wel netjes geïmplementeerd zijn en geeft hij geen problemen met raid-controllers, maar je weet nooit. Incompatibiliteitsproblemen komen helaas vaak voor.

De keuze voor de Colossus is tweeledig: Allereerst passen ze zonder problemen in de 3,5 brackets van onze server en daarnaast zijn er in het 2,5 inch formaat geen grotere SSD's dan 250GB beschikbaar. Daar komt nog bij, dat er veel kasten zijn met 2,5 inch bays MAAR bij Supermicro heb je dan het probleem dat deze alleen met backplanes worden geleverd die dedicated SAS vereisen en geen SATA ondersteunen :-\ Daar baalde ik ook behoorlijk van en dus hebben we een kast uitgezocht met 3,5 inch bays omdat daar wel een SATA backplane voor beschikbaar is. Dit kost 1U meer (kast is 3U) maar lost ook meteen het probleem met de full-height en full-length SAS RAID controller die we erin willen plaatsen.

Je gaat een sas raid-controller gebruiken maar je wilt je geen sas-backplane? Een sas-backplane hoort gewoon overweg te kunnen met sata-drives.

[estorino]

Femme schreef op maandag 02 november 2009 @ 11:49:
Enterprise ssd's zoals de Intel X25-M en de Samsung slc-ssd's die door Dell worden geleverd hebben nauwelijks last van performancedegradatie vanwege de grote reservecapaciteit. ...

Ik neem aan dat je in deze post en daaropvolgende de Intel X25-E bedoelt?

[u_nix_we_all]

GreenGras schreef op vrijdag 20 november 2009 @ 11:06:
[...]
Daar komt nog bij, dat er veel kasten zijn met 2,5 inch bays MAAR bij Supermicro heb je dan het probleem dat deze alleen met backplanes worden geleverd die dedicated SAS vereisen en geen SATA ondersteunen :-\ Daar baalde ik ook behoorlijk van en dus hebben we een kast uitgezocht met 3,5 inch bays omdat daar wel een SATA backplane voor beschikbaar is. Dit kost 1U meer (kast is 3U) maar lost ook meteen het probleem met de full-height en full-length SAS RAID controller die we erin willen plaatsen.

Als je het hebt over de Supermicro 2U met 24x 2,5" bay, die backplane is volgens mij ook SATA compatible. De connectors aan de disk kant zijn identiek. Laatst nog een gebouwd met een array van 12 SSD's. Liepen tegen wat problemen aan met de controllers en hun linux drivers, en mijn collega die dat normaal doet heeft het weer overgenomen, en ik weet dus niet hoe de resultaten met dit systeem waren.

[Femme]

estorino schreef op vrijdag 20 november 2009 @ 12:19:
[...]

Ik neem aan dat je in deze post en daaropvolgende de Intel X25-E bedoelt?

De X25-E inderdaad.

Het energieverbruik van de Colossus zal voor een ssd waarschijnlijk relatief hoog zijn vanwege de twee Indilinx-controllers en de Silicon Image-raidchip. De Sil 5723 vraagt volgens deze specsheet ongeveer een watt. Vergeleken met 3,5 inch harde schijven zal het verbruik altijd nog erg laag zijn (bovendien heb je veel minder drives nodig om dezelfde prestaties te halen).

[GreenGras]

u_nix_we_all schreef op vrijdag 20 november 2009 @ 12:29:
[...]


Als je het hebt over de Supermicro 2U met 24x 2,5" bay, die backplane is volgens mij ook SATA compatible. De connectors aan de disk kant zijn identiek. Laatst nog een gebouwd met een array van 12 SSD's. Liepen tegen wat problemen aan met de controllers en hun linux drivers, en mijn collega die dat normaal doet heeft het weer overgenomen, en ik weet dus niet hoe de resultaten met dit systeem waren.

Nope, dat is het probleem nou juist (spit de PDF op de supermicro site voor die kast maar eens door): Er zijn 2 backplanes beschikbaar voor die kast die beide met echte SAS aansluitingen werken. Eentje daarvan is ook nog redundant maar voor beide backplanes geldt dat supermicro expliciet aangeeft dat ze alleen voor SAS schijven geschikt zijn. Voor de 3U kast die we nu hebben gekozen, bestaat naast de 2 SAS backplanes een derde backplane die ook daadwerkelijk voor SATA geschikt is, en waarop aan de achterkant voor elke drive ook een individuele Sata connector zit. Daar baalden wij dus ook behoorlijk van maar goed, we kwamen dus uit op een kast met 3,5 inch bays i.p.v. 2,5 inch bays. Vandaar ook de keuze voor de Colossus schijven i.p.v. meerere kleinere 2,5 inch SSD's.

Femme schreef op vrijdag 20 november 2009 @ 11:59:
[...]


Zo werkt het niet. De Silicon Image chip presenteert de twee Indilinx-ssd's als een enkele sata-drive aan het besturingssysteem. Een besturingssysteem dat trim ondersteunt verstuurt trim-commando's naar de sata-drive. Het Silicon Image-chipje zal deze commando's negeren omdat hij er niets mee kan. De raidchip moet expliciteit ondersteuning hebben voor trim om de lba-adressen in de trim-commando's te kunnen vertalen naar trim-commando's voor de achterliggende drives.

Trim wordt overigens vanaf firmware 1.40 ondersteund.

Waarschijnlijk zal die raidchip wel netjes geïmplementeerd zijn en geeft hij geen problemen met raid-controllers, maar je weet nooit. Incompatibiliteitsproblemen komen helaas vaak voor.
[...]

Wow dat is waardevolle informatie! Dan zullen we dus toch behoorlijk uitgebreid moeten testen alvorens we dit in productie nemen :-\ Wat het stroomverbruik betreft heb je gelijk, maar dan nog zal het flink zuiniger zijn dan de 15k SCSI schijven die er nu in zitten verwacht ik.

Als tweakers het leuk vindt, kunnen we de drives ook een weekje later in productie nemen en naar jullie sturen voor een stevige test op de pijnbank? Als daar belangstelling voor is, werk ik graag mee in ieder geval.