SSD in RAID 1

[gerwim]

Er zijn veel topics wat betreft SSD's in RAID, echter heeft Intel (voor zover ik gelezen heb) nu SSD drives die TRIM support hebben in een RAID opstelling, maar hier staan dan geen typenummers bij welke SSD's dit nu zijn. Ik wil deze SSD's in mijn server plaatsen, vandaar dat ik RAID 1 nodig ben.

Iemand enig idee welke SSD's dit zijn?

[_Dune_]

Volgens mij is dit niet SSD afhankelijk, maar driver gerelateerd. De RAID drivers moeten de TRIM commando's kunnen doorsturen, wat de huidige drivers dus (nog) niet ondersteunen. Intel is hier wel meebezig zover mij bekend.

[ Voor 11% gewijzigd door _Dune_ op 13-10-2012 14:54 ]

[gerwim]

Hmm ok. Het probleem is namelijk dat de data die erop komt de staan absoluut niet "zomaar" kwijt mag gaan (als de SSD kapot gaat bijvoorbeeld). Nu maak ik dan wel gebruik van LVM en dagelijkse backups, maar dan nog heb je nog steeds niet de data protectie wat RAID 1 bied.

[Swordlord]

Je zoekt betrouwbaarheid, dan kom je al snel uit bij de Intel 320. Dit is de meest betrouwbare consumenten SSD zo'n beetje en al helemaal doordat hij als enige supercaps heeft wat de kans op data verlies of corruptie bij stroomuitval weg neemt.
Het mag dan wel een SATA-300 SSD zijn en wat minder goed verkrijgbaar tegenwoordig nog. Maar het is echt een van de beste keuzes.

Tot op heden heb je zoals al aangegeven is door Dune, nog geen TRIM support vanuit de storage drivers. Om toch de performance en levensduur van je SSD's op een goede snelheid te houden dan is het aan te raden om te onderpartitioneren.
Dit betekend dat je niet de volledige capaciteit van je raid array gaat gebruiken en dus een gedeelte ervan vrijhoud voor de controller om wear leveling, data remapping en andere functies makkelijker en beter uit te voeren. Wat de performance van de RAID array op peil houd en de levensduur ten goede komt.

Aan te raden is om dan maar ongeveer 80% van de capaciteit te gebruiken en de overige 20% dus niet de partitioneren.

[gerwim]

Ik zat persoonlijk te kijken naar de Intel 520.

Bedankt voor je tip wat betreft onder partionering. :-) Ik zal dan geen RAID gaan gebruiken, TRIM is namelijk wel een must in een server omgeving waar deze nog wel onder heavy load kunnen komen te staan.

[Swordlord]

TRIM is zeldzaam in een server omgeving.
Dit komt doordat SCSI unmap (de SCSI tegenhanger van ATA TRIM) nog vaak niet wordt doorgegeven door de drivers van raid-kaarten / HBA's (Unix is uitzondering).

Een Intel 520 kiezen is naar mijn mening met 1 poot in het graf staan. De sandforce SSD controller die in de 520 wordt gebruikt heeft een ZEER slechte reputatie op het gebied van betrouwbaarheid en heeft enorme hoog uitval percentage.

Intel heeft het uitval percentage omlaag kunnen halen door hun eigen firmware, maar de controller is gewoon by design complex en blijft dus fout gevoelig...

[ Voor 8% gewijzigd door Swordlord op 13-10-2012 15:37 ]

[Malantur]

De Intel 520 is voor consumenten bedoeld, de Intel 710 is beter voor server omstandigheden.
Deze heeft net als de Intel 320 supercaps om dataverlies door spanninsverlies tegen te gaan en de 200GB versie heeft 20 NAND chips van 16GB aan boord (dus 320GB chips voor 200GB te kunnen beschrijven is stevig ondergepartitioneerd). En omdat Intel ook zelf producent van het NAND geheugen is, kunnen ze (en dat doen ze ook) de beste chips uitkiezen voor enterprise toepassingen.

Helaas heeft dit wel zijn invloed op de prijs:
De 710 serie kost 3,65 euro per GB, waar de 520 serie 0,8 a 0,9 euro per GB is en de 320 serie 1,1 a 1,4 euro per GB op moet brengen. Maar betrouwbaarheid heeft dan ook zijn prijs..
Een ander nadeel is dat de 710 serie en de 320 serie nog Sata 3Gbit controllers aan boord hebben. Maar uiteraard voor toegangstijden en 4K reads is dit weinig van belang.

[Verwijderd]

Als je betrouwbaar wilt is Intel 320 de enige consumenten SSD geschikt aangezien deze een power-safe capacitor array heeft. De Intel 330 is een totaal ander product (Sandforce) dan de 320; vergis je hier niet in.

TRIM of UNMAP in serveromgevingen zorgt er soms juist voor dat de performance daalt in plaats van toeneemt. Dit omdat het verwerken van de TRIM GC ook tijd kost en dat het simpelweg overslaan van TRIM veel sneller kan zijn. Zeker als de serveradmin overprovisioning gebruikt. Vrijwel alle enterprise SSDs hebben ook 25 - 40% aan overprovisioning standaard. Je gebruikt in een serveromgeving dus maar de helft van alle LBA bijvoorbeeld, dan heb je ook geen TRIM meer nodig.

Twee SSDs in RAID1 is dat veilig? Ja en nee. Bij onverwacht stroomverlies kunnen net zo goed beide SSDs corrupt raken, dus RAID1 beschermt je onvoldoende. Een RAID1 van SSDs met (super)capacitor zoals de Intel 320 zou wel aardig betrouwbaar moeten zijn. Persoonlijk zou ik een Intel 320 als veel betrouwbaarder zien dan een RAID1 van twee keer een Intel 520 bijvoorbeeld.

[Cybje]

Je moet er wel rekening mee houden dat SSD's in RAID 1 de neiging hebben om bijna tegelijkertijd uit te vallen. SSD's kunnen maximaal maar een aantal writes aan. Gezien je beide SSD's exact evenveel writes geeft in exact dezelfde tijd, is de kans aanzienlijk dat ze bijna tegelijkertijd defect raken.

Ik begrijp niet helemaal dat je zegt dat LVM en back-ups niet de dataprotectie bieden die RAID 1 biedt, want back-ups (het liefst geografisch gescheiden) zijn altijd heel veel veiliger dan een RAID 1. Stel je systeem wordt gehacked en de hacker verwijdert data, dan wordt dat direct op beide schijven verwijderd. Zelfde verhaal voor bijvoorbeeld filesystemproblemen. Het filesystem is dan op beide SSD's niet meer goed.

Enige grote voordeel van RAID 1 is dat als 1 van de 2 disks defect raakt, je gewoon verder kunt draaien zonder downtime.

[gerwim]

Cybje schreef op zaterdag 13 oktober 2012 @ 15:47:
Ik begrijp niet helemaal dat je zegt dat LVM en back-ups niet de dataprotectie bieden die RAID 1 biedt, want back-ups (het liefst geografisch gescheiden) zijn altijd heel veel veiliger dan een RAID 1. Stel je systeem wordt gehacked en de hacker verwijdert data, dan wordt dat direct op beide schijven verwijderd. Zelfde verhaal voor bijvoorbeeld filesystemproblemen. Het filesystem is dan op beide SSD's niet meer goed.

Klopt, dat heb ik ook. Echter is het probleem dat wanneer één SSD uitvalt, je gelijk echt data **kwijt** bent, er zit namelijk tijd tussen het maken van de backup (als je bijvoorbeeld 2x per dag een backup maakt, ben je maximaal 12 uur aan data kwijt), bij RAID heb je dat niet (natuurlijk zou je dan één van de 2 SSD's moeten vervangen zodat ze niet op het zelfde moment de geest geven).

Verder heb ik naar de 710 gekeken maar vanwege de prijs is deze niet relevant.

[Cybje]

gerwim schreef op zaterdag 13 oktober 2012 @ 15:52:
[...]


Klopt, dat heb ik ook. Echter is het probleem dat wanneer één SSD uitvalt, je gelijk echt data **kwijt** bent, er zit namelijk tijd tussen het maken van de backup (als je bijvoorbeeld 2x per dag een backup maakt, ben je maximaal 12 uur aan data kwijt), bij RAID heb je dat niet (natuurlijk zou je dan één van de 2 SSD's moeten vervangen zodat ze niet op het zelfde moment de geest geven).

Verder heb ik naar de 710 gekeken maar vanwege de prijs is deze niet relevant.

Met een beetje pech, zeker als je veel writes doet, gaan ze binnen enkele minuten van elkaar defect. SSD's hebben dat wat sterker dan HDD's. Je bent altijd een bepaalde hoeveelheid tijd kwijt om je RAID array te rebuilden.

Je zou natuurlijk wel een 3e SSD kunnen pakken en dan soms wisselen tussen de 2e en 3e SSD. Dus bijv. eens per week de 3e SSD toevoegen aan de array, rebuild doen naar de 3e en daarna de 2e loskoppelen als de rebuild klaar is. En een week later datzelfde doen, maar dan omgekeerd. Kan dan op een relatief rustig moment, zodat je geen last hebt van de verminderde I/O capaciteit tijdens de rebuild.

[Verwijderd]

Met een beetje pech, zeker als je veel writes doet, gaan ze binnen enkele minuten van elkaar defect.

Over 7 tot 80 jaar jaar ja, afhankelijk van je gebruik. Verder kun je de write endurance gewoon bijhouden met SMART. Dus je weet gewoon dat over x aantal jaar in het huidige tempo je SSDs zullen falen. Vrijwel niemand heeft hier mee te maken en aangezien het vrij exact voorspelbaar is kun je ruim van te voren nieuwe SSDs kopen om dit nooit een probleem te laten worden.

Write endurance is niet het probleem van SSDs; datacorruptie en beschadiging van de FTL, dát is het probleem van alle SSDs. Er is maar één consumenten SSD die hiervoor een bescherming heeft, en dat is de Intel 320.

[gerwim]

Cybje schreef op zaterdag 13 oktober 2012 @ 15:58:
[...]
Je zou natuurlijk wel een 3e SSD kunnen pakken en dan soms wisselen tussen de 2e en 3e SSD. Dus bijv. eens per week de 3e SSD toevoegen aan de array, rebuild doen naar de 3e en daarna de 2e loskoppelen als de rebuild klaar is. En een week later datzelfde doen, maar dan omgekeerd. Kan dan op een relatief rustig moment, zodat je geen last hebt van de verminderde I/O capaciteit tijdens de rebuild.

Ik heb op WebHostingTalk gelezen wat betreft SSD's in servers en dat velen Samsung 830's gebruiken en dat die **sneller** zijn als 320's.

Ik zou persoonlijk, in tegenstelling tot wat jij zegt wat betreft elke keer verwisselen mijn half jaar oude 830 kunnen gebruiken en die in RAID zetten. Die zal dan natuurlijk eerder stuk gaan, en zou ik nog genoeg tijd moeten hebben om deze over te zetten en de array te rebuilden.

[Malantur]

Cybje schreef op zaterdag 13 oktober 2012 @ 15:58:
[...]

Met een beetje pech, zeker als je veel writes doet, gaan ze binnen enkele minuten van elkaar defect. SSD's hebben dat wat sterker dan HDD's. Je bent altijd een bepaalde hoeveelheid tijd kwijt om je RAID array te rebuilden.

Je zou natuurlijk wel een 3e SSD kunnen pakken en dan soms wisselen tussen de 2e en 3e SSD. Dus bijv. eens per week de 3e SSD toevoegen aan de array, rebuild doen naar de 3e en daarna de 2e loskoppelen als de rebuild klaar is. En een week later datzelfde doen, maar dan omgekeerd. Kan dan op een relatief rustig moment, zodat je geen last hebt van de verminderde I/O capaciteit tijdens de rebuild.

Kan wel, maar dat is veel werk en bovendien heb je dan 3 ssd's nodig.
Aan 3x 1 euro per GB kom je al bijna aan dezelfde kostprijs als een 710 reeks ssd.

Stel dat je 2 keer een 320 300GB koopt voor in RAID1 te zetten. Omdat TRIM ontbreekt, moet je onderpatitioneren richting 200 a 250GB. 2 schijven van 300GB uit de 320 serie van Intel kosten samen 800 euro.
Voor 730 euro heb je daarintegen 200GB uit de Intel 710 serie. Goedkoper, enterprise grade en geen gedoe met raid of trim.

Zoals CiPHER eerder al zei: liever een enkele 320 serie dan een RAID1 van 520 series.
Ik voeg daaraan toe: liever een enkele 710 dan een RAID1 van 320 series.

[Cybje]

Verwijderd schreef op zaterdag 13 oktober 2012 @ 16:29:
[...]

Over 7 tot 80 jaar jaar ja, afhankelijk van je gebruik. Verder kun je de write endurance gewoon bijhouden met SMART. Dus je weet gewoon dat over x aantal jaar in het huidige tempo je SSDs zullen falen. Vrijwel niemand heeft hier mee te maken en aangezien het vrij exact voorspelbaar is kun je ruim van te voren nieuwe SSDs kopen om dit nooit een probleem te laten worden.

Write endurance is niet het probleem van SSDs; datacorruptie en beschadiging van de FTL, dát is het probleem van alle SSDs. Er is maar één consumenten SSD die hiervoor een bescherming heeft, en dat is de Intel 320.

Misschien dat ik op een iets ander niveau zit te denken dan. Ik heb heb praktijkervaring met toepassingen die op zich op een SSD zijn te draaien, maar dan redden ze het echt maar enkele maanden. Dan heb ik het over bijvoorbeeld zware databaseservers met veel writes. Ik vind niet dat je dan kunt zeggen dat vrijwel niemand daarmee te maken heeft. Het zijn serieuze overwegingen die je meeneemt bij het aanschaffen van een storage oplossing.

Als je 10 jaar met een SSD kunt doen is de kans overigens ook minimaal dat ze in een RAID 1 in hetzelfde uur gaan uitvallen. Maar als het een kwestie van weken tot hooguit een paar maanden is, wordt die kans wel al veel groter.

[Verwijderd]

Cybje schreef op zaterdag 13 oktober 2012 @ 16:36:
[...]

Misschien dat ik op een iets ander niveau zit te denken dan. Ik heb heb praktijkervaring met toepassingen die op zich op een SSD zijn te draaien, maar dan redden ze het echt maar enkele maanden. Dan heb ik het over bijvoorbeeld zware databaseservers met veel writes. Ik vind niet dat je dan kunt zeggen dat vrijwel niemand daarmee te maken heeft. Het zijn serieuze overwegingen die je meeneemt bij het aanschaffen van een storage oplossing.

Nu ben ik wel heel erg geïntertesseerd in het aantal queries en writes, en de gebruikte hardware.
Ik hoop dat het dan geen consumenten-SSD's zijn?

Het gaat waarschijnlijk om tamelijk zieke specificaties?

[Cybje]

Verwijderd schreef op zaterdag 13 oktober 2012 @ 16:48:
[...]

Nu ben ik wel heel erg geïntertesseerd in het aantal queries en writes, en de gebruikte hardware.
Ik hoop dat het dan geen consumenten-SSD's zijn?

Het gaat waarschijnlijk om tamelijk zieke specificaties?

Ik zou dan echt even een specifieke case moeten opzoeken en ben nu niet aan het werk

Maar even een voorbeeldje van hoe hard het kan gaan: volgens de specificaties van een Intel 710 100 GB SSD (http://download.intel.com...Product_Specification.pdf) kun je, als je 4 KB blocks schrijft en 20% over-provisioning aanhoudt, maximaal 900 TB wegschrijven. Dit lijkt in eerste instantie redelijk veel, maar als je constant 29,9 MB/s wegschrijft, is je SSD dan na een jaar al defect. En dat is in het meest optimale geval.

Het gaat overigens meestal wel om consumenten SSD's (o.a. Samsung 830). Is prijstechnisch vaak wat interessanter en je kunt redundantie op andere niveaus inbouwen. Bijvoorbeeld door servers in N+1 opstelling te zetten, zodat er een complete server mag uitvallen. Dat is dan ook direct een oplossing voor uitval van andere onderdelen dan de SSD.