Advies gezocht voor grote SSD RAID workstation storage

[Anoniem: 257201]

Hallo,

Voor een video workstation ben ik op zoek naar een snelle storage oplossing. Tot nu toe heb ik altijd HDD RAIDs gebruikt in combinatie met Areca RAID kaarten. Ik ben nu op zoek naar iets met een hogere leessnelheid vooral. 4k dpx frames hebben al snel een datarate van 1200 MB/s of meer. Dus ik denk aan een streefsnelheid van 2GB/s sequentieel lezen.

Een Samsung 951 pro haalt dat bijna, maar is maximaal 512GB groot wat niet heel riant is. 8 TB of meer zou fijn zijn.

Zodoende kijk ik naar de optie om bijvoorbeeld een Areca 1883i kaart te koppelen met bijvoorbeeld 5x Samsung EVO 850. In RAID 5.

Ik kan echter heel erg weinig informatie vinden over vergelijkbare oplossingen, behalve zeer gedateerde artikelen waarbij de levensduur van SSD's een grote rol speelt.

Zijn er mensen met ervaring met dit soort systemen?

[jacovn]

Linus tech tips heeft een 20 TB ssd server gebouwd.

https://linustechtips.com...gston-kc310-business-ssd/

Die doen daar ook video mee, wellicht leuk om te lezen

Helaas is de machine ook hard down gegaan:
https://linustechtips.com...ery-vlog/#comment-6907891


Wellicht ook goed om het concept te snappen. Hij gebruikt(e) 3x raid-5 striped, dus raid-50.
1 controller hardware issue en alles down.

Als,je het met een 3e generatie file systeem oplost heb je zelfde issue met software raid natuurlijk.

[ Voor 51% gewijzigd door jacovn op 02-03-2016 07:50 ]

[Anoniem: 257201]

Auw - die crash had ik nog niet gezien. Ja hoewel ik de behoefte aan snelheid begrijp - is het stripen van 3x RAID 5 iets te avontuurlijk naar mijn zin. Ik hoef ook geen 4 editors tegelijk te bedienen, dus zou het houden op 1 RAID controller met SSD's eraan. Eerst een stuk of 5 om te beginnen, maar wellicht opschalen naar 8 of 12.

Dank voor je bericht in ieder geval.

[MAX3400]

Anoniem: 257201 schreef op dinsdag 01 maart 2016 @ 15:57:

Ik kan echter heel erg weinig informatie vinden over vergelijkbare oplossingen, behalve zeer gedateerde artikelen waarbij de levensduur van SSD's een grote rol speelt.

http://www.thessdreview.com/raid-enterprise/raid-testing/ ? Geen idee wat jij gedateerd vindt maar iets zegt me meer dat je weinig/geen zaken hebt gevonden/vermeld in je startpost die relevant waren/zijn? Verder mis ik ook enige vermelding van budget; je kan 2GB/s natuurlijk zo gek maken als je wil door bijvoorbeeld je workstation te voorzien van 40Gbit SFP met een bijbehorend DAS/SAN erachter.

Er zijn meerdere RAID-kaarten te vinden die "gewoon" op 6Gbps SAS-poortjes SATA-SSD's kunnen aansluiten en meer dan 2GB/s sequential kunnen halen in RAID0 en RAID5. Ik begrijp niet precies waarom je RAID5 zou willen hebben; ik mag toch aannemen dat je na het bewerken van files, het resultaat direct exporteert/archiveert naar andere media dan je SSD-setup? Je haalt met RAID0 hogere doorvoer en als het dan een keer crasht: pech, nieuwe SSD kopen en opnieuw initialiseren.

[Q]

Tja wat RAID5 betreft: wat kost 1 SSD vs wat het je kost als je een keer een dag work-in-progress kwijt raakt.

[Anoniem: 257201]

OK: ik begrijp inderdaad ook dat ik met een fibrechannel SAN met 16 disks ook de beoogde snelheden kan halen - maar aangezien ik deze snelheid maar op 1 machine nodig heb is het meer dan een beetje overkill.

Kwa budget denk ik in eerste instantie aan ca. 3000 euro.

Hoewel ik natuurlijk regelmatig backups draai naar de NAS, vind ik RAID0 (mag eigenlijk de naam 'redundant' niet dragen) te avontuurlijk. Ik lever graag wat performance in voor extra veiligheid.

[MAX3400]

Ik denk dat ik me net iets bedenk waardoor SSD's niet geschikt zijn voor jouw gedachte tenzij er relatief vaak meer geld bij moet.

Stel, want ik ken jouw dagelijkse werkzaamheden niet: een Intel 750 heeft een endurance van grofweg 127TBW; een Samsung 950 van ongeveer 400TBW. Je krijgt elke dag 4TB aan data aangeleverd en die moet je naar je SSD kopieren. Of, je krijgt elke dag 1TB aan nieuwe data, kopieert die naar SSD, bewerkt de stream 1 keer, schrijft weg naar SSD (dus totaal 2TB aan schrijfakties).

Dan kom je aan de volgende waarden:
Intel: 127TBW / 4TB = 32W OF 127TBW / 2TB = 64W
Samsung: 400TBW / 4TB = 100W OF 400TBW / 2TB = 128W

In de kort mogelijke observatie: je kan 32 dagen produktie draaien en maximaal 128 dagen produktie draaien voordat een SSD op sterven ligt. Tenminste, totdat je de grenzen van de fabrieks-specificaties overschrijdt. Ik persoonlijk kom op grofweg 260 dagen werken per jaar (inclusief vakanties, weekends etc). Dat zou betekenen dat ik dus elk half jaar (260 / 128) de kans loop dat er 1 SSD defect raakt & vervangen moet worden (waarschijnlijk buiten garantie want fabrieks-specs overschreden).

Tenzij ik hier helemaal verkeerd denk, en laat me dat dan weten: basale SSD's lijken me dus niet geschikt voor jouw wensen.

Ga je een stap verder, zoals de Intel DC P3608, dan krijg je Up to 3 DWPD (Drive Writes Per Day) over 5 years oftewel 5TB/dag schrijf-akties binnen fabrieks-specificaties. Dit is dan wel/maar een 1.6TB drive die in NL al bijna 4K kost: pricewatch: Intel SSD DC P3608 1,6TB

[Q]

Als er een RAID 5 wordt gemaakt van zeg 8 disks van 1 TB per stuk dan kom je op groweg 4 TB per werkdag = 4 / 8 = 500 GB per dag per ssd. Vanwege RAID komt daar dan nog misschien 60 GB bij.

Als je echt zoveel zorgen hebt over slijtage, dan kom je met 8 disks 1 TB wd velociraptopr @ 200 MB /s op 1600 MB/s read speed die wel afneemt naarmate de schijfjes voller raken.

http://images.anandtech.c...ociRaptor1TB/hdtachsm.jpg

[ Voor 41% gewijzigd door Q op 02-03-2016 13:36 ]

[MAX3400]

Q schreef op woensdag 02 maart 2016 @ 13:32:
Als er een RAID 5 wordt gemaakt van zeg 8 disks van 1 TB per stuk dan kom je op groweg 4 TB per werkdag = 4 / 8 = 500 GB per dag per ssd. Vanwege RAID komt daar dan nog misschien 60 GB bij.

Je hebt gelijk dat hoe meer je spreid, hoe langer je disks mee "zouden" kunnen gaan. Het lastige is dat we niet goed inzichtelijk hebben of/hoe de files van topicstarter gerangschikt zijn of hoe groot ze zijn.

Een enkele file van 3TB krijgt dus een allocatie over 4 disks (na aftrek van filesystem overhead etc). Wijzig je daar maar 1 pixel in over de gehele looptijd van de file en schrijf je die direct weer weg, schrijf je dus 3x 1TB over 4 disks verspreid.

Ja, wat zitten met x disks en y write-actions; maar wat ik probeer te duiden is dat pro-sumer SSD's waarschijnlijk eerder het leven laten dan dat de economische levensduur (voor MKB tegenwoordig 5 jaar fiscaal gezien) hebben bereikt.

Q schreef op woensdag 02 maart 2016 @ 13:32:
Als je echt zoveel zorgen hebt over slijtage, dan kom je met 8 disks 1 TB wd velociraptopr @ 200 MB /s op 1600 MB/s read speed die wel afneemt naarmate de schijfjes voller raken.

http://images.anandtech.c...ociRaptor1TB/hdtachsm.jpg

En wat ouder artikel wat ik vond, volgens mij ook bij Anandtech, hadden ze een 24 disk Crucial C300S opstelling op een LSI Megaraid; ook die kwam "net aan" aan de 2.2GB/s lezen sequentieel in RAID5.

[ Voor 22% gewijzigd door MAX3400 op 02-03-2016 13:40 ]

[Anoniem: 257201]

Hallo,

Ter toelichting: de hoeveelheid data die hier in en uit gaat valt op zich mee. Het kan soms zijn dat ik data een jaar lang bij de hand heb. Sommige projecten lopen korter, maar daar is ook meestal minder data mee gemoeid. Daarbij werken we meestal met files per frame, die per stuk tussen de 10 en 60 MB lopen. Soms zijn het clips van enkele Gigabytes. Het is dus niet dat ik 24/7 databases aan het herschrijven ben. Zodoende maak ik me niet enorm druk over de levensduur van de SSD's.

Een Intel 750 blijkt overigens niet in staat om 4k (resolutie, niet filesize) frames consequent af te spelen.
http://www.mediaworkstati...s-sandisk-iomemory-sx350/

Dus afgezien van het feit dat ik eigenlijk iets meer opslagruimte zoek is de Intel 750 in realistische toepassing ook niet snel genoeg.

En als ik inderdaad meer dan 20 SSD's nodig zou hebben om aan 2GB/s te komen dan wordt een 40Gbit SAN oplossing ineens wel weer een stuk interessanter.

[MAX3400]

Het ging mij niet om het merk/type wat je wel/niet moet kopen maar de voorbeelden Intel en Samsung had ik even gepakt omdat dat een beetje de koplopers zijn, wat mij betreft, qua snelheden. Op basis hiervan kwamen de TBW-waarden naar boven en vandaar mijn rekensom.

Misschien is het dus raadzaam om eens in de gaten te houden (meter = weten) hoeveel data je op een gemiddelde dag schrijft en dit om te rekenen naar 3 jaar of 5 jaar en op basis hiervan eens wat spec-sheets te downloaden en lezen om een betere keuze te maken. Mogelijk dat je dan wel met veeeel goedkopere Crucials of Kingstons uit de voeten kan waardoor het nut/investering in een hele snelle RAID-kaart duidelijker wordt.

Zat voor de zekerheid nog even te snuffelen naar NAS-oplossingen maar dan kom je al snel in relatief dure oplossingen van Synology zoals een RC18015xs+ maar die wordt geleverd zonder disks, zonder SFP-connectors in jouw PC etc. Desondanks kan het gebakkie wel 2300MB/s lezen of 1600MB/s schrijven sequentieel. Ook kan je kijken naar bijvoorbeeld Dell MD1400 Superior maar in denk dat je in beide (wederom) voorbeelden, rustig op 10K moet rekenen voordat alles zoemend & werkend op je bureau staat.

Lastig vraagstuk zet je neer maar wel heel interessant! Als je doorvoer inderdaad rond de 2GB/s moet gaan liggen, zeker als voorbereiding op de toekomst, dan blijf ik zeker het topic volgen en wat posten (waar nodig) maar een oplossing binnen budget zie ik even niet gebeuren.

Heb je al eens gekeken/getest naar Windows Server 2016 en Storage Pools? Geen idee of je nog wat losse disks hebt liggen maar in het kort: je kan een JBOD storage optuigen en de mogelijke/eventuele redundancy door het OS laten regelen. Met voldoende interfaces/disks, zou je zelfs kunnen bedenken dat je met zuinige goedkoper 2.5" SSHD-drives ook een monsterlijke doorvoer kan halen. Of de disks daarvoor geschikt zijn, dat kan ik 1-2-3 niet vertellen.

Is het eventueel ook een idee om eens te kijken naar iets als FreeNAS of iets dergelijks? Kan je in principe met lage(re) investeringen zelf een servertje bouwen, een relatief snel & geoptimaliseerd OS optuigen en daar met ZFS of iets als brtfs ook weer je redundancy / expansion proberen te regelen.

[ Voor 3% gewijzigd door MAX3400 op 02-03-2016 20:51 ]

[Anoniem: 257201]

Ja mijn reactie over de Intel 750 was meer ter illustratie dat zelfs als iets op papier best wel zou moeten werken, in de praktijk dat ding uitstekend overweg kan met kleine bestandjes random read, maar niet met sequentiele hoge datarates. Voor veel toepassingen kom je met een snelle cache ook een eind, maar als je een paar honderd GB aan een stuk wilt lezen is er echt sustained throughput nodig.

Ik heb momenteel als eerstelijns backup een QNAP 859 NAS staan met 8 disks. Dat is tot nu toe heel betrouwbaar (maar traag). Mijn idee was dus om een aantal TB aan zeer snelle locale storage te creeeren, en dan vervolgens een snelle 16-bay NAS op 10G ethernet. Dan reken ik ook op 6000 euro of zo.

FreeNAS heb ik naar gekeken: http://louwrentius.com/74...ased-on-zfs-on-linux.html

Door jouw reactie denk ik wel weer aan de optie om het budget te concentreren op een snelle NAS, en dan met 40G ethernet aan te sluiten op het workstation. QNAP 1680 met 16 disks komt rond de 6500 euro. Met een DIY FreeNAS oplossing kan daar nog wat van af, maar dat is meer iets voor de DIY NAS thread. Het voorbeeld uit de bovenstaande link trekt wel 200W idle, dus dat is wel een 'dingetje'.


Ik heb nu even een SM951 SSD van 512GB besteld als tijdelijke tussenoplossing. Daar kan ik op korte termijn mee uit te voeten terwijl ik mij nog wat verder orienteer.

[FreakNL]

Is SAS hier niet meer geschikt voor?

[johnkeates]

Je hebt eigenlijk een beperkte set opties als je niet een nier op de zwarte markt wil verkopen om het te bekostigen:

- Gebruik interne storage met risico op falen door brakke controller
- Gebruik externe storage

Bij externe storage:

- Of je zal SAN-based werken
- Of je zal direct-attached werken

In beide gevallen zal je een verbinding nodig hebben die sneller is dan een standaard netwerk verbinding. Bijvoorbeeld 10Gb/s ethernet of Infiniband. Externe SAS bestaat ook, en is in dit geval ook geen slechte oplossing. Als je Thunderbolt hebt of kan regelen is dat ook een optie, daar haal je ook met gemak 10Gbit/s mee (en meer als je TB2 hebt).

Als je snelle en betrouwbare storage wil hebben kan je eigenlijk niet zomaar met een hardware controller werken, maar ook niet met Windows-opties voor storage. Het is allemaal leuk bedoeld wat er in zit, maar eigenlijk is er geen enkele echt goede storage oplossing zoals ZFS in Windows mogelijk. Je komt dan eerder uit op een storage doos die ZFS doet en een ZVOL als iSCSI target exporteert of als block device via Infiniband, Fiberchannel of SAS beschikbaar maakt voor Windows.

Er zijn diverse voor- en nadelen aan externe storage, maar een voordeel heb je wat je intern niet kan halen: toekomstbestendigheid. Je zal altijd snellere interfaces, controllers, cache en backup opties toe kunnen voegen en het bij een nieuw systeem zo 1-op-1 kunnen overzetten.

[maratropa]

Anoniem: 257201 schreef op donderdag 03 maart 2016 @ 00:12:
Ja mijn reactie over de Intel 750 was meer ter illustratie dat zelfs als iets op papier best wel zou moeten werken, in de praktijk dat ding uitstekend overweg kan met kleine bestandjes random read, maar niet met sequentiele hoge datarates. Voor veel toepassingen kom je met een snelle cache ook een eind, maar als je een paar honderd GB aan een stuk wilt lezen is er echt sustained throughput nodig.

Het punt met DPX is ook dat het niet alleen om pure sequentieele doorvoer gaat omdat het een image sequence is. Je ziet in die link van die PP CC 2015 test met de 750 dat deze op 100% zit met maar 500+ aan doorvoer. Image sequences zijn best wel killing om mee te werken. Ik (3D) render wel eens naar losse frames, veel kleiner dan dpx, en dan zie je dat als je direct met die frames in PP werkt dat het makkelijk 1 SSD op 100% krijgt. DPX zijn op 4K gigantische frames.

Wat als je het nou heel simpel doet, gewoon een dot sata SSD's in software raid 0, en dan zorgen dat je dat volume, zei het met wat vertraging, mirrored op een grote sata schijf?

Ik heb hier een avago (lsi) sas 12G controller in IT mode met 7 samsung 840 pro ssd's die in windows 8.1 software raid 0 draaien. sequentieel is dat ongeveer 3GB per sec max. AS SSD score.

Ik werk nooit met DPX (holy sh*t wat veel data) maar ik heb even wat 4K en 6K R3D clips in 50GB aan DPX omgezet en af laten spelen op dit raid 0 volume. Dat lijkt redelijk prima te gaan, wel wat kleine hapertjes soms maar misschien is dat vooral door het 6k materiaal.

Hou er ook rekening mee dat mijn setup niet ideaal is. LSi en samsung hadden ruzie over ssd's, sata is een tunnel door sas en dus wat overhead, en het zijn realtief kleine ssd's dus wat trager. Toch is het een heel fijn volume voor werken met veel data, en werken met losse frames.

Ik weet niet wat voor mobo je hebt maar als je genoeg sata 600 poorten hebt dan zou je zo iets ook direct op de intel controller kunnen proberen...

Is met DPX werken een must trouwens? Render je uit een andere app naar DPX en zit je daar aan vast? Of converteer je andere video naar DPX om uncompressed te kunnen werken?

Je hebt nu ook o.a. native GoPro Cineform in PP CC wat ook een leuk uncompressed werkformaat is, 10 bits enzo. En dan zit je niet met losse frames.. Maar jouw workflow is niet mijn zaak natuurlijk

[Anoniem: 257201]

Ik kom net dit tegen:
http://www.tomsitpro.com/...sd-nvme-liqid,1-3098.html

4 M.2 SSD's op een PCI-e kaart. Tweede helft van het jaar. Dat ziet er wel interessant uit.

[ Voor 9% gewijzigd door Anoniem: 257201 op 03-03-2016 23:41 ]

[MAX3400]

Anoniem: 257201 schreef op donderdag 03 maart 2016 @ 23:38:
Ik kom net dit tegen:
http://www.tomsitpro.com/...sd-nvme-liqid,1-3098.html

4 M.2 SSD's op een PCI-e kaart. Tweede helft van het jaar. Dat ziet er wel interessant uit.

Vergeet even niet dat je 8TB wil hebben. Dat betekent dat er dus per Kingston-addin 4x 2TB SSD moet worden geplaatst. Geen idee wat Kingston denkt te hebben gemeten (op basis van het artikel) maar dat spul bestaat nog helemaal niet. Vergeet even niet dat deze Kingston moet concurreren met onder andere pricewatch: Intel DC P3700 PCI Express 2TB welke omgerekend op 13K komt voor in totaal 8TB. Het kan zijn dat ik niet op de hoogte ben van actuele M2-SSD die 2TB/stuk zijn en dus met zijn vieren in de Kingston passen maar please enlighten me.

Het lijkt er voorlopig op, gezien de constateringen in het topic, dat een goede RAID-controller en relatief goedkope SSD's een oplossing kunnen bieden voor de huidige vraagstelling. De vraag is meer wat het nu kost en in hoeverre er toekomst in zit (bandbreedte alsmede volume-expansie).

[maratropa]

Misschien is 8TB geen harde eis? In 3k euro passen wel wat 950 pro's. Met 2 stuks 512GB haal je al ongeveer het niveau van mijn 7 sata ssd's. Als je veel pci sloten hebt zou je er nu ook al een paar dmv add in kaartjes kunn raid-en. Al blijft het wat duur per mb, als je voor sata gaat dan kun je in die 3k vast nog wat meer mb's persen, 4TB+ moet dan ook wel mogelijk zijn. Of met 8x een sandisk 960gb ssd kom je in de buurt, en dan heb je nog geld over voor een controller en backup hd. Alleen heb ik weinig beeld bij de performance van die sandisks, ik zou zelf naar een ander merk neigen.

[ Voor 13% gewijzigd door maratropa op 05-03-2016 00:14 ]

[maratropa]

Anoniem: 257201 schreef op donderdag 03 maart 2016 @ 23:38:
Ik kom net dit tegen:
http://www.tomsitpro.com/...sd-nvme-liqid,1-3098.html

4 M.2 SSD's op een PCI-e kaart. Tweede helft van het jaar. Dat ziet er wel interessant uit.

Dit topic is ook relevant voor je

PCIe 16x M2 SSD adapter?

[Anoniem: 257201]

Dat is ook interessant. Zodra er 1 TB M.2 SSD's zijn met dezelfde snelheid als de 951 - begint het erop te lijken.

En dan kom ik dit tegen:
http://barefeats.com/hard210.html

Hardware RAID lukt natuurlijk niet op deze manier - dus dan moet je software RAID doen. Of gewoon JBOD wat voor de meeste toepassingen snel genoeg is. Met SM951 SSD's.

[ Voor 50% gewijzigd door Anoniem: 257201 op 07-03-2016 16:25 ]

[superduper]

Wij hebben recentelijk een aantal servers uitgerust met 16 x Samsung 960GB SM853T SSDs aan 2 LSI 9271-8i raid controllers en dat bevalt uitstekend. Is nu een maand of 8 geleden en was toen de beste bang-for-buck. We hebben zowel RAID60 als 5 gedraaid en terwijl de raid60 echt supersnel was, bleek toch ook raid5 ruim voldoende snel, met dan nog de extra beschikbare ruimte.

De echte enterprise intel SSDs waren/zijn onbetaalbare in deze hoeveelheid en daarom waren de samsungs een goede tussenoplossing. Eventuele slijtage is ons met 48 stuks nog niet opgevallen, terwijl ze nagenoeg 24/7 intensief staan te lezen/schrijven.

Ik heb helaas geen concrete getallen voor je in termen van snelheid, en hoeveelheid geschreven data oid.