SSD in Raid 5, ervaringen gevraagd

[tms5dmark2]

Ik heb een behoorlijk grote foto- en videocollectie en gebruik de Adobe suite om die te bewerken. Momenteel heb ik een aantal 4TB HDD schijven in mijn desktop systeem zitten waar de mediabestanden op staan. Laden van bestanden, door de collectie heen scrollen etc duurt te lang. Daarom wil ik mijn HDD's vervangen door SSD's.

Om dat op een economisch verantwoorde manier te doen, wil ik een RAID5 array van 5 X 2 TB SSD's maken zodat ik een fault tolerant opslag van 8 TB SSD heb.

Heeft iemand hier ervaring mee? Ik ben dus op zoek naar een RAID5 controller voor een (Windows) desktop die SSD-snelheden aan kan. Ook een DAS sta ik evt. voor open, mits dan snel genoeg te koppelen aan de desktop (waarmee USB en eSata volgens mij al meteen afvallen).

Alle ideeën zijn welkom!!

NB. ik heb een (RAID5) NAS. Maar ook daar zitten gewone HDD's in, en ik heb 1 GBIT/sec bekabeld dus meer dan 100MB/sec haal ik daar ook niet mee. Bovendien gebruik ik de NAS voor backup.

[Vorkie]

Maar voordat je RAID5 SSD"s erin propt, wat heb je voor een systeem?

[tms5dmark2]

Vorkie schreef op donderdag 22 oktober 2020 @ 15:21:
Maar voordat je RAID5 SSD"s erin propt, wat heb je voor een systeem?

goede vraag nieuwbouw iig. wordt een Ryzen 9, 32 GB, 2080 (ti) systeem.

[Vorkie]

tms5dmark2 schreef op donderdag 22 oktober 2020 @ 15:23:
[...]


goede vraag nieuwbouw iig. wordt een Ryzen 9, 32 GB, 2080 (ti) systeem.

Als je voor nieuwbouw gaat, kan je niet beter schifting maken tussen je bibliotheken?

Dan kan je bijvoorbeeld een NVME disk inzetten voor "hot" data, zeg 1 jaar? De overige plaats je dan op een NAS / tragere schijven.

Je zou ook een extra NAS kunnen kopen met 10G direct aan je PC (of via een 10G netwerk) met goeie WD red's? Of zelfs een all-flash als je local niet wilt draaien? 10G kan je op de wat luxere / duurdere Synology toevoegen met een extra kaart.

Dan zou je in theorie de 1100Mb/s moeten halen over die 10G. Dat moet wel genoeg zijn denk ik

Daarnaast kan je je back-ups dan syncen tussen de NASsen.

[Ebayzo]

Nu weet ik niet of het ook volledig slaat op SSD arrays maar RAID5 wordt al enige tijd afgeraden met grote disken.

The reason why RAID 5 might not be reliable for large disk sizes is that statistically, storage devices (even when they are working normally) are not immune to errors. This is what is termed UBE (sometimes URE), for Unrecoverable Bit Error rate, and it is quoted in full-sector errors per number of bytes read. For consumer rotational hard disk drives, this metric is normally specified at 10^-14, meaning that you will get one failed sector read per 10^14 bytes read. (Because of how exponents work, 10^-14 is the same thing as one per 10^14.)

10^14 bytes might sound like a big number, but it's really just a handful of full read passes over a modern large (say 4-6 TB) drive. With RAID 5, when one drive fails, there exists no redundancy whatsoever, which means that any error is non-correctable: any problem reading anything from any of the other drives, and the controller (whether hardware or software) won't know what to do. At that point, your array breaks down..

[5pë©ïàál_Tèkén]

Ha, ik heb een vergelijkbare situatie. De schijven waar het converteren plaats vindt, dat zijn twee NVME SSDs in RAID 0. Zodra het video bewerken klaar is, dan gaan de video's naar mijn NAS (die WD RED harde schijven bevat).
Ik weet niet hoe het netwerk bij TS wordt gebruikt, zelf kan ik me niet vinden in de 'eis' voor meer dan 100MB/sec. Wanneer ik iets bewerk laad ik ondertussen de volgende file zodat ik bezig kan blijven, de 100MB/sec limiet is voor mij nooit een bottleneck. De situatie kan bij TS anders zijn natuurlijk.

EDIT: RAID 5 met SSDs lijkt me niet handig. SSDs koop je voor lees/schrijfsnelheden, niet voor een goede ratio qua €€€/MBs. Schaf een aantal grote HDDs aan waar je je data in opslaat/mirrored.

[ Voor 16% gewijzigd door 5pë©ïàál_Tèkén op 22-10-2020 15:40 ]

[tms5dmark2]

Vorkie schreef op donderdag 22 oktober 2020 @ 15:28:
[...]

Als je voor nieuwbouw gaat, kan je niet beter schifting maken tussen je bibliotheken?

Dan kan je bijvoorbeeld een NVME disk inzetten voor "hot" data, zeg 1 jaar? De overige plaats je dan op een NAS / tragere schijven.

Je zou ook een extra NAS kunnen kopen met 10G direct aan je PC (of via een 10G netwerk) met goeie WD red's? Of zelfs een all-flash als je local niet wilt draaien? 10G kan je op de wat luxere / duurdere Synology toevoegen met een extra kaart.

Dan zou je in theorie de 1100Mb/s moeten halen over die 10G. Dat moet wel genoeg zijn denk ik

Daarnaast kan je je back-ups dan syncen tussen de NASsen.

ik snap de richting die je voorstelt waarvoor dank, maar voordat ik dit scenario overweeg zou ik toch eerst graag willen weten of iemand ervaring heeft met SSD's in een RAID5 config in een desktop bv met deze controller? https://www.newegg.com/gi...-2-card/p/N82E16815326004

[tms5dmark2]

5pë©ïàál_Tèkén' schreef op donderdag 22 oktober 2020 @ 15:36:
Ha, ik heb een vergelijkbare situatie. De schijven waar het converteren plaats vindt, dat zijn twee NVME SSDs in RAID 0. Zodra het video bewerken klaar is, dan gaan de video's naar mijn NAS (die WD RED harde schijven bevat).
Ik weet niet hoe het netwerk bij TS wordt gebruikt, zelf kan ik me niet vinden in de 'eis' voor meer dan 100MB/sec. Wanneer ik iets bewerk laad ik ondertussen de volgende file zodat ik bezig kan blijven, de 100MB/sec limiet is voor mij nooit een bottleneck. De situatie kan bij TS anders zijn natuurlijk.

Ja zo'n workflow zie ik ook voor me, maar dan vanaf RAID5 geconfigureerde SDD's (RAID0 vind ik risicovol)

[Vorkie]

tms5dmark2 schreef op donderdag 22 oktober 2020 @ 15:36:
[...]


ik snap de richting die je voorstelt waarvoor dank, maar voordat ik dit scenario overweeg zou ik toch eerst graag willen weten of iemand ervaring heeft met SSD's in een RAID5 config in een desktop bv met deze controller? https://www.newegg.com/gi...-2-card/p/N82E16815326004

Niet perse in RAID5, her-sync / in sync houden kost ook writes en ben dan eerder voorstander van RAID10.

Kost alleen meer data en als je RAID kaart op 1 of andere manier defect gaat gebeurt dat altijd op een moment wat je niet wilt

Is een opzet a la:

RAID 1: 2x2TB (2TB NVME)
RAID 10 : 4x8TB (16TB HDD)

Niet iets?
Dan kan je met:
pricewatch: Gigabyte Aorus X570 ELITE

Deze al een aardig end komen denk ik

[5pë©ïàál_Tèkén]

tms5dmark2 schreef op donderdag 22 oktober 2020 @ 15:39:
[...]

Ja zo'n workflow zie ik ook voor me, maar dan vanaf RAID5 geconfigureerde SDD's (RAID0 vind ik risicovol)

Back ups. Ik ken weinig verhalen over NVME M.2. failures (al ben ik daar niet actief naar op zoek). Stel er sterft er een, dan is het een kwestie van OS + programma's er opnieuw opzetten en klaar. Opslag vindt daar niet plaats waardoor er niets verloren gaat bij een crash. Het is een ongemak at worst. De RAID 0 performance boost is alleen te merken met video bewerking. Als je écht intensief bewerkt, dan moet je het aantal gelezen/geschreven GBs wel in de gaten gaan houden i.v.m. slijtage.

[Q]

Ebayzo schreef op donderdag 22 oktober 2020 @ 15:35:
Nu weet ik niet of het ook volledig slaat op SSD arrays maar RAID5 wordt al enige tijd afgeraden met grote disken.
[...]

Het gaat om context. Dit zijn SSDs die veel sneller zijn en dus sneller 'recoveren' zodat je minder lang niet-redundant bent.

RAID5 is in mijn ogen geen issue met SSDs.

Het is veel belangrijker dat je ook nog regelmatig een geautomatiseerde backup maakt van alle data op je RAID array.

Doe je dat niet, dan speel je met vuur, ongeacht wat voor RAID je gebruikt en of je SSDs of schijven gebruikt.

---

Aangenomen dat je op Windows zit zou ik zelf ook niet weten wat de beste oplossing is om RAID5 in je computer te stoppen. Window storage spaces is nog wel prima voor RAID1 of RAID10 maar RAID5, ik heb zo mijn twijfels.

Ik vraag me echter af hoe andere mensen die met video werken dit oplossen. Wat ik vaak zie is gewoon een scratch disk lokaal aan een computer, maar de library staat op een snelle NAS met veel schijven (RAID5/6). Je ziet nu ook dat 10Gbit prima te doen is.

Maar als je echt een harware RAID kaart wilt, dan zou ik gewoon een LSI MegaRAID kaartje kopen. Dat lijkt me goed spul, maar ik heb er geen ervaring mee.

[ Voor 32% gewijzigd door Q op 22-10-2020 17:27 ]

[tms5dmark2]

ok bedankt voor alle suggesties. ik ga er eens induiken ;-)

[rookie no. 1]

@Q
RAID5 is in mijn ogen geen issue met SSDs?

RAID5 heeft natuurlijk wel veel meer writes, dus het soort SSD maakt wel uit.

[Q]

rookie no. 1 schreef op donderdag 22 oktober 2020 @ 20:11:
@Q
RAID5 is in mijn ogen geen issue met SSDs?

RAID5 heeft natuurlijk wel veel meer writes, dus het soort SSD maakt wel uit.

Dat is waar, maar een beetje consumenten SSD kan makkelijk 40~ 50GB aan writes per dag aan dus ik denk dat dit geen issue is.

[Ben(V)]

Ik las in de openingspost iets over een raidcontroller.
Die zijn er duur en voegen voor een PC weinig toe.
Windows kan gewoon een Raid 5 voor je configureren.

Kijk bijvoorbeeld hier eens:
https://pureinfotech.com/setup-raid-5-windows-10/

En als je raid 5 voor de snelheid wilt hebben dan is elke NAS oplossing natuurlijk geen enkele optie, want dan wordt het netwerk de bottleneck en die snelheid kan zelfs elke harddisk bijhouden.

[ Voor 28% gewijzigd door Ben(V) op 23-10-2020 12:48 ]

[Tortelli]

Ben(V) schreef op vrijdag 23 oktober 2020 @ 12:46:
Ik las in de openingspost iets over een raidcontroller.
Die zijn er duur en voegen voor een PC weinig toe.
Windows kan gewoon een Raid 5 voor je configureren.

Kijk bijvoorbeeld hier eens:
https://pureinfotech.com/setup-raid-5-windows-10/

En als je raid 5 voor de snelheid wilt hebben dan is elke NAS oplossing natuurlijk geen enkele optie, want dan wordt het netwerk de bottleneck en die snelheid kan zelfs elke harddisk bijhouden.

Ik haal op een Synology DS1817+ zo'n 500MB/s read en 370MB/s writes op 10Gbit (direct verbonden tussen PC en NAS, heb nog geen 10G switch).

Ben eerlijk gezegd wel benieuwd welke snelheid je op een moderne pc zult halen met raid 5 en SATA SSD's. Dit zou nog wel eens tegen kunnen vallen door alle overhead etc.

Puur voor snelheid zou ik eerder voor een raid 10 gaan in dit geval. Je moet je ook afvragen hoeveel echt snelle data je op deze manier beschikbaar wilt hebben. Misschien is een raid 1 oplossing in combinatie met een (snelle) NAS op langere termijn wel een veel betere optie?

[ Voor 13% gewijzigd door Tortelli op 23-10-2020 13:26 ]

[Q]

Ben(V) schreef op vrijdag 23 oktober 2020 @ 12:46:
Ik las in de openingspost iets over een raidcontroller.
Die zijn er duur en voegen voor een PC weinig toe.
Windows kan gewoon een Raid 5 voor je configureren.

Kijk bijvoorbeeld hier eens:
https://pureinfotech.com/setup-raid-5-windows-10/

En als je raid 5 voor de snelheid wilt hebben dan is elke NAS oplossing natuurlijk geen enkele optie, want dan wordt het netwerk de bottleneck en die snelheid kan zelfs elke harddisk bijhouden.

Ik heb niet zoveel ervaring met software RAID5 onder windows, in het verleden was het vaak extreem langzaam. Ik zou het even goed testen.

RAID5 performance zal prima zijn, er is geen reden om niet dicht tegen de volle theoretische snelheid aan te komen. Writes kennen een 1:4 penalty, dus dat zou een kwart van de leesperformance moeten geven.

Nu weet ik niet of 5 schijven (oneven nummer) nog issues geeft. Maar dat zou theoretisch bij 500 MB/s voor lezen/schrijven op 2500MB/s lezen en 625 MB/s schrijven moeten komen. Maar ik denk dat het wel harder gaat.

[ Voor 10% gewijzigd door Q op 23-10-2020 13:39 ]

[Renault]

Ik zou gaan voor de hierboven voorgestelde 1 of 2 TB interne NVME (of desnoods SATA) SSD voor de actuele data. in combinatie met data-opslag van álle data op de NAS (8TB) op harddisks al dan niet met RAID5, én offline periodieke backups op externe harddisk(s) van al je data, op een ander adres bewaard.
Met behulp van Windows File History kan je héél gemakkelijk (alleen even aanzetten in Windows en de destination nar je NAS laten wijzen) dagelijkse incremental backups maken vanaf de interne SSD naar de NAS.

[Wim-Bart]

Wanneer het een R9 wordt, dan zal het moederbord wel over 6 SATA poorten beschikken. Gewoon je OS op een M2.NVME SSD zetten en je propt 3, 4,5 of 6 SSD's in je system op de SATA poorten. Daarna maak je Storage pool aan van de disks.

Rete snel, heb het al eens gedaan met 4 x SSD in een RAID-10 en in een RAID-5.

https://www.tenforums.com...ge-pool-windows-10-a.html

http://techgenix.com/wind...20single%20logical%20pool.

https://www.onmsft.com/ho...rage-spaces-in-windows-10

Het mooie van Storage Spaces met SSD is:
1. Trim
2. Bij kapotte hardware, is namelijk Controller en moederbord onafhankelijk.
3. Snel

[Madshark]

RAID5 op SSD's kan op zich prima. Echter, RAID5 werkt op parity berekeningen, dit heeft een behoorlijke impact op je IOPS. Juist dat laatste is eigenlijk hetgeen wat je wilt hebben met grote foto collecties laden en videobewerking.
Je bent eigenlijk dus beter af met een RAID0 of RAID10 als je online redundancy nodig hebt..
Dat kan met zowel 4 als met 6 SSD's.

[leonbong]

Koop eeen qnap Thunderbolt nas die kan je direct als das aansluiten maar ook per utp.
Nu zou ik persoonlijk een 10 gbit nas kopen.

Of een broadcom/lsi hardware raid controller dat is het makkelijkst in een Windows omgeving tov softwareraid.
Of adaptec is ook altijd goed, ik zou niet beginnen aan softwareraid bij Windows.

Zo’n lsi controller of adaptec een moderne daarvan zijn meestal pcie 3.0 8x en gemaakt voor berg SAS schijven die kunnen met gemak 4 SSD bijhouden.

[ Voor 87% gewijzigd door leonbong op 24-10-2020 13:38 ]