Krijg ik Raid 6 nog sneller op mijn Homeserver

[Emisary]

Ik zit met een probleem/vraag of ik de schrijfsnelheid van Raid 6 nog wat kan opschroeven.
Doel van mijn computer is een homeserver. Fileserver, Embyserver, en voor 1 a 2 Virtuele machines

Dit zijn de spullen die ik heb.
Asrock X470 Taichi ultimate
AMD 3700X
1* 16 GB memory
1 NVME opstart WD blue
5* 2.5" WD red 1 TB

Ik heb in eerste instantie een single parity via Storage spaces gemaakt en 3 disks.
Daarvan merkte ik dat de schrijfsnelheid ongeveer 20-25 MB lag.
Via Powershell heb ik een dual parity aangemaakt met 5 schijven en de schrijfsnelheid zit tussen de 25 en 35 MB.
Ik ben wat gaan zoeken, en las dat die snelheid normaal was tot zelfs wat hoger dan anderen.
Meeste zitten tussen de 15-25 MB.
De leessnelheid zat op 200MB.

Verder kwam ik tegen dat als het sneller kan als je een fatsoenlijke Raid card er bij neemt.
Daarop heb ik een tweedehands LSI9361-8 gekocht en daar diezelfde schijven aangehangen.
De leessnelheid zit nu tussen de 160 en 260 MB.
Maar de schrijfsnelheid blijft zo rond de 25 MB hangen.
Nu kan ik dat opkrikken door een cache module bij die LSI te hangen.
Broadcom heeft 2 smaken. CacheVault en de CacheCade.
Ik heb het idee bij de CacheVault, dat die cache snel vol is. Die heeft maar iets van 1 of 2 GB. En als je 300GB aan data naar de array copieert, dan is die bij wijze van spreken na 50 seconden al vol.
Ik weet niet of die cache gaat helpen.
De CacheCade kan gebruik maken van SSD.
Kan ik een SSD gebruiken die via het moederbord hangt? (via Sata)
Of een NVME die op het moederbord zit?
Of moet ik juist SSD's gebruiken die aan deze controller hangen?
En heeft dat zin?

Ik zit nog aan een andere optie te denken, om de media bestanden op SSD te zetten. Eventueel via Storage Space of deze LSI controller en de overige bestanden (word/excel bestanden etc) via die 2.5 disks af te handelen. Alhoewel ik mij dan afvraag of die LSI card nog zin heeft, en de SSD's niet via Storage spaces laat lopen.

Dank alvast voor het meedenken

[Q]

Krijg ik Raid 6 nog sneller op mijn Homeserver

Ik heb mijn twijfels, maar ik ben niet meer zo thuis in Windows, mogelijk kun je iets met write-back caching settings doen in Windows. Maar als je geeft om data integriteit is een UPS dan wel kritisch.

https://serverfault.com/q...lways-disabled-by-default

Misschien zijn er nog andere settings.

Een probleem is mogelijk dat je 2.5" drives gebruikt in 5400 RPM dus dat helpt ook niet met de performance.
RAID6 is super veilig maar geeft met schrijven een zware belasting van de schijven.

Ik weet niet of het aantal schijven hier (5) nog extra problemen geeft qua performance, test eens met 4 stuks. Ik zou ook eens testen met 4 schijven in RAID10 om te zien of je dan wel 100+ MB/s aan writes krijgt.

Ik had echter zelf wel verwacht dat je nog wel gigabit vol zou moeten kunnen trekken met schrijven. Dus misschien kan het harder maar 1 disk doet waarschijnlijk al minder dan 100 MB/s + dan nog eens RAID6 er overheen en dat wordt waarschijnlijk een drama.

[ Voor 4% gewijzigd door Q op 17-04-2020 14:14 ]

[SMSfreakie]

Geen idee wat de maximale write speed van zo`n diskje is.. enige wat ik vind in de red series en 2.5 inch is dat de maximale interne snelheid op de drive 144MB/sec is..

misschien dat de bloksize van je RAID array nog iets oplevert?

jaren geleden met raid 5 gespeeld icm 4x 250GB disk en 256MB cache.. daar maakte de bloksize ook wel wat uit.. ben toen eens begonnen bij de kleinste die de controller aankon en zo door tot de grootste.. en alles lopen benchen.. zowel met als zonder cache..

[Emisary]

@Q Dank voor je antwoord.
Ik kan wel al wat antwoorden geven.
Ik had met eerst met 4 en later met 5 disks geprobeerd.
4 - 5
Storage space 25/30 naar 25/35 MB
LSI 15/20 naar 20/25 MB Meer is sneller.

Ik heb 1 best wel oude disk er tussen zit, die ik in mijn Qnap getest had.
Allen zaten op 90-120 MB lees snelheid. En die oude had nog maar 75 MB. En die is zeker 6 jaar oud.
Ik vermoed dat als 1 van de 5 substantieel trager is, dat dan alles even traag is, of dat het middelt.

Raid 10 heb ik aan gedacht, maar niet gedaan ivm de prijs.
Ik heb ooit voor die 2.5" gekozen ivm het stroomverbruik. Dat scheelde toen toch wel 40 watt op 6 1TB disks.

[Getto]

Wat vind je ervan om de raid kaart weg te doen en naar storage spaces te kijken?
Dan kan je eventueel wat ssd's toevoegen en Windows bepaalt dan voor je welke data op de SSD's komt te staan.

[Emisary]

@SMSfreakie Volgens mij staat de blocksize standaard op 64. En die heb ik naar de laagste stand gezet.
Op 64 was de schrijfsnelheid 15MB. Dus dat maakte wel veel uit. Bijna het dubbele.

@ allen
Ik heb R10 overwogen. Maar omdat je dan maximaal 4 disks mag hebben op die LSI (meende dat gelezen te hebben) en in Storage Spaces niet eens mogelijk is, heb ik die test even uitgesteld.

Ik heb niet zo een hele grote media bak (heb niet zo veel media om van te rippen. Wel dat gene dat ik nodig heb), en verwacht ertussen de 4 en 8 TB aan Media data te hebben, uiteindelijk als alles gecopieerd is. Dus dat is nog iets dat ik op 4*4TB raid 6 10 kan zetten. Dus dat is nog net met de kosten van SSD te behappen. Dat zou nog in een 2 mirror sets gedaan kunnen worden.

Ik vroeg mij af wat ik nog aan speelruimte heb met die LSI. En of Caching daar bij echt gaat helpen.
Van de andere kant, die 2 streams die ik soms op de emby server heb lopen, kunnen best door de lezende schijven afgehandeld worden. En die 3 word documenten per dag maken is ook niet zo een issue. Dat kan ik wel wachten.

[Emisary]

@Getto
Jaha, dat was ik ook aan het overwegen. Kaart weg en storage spaces.
Zeker als ik meer dingen op SSD zou zetten dan heb ik volgens mij geen voordeel meer aan die LSI.
Werkt die met write=caching? Of als ik een pool heb met 2 hdd en 2 ssd, en dat Windows dan bepaalt waar wat op komt? (Ik heb het nergens vermeld, maar ik gebruik Windows 10 Pro.)
Raid 5 en 6 equivalent kreeg ik aan de praat, maar ik zie geen Raid 10 equivalent.
Of kan ik er 4 schijven in zetten, en laat die mirroren?

[Q]

Storage spaces kan gewoon RAID10 doen door de drives te selecteren en dan voor 'mirror' te kiezen.

Ik heb het zelf recent nog getest met 8 x 1TB 7200 RPM drives en dat trok met iSCSI gewoon gigabit 100% vol met schrijven.

Je hoeft geen RAID10 te gaan draaien, maar je kunt het even tijdelijk doen om te testen of je uberhaupt hogere performance kan halen.

Dit is echter mijn advies:

Een RAID6 van 5 x 1 TB drives is 'slechts' 3 TB aan bruikbare capaciteit. Blijkbaar is 3 TB voor jou genoeg.

Dan zou ik zelf adviseren om gewoon 2 x 4 TB in mirror te zetten, of misschien 2 x 6 TB als je voor de toekomst meer ruimte wil.

Dat gaat prima performen, geeft je voldoende bescherming en maakt een eind aan dit gedonder.

Het grote nadeel is dat dit je ergens tussen de 200-300 euro gaat kosten, zo niet meer. En misschien is een kleine 2-bay NAS oplossing wel het fijnste als je stroomverbruik belangrijk vind en je media wilt delen met een stand-alone media speler.

[ Voor 47% gewijzigd door Q op 17-04-2020 14:43 ]

[Getto]

@Emisary Bij Storage spaces moet je het idee van RAID even laten vallen. Wat je doet is dat je een pool maakt van schijven. Dit hoeven niet allemaal dezelfde schijven te zijn. Je mag mixen wat je wilt. (HDD + SSD en zelfs verschillende grotes)

Op het moment dat je een volume aan maakt krijg je de vraag hoe vaak de data weg geschreven moet worden.

Data die vaak wordt aangesproken wordt automatisch op snellere storage gezet.

[Q]

Getto schreef op vrijdag 17 april 2020 @ 14:38:
@Emisary Bij Storage spaces moet je het idee van RAID even laten vallen. Wat je doet is dat je een pool maakt van schijven. Dit hoeven niet allemaal dezelfde schijven te zijn. Je mag mixen wat je wilt. (HDD + SSD en zelfs verschillende grotes)

Op het moment dat je een volume aan maakt krijg je de vraag hoe vaak de data weg geschreven moet worden.

Data die vaak wordt aangesproken wordt automatisch op snellere storage gezet.

Het probleem is met name schrijf performance en dan heb je niets aan storage spaces tiering. Ik denk niet dat storage spaces met tiering een goede toepasing hier is, ik denk dat het in dit geval ook te complex wordt.

[Emisary]

Allen wederom voor het meedenken. Tof.

@Q Het idee dat Storage Spaces geen raid is wat lastig. Maar daarom schreef ik ook Equivalent.
Wat ik gezien heb is, toen ik getest heb met notebookschijfjes 320GB + 400GB + 500 GB + 620 GB (ik had parity gekozen) was dat niet alle schijven even vol waren nadat ik 0,5 - 1 TB TB als test data gemigreerd had. Ik had zelf verwacht toen ik de verschillende percentages zag, dat de 320 wel vol zou zijn. Dat was niet zo.
Ik weet de getallen niet meer uit mijn hoofd. Maar de 320 was voor 30% vol en de 620GB was voor 65% vol.
400 voor 50% en de 500 voor 45%. Lijkt meer op een JOBD, en dat windows bepaald op welke schijf het komende document gezet wordt. Lijkt wel wat op Unraid. En op een van de volgende staat dan de parity.

Wat 4 vier schijven in een mirror betrof, en dat is misschien wel mijn denkfout geweest, had ik gedacht, 1 schijf en 3 copiëen. Maar ik was aan het overwegen om dat eens te testen met die 4 notebook disks die ik nog in het systeem heb zitten.
Als ik het goed begrijp en stop er 4 disks in en zeg:"Mirror", dan maakt hij als het ware 2 gemirrorde setjes aan (heel basaal beschreven) en koppelt die dan zelf aan elkaar? En dan moet ik telkens in setjes van 2 uitbeiden denk ik dan.

[Emisary]

Q schreef op vrijdag 17 april 2020 @ 14:36:
Storage spaces kan gewoon RAID10 doen door de drives te selecteren en dan voor 'mirror' te kiezen.

Ik heb het zelf recent nog getest met 8 x 1TB 7200 RPM drives en dat trok met iSCSI gewoon gigabit 100% vol met schrijven.

Je hoeft geen RAID10 te gaan draaien, maar je kunt het even tijdelijk doen om te testen of je uberhaupt hogere performance kan halen.

Dit is echter mijn advies:

Een RAID6 van 5 x 1 TB drives is 'slechts' 3 TB aan bruikbare capaciteit. Blijkbaar is 3 TB voor jou genoeg.

Dan zou ik zelf adviseren om gewoon 2 x 4 TB in mirror te zetten, of misschien 2 x 6 TB als je voor de toekomst meer ruimte wil.

Dat gaat prima performen, geeft je voldoende bescherming en maakt een eind aan dit gedonder.

Het grote nadeel is dat dit je ergens tussen de 200-300 euro gaat kosten, zo niet meer. En misschien is een kleine 2-bay NAS oplossing wel het fijnste als je stroomverbruik belangrijk vind en je media wilt delen met een stand-alone media speler.

Ik was blijkbaar aan het reageren toen u nog zat te wijzigen. Gebeurt volgens mij iedereen wel.
Ja, ik heb nog een Qnap staan. TVS-673. Maar 1 stream van Plex trok toen gedurende langere tijd 90-100% CPU vandaar dat ik voor iets zwaarders had gekeken. En gezien de prijs van een x77 serie, besloten heb zelf maar wat te bouwen. Achteraf gezien, merk ik dat een goede pc, nog geen goede server is.
Echter verbruikt die 673 met 5* 2.5" en 1* 4TB purple 60-65 watt met eigenlijk niks doen (behalve de record functie), en dat deze Ryzen 65-70 watt opneemt van het stroomnet. Inclusief Blue Iris. Dat is bij mij zo ongeveer gelijk. Als ik maar onder 100 watt blijf.
Ik heb zitten te rekenen als een meikever, en kom er op dat 6* 2.5" hdd even veel op souperen aan stroom als 2x 3.5" hdd.
Dus ja, 2x WD red pro of de Seagate equivalent zou moeten kunnen.
Ik was zelf al aan het denken dat om langzaam op SSD over te stappen, wat die media betreft. En dat zou op 2 SSD's kunnen. Alleen valt de prijs nog niet mee.
Ik heb nog genoeg kleine disks, om mij daar mee te helpen, tot ik alles geripped heb, en zal de prijs ook wel wat lager zijn.

Overigens heb ik ook aan de optie gedacht om de data op de Qnap te laten staan, en deze machine met 1 SSD uit te rusten, en daar draait dan allen emby op.
Vervolgens deze machine maar een paar uurtjes per dag te laten draaien. De rest slaap of werk ik toch.

[ Voor 5% gewijzigd door Emisary op 17-04-2020 15:22 ]

[Q]

Juist, als je zegt mirror met meer dan 2 schijven (even aantal) dan maakt hij paartjes van mirrors aan die in RAID0 worden gezet, zoals ik het begrijp.

Maar ik betwijfel of je drive sizes kunt mixen, ik weet onvoldoende hoe dat gaat werken.

Ik heb de 'nare' eigenschap om posts nog wel eens fors te wijzigen, sorry.

Als de PC exclusief is om als NAS te werken dan zou je eens kunnen testen met FreeNAS. ZFS heeft zo zijn eigen quirks maar ik denk dat een RAIDZ testen nog wel eens de moeite waard kan zijn.

SSDs zijn natuurlijk fantastisch maar zoals je zegt is de prijs nogal een issue.

Ik hoop dat je een werkende configuratie vind. Je kunt misschien ook nog kijken naar snapraid (wat complex maar het werkt wel goed).

[Emisary]

@Q Ik ga dat van die mirror eens proberen met die notebookschijven. Dan heb ik toch een idee.
In raid weet ik dan neemt hij volgens mij de kleinste aan als basis en doet dan x - 1 of -2 of * 0.5, afhankelijk van welke raid je hebt.
En ik heb bij Storage Spaces het idee, van Jbod. Kneur er maar in, en ik (storage space) vind wel een oplossing voor je.

Ik heb voordat ik Windows 10 er opgezet heb getest met een paar linux distributies, Freenas OMV etc.
En ik vond het allemaal niet echt fijn werken.
Met Freenas, heb ik 2 dagen op het systeem gehad. Vond het RaidZ systeem wel werken, maar liep tegen een muur op toen ik de virtualisatie aan de praat probeerde te krijgen. Dat ligt echt aan mijn unix achtige kennis. Die is nihil. Maar de performance daarin lag ergens rond de 30 mb, dacht ik (gemeten met die notebookschijfjes).


Ik wijzig mijn posten kennelijk ook ;-)

Ja je kan (getest met Storage Space en Parity) gewoon een schijf weghalen, en later een grotere toevoegen.
dus stel ik vervang die 320GB voor een 1 TB. Volgens mij kan je dan meteen extenden, naar 400GB omdat die dan de kleinere is geworden.
Paar keer getest en dat werkt gewoon.

[ Voor 16% gewijzigd door Emisary op 17-04-2020 15:45 ]

[Emisary]

Voorlopig ga ik het even zo doen.
Ik laat de LSI even zitten. En ga alles maar eens rippen.
Dan weet ik hoeveel data ik precies nodig heb. Ondertussen kan ik de ruimte op de Qnap nog gebruiken (2 tb ruimte in een R6). En een oude 219P nas, met 2* 4TB aan opslag. Dat moet wel lukken.
2+3+4=9TB
En besluit dan wat ik doe. Misschien pak ik wel 4x notebookschijfjes. Hebben toch niet veel te lijden. Of 2x Seagate ironwolf pro 6 of 8TB.

Iedereen dank je wel voor het meedenken.

[Q]

@Emisary helder verhaal, je hebt gelukkig opties en ik hoop dat je tot een goed werkende oplossing komt.

[Emisary]

Net eventjes getest.
3* 500GB WD blue 2.5" en 1*640GB in een mirror.
Storage Spaces maakt er inderdaad 980MB van.

Copieren vanuit de LSI array naar deze ging met 40-60MB. Soms iets trager op 20MB. Soms een piekje op 100-110MB. Sporadisch een piek op 205MB gezien.

Deze notebookschijven zijn best oud. En zijn minder snel dan de 1TB WD red die ik heb.

Vervolgens eens vanaf de Storage Space gecopieerd naar een NVME disk. Dat ging op 50-70MB. Hetgeen de max lees snelheid is van die Storage Space array. De LSI is daar beduidend sneller. Maar mogelijk ligt dat aan die WD red 2.5".

[Q]

Even ter controle: als je een map met veel kleine files kopieert (zoals foto’s) dan vind ik het niet gek als de snelheid flink inzakt maar als je *alleen* wat grote video files oid overzet dan is dit resultaat wel representatief.

Formatteer eens een enkele disk gewoon als interne SATA schijf om een gevoel te krijgen wat een enkele disk qua doorvoer redt.

[Wim-Bart]

Ok, even wat raid informatie, met betrekking tot schrijven. Uit gaande van 3 disks in raid-5.


Er wordt 1 blok geschreven. Het volgende geschied:
1. Data disk 1 wordt gelezen, Data disk 2 wordt gelezen, Data disk 3 wordt gelezen - dit gaat 3 disks simultaan
2. Er wordt bepaald of de data goed is. Dus er wordt een calculatie gedaan. Wanneer het een error geeft dan is er niks aan de hand, geeft het een error, dan ook niet, maar zal er ergens een alarm afgaan.
3. Hierna word 1 van de drie data chunks aangepast door het nieuwe stukje data.
4. Er wordt een nieuwe parity berekend.
5. De data wordt weggeschreven.
6. Stap 1 tot en met 5 worden herhaald voor de $mft (master filetable)
7. Stap 1 tot en met 5 worden herhaald voor de $Bitmap
8. Stap 6 wordt herhaald voor de kopieën van de $MftMirr table

Storage Spaces en hardware raid controller zullen al die schrijf stappen direct op disk doen wanneer er geen backup-battery op RAID controller aanwezig is.

Daarnaast zal een transactie pas completed zijn wanneer de laatste disk groen licht heeft gegeven. Nu even wat getallen:

Disk 1: Read 120MB/s Write 120MB/s
Disk 2: Read 120MB/s Write 120MB/s
Disk 3:Read 80MB/s Write 40MB/s

Stap 1: Data wordt met 80MB/s gelezen (indien niet uit cache)
Stap 2-4: te verwaarlozen
Stap 5: Data wordt respectievelijk met 120,120,40 MB/s = maximaal 40MB/s weggeschreven.
En dit geldt dus ook voor de andere onderdelen. Effectief zorgt die 40MB/s disk er voor dat je onder Windows ongeveer op 10MB/s zit.

Vandaar dat caching en een raid controller met battery veel beter is. Of wanneer je Storage Spaces gebruik. Caching SSD's gebruiken wanneer je hoge transfer wil.

Als je wat wil berekenen met IOPS en MB/s in diverse scenarios.
https://wintelguy.com/raidperf.pl

[Q]

Wim-Bart schreef op zaterdag 18 april 2020 @ 02:15:
Ok, even wat raid informatie, met betrekking tot schrijven. Uit gaande van 3 disks in raid-5.


Disk 1: Read 120MB/s Write 120MB/s
Disk 2: Read 120MB/s Write 120MB/s
Disk 3:Read 80MB/s Write 40MB/s

Stap 1: Data wordt met 80MB/s gelezen (indien niet uit cache)
Stap 2-4: te verwaarlozen
Stap 5: Data wordt respectievelijk met 120,120,40 MB/s = maximaal 40MB/s weggeschreven.
En dit geldt dus ook voor de andere onderdelen. Effectief zorgt die 40MB/s disk er voor dat je onder Windows ongeveer op 10MB/s zit.

Vandaar dat caching en een raid controller met battery veel beter is. Of wanneer je Storage Spaces gebruik. Caching SSD's gebruiken wanneer je hoge transfer wil.

Als je wat wil berekenen met IOPS en MB/s in diverse scenarios.
https://wintelguy.com/raidperf.pl

Ik snap je verhaal / voorbeeld eigenlijk niet helemaal. Het is waar dat je RAID array serieus wordt beperkt qua throughput als een disk een stuk trager is. Maar als ik een disk snelheid van 120 MB/s in je gelinkte RAID calculator plug dan krijg ik qua 100% schrijven netjes 90 MB/s terug , een getal wat matcht met de vuistregel dat RAID5 een write-penalty heeft van 1:4.

[Emisary]

Q schreef op zaterdag 18 april 2020 @ 02:02:
Even ter controle: als je een map met veel kleine files kopieert (zoals foto’s) dan vind ik het niet gek als de snelheid flink inzakt maar als je *alleen* wat grote video files oid overzet dan is dit resultaat wel representatief.

Formatteer eens een enkele disk gewoon als interne SATA schijf om een gevoel te krijgen wat een enkele disk qua doorvoer redt.

Dat was een mix aan documenten en een paar mp3 bestanden. 70 GB in totaal.
Ik zag tijdens het copieren dat een schijf uit de LSI array gevallen was. En die heb ik zitten te rebuilden tijdens die copieerslag.
Dus ik ben diezelfde folder nogmaals aan het copieëren, maar nu is de LSI Raid 6 array weer in orde.
Ik zie nu tussen de 40 en 80MB. Soms 15, soms 105MB, en nog steeds hogere pieken, maar die vlakken af op 150MB. Waarbij soms een hele tijd rond de 45MB en een hele tijd rond de 80/85MB blijft hangen.

Als ik films MP4 en ISO copieer, begint de LSI heel heftig op 240MB in te lezen, terwijl de Storage Space mirror met 65MB gaat schrijven. En door blijft schrijven als de LSI allang klaar is met lezen.
Dus die WD blue (500GB op 5400) en Seagate (640GB op 5400) kunnen samen niet sneller dan 65MB.
Ergens wordt blijkbaar nog iets gebufferd. C-schijf? Dat is een NVME, met veel vrije plaats.
Kon ik maar de tweede NVME daarvoor gebruiken, als schrijf-Cache.

Lezen van de grote bestanden blijft op 40-70MB zitten.

Ik heb die schijfjes ooit getest.
die Seagate 320 zat ergens rond de 40-50
WD blue 400/500 rond de 60/75
Seagate 640 heel wisselend soms 40/50 soms rond de 100
WD red getest op de Qnap
1 rond de 75
de rest 90-120

Overigens snapte ik dat verhaal van Wim-Bart niet.
Maar toen ik naar die link ging, en de cijfertjes las, lagen die ongeveer op het niveau dat ik heb.
maw de grootste past zich aan aan de kleinste en de snelste aan de traagste.
Toen snapte ik het verhaal van Wim-Bart redelijk

[Q]

Edit: die fluctuaties kwamen inderdaad dus van kleine files, daar moeten we dus niet mee testen als je throughput wilt weten.

Wat ik zou doen is even gestructureerd een tabelletje maken en bestanden van en naar de NVME kopieren. de NVME zal zeker 500+ MB/s kunnen lezen/schrijven, snel zat zodat het de tests niet beinvloed.

Dan kun je gestructureerd bepalen (test met minstens 20GB+ aan data!) per schijf wat de lees/schrijf snelheid zal zijn. Een deel wordt beinvloed door caching, maar dat is denk ik even goed genoeg.

Ik zou vervolgens de traagste of grilligste schijfjes gewoon niet gebruiken en een RAID bouwen met wat overblijft. En die dan weer vanaf de NVME testen.

[ Voor 10% gewijzigd door Q op 18-04-2020 15:56 ]

[Tortelli]

Je zou met een dergelijke setup toch minstens een paar 100MB/s aan read/writes verwachten? Ik haal met een simpele Synology met 7x WD red 10TB reads van ~650MB/s en writes van ~400MB/s op een 10Gbit netwerk.

CPU performance van de C2538 in mijn NAS stelt niets voor iig.

[Emisary]

@Tortelli
Ik zou dat ook verwachten. Want als ik lees en schrijftesten houdt op de Qnap zijn die ook hoger.

[raymondw]

Een hardware RAID controller zal alleen optimaal presteren met een BBU.
Geen BBU = Geen echte cache (write through)
Wel BBU = wel cache tijdens kopieren (write back)
Verschil kan enorm oplopen afhankelijk van je filesize en blocksize.

MS S2D en alle mogelijke varianten gebruiken standaard GEEN cache.
Enable je via PS wel de cache optie, dan gebruik je systeem RAM als cache.
Bij een mogelijke power failure zou ik niet uitgaan dat je array geen problemen heeft.

Voor je persoonlijke belangrijke data zou ik kiezen voor een RAID controller met BBU.
Twee kleine disken in Raid1 voor OS etc, de rest als RAID5 of 6 als data disk.
Toepassen van een cache SSD is meestal niet nodig.

Wel rekening mee houden : RAID is GEEN backup!
Gooi ergens een RPI met een xxx TB disk neer voor last resort backups.

[Emisary]

@raymondw
Raid is geen Backup - Weet ik.
Ik heb op diverse plekken backups zitten. Dat zit wel goed.

BBU is toch een batterij?
Op die LSI 9361-i8 die ik heb gekocht kan ik een CacheVault zetten met batterij. Is dat totale pakketje een BBU?
Ik las overigens dat die iedere 2 jaar vervangen moet worden, omdat de batterij kapot gaat op den duur.
En die zijn redelijk prijzig.
Vandaar dat ik ook de CacheCade bekeek.

Maar als Storage Spaces dat ook kan.

[raymondw]

@Emisary CacheVault KIT bevat idd een "batterij"

De leeftijd van de batterij is gebonden aan gebruik en opladen.
Ik heb cache batterijen die heeuul veel ouder zijn dan twee jaar
Gewoon de LSI software installeren en foutmeldingen bijhouden.

Voor mijn homelab heb ik gekeken naar S2D, maar de performance is er niet tenzij je voor een enterprise setup gaat.
In een Enterprise S2D cluster hebben we een dikke 1.4M IOPS gehaald, maar daar was de prijs ook naar.
Voor homelabs en SOHO zou ik het niet doen ivm performance.

Regel de LSI goed in en kijk over twee a vier jaar nog eens naar andere oplossingen.

[Emisary]

@raymondw
Ken je ook de CacheCade oplossing?
Chipje er in en een SSD als cache gebruiken?
Ik wil geen Tiered oplossing, omdat die oplossing niet gaat werken voor mij, omdat ik te weinig data/bestanden heb die van een cache gaan profiteren.

Als ik overigens via Storage Spaces zou werken, dan zou ik langzaam alles overzetten op SSD's. Dat is duur, maar ik heb niet zoveel data dat het zeer duur wordt.

[_JGC_]

CacheVault is een condensator array en een stukje NAND geheugen die bij stroomuitval de cache naar NAND schrijft. Levensduur is afhankelijk van het aantal keren stroomuitval. LSI geeft 3 jaar garantie op die dingen (op een ouderwetse lithium BBU 1 jaar).
CacheCade nooit mee gewerkt, maar zou writes ook via SSD moeten doen.
Edit: 1.x doet alleen read caching, 2.0 doet ook writes via SSD.

[ Voor 9% gewijzigd door _JGC_ op 19-04-2020 01:39 ]

[Wim-Bart]

Q schreef op zaterdag 18 april 2020 @ 10:49:
[...]


Ik snap je verhaal / voorbeeld eigenlijk niet helemaal. Het is waar dat je RAID array serieus wordt beperkt qua throughput als een disk een stuk trager is. Maar als ik een disk snelheid van 120 MB/s in je gelinkte RAID calculator plug dan krijg ik qua 100% schrijven netjes 90 MB/s terug , een getal wat matcht met de vuistregel dat RAID5 een write-penalty heeft van 1:4.

In de raid calculator moet je de snelheid van de meest trage disk invoeren. Die bepaald de schrijf snelheid. Schrijf snelheid bij een schrijf actie in een raid 5/6 is even snel als de meest trage disks. Een trage disk kan een hele raid set om zeep helpen qua performance. En daarnaast moet je ook even de total transactie bekijken, dus ook updates van diverse filesyatem tabellen.

[Emisary]

Zo net alles leeg gemaakt.
De 1 TB wd red 2.5" omgezet van de LSI naar windows.
Mirror gemaakt over 4 disks.
Vanaf de NVME een paar MP4 movies gecopieerd.
Die start met 800MB.
En gaat dan vrij snel terug naar 15/35mb.
Blijft daarna tussen de 35 en 45 mb, maar heeft pieken naar 120mb. Gaat dan op naar 50-70mb en blijft daarop hangen.

Terug copieëren naar de NVME gaat 85-110MB met pieken naar 200MB.

[Q]

Dat lijkt een verbetering! - je kunt het beste een stopwatch gebruiken om echt te weten wat de gem throughput is.

[Emisary]

Ik heb eens een tabelletje gemaakt. Met een vergelijking tussen Storage Spaces en de LSI zoals hij is.
En dan beide in Raid 10 en Raid 6.
Mijn conclusie is, dat die LSI zich gedraagd alsof het een normale Sata verbinding is. Snelheden zijn nagenoeg gelijk.
Inderdaad blijven de kleine schijven achter. Sommige zijn al 10 jaar oud. Dus die zullen de boel wel flink vertragen.

Wat kan ik doen?
Caching op de LSI aanzetten.
3.5" schijven gebruiken. Bijvoorbeeld Seagate Ironwolf pro.
Of de schijven vervangen door SSD. Wd red of de Seagate even knie.
Of SAS schijven monteren. Waarbij ik gezien heb dat SAS net zo duur is als die SSD's.

Neem ik SSD's dan heb ik die LSI niet nodig.
Ik vond het een nuttige test.
Daarnaast wil ik iedereen danken voor de bijdragen. Vond het totaal heel verhelderend.
Blijft nog steeds zo, dat ik eerst maar eens moet kijken hoeveel ruimte ik nodig heb.

Ik kan maximaal 6 á 7 disks monteren via de onboard Sata aansluiting.
Omdat ik 1 aansluiting wil reserveren voor een IP camera disk.
Ik wil niet een hele raid opofferen aan een camera stream. ;-)

[ Voor 3% gewijzigd door Emisary op 19-04-2020 15:39 ]

[Q]

Ik denk dat die oude schijfjes het probleem zijn en dat je niets gaat winnen met Caching op de LSI controller. 100% zeker weet ik het niet, maar om je even context te geven:

Ik heb hier een test setup met 8 x 1 TB 7200 RPM 3.5" schijven. Deze schijven zijn ook 10+ jaar oud.

Onder Linux software RAID 6 met 'slechts' 4 schijfjes haal ik al 244 MB/s lezen en 232 MB/s schrijven. (dataset 30 GB) Met RAID 10 haal ik ongeveer dezelfde resultaten.

SAS schijven vind ik voor thuisgebruik vreemd en die dingen zijn ook veel duurder.

Je opties heb je verder wel helder, ik wens je succes met je keuze