Welk OS voor virtuele NAS?

[Drucchi]

Beste medetweakers,

Al enige tijd ben ik bezig met het uitdenken van een mooie thuisserver+NAS. Daarbij is het nodig dat er ook een NAS OS wordt gekozen om de beschikbare storage aan te bieden aan de clients. Het idee is om een esxi-essentials te draaien vanaf wat SSD datastores via een (goede) hardware-raid kaart. Daarop kunnen dan RDMs worden gemaakt voor extra ssd storage of gewoon een vmdk voor OS. Voor data denk ik dan aan een non-raid hba in passthrough voor een NAS OS. Het gaat me dus niet om de virtualisatie, die doe ik in ESXi en omdat ik passthrough doe, kan ik geen nested virtualization doen. Ik denk nu voornamelijk aan de volgende opties en hun bijbehorende pro's en cons.

TrueNAS/FreeNAS met ZFS:
+ SSD cacheing
+ Bewezen en robuuste RAIDZ-setup
- Veel cpu en RAM nodig
- RAIDZ is niet (efficiënt >50%) uit te breiden (steeds twee disks met RAIDZ1 toevoegen)

OMV met mdadm:
+ Degelijke en uitbreidbare raid-setup
+ Lichter op de resources
- Geen SSD cacheing
- UI heeft wat quirks

UnRAID:
+ Flexibel en uitbreidbaar
+ SSD Cacheing
- Minder performance
- Wel kosten
- bij mij minder bekend

Xpenology:
+ Flexibel en uitbreidbaar
+ Bekend OS en werking
+ Mogelijkheid voor SSD-cache
+ Licht in resources
- SSD-cache moet op de hba en gaat dus ten koste van de 8 beschikbare SATA-pooten. Zo kost me dit dus extra SSD's, terwijl die in de ESXi gewoon beschikbaar zijn.

Het liefste gebruik ik dus RDMs vanuit ESXi voor SSD cache en heb ik 8 disk slots beschikbaar voor storage. Tot dusver heb ik die combi nog niet gevonden (behalve dat ik unRAID nog niet heb getest en dus niet weet of die ook RDM ssd's slikt als ssd cache).

Ik kom er dus niet uit. Ik wil graag uitbreidbaarheid en ssd cache, maar unraid klinkt toch als meer dan ik nodig heb. Zijn er nog andere opties?

edit: Een kleine achtergrond achter de SSD-cacheingwens is dat ik de boel natuurlijk zo zuinig mogelijk wil houden. Dan is het voordelig als de disks zo lang mogelijk in stand-by kunnen. Uiteraard is dan ook het overige resource-gebruik interessant om tot een minimum te beperken.

[ Voor 7% gewijzigd door Drucchi op 08-11-2020 12:55 ]

[Brahiewahiewa]

Heb je naar xigmanas gekeken? Is een fork van freeNAS. Wat minder restrictief in cpu en memory demands en wat vrijer mbt tot ZFS raid

[Drucchi]

Net even gekeken. Op zich vind ik de interface van Truenas/freenas wel nice, dus deze ligt ook wel in mijn straatje. Maar SSD-cacheing zie ik alleen terug met zfs, wat voor mij betekent dat ik mijn storage niet efficiënt kan inrichten .

[Tandjes]

Ik ben benieuwd of je al een keuze hebt kunnen maken.

Ik ben zelf namelijk ook al een tijd aan het denken over het opzetten van een server voor de opslag van (op dit moment al) 6-8Tb foto's en video's.
Het editen doe ik zelf vanaf mijn PC (Ryzen 3800X, RTX 2070 en nvme).

Ik ben zelf goed een het kijken naar Unraid, gezien de mogelijkheid voor het kunnen vervangen en toevoegen van HDD's, waarbij risico op fouten wordt geminimaliseerd.
Unraid gebruikt hiervoor 'parity disks', waardoor je (als ik het goed heb begrepen) je systeem kunt upgraden en falende harde schijven kunt vervangen.

Hoe denken jullie hierover?

[Drucchi]

Voor mij is het stukje van belang dat het een VM is én dat ik SSD-cacheing wil doen. Ik ben nu aan het proberen mijn sata-controller ook in passthrough te doen, zodat ik geen hdd slots hoef op te offeren voor SSD's in de XPenology.

Als je slechts een kale bak wilt dan maakt het OS minder uit. Wel weet ik dat je met unraid geen performance-verbetering kent ten opzichte van 'echte' raid. In het geval van een falende disk kun je die altijd vervangen, maar bij als bij gewone raid nog een disk uitvalt voordat de pairity opnieuw is berekend, ben je alles kwijt. Bij unraid ben je in zo'n geval alleen de data op de defecte disk kwijt (correct me if I'm wrong).

Ik neig momenteel naar Xpenology, omdat die een duidelijke mogelijkheid heeft om SSD-cache aan te leggen én het resource-gebruik daarbij netjes zou moeten blijven. Voor mij betekent dat dan weer wel nóg meer SSD's aanschaffen voor een cache.

[Rolfie]

Drucchi schreef op zondag 8 november 2020 @ 11:11:
TrueNAS/FreeNAS met ZFS:
+ SSD cacheing
+ Bewezen en robuuste RAIDZ-setup
- Veel cpu en RAM nodig
- RAIDZ is niet (efficiënt >50%) uit te breiden (steeds twee disks met RAIDZ1 toevoegen)

Waarom wil je specifiek SSD caching hebben? Je hebt dat daar meer over. Maar waarom wil je dit precies?
ZFS heeft inderdaad caching mogelijkheden, zowel lees als een schrijf cache. Maar voor schrijf cache moet je er eigenlijk weer 2 hebben wegens dataverlies.
Ik heb eigenlijk ongeveer dezelfde opzet, maar ik gebruik hier geen SSD caching. Ik kan mijn netwerk vol trekken met mijn 6 RAIDZ2 setup.
Maar als alternatief... Een extra HBA? Kosten via chinese sites, nu niet echt heel veel geld meer.

Wat versta je onder veel CPU? Ik draai mijn NAS ook virtueel, met maar 2 CPU's.
Idem voor Memory. ZFS wilt graag memory hebben, maar heeft aan 8GB ook meer dan voldoende.
Maar geheugen is ook vrij goedkoop, is dit geen alternatief voor eventueel je SSD cache? Ik heb bij mij er 64GB geheugen aan toegewezen. Scheelde mij een hoop SSD troubleshooting.
Performance is heel goed.

Xpenology:
+ Flexibel en uitbreidbaar
+ Bekend OS en werking
+ Mogelijkheid voor SSD-cache
+ Licht in resources

Wat ik hier als extra risico zie..... Hoe stabiel is en blijft het? Ik heb dit ook geprobeerd werkend te krijgen, virtueel, maar niet gelukt op ESXi. Ik wil er binnenkort nog wat tijd aan besteden, maar tijdtechnisch nog niet gelukt.
Maar of ik dit als een stabiele oplossing zou beschouwen? Als je pech hebt, is er een update, die mogelijk je NAS om zeep helpt. Zal wel weer gefixt worden, maar wel iets om rekening mee houden.

edit: Een kleine achtergrond achter de SSD-cacheingwens is dat ik de boel natuurlijk zo zuinig mogelijk wil houden. Dan is het voordelig als de disks zo lang mogelijk in stand-by kunnen. Uiteraard is dan ook het overige resource-gebruik interessant om tot een minimum te beperken.

Werkt Caching hier wel voor? Voor schrijf cache in ieder geval niet en voor less cache durf ik dit ook niet te zeggen.
Nu ben ik geen ZFS specialist, maar ik heb ernstig mijn twijfels over hoe jij denkt hoe de SSD caching nu precies werkt.
Maar extra Memory kan dit ook oplossen, en is waarschijnlijk nog sneller.

[Drucchi]

Zoals gezegd is het de bedoeling de SSD's te gebruiken om de HDD's zo lang mogelijk in spin-down toestand te houden. Ik snap dat dat lastig is voor read-cache, maar volgens mij kan synology/xpenology hier wel mee omgaan. Inderdaad updates/upgrades binnen xpenology staan me inderdaad ook niet 100% aan.

Verder ben ik zeker gecharmeerd van ZFS, alleen het feit dat als ik met een disk wil uitbreiden, dat ik dan de hele boel opnieuw moet opbouwen, of ik moet zoals gezegd steeds per twee disks in Z1 toevoegen.
https://louwrentius.com/t...fs-for-your-home-nas.html
Qua RAM heb ik nog wat ruimte. Er zit 2x16GB in, dat zou ruim genoeg moeten zijn (en uitbreiden kan dus ook nog). Maar ik wil er ook VM's naast draaien, die hebben ook (een beetje) nodig.


Volgens mij werkt de write-cache in unraid met een mover, dus eerst alles lekker op de SSD schrijven en op een vast tijdstip de boel naar de disks parkeren. Dat is op zich een mooi systeem om de disks langer in stand-by te houden.

[Brahiewahiewa]

Drucchi schreef op dinsdag 10 november 2020 @ 00:27:
...
Volgens mij werkt de write-cache in unraid met een mover...

Vziw is dat een functie die alleen unraid heeft. Truenas en xigmanas hebben het in ieder geval niet.
Dus als je specifiek naar deze functie zoekt, zit je vast aan unraid

[Rolfie]

Drucchi schreef op dinsdag 10 november 2020 @ 00:27:
Zoals gezegd is het de bedoeling de SSD's te gebruiken om de HDD's zo lang mogelijk in spin-down toestand te houden. Ik snap dat dat lastig is voor read-cache

Nadeel is dat er bij 1 missed file of write transactie, de harddisks gestart worden, juist iets wat je veel wilt voorkomen.

[/q]maar volgens mij kan synology/xpenology hier wel mee omgaan. Inderdaad updates/upgrades binnen xpenology staan me inderdaad ook niet 100% aan. [/q]
Juist een virtuele machine is erg onstabiel. Ik ben er ook mee bezig geweest, maar ik beschouw dit toch echt als een hobby oplossing.
Ik wil stabiliteit voor mij data en geen mogelijke problemen. Daarom heb ZRAID2 draaien.

Verder ben ik zeker gecharmeerd van ZFS, alleen het feit dat als ik met een disk wil uitbreiden, dat ik dan de hele boel opnieuw moet opbouwen, of ik moet zoals gezegd steeds per twee disks in Z1 toevoegen.
https://louwrentius.com/t...fs-for-your-home-nas.html

Dit is zeker een nadeel.

Qua RAM heb ik nog wat ruimte. Er zit 2x16GB in, dat zou ruim genoeg moeten zijn (en uitbreiden kan dus ook nog). Maar ik wil er ook VM's naast draaien, die hebben ook (een beetje) nodig.

Ik denk dat je SSD cache nog steeds overdrijft en dat je eigenlijk iets wilt, wat je nauwelijks zult gebruiken.
SSD cache moet ook opgebouwd worden. Dus na een reboot is de cache weg en zal je dus eerst alles opnieuw moeten inlezen.

Volgens mij werkt de write-cache in unraid met een mover, dus eerst alles lekker op de SSD schrijven en op een vast tijdstip de boel naar de disks parkeren. Dat is op zich een mooi systeem om de disks langer in stand-by te houden.

En dan crashed je SSD en ben je al je data kwijt? Dus je de SSD eigenlijk dubbel moeten uitvoeren?

[Drucchi]

Dat laatste klopt ook. Daarom hangen ze aan een goede raid-controller. 3 disks in R5 als VM datastore en 3 in R1 met hot-spare voor ESXi OS en NAS OS. De overige ruimte op de 3+1 is R5 voor cache.

Maar goed, ik zal nog eens testen met UnRaid. Als ik dat als VM kan draaien... Daarna kan ik zeggen dat ik allevier heb uitgeprobeerd.

[ Voor 26% gewijzigd door Drucchi op 11-11-2020 18:33 ]

[Endpoint]

Btw, unraid virtueel draaien is een crime qua boot tijden, het kan wel hoor.

Het mooiste zou dan zijn om een losse HBA te hebben om die qua schijven door te zetten naar je OS

[akimosan]

Met UNRAID kun je toch ook VM's draaien? Draai je het om, hoef je geen NAS te virtualiseren