NAS op een VM

[Gimmeabrake]

Op dit moment heb ik een PC als NAS (A4-3400, 8GB Ram, 1x 2TB HDD). Het draaiende systeem is FreeNAS met ZFS.

Nu wil ik thuis eigenlijk ook een mysql- en een git-servertje draaien om aan prive-projecten te werken en wil ik de mogelijkheid hebben om andere kleine servertjes te kunnen draaien thuis. Omdat een NAS voor mij onder de noemer "never change a running system" valt, wil ik dit het liefste scheiden. Wel wil ik voor redundantie een tweede schijf aan de NAS toevoegen.

Om dit allemaal te realiseren zonder een tweede server neer te zetten (mijn vriendin doet me iets aan als ik dat doe), dacht ik er zelf aan om VMWare ESXi op de NAS PC te zetten. Om dit allemaal te realiseren zou ik dan een 120GB ssd toevoegen waar VMWare ESXi en de VMs op draaien. De data-schijven die alleen door de FreeNAS VM gemanaged worden, zouden dus direct aan die FreeNAS VM gekoppeld worden, zonder tussenkomst van virtuele harde schijven. Naast FreeNAS zouden er uiterlijk 2 VMs bij draaien met redelijk kale headless linux-distros. De load van die servers zal om en nabij 0.00 liggen omdat ik er met 1, sporadisch misschien een keer 2, client(s) tegelijk gebruik van maak.

Mij lijkt dit een prima aanpak, maar als ik erop google krijg ik veel pagina's te zien dat het niet slim is om een NAS op een VM te draaien. Ik snap dat er een kleine performance overhead is maar die neem ik voor lief: de bottleneck zit 'm toch op de wifi die ik voornamelijk gebruik. Men heeft het er op die sites over dat ik dataverlies zou kunnen leiden en dat het moeilijker zou worden om alles te herstellen. Als de VM/SSD crasht hebben de HDDs daar toch geen last van? Kwestie van nieuwe VM aanslingeren en gaan met die banaan, lijkt mij.

Kan iemand mij uit mijn onzekerheid verlossen?

[DukeBox]

Opzich een primas oplossing, maar wat versta je onder 'kleien servertjes' ?
Als je mysql + git wilt en een nas zou een synology ook een oplossing kunnen zijn.

[Bigs]

In het ZFS en het Zuinige ESXi servers zijn verschillende mensen te vinden die FreeNAS draaien in een ESXi VM, meestal door een HBA via VT-d door te geven aan de VM (zodat de VM de schijven direct kan benaderen). Vervolgens wordt er via NFS of iSCSI een datastore gemaakt. Werkt prima, alleen je moet even nadenken over het bootstrappen van je machines na een reboot.

[Gimmeabrake]

DukeBox schreef op zaterdag 29 maart 2014 @ 15:32:
Opzich een primas oplossing, maar wat versta je onder 'kleien servertjes' ?
Als je mysql + git wilt en een nas zou een synology ook een oplossing kunnen zijn.

Ik heb het grootste deel van de hardware al en ik vind het idee dat ik de NAS van mijn soms experimentele servers kan scheiden belangrijk. Daarom valt de Synology voor me af, en daarom aparte VMs.

Bigs schreef op zaterdag 29 maart 2014 @ 15:35:
In het ZFS en het Zuinige ESXi servers zijn verschillende mensen te vinden die FreeNAS draaien in een ESXi VM, meestal door een HBA via VT-d door te geven aan de VM (zodat de VM de schijven direct kan benaderen). Vervolgens wordt er via NFS of iSCSI een datastore gemaakt. Werkt prima, alleen je moet even nadenken over het bootstrappen van je machines na een reboot.

Thanks! Naar aanleiding van jouw post heb ik wat leeswerk gedaan over VT-d, ik wist helemaal niet dat het zo complex was om hardware direct aan een VM door te geven.

Mijn CPU heeft support voor AMD-Vi, schijnbaar de tegenhanger van VT-d. Nu lijkt het er op dat veel FM1 borden geen AMD-Vi support hebben, en mijn Asrock A75M-ITX schijnt het ook niet te hebben. Aangezien ik in mijn behuizing alleen ITX borden kan plaatsen is dit best wel een probleem. Is dit de enige manier om de schijven direct aan de hardware beschikbaar te stellen?

[mkroes]

Hyper-V bestaat is natuurlijk ook nog een mogelijkheid. met Hyper-V 2012 R2 kun je schijven direct doorgeven aan je vm. Ik zelf draai momenteel als nas Ubuntu met ZFS on Linux.
Hyper-V is wat minder selectief wat hardware betreft.

[Verwijderd]

Je zou ook gebruik kunnen maken van een Jail in FreeNAS.
http://dreamcat4.github.io/finch/

[Dadona]

Om te beginnen, momenteel zou ik een schitterende zin kunnen beginnen waarin ik vele checkboxes raak, maar daar heb ik gezien de tijd even minder zin. Van toepassing op mijn situatie: vt-d, esxi, virtuele nas, zfs. Goed....

gerrymeistah schreef op zaterdag 29 maart 2014 @ 15:53:
Thanks! Naar aanleiding van jouw post heb ik wat leeswerk gedaan over VT-d, ik wist helemaal niet dat het zo complex was om hardware direct aan een VM door te geven.

Het is niet echt complex. Het 'lastige' deel zit erin dat sommigen aanvullende, maar wat minder expliciet uitgesproken wensen hebben. Het hangt er namelijk sterk vanaf hoe ver je gaat. Maar eerst een stap terug. Ik veronderstel dat je met ZFS toch iets van RAIDZ draait, niet RAID0. Eerste optie uit het raam: simpelweg een datastore opzetten en de NAS daarop zetten.
Dan heb je nog twee opties: RDM en passthrough (waar je het over hebt met VT-d). RDM is gelimiteerd tot schijven van 2TB, dus dat kan een probleem zijn. Met VT-d geef je de controller door aan een VM. Een populaire keuze daarbij is de m1015 in IT mode. In dat geval is de m1015, de insteekkaart, een domme kaart die niet slim gaat doen in het aanbieden van SATA poorten. De VM waar je de m1015 aan doorstuurt krijgt die kaart te zien en de schijven die daaraan hangen. En zodoende kan de VM alles met de schijven. Dat is waar de meesten die voor ZFS gaan de voorkeur aan geven. Laat ZFS vrijuit met de schijven spelen.

En zoals je al hebt ondervonden is VT-d beperkt. Je moet een moederbord en een processor hebben waar het mee werkt. Pas als dat het geval is dan kun je diverse controllers (zoals insteekkaarten als de m1015 als de onboard controller doorsturen). Belangrijk is dat je daarbij niet zomaar de onboard controller kunt doorsturen zonder een extra controller. Bij ESXi moet je altijd een datastore hebben. Stuur je de onboard door, dan moet je toch op de één of andere manier een SATA poort overhouden die niet op de controller zit. (Er is een Asrock met die eigenaardigheid. Bijna alle poorten op het bord gaan mee, behalve één. Ideaal voor het budget.)

Goed, dat was een virtuele NAS in een notendop. Je kunt op meerdere manieren een NAS een lading aan opslag, schijven of zelfs de controller met de schijven eraan geven. Vanaf dan is het simpelweg een kwestie van de ene VM te laten praten met de virtuele NAS.
Zoals gezegd heb ik een virtuele NAS draaien. Aan die VM geef ik, middels VT-d een m1015 in IT mode mee. En aan die m1015 hangen een aantal schijven. Dat werkt prima. Nu al tijden. En zeker als je niet bezig bent met benchmarks en gewoon in een thuissituatie zit werkt dat prima. Het enige waar je even op moet letten bij een reboot is dat je de NAS VM als eerste start. Ik heb nu al vaak menig VM in suspend gegooid, de virtuele NAS uitgezet, reboot van de ESXi server, virtuele NAS aangezet en na de boot van de virtuele NAS de andere VMs weer aangezet. Ging tot nu toe perfect.
Dus ja...het kan zeker. Je moet alleen de hardware goed kiezen.

Het punt is alleen. Je moet bedenken dat je met afhankelijkheden zit. Een upgrade van ESXi is bijvoorbeeld zenuwslopend. En je hebt een constant verbruik van de m1015 dat je meezeult. Nu weet ik niet of het verbruik echt een issue is, maar zeker met de huidige ontwikkelingen zou je op dat punt wellicht toch kunnen kijken naar een los station.
Ga je gewoon voor de simpele route, een VM opzetten, lading aan storage vanaf de datastore geven, ... dan gaat het vast wel goedkomen. Dat is vrij simpel, gaat bij upgrades wel goedkomen, enz.

Voor aanvullende vragen, andere suggesties, .. over ESXi kun je hier kijken. En daarnaast is er natuurlijk het ZFS topic waar zo nu en dan wat zaken aan bod zijn gekomen wat betreft ESXi. Maar vooral het eerste topic zou ik er eens bijpakken.

[Gimmeabrake]

Had het een tijdje druk met werk en was dit topic half vergeten Heel erg bedankt voor de reacties allemaal! Aangezien ik via DreamSpark (nog) aan Windows 2012 (R2) kan komen zal ik die optie gaan overwegen, al lijkt me dat aan de zware kant voor mijn NAS en probeer ik stiekem een beetje van Windows af te komen hier thuis. De ESXi oplossing is me nu ook stukken duidelijker geworden, daar ga ik me ook wat verder in verdiepen.

[Phyt_]

Ik zou niet voor RDM Gaan als ik jouw was, maar voor goede oplossing met passthrough en een m1015 bijv doe je doorzet naar je NAS VM.
Overigens kun je meer dan 2tb rdm-en met esxi 5.5, maar RDM wil je niet met ESXI i.c.m. met ZFS.

Ik ben zelf bezig met de oplossing van passthrough i.c.m. een IBM m1015 raid controller (is nog onderweg).
Esxi 5.5. u1 met 5x 3tb dan in RAIDZ1 , al twijfel ik nog om er nog 1 bij te bestellen en voor RaidZ2 te gaan.

[ Voor 32% gewijzigd door Phyt_ op 01-04-2014 10:44 ]

[kroegtijger]

gerrymeistah schreef op dinsdag 01 april 2014 @ 07:02:
Had het een tijdje druk met werk en was dit topic half vergeten Heel erg bedankt voor de reacties allemaal! Aangezien ik via DreamSpark (nog) aan Windows 2012 (R2) kan komen zal ik die optie gaan overwegen, al lijkt me dat aan de zware kant voor mijn NAS en probeer ik stiekem een beetje van Windows af te komen hier thuis. De ESXi oplossing is me nu ook stukken duidelijker geworden, daar ga ik me ook wat verder in verdiepen.

ESXi is prima voor dergelijke doeleinden, maar het kost wel een beetje configuratie-werk. Zelf bied ik momenteel mn shares nog aan via een (gevirtualiseerde) 2012-server, maar het zou ook prima via bijvoorbeeld Debian kunnen (dat ook een aantal malen als VM draait op dezelfde host) en het functioneert eigenlijk allemaal wel tot volle tevredenheid.

[Mezz0]

zelf gebruik ik ook al tijden esxi met daarin zfsguru. Het grote voordeel is als je, zoals ik, aan het testen ben met vm templates enz dat het deployen lekker rap gaat. Want de nas en de vm's zijn verbonden met vmnxnet 3 en dus 10GB netwerk.
Mijn cpu laat helaas geen vt-d toe dus alles met RDM maar nog geen problemen daarmee gehad nu na 1,5 jaar.