Waarom NAS virtueel draaien?

[BartDG]

Kan mij eens iemand het volgende uitleggen aub?
Ik heb een bovengemiddelde interesse in storage en de systemen daarrond. Zo heb ik momenteel een unRaid server draaien, maar ik zou ook graag eens FreeNAS en ZFSGuru proberen, evenals XPEnology.

Op de site van deze producten kom ik naast de gewone "bare metal" ISO's ook vaak virtuele images tegen die de software in een hypervisor te kunnen draaien (ESXi, ProxMox, Hyper-V, ...). Ik heb zelf wat ervaring met virtualisatie op een OS (Virtualbox, VMWare workstation, VMWare Fusion, Parallells, ...), maar niet met virtualisatie "bare metal", zoals ESXi dat is. Toch snap ik wel wat het doet.

Wat ik niet snap is wat dan het voordeel is van bijvoorbeeld een FreeNAS virtueel te draaien. Ik bedoel, dan heb je toch geen bescherming meer van je RAID, omdat alles in 1 bestand terecht komt? Diskspace bijcreëren lijkt mij ook niet makkelijk, tenzij je onderliggend een hardware RAID kaart gebruikt als basis waar je dan een disk bij kunt prikken... maar dat doen er toch ook maar weinig meer tegenwoordig?
Ok, ja kan wel aan Raw Disk Mapping doen, maar lijkt mij al niet heel erg simpel meer (hoewel doenbaar met een tutorial lijkt me). Maar dan nog, zelfs als je dat doet, kan je dan ook nog simpelweg (diskspace) uitbereiden? En kan je dan ook de virtuele NAS overzetten op een ander systeem (andere hardware dus) - HET voordeel dat altijd naar voor komt als het over virtualisatie gaat?

Ik snap prima waarom je iets als bijvoorbeeld pfSense, een SQL server, Sophos of Untangle UTM virtueel zou willen draaien, maar een NAS? Dat lijkt mij te beperkend omdat je toch altijd de schijfruimte wil kunnen uitbereiden? En juist omdat een NAS zo nauw samenwerkt met de hardware (in dit geval harde schijven), lijkt mij dat niet erg doenbaar of zelfs wenselijk. (het lijkt mij ook dat de disk thoughput vermoedelijk een stuk minder zal zijn omwille van de virtualisering?)

Ik heb echter het gevoel dat ik iets mis waardoor ik het grotere plaatje niet zie (anders zou niemand het immers doen)... Kan iemand me dat aub eens uitleggen ? Hoe moet ik het zien en wat zijn nu exact de voordelen in het geval van een NAS?

Met vriendelijke dank!

[anboni]

Mijn gok zou zijn dat ze die virtuele images primair aanbieden voor test of ontwikkelomgevingen.

[Swordlord]

Bare-metal hypervisors, zoals ESXi, Proxmox etc. Kunnen een gast OS een zo goed als rechtstreekse toegang bieden tot de hardware.
Eigen geheugen beheer dus, storage beheer, netwerk toegang via specifieke NIC, ga zo door.

Het is een heel ander wereldje dan hypervisors zoals Virtualbox of gewoon VMware. Waar meestal geen directe toegang is tot de hardware vanuit het gast OS.

Mits het goed is opgezet, draait er dus in principe een NAS virtualisatie, die toegang en beheer heeft over zijn eigen schijven en dus gewoon ZFS filesystem + RAID draait op die schijven. Er zit dus geen virtuele disk in een opslagbestandje als tussenlaag zoals bij Virtualbox en VMware.
Schijven bijprikken is ook mogelijk dan, simpel gezegd een kwestie van inprikken op storage controller en toewijzen aan het NAS OS. Daarna kun je vanuit de NAS virtualisatie je schijven inrichten.

Voor professionals kan dat handig zijn, gezien je natuurlijk wat meer functionaliteit kan clusteren op 1 fysieke server.

[ Voor 55% gewijzigd door Swordlord op 11-11-2014 19:24 ]

[hans_lenze]

Zie ook Nutanix als voorbeeld van een toffe opslag op basis van een virtuele machine. De VM heeft toegang tot de fysieke storage in de server en deelt dat via NFS (VMware), SMB3 (Hyper-V) of iSCSI uit aan de hypervisors.

Het voorbeeld van een enkel bestand op een datastore, zonder dat de VM weet heeft van de onderliggende RAID array is te zien bij de HP StoreVirtual VSA (vroeger HP Lefthand VSA).

Dit zijn systemen die je prima in een serieuze productie omgeving in kunt zetten.

[BartDG]

Bedankt voor de info allemaal! Dus ik recapituleer even: als ik het goed heb kan je virtueel dan bv. een ESXi systeem hebben met 5 disks in, en er dan 3 daarvan toewijzen aan de NAS via Raw Disk Mapping. Die kan ze dan gewoon zoals altijd beheren in bv. een RAID 5. De andere 2 disks blijven dan over als storage voor alle VM's die geïnstalleerd worden op ESXi.

Ok, begrepen, zo kan het inderdaad prima lukken. Volgens mij is deze manier van werken zelfs een vereiste om goede performance uit je NAS te krijgen. Al de rest is inderdaad waarschijnlijk gewoon goed om de boel eens uit te proberen, maar zelfs voor thuisgebruik zou ik het nooit op deze manier doen.

Ik heb zojuist eens een youtube filmpje bekeken over hoe je RDM implementeert in ESXi en het is blijkbaar een heel gedoe via de command line. Absoluut doenbaar, maar het is toch jammer dat ze zoiets niet gewoon via de GUI geïmplementeerd hebben. Gewoon kunnen aanvinken bij een disk "deze disk via RDM kunnen benaderen" en klaar. Dat ware leuk geweest.

Stel dat je na een tijd je ESXi server qua hardware wil upgraden, en je plaatst een nieuw moederbord. (of je zet de boel over naar een compleet nieuwe server) Ik veronderstel dat je dan heel goed moet opletten op welke poorten de RDM schijven zitten, anders draait alles in de soep? (tenzij bij ZFS, ik heb altijd gelezen dat ZFS zich daar niets van aan trekt?)

[thof]

Je hebt RDM (Raw Device Mappings) maar ook Intel VT-D / AMD IOMMU. Hierbij wordt de hardware in zijn geheel doorgegeven en gaat het VM OS de afhandeling van deze hardware doen.

Dat is sneller en betrouwbaarder en wordt veel gebruikt voor een ZFS VM om bv een IBM M1015 door te geven. Wel is het zo dat het moederbord en de CPU het moeten ondersteunen.

Zie o.a.:
The Hyperactive Blog: An all in one ESXi-NAS-SAN build
http://www.napp-it.org/napp-it/all-in-one/index_en.html
ZFS i.c.m. ESXi en RDM zonder VT-D

[BartDG]

Zeer interessante info en excellent leesvoer! Bedankt hiervoor!

[Mezz0]

Wat ook leuk is wanneer je ook andere VM's op de esx zet.
Zelf heb ik 1 esxi server met daarop een ZFSGuru nas (vt-d en ibm1015) en een heel win2008 park. (dc,ts,vc enz) alles in 1. Doordat de data niet naar buiten hoeft via een gigabit is de snelheid ook goed. Ik haal diskspeeds van 700-800 MB/s

[thijsjeo]

Ik geef op mijn ESXi server ook de hele harddisk controller door (ibm 1015) aan een Win 2012 server die de RAID regelt en alle shares beschikbaar maakt. Alle VM's draaien vanaf een SSD, gaat gewoon erg snel

Ik heb lang getwijfeld welk OS te kiezen, maar wilde meer ervaring opdoen met Win2012.

Om terug te komen op je vraag wat het nut ervan is. Ik denk dat 1 van de grote voordelen is dat je weer minder hardware hoeft te kopen. Nu draait je nas gewoon fijn naast je andere VM's en wordt de hardware het meest efficient gebruikt. Misschien wel nadelig van ESX dat je meteen de hele harddisk controller moet doorgeven, schijven apart gaat dan weer niet, behalve met RDM, maar daar zitten imo teveel nadelen aan.

Ik heb ook even moeten zoeken naar compatibele hardware, maar was goed te doen en ben erg tevreden over het resultaat, draait nu al een paar maandjes super. Hieronder de hardware die ik heb, er missen nog wel wat HDD's, er zitten er in totaal 6 in geloof ik.

#	Product	Prijs	Subtotaal
1	Intel Core i5 4440 Boxed	€ 163,-	€ 163,-
1	ASRock B85 Pro4	€ 64,-	€ 64,-
2	WD Red SATA 6 Gb/s WD20EFRX, 2TB	€ 87,-	€ 174,-
1	Techsolo TS-S100	€ 64,05	€ 64,05
1	Kingston DataTraveler Micro USB 2.0 32GB Zwart	€ 12,61	€ 12,61
1	Crucial Ballistix Sport BLS2CP8G3D1609DS1S00CEU	€ 122,95	€ 122,95
1	IBM ServeRAID M1015 SAS/SATA Controller for System x	€ 130,51	€ 130,51
1	Seasonic G-Serie 360Watt	€ 50,-	€ 50,-
1	Crucial M500 2,5" 240GB	€ 91,50	€ 91,50
Bekijk collectie Importeer producten		Totaal	€ 872,62

[BartDG]

Hartelijk dank voor deze info en tevens ook de shopping list! Valt allemaal goed mee vind ik!

Heb ik het goed als ik dan stel dat je dan bijvoorbeeld een IBM M1015 kan installeren specifiek voor je NAS, die je dan hardwarematig doorgeeft aan de virtuele NAS software op ESXi (ZFSGuru, XPEnology etc...), maar omdat je meteen je ganse controller moet doorgeven kan je de schijven die daaraan hangen dan niet meer gebruiken voor andere VM's? En dan kan je voor je andere VM's gewoon de harde schijven op de interne SATA connectoren van het moederbord gebruiken, of als je zou willen wellicht zelfs een tweede M1015 kaart erbij prikken?

Dat lijkt mij goed te doen! Dan heb je meteen het voordeel van een NAS (disks uitbereidbaar en eventueel zelfs in een ander systeem te plaatsen) en ook de voordelen van virtualisatie (meerdere stukken software op 1 systeem draaien die anders het systeem volledig zouden opeisen, zoals bv. pfSense, of eender welke Linux of Windows versie). Het is dan wellicht ook mogelijk op MacOS erop te draaien, hoewel Apple dit wellicht niet zo leuk vindt?

[Mezz0]

Je geeft je hele controller aan je ZFSGuru vm.

De andere vm's hoeven er dan niet bij want die maken via Iscsi connectie met je ZFSguru vm.

[hans_lenze]

Archeon schreef op maandag 17 november 2014 @ 22:29:
[knip]
Heb ik het goed als ik dan stel dat je dan bijvoorbeeld een IBM M1015 kan installeren specifiek voor je NAS, die je dan hardwarematig doorgeeft aan de virtuele NAS software op ESXi (ZFSGuru, XPEnology etc...), maar omdat je meteen je ganse controller moet doorgeven kan je de schijven die daaraan hangen dan niet meer gebruiken voor andere VM's? En dan kan je voor je andere VM's gewoon de harde schijven op de interne SATA connectoren van het moederbord gebruiken, of als je zou willen wellicht zelfs een tweede M1015 kaart erbij prikken?
[knip]

Omdat ZFSGuru en XPenology prima een iSCSI volume of NFS share aan kunnen bieden, kun je de NAS gebruiken om je VMs op te zetten. Een aparte controller voor je VMs is hierdoor niet nodig. Op één van de SATA poorten op het moederbord zet je een kleine schijf of zelfs een SATAdom voor je ZFSGuru of XPenology VM en dat was het. Een kleine VM die je persee niet op je NAS wilt past er dan ook nog wel bij. PFsense routertje of iets dergelijks.

[BartDG]

Oh, heel interessant! Daar had ik nog niet aan gedacht! Dus je eerste VM die je op je ESXi server zet is in feite je NAS naar keuze, met een losse 1015 controller (en die dus uitgebreid kan worden indien nodig), en voor de andere VM's maak je gebruik van de diskspace juist van die NAS op ze op te plaatsen. Slim! Een bijkomende voordeel lijkt mij dan inderdaad te zijn dat de snelheid van die VM's vrij hoog zal zijn omdat alle dataverkeer over virtuele ethernet poorten gaat maar in de praktijk de ESXi-bak niet verlaat.

Het lijkt mij wel dat je dan wel goed moet opletten dat je nooit de tak vanonder je eigen kont gaat zagen, want ontegensprekelijk wordt de NAS dan de meest belangrijke VM op het ganse systeem. Als die valt, gaat al de rest mee. Wellicht daarom is het aan te raden om ZFS met RAIDZ2 te gebruiken of zoiets.

Ik heb geen ervaring met iSCSI, maar heb er al genoeg over gelezen om te weten hoe het werkt ; je stelt je target in voor een bepaalde hoeveelheid diskspace (die dan gereserveerd wordt op je NAS), en dan connecteer je er met je initiator naartoe die dan deze diskspace als het ware lokaal ter beschikking krijgt.

Ik vraag mij dan alleen af: kan je dan vanuit ESXi per VM connecteren met een iSCSI target op je NAS? Zodat iedere VM een eigen "lokaal" stukje op de NAS krijgt? Hoe doe je dat dan? Of zie ik dit verkeer is werkt dit volgens een andere methode?

Hartelijk dank aan iedereen die al gereageerd heeft trouwens. Ik heb al veel bijgeleerd en vind het mateloos interessant!

[Mezz0]

Als je het echt naar de next level wil brengen kan je ook nog naast je vmnas meerdere nested esxi servers installeren. Dan kan je gebruik maken van vmotion en HA en andere leuke dingen.
Het heeft allemaal eigenlijk weinig zin maar wel leuk om het een keer te doen.

[BartDG]

Haha, bedankt voor de suggestie, misschien doe ik dat ooit wel eens. Maar nu ben ik bezig met de basics, de next level zal nog even moeten wachten.

[hans_lenze]

Archeon schreef op dinsdag 18 november 2014 @ 22:25:
[knip]
Ik vraag mij dan alleen af: kan je dan vanuit ESXi per VM connecteren met een iSCSI target op je NAS? Zodat iedere VM een eigen "lokaal" stukje op de NAS krijgt? Hoe doe je dat dan? Of zie ik dit verkeer is werkt dit volgens een andere methode?
[knip]

Dit werkt precies zoals je beschrijft.
De NAS biedt een iSCSI volume aan en daar kun je mee doen wat je wilt. Je kunt het volume ook aan de ESXi host geven en er een datastore op plaatsen. Op deze datastore komen dan je VMs zelf te staan die je op de ESXi host draait.
Of je doet het allebei: een volume voor de host om VMs op te plaatsen en een hoopje extra volumes als dataschijven voor de VMs zelf.
Voor elke VM geldt dat je minimaal de configuratie van de VM op een datastore moet zetten. Anders kan de VM niet opstarten.

Je kunt het voor jezelf zo ondoorzichtig maken als je zelf wilt. Zelf ben ik fan van één methode en die overal inzetten zodat je bij een storing makkelijker uit kunt vinden waar het precies fout gaat.
De methode die mijn voorkeur heeft is NFS. Het NAS volume waarop ik mijn VMs zet is ook te bereiken via SMB en AFP zodat ik makkelijk ISOs en templates op de datastore kan zetten. Een ander voordeel is dat ik gebruik maak van nested ESXi die ook gebruik kunnen maken van dezelfde opslag zonder dat ik extra volumes aan hoef te maken.

[BartDG]

Bedankt voor de info Hans, heel duidelijk!

Voor zover ik weet is NFS toch het netwerkprotocol van *nix zoals SMB dat is voor Windows? Ik heb geen enkele ervaring met NFS, afgezien dan van het feit dat ik het ooit heb gebruikt met mijn popcorn hour (jaaaaaren geleden, de beginjaren van popcorn), omdat het protocol vlotter bleek dan SMB. Maar dat had wellicht meer te maken met de slechter implementatie van SMB door het popcorn team. Dat werd dan later rechtgetrokken en sindsdien heb ik NFS niet meer aangeraakt.

Maar als het een concurrent is van SMB, dan kan het toch alleen maar shares aanbieden, en geen (simulated) local storage zoals iSCSI dat doet? Normaal gezien kan je toch geen software draaien van op een share? Of is dit anders geregeld in het geval van VM's?

[hans_lenze]

Je kunt prima software draaien vanaf een share.
Het is zelfs één van de paradepaardjes van Server 2012 en SMB3: Hyper-V en SQL ondersteuning.
De volgende link geeft een kleine samenvatting van de mooie features: http://blogs.technet.com/...b-2-2-is-now-smb-3-0.aspx

Een aantal storage bedrijven hebben of zijn bezig met een SMB3 implementatie zodat het aanbieden van storage aan een Hyper-V cluster weer wat makkelijker wordt.
Voorbeelden:
NetApp vanaf Ontap 8.2
EMC VNX en VNX3
Nutanix vanaf NOS 3.5

VMware maakt geen gebruik van SMB3 maar van NFS voor file based shared storage.

[BartDG]

Oh, interesting! Bedankt voor de info!