Hoe moet ik mijn server inrichten?

[DennusB]

Hoi Tweakers,

Ik draai nu al een tijdje thuis Xpenology op Vmware ESXi thuis. Super leuk, maar echt rete stabiel is het niet.
Daarnaast draait er een VM met Sab/Sickbeard/Couchpotato & Transmission & een VM met pfSense (als router).

Nu wil ik een beetje van dat onstabiele af. De server die ik thuis heb staan is een HP MicroServer N54L met 8GB en 4x 1TB & 2 netwerkkaarten. Eigenlijk wil ik het liefst naar ZFS voor m'n data, lekker snel en stabiel.
Maar het nadeel van bijvoorbeeld ZfsGuru is dat je er geen VM's meer bovenop kan draaien volgens mij. ZfS on Linux is nog niet echt stabiel van wat ik lees en dan blijft er volgens mij weinig over (behalve OmniOS maar die heeft vendor lock).

Hebben jullie tips over hoe ik dit het beste in kan richten? Wat ik dus wil :
- Snelle, "veilige" storage
- VM mogelijkheid
- "Makkelijk" te onderhouden en configgen, preffered webinterface dus.

Heeft iemand tips of ervaring met een soortgelijke opstelling? Ik ben erg benieuwd of jullie mij kunnen helpen Na veel onderzoek op Google heb ik veel informatie vergaard maar kan ik zelf nog niet echt de knoop doorhakken!

[Verwijderd]

Maar het nadeel van bijvoorbeeld ZfsGuru is dat je er geen VM's meer bovenop kan draaien volgens mij.

Waarom zou dat niet kunnen, aangezien VirtualBox goed wordt ondersteund?

VirtualBox is alleen niet de beste virtualisatie oplossing. ESXi is opzich wel beter, maar dat is weer slechter voor het ZFS gedeelte. Als 'bhyve' zich vordert, dan kan dit de ideale hypervisor voor het BSD platform worden. Maar deze is nog sterk in ontwikkeling op dit moment.

Als je VMs een beetje bijzaak zijn, dan is ZFSguru met VirtualBox wel het overwegen waard. Als je virtualisatie bloedserieus neemt, zou ik een aparte VM box bouwen los van de ZFS server.

[DennusB]

Verwijderd schreef op woensdag 04 juni 2014 @ 16:44:
[...]

Waarom zou dat niet kunnen, aangezien VirtualBox goed wordt ondersteund?

VirtualBox is alleen niet de beste virtualisatie oplossing. ESXi is opzich wel beter, maar dat is weer slechter voor het ZFS gedeelte. Als 'bhyve' zich vordert, dan kan dit de ideale hypervisor voor het BSD platform worden. Maar deze is nog sterk in ontwikkeling op dit moment.

Als je VMs een beetje bijzaak zijn, dan is ZFSguru met VirtualBox wel het overwegen waard. Als je virtualisatie bloedserieus neemt, zou ik een aparte VM box bouwen los van de ZFS server.

Ik zie nu inderdaad ook dat er zelfs een VirtualBox management pagina in ZfSGuru zit. Wat ik volgens mij alleen herinner van vroeger is dat ZfSGuru alle packages in losse containers draait op het systeem? En dat maakte het niet echt makkelijker om dingen uit te wisselen tussen VM's. Is dat nog steeds zo?
Edit : En zie dat het op BSD wat beperkingen heeft. Kan ik wel mijn 2e NIC connecten aan een VM zodat ik die weer als router kan gebruiken?

[ Voor 6% gewijzigd door DennusB op 04-06-2014 16:56 ]

[Verwijderd]

Ik denk dat dat voor FreeNAS geldt. Die gebruikt Jails/Chroot.

Maar natuurlijk heeft je VM niet zomaar toegang tot de rest van de storage op de server; dat geldt overal. Maar je VM kun je net als andere computers op het netwerk toegang geven tot de gegevens op de ZFS server.

Wat wil je nou precies bereiken allemaal? Het is niet alsof je zo'n kleine Microserver alles kunt laten draaien. Waarom wil je überhaupt virtualisatie? Leg eens wat uit wat je wilt bereiken.

[DennusB]

Verwijderd schreef op woensdag 04 juni 2014 @ 16:56:
Wat wil je nou precies bereiken allemaal? Het is niet alsof je zo'n kleine Microserver alles kunt laten draaien. Waarom wil je überhaupt virtualisatie? Leg eens wat uit wat je wilt bereiken.

Ik wil een server hebben die primair storage aanbied voor m'n films, series en foto's. Die worden gestreamt naar een Raspberry Pi.
Maar ik wil naast degelijke storage ook SabNZBD/Sickbeard/Transmission/Couchpotato etc draaien. En daarbij komt nog dat ik nu (op esxi) een VM heb met PfSense die thuis routert speelt (2 NIC's).
Die 2 VM's wil ik dus eigenlijk zo houden, omdat ik wil dat mijn fileserver niet hoeft te kloten met packages als Sickbeard etc, daar is een losse VM in mijn ogen beter voor.
Zou dus betekenen, ZfSguru met 2 VM's, de VM met SabNZBD etc krijgt gewoon een mountpoint (nfs of smb) naar een share op de fileserver (ZfSguru) dus. Dat moet toch kunnen?

[Verwijderd]

Dat kan ja. Het is wel erg foutgevoelig en omslachtig, bovendien kost het je veel performance overhead. Je hebt ook een probleem met RAM omdat je maar 8GiB hebt. Dat wil je eigenlijk in zijn geheel aan de ZFS server geven.

Geen VMs maar NAT router en SAB gewoon direct op de ZFS server is een beter alternatief als het je om performance en maintainability te doen is.

[DennusB]

Verwijderd schreef op woensdag 04 juni 2014 @ 17:14:
Dat kan ja. Het is wel erg foutgevoelig en omslachtig, bovendien kost het je veel performance overhead. Je hebt ook een probleem met RAM omdat je maar 8GiB hebt. Dat wil je eigenlijk in zijn geheel aan de ZFS server geven.

Geen VMs maar NAT router en SAB gewoon direct op de ZFS server is een beter alternatief als het je om performance en maintainability te doen is.

Volgens mij zijn er geen packages van Couch/Sickbeard & Transmission voor BSD... vandaar dat ik dat liever in een (Ubuntu) VM knal!

[Verwijderd]

Je praat over dingen die je helemaal niet weet. ZFSguru heeft veel addons die je met een klik installeert. SAB (en alle zooi zoals CouchPotato/SickBeard/Headphones/Maraschino/LazyLibrarian/etcetc) is een van de bekendste addons voor ZFSguru. Virtualbox en Transmission ook. Dat valt met een muisklik te installeren.

Ga eerst eens in VirtualBox wat uit proberen zou ik zeggen. Dan pas wilde plannen maken met ingewikkelde configuraties als virtualiatie als je dat écht wilt. Zoals ik het nu hoor, kun je beter wat beginervaring op doen. Je weet er simpelweg nog niet zoveel vanaf. Dus gewoon gaan proberen en de moeilijke dingen komen later wel, ofzoiets.

[DennusB]

Verwijderd schreef op woensdag 04 juni 2014 @ 17:20:
Je praat over dingen die je helemaal niet weet. ZFSguru heeft veel addons die je met een klik installeert. SAB (en alle zooi zoals CouchPotato/SickBeard/Headphones/Maraschino/LazyLibrarian/etcetc) is een van de bekendste addons voor ZFSguru. Virtualbox en Transmission ook. Dat valt met een muisklik te installeren.

Ga eerst eens in VirtualBox wat uit proberen zou ik zeggen. Dan pas wilde plannen maken met ingewikkelde configuraties als virtualiatie als je dat écht wilt. Zoals ik het nu hoor, kun je beter wat beginervaring op doen. Je weet er simpelweg nog niet zoveel vanaf. Dus gewoon gaan proberen en de moeilijke dingen komen later wel, ofzoiets.

Het hele ZFS/ZfsGuru stuk is nieuw voor me inderdaad Ik zal inderdaad eens wat gaan spelen! Thanks voor je input in ieder geval!

[it0]

Ik kan je proxmox van harte aanraden.

[DennusB]

it0 schreef op woensdag 04 juni 2014 @ 17:25:
Ik kan je proxmox van harte aanraden.

Met daar bovenop ZFSGuru dan?

[RudolfR]

Ik heb een (VT-d enabled) ESXi machine die ik inzet als all-in-one; met ZFSGuru voor storage.
Daarnaast ook een Ubuntu Download VM, een TvServer (tvheadend + encoder) en een xbmcserver (headless xbmc + mysql database). Werkt prima. Wel met 16 GiB RAM.

Daarnaast hobby ik er nog een beetje bij met een VM voor XPenology, maar dat moet ik nog 'ns fatsoenlijk inrichten en DSM5.0 krijg ik niet aan de praat.

Dus wat jij wil, kan ook via ESXi, maar uitgezonderd van de de Pfsense kan ZFSGuru ook alles wat jij graag wil, dus misschien koop je daar beter een dedicated (dd- of open-wrt enabled) routertje voor.

[HyperBart]

DennusB schreef op woensdag 04 juni 2014 @ 17:02:
[...]


Ik wil een server hebben die primair storage aanbied voor m'n films, series en foto's. Die worden gestreamt naar een Raspberry Pi.
Maar ik wil naast degelijke storage ook SabNZBD/Sickbeard/Transmission/Couchpotato etc draaien. En daarbij komt nog dat ik nu (op esxi) een VM heb met PfSense die thuis routert speelt (2 NIC's).
Die 2 VM's wil ik dus eigenlijk zo houden, omdat ik wil dat mijn fileserver niet hoeft te kloten met packages als Sickbeard etc, daar is een losse VM in mijn ogen beter voor.
Zou dus betekenen, ZfSguru met 2 VM's, de VM met SabNZBD etc krijgt gewoon een mountpoint (nfs of smb) naar een share op de fileserver (ZfSguru) dus. Dat moet toch kunnen?

Kijk, ik heb ook lang met datgene zitten worstelen. Je wilt alles functioneel gescheiden, VM'tje, je uberbelangrijke data wil je niet dat Python achtige rotzooi daarmee gaat morsen...

Maarreh, kijk nu, ik draai gewoon native Ubuntu met ZFS en daarop SB/CP/Sabnzbd. De performance is geweldig, uitpakken unrarren parren tarren gaat zoveel sneller dan in een VM en met een zfs snapshotje stel je je data veilig tegen software die rare dingen uithaalt. Zo fijn! Ik zou gewoon native gaan en een apart pfsense bakje bouwen. Het gemak van het scheiden van die twee ga je fijn vinden.

[DennusB]

RudolfR schreef op donderdag 05 juni 2014 @ 09:54:
Ik heb een (VT-d enabled) ESXi machine die ik inzet als all-in-one; met ZFSGuru voor storage.
Daarnaast ook een Ubuntu Download VM, een TvServer (tvheadend + encoder) en een xbmcserver (headless xbmc + mysql database). Werkt prima. Wel met 16 GiB RAM.

Daarnaast hobby ik er nog een beetje bij met een VM voor XPenology, maar dat moet ik nog 'ns fatsoenlijk inrichten en DSM5.0 krijg ik niet aan de praat.

Dus wat jij wil, kan ook via ESXi, maar uitgezonderd van de de Pfsense kan ZFSGuru ook alles wat jij graag wil, dus misschien koop je daar beter een dedicated (dd- of open-wrt enabled) routertje voor.

Doe je dan passthrough van je disken naar je ZFSGuru VM? Want als dat VMDK's zijn lever je toch enorm in op performance in een VM?

HyperBart schreef op donderdag 05 juni 2014 @ 10:31:
[...]


Kijk, ik heb ook lang met datgene zitten worstelen. Je wilt alles functioneel gescheiden, VM'tje, je uberbelangrijke data wil je niet dat Python achtige rotzooi daarmee gaat morsen...

Maarreh, kijk nu, ik draai gewoon native Ubuntu met ZFS en daarop SB/CP/Sabnzbd. De performance is geweldig, uitpakken unrarren parren tarren gaat zoveel sneller dan in een VM en met een zfs snapshotje stel je je data veilig tegen software die rare dingen uithaalt. Zo fijn! Ik zou gewoon native gaan en een apart pfsense bakje bouwen. Het gemak van het scheiden van die twee ga je fijn vinden.

Jep, misschien wel. Ik denk dat ik Vrijdag eens ZFSGuru op die N54L ga installeren. Data is al gebackupt. Dan maar even kijken of ik een losse router wil gebruiken (heb k staan) of dat ik PfSense gewoon als VM in VirtualBox schop (want dat zou moeten kunnen ).

[Cyphax]

DennusB schreef op woensdag 04 juni 2014 @ 17:15:
[...]


Volgens mij zijn er geen packages van Couch/Sickbeard

Die zijn ook niet nodig; die dingen zijn self-containing. Het zijn python-scripts die je gewoon kan starten. Er valt niet zoveel te installeren.
Zo ging het op mijn server althans.

[HyperBart]

DennusB schreef op donderdag 05 juni 2014 @ 10:48:
[...]


Doe je dan passthrough van je disken naar je ZFSGuru VM? Want als dat VMDK's zijn lever je toch enorm in op performance in een VM?

[...]


Jep, misschien wel. Ik denk dat ik Vrijdag eens ZFSGuru op die N54L ga installeren. Data is al gebackupt. Dan maar even kijken of ik een losse router wil gebruiken (heb k staan) of dat ik PfSense gewoon als VM in VirtualBox schop (want dat zou moeten kunnen ).

Probeer zeker ook eens Ubuntu icm ZFS eerst even... FireDrunk heeft daar een EXCELLENT blogje over geschreven:

The ZFS Storage Blog!: Tutorial: Ubuntu NAS/SAN All-in-one!

[DennusB]

HyperBart schreef op donderdag 05 juni 2014 @ 13:05:
[...]

Probeer zeker ook eens Ubuntu icm ZFS eerst even... FireDrunk heeft daar een EXCELLENT blogje over geschreven:

The ZFS Storage Blog!: Tutorial: Ubuntu NAS/SAN All-in-one!

Dat ga ik ook zeker even proberen in een VM van te voren Wel vind ik het grote voordeel van ZFSGuru dat het een webinterface heeft. Ik ben van huis uit Technisch Applicatiebeheerder/Sysbeheerder dus kan prima uit de voeten met Linux, maar ik moet het thuis wel "snel' & easy kunnen managen haha. Thanks voor de tip en link in ieder geval

[d1ng]

DennusB schreef op donderdag 05 juni 2014 @ 10:48:
[...]
Jep, misschien wel. Ik denk dat ik Vrijdag eens ZFSGuru op die N54L ga installeren. Data is al gebackupt. Dan maar even kijken of ik een losse router wil gebruiken (heb k staan) of dat ik PfSense gewoon als VM in VirtualBox schop (want dat zou moeten kunnen ).

Ook voor pfSense heb je eigenlijk geen vm nodig. pfSense is namelijk gebouwd op FreeBSD, net als ZFSguru. Wat je thuis met pfSense wilt, kan je ook in FreeBSD. Een simpel natje + pf firewall instellen op FreeBSD is echt super easy.

[Biite]

DennusB schreef op donderdag 05 juni 2014 @ 10:48:
Doe je dan passthrough van je disken naar je ZFSGuru VM? Want als dat VMDK's zijn lever je toch enorm in op performance in een VM?

Bij de laatste versies van ESX (van ongeveer versie 4.x) is de overhead minimaal, doorgaans maximaal 2 tot 5%.
Performance haal je vooral uit de hoeveelheid IO's per seconde die de onderliggende harde schijven kunnen leveren, als er maar 1 SATA (nearline) disk onderhang met 7200 toeren, dan krijg je daar hooguit 100 IO's per seconde uit.
ZFSguru in een VM zal dus waarschijnlijk prima kunnen werken en performen, maar je moet de VM dus wel 'virtual disks' aanleveren die op verschillende fysieke disks staan.

[BCC]

Ik draai Ubuntu op een eenvoudige MDADM-Raid5 over een drie-tal partities met daarbovenop ZOL met 3 de rest van de ongebruikte ruimte op de schijven aan ZFS toegewezen. Vast niet de meest optimale config, maar zeker meer dan genoeg voor mijn zolder servertje.

Booten van ZFS kreeg ik niet voor elkaar in Ubuntu en eigenlijk durf ik dat ook nog niet aan voor een server

[Tha_Butcha]

Winstverlies van passthrough is minimaal. Maar dat kan je helemaal niet op die bak van jou (die proc heeft geen VT-d/IOMMU), dus dat kan je shaken.

Verder geef ik CiPHER gelijk, gewoon eerst leren hoe BSD en ZFS (en de packages die je wilt hebben) werken, vóórdat je allerlei dingen uithaalt met virtualisatie. Overigens heb ik zelf ook nog een tijdje pfSense als VM gedraaid, maar dat vond ik alleen maar lastig. Als je VM-server down gaat, heb je ook geen internet.