Nieuwe home server

[Mattie112]

Begin dit jaar heb ik van een andere tweaker een pricewatch: Supermicro A1SAM-2750F (Retail pack) overgenomen ter vervanging van mijn oude server. Compleet met 32gb aan ECC-RAM. Waarom dit? Tja:het idee was lekker zuinig maar ik moet zeggen dat dat wel wat tegenvalt. Is natuurlijk ook een gigantisch compleet mobo (4x LAN, kvm/ip etc) wat ik eigenlijk gewoon niet gebruik.

Ik wilde eens aan de slag met ZFS en de keuze is FreeNAS geworden, vandaar ook 32gb ram. Verder wilde ik een VM met Windows Server (aangezien ik daar ook zaken op draaien) wat ook kon met FreeNAS icm VirtualBox.

Maar:
Nu een half jaartje later vind ik FreeNAS nog steeds maar mwa mwa, ik mis net even de echte controle over mijn systeem. De VirtualBox implementatie is ook gewoonweg ruk (geen USB devices support etc) en is ook (te) traag voor mij.

Ik zou dit systeem natuurlijk opnieuw kunnen installeren met KVM voor mijn VM maar ik vraag me af of dat er beter op gaat worden. Ik zit er dus aan te denken om toch te gaan kijken voor wat krachtige hardware.

Bijvoorbeeld: wenslijst: serv_new
i3, simpel moederbordje en 32GB ram, exacte type maakt niet uit ik ga dan even in de V&A kijken wat er zoal is. Allemaal niet zo heel spannend, allicht een HDD controller kaartje er bij.

Qua HardDisks heb ik (atm dus ik ZFS config)
3x 3TB (raid5)
2x 1TB (raid1) (met 128gb SSD als cache)
1x 4TB
(en voor OS: 2x 16GB usbstick)

Grote vraag is: ga ik weer naar ZFS? Zou wel makkelijk zijn aangezien ik dan geen data over hoef te zetten. Had ook verder geen problemen met ZFS liep alleen een beetje tegen de problemen/eigenaardigheden van FreeNAS aan.

Stel nou dat ik op die 2 usb sticks debian of centos of whatever voor normale distro knal. Daar KVM op installeer. Dan kan ik op de SSD (waar dan een 2e bij komt voor raid 1) een VM installeren voor ZFS (kan dat? een VM die de disks mount zegmaar?) en een VM voor mijn Windows Server machine.

Allicht dat er dan een raid-controller-zonder-raid bij moet? Dit bijv: pricewatch: Delock PCI Express Card > 10 x internal SATA 6 Gb/s – Low P...

Ik verwacht dat mijn VM toch wel een stukje beter performed door zowel de snellere CPU als de KVM oplossing ipv halfgare VirtualBox onder FreeNAS, wat is jullie idee?

Een andere oplossing zou zijn een 6-bay NAS maar dan heb je het ook al over 500a600 euro...

edit:
Heerlijk hoe het alleen al helpt om eea op te schrijven, heb er nog iets dieper overnagedacht en ik denk dat dit wel een goed idee is:

- i3 of i5 met VT-d (geloof ik dat het was om harddisks 1:1 aan een VM te kunnen assignen)
- KVM of ESXi als host
- (bijv) die Delock 10 poorts controller (er vanuitgaande dat dat gesupport wordt)
- 1VM met FreeNAS (of iets anders met ZFS) die raw de zfs disks heeft
- 1VM met windows, of via een iSCSI LUN of direct op 1 of 2 SSD's (al dan niet via onboard RAID 1)
- simpel moederbordje met 4x ram, het bordje hoeft niet veel te kunnen tenslotte

De host moet ik nog even kijken of ik dat dan op USB installeer of op een SSD't je (evt shared met windows VM)

Vanavond maar even kijken hoe dat zit met VT-d

[ Voor 12% gewijzigd door Mattie112 op 27-06-2016 17:49 ]

[Brantje]

Waarom niet xpenology proberen?
Software op basis van de Synology nas.

[Verwijderd]

Maak het jezelf gemakkelijk:

• Splits de ingewikkelde dingen (applicaties, virtual machines, andere serverdingen) van de opslag (ZFS). Je wilt 'krachtigere hardware' maar dat is helemaal niet nodig voor ZFS. Wat je kunt doen is een goedkoop en superzuinig N3160 servertje kopen en je huidige hardware gebruiken voor de applicatieserver.
• ZFS gebruiken in een VM raad ik af; je besteedt veel geld aan Vt-d maar je blijft een zeer complexe en daardoor mogelijk kwetsbare setup draaien. Hoe simpeler je setup, des te beter. De opslag splitsen van VM/apps is daarom een groot voordeel.
• Je hebt nu ZFS, ik zou het zonde vinden als je 'terug' gaat naar een legacy RAID setup.
• De Delock controller werkt (nog) niet op FreeNAS.

Kortom, de beste setup is eigenlijk de goedkoopste oplossing; je koopt enkel een N3160 servertje waar je de ZFS opslag op doet en je huidige vrij krachtige hardware met 32G RAM heb je vrij voor virtual machines op een OS naar keuze, zonder dat je daarmee ingewikkeld met vt-d en ZFS in een VM moet gaan werken.

[Mattie112]

Hm, dat het makkelijker is dat zou kunnen maar goedkoper weet ik niet.

Als ik een beetje kijk naar die N3150 bordjes zit je op ~80 euro, daar moet dan nog RAM bij (en dat zal toch zeker 8gb moeten zijn voor ZFS), €50 en dan een voeding (wat dan allicht wel weer een pico-psu kan zijn) en een case en niet te vergeten satacontroller aangezien die bordjes max 4 hebben.

Maar ja opzich geen gedoe met het virtualiseren van een VM met ZFS, tja..

Ik had het idee dat VT-d gewoon prima werkte maar allicht zit ik daar mis

Dan is het nog de vraag blijf ik bij die Supermicro Atom of pak ik alsnog een simpel i3'tje voor de applicaties. Zou even wat benchmarks moeten vergelijken daarvoor.

edit:
zit trouwens even te denken, case heb ik nog wel liggen denk ik, voeding allicht ook dus dan valt het allicht toch wel mee nog.
Dan moet ik wel nog even kijken voor een sata-controller. Wel een die supported is voor FreeNAS, dan kan ik in eerste instantie gewoon 1:1 het systeem overgooien zonder al te moeilijk te doen.

Maar thx, je hebt me goed aan het denken gezet

[ Voor 21% gewijzigd door Mattie112 op 28-06-2016 14:39 ]

[Mattie112]

Ok, ik heb in elk geval besloten om wel dat supermicro bordje weg te doen.
Vooral omdat het toch een vrij "duur" server bordje is waarvan in de helft van de features eigenlijk niet gebruik. Ik verkoop het dan liever "nu" dat ik er nog een mooi bedrag aan over hou ook.

Dan is het alleen nog de vraag: 1 systeem met VM's of 2 systemen met storage los.

Zat alleen even te kijken voor die satacontrollers maar aangezien ik min 6 poorten moet hebben (liefsts 6) is eigenlijk alleen die DeLock gunstig qua prijs. Wat is daar een beetje handig om te doen?
Of ik moet naar een socket 1150 Z87 chipset bordje gaan kijken met een cheapass cpu zoals een Celeron G1840 oid. Deze bordjes zijn beschikbaar met 8 sata poorten

[Mattie112]

Goed even een klein kickje.

Omdat ik geen geld heb om alles in 1x te kopen ben ik gewoon maar ergens begonnen.

ASRock Z87 Extreme 4 moederbord (want 8 sata poorten)
i5 4590t (low power)
32GB DDR-3 (non-ecc)

Dus inderdaad nog geen controller, mobo was niet zo duur dus kan net zo goed eerst dat proberen

Een 2e systeempje zou ik eigenlijk pas na de zomer kunnen kopen dus eigenlijk moet ik het hier even mee doen.

Heb het nu als volgt:
VMWare ESXi op een usb stick, FreeNAS zelf op een random disk die ik nog had liggen op een losse sata controller (even voor tijdelijk).
FreeNAS: 2cpu cores en 16GB ram
De onboard SATA controller via passthrough aan FreeNAS gegeven (FreeNAS vind ook netjes de volumes etc). Lijkt allemaal te werken.

Een NFS share aangemaakt voor virtual machines en deze weer gemount in ESXi (wat weer via interne vmware switch loopt). Alleen de performance lijkt me wat slecht, aangezien plaatjes meer zeggen dan 1000 woorden:

Win2k16 VM (met zijn VM disk op een datastore wat eigenlijk een NFS mount is naar FreeNAS):


En ter vergelijking 1 enkele HDD op mijn locale PC (en echt wel 1 van 8 jaar oud)


De achterliggende datastore betreft 2x 1TB HDD in "raid 1". Vooral is de write echt heel erg traag, je merkt het ook wel echt als je in het systeem bezig ben. Hoe zou dit kunnen? Goed ik snap dat het niet perfect is maar dit moet gewoon beter kunnen. Een SSD voor caching toevoegen aan FreeNAS lijkt me ook niet echt nuttig met 16GB ram.

Ik wil graag eerst uitzoeken hoe dit kan voor ik eventueel investeer in een 2e systeempje. In dat geval wil ik namelijk ook over het netwerk de storage regelen voor de VM's. Wat dat betreft is dit nog een soort van best-case scenario, zelfde host, 10gbit VMware switch tja hoeveel sneller wil je het hebben?