Zuinige ESXi Server

[ppl]

Gohan-san schreef op maandag 14 januari 2013 @ 17:50:
waarom nog workstation als je een esxi host hebt?

Ik heb juist van de week mijn workstation installatie gedinstalleerd omdat ik er geen nut meer in zag

Hier geen Workstation want dat werkt niet op een Mac maar wel Fusion. Waarom? Omdat mijn ESXi bak niet portable is en ook geen al te beste videokaart heeft voor grafische clients. Hij draait dat laatste wel prima mits je het lekker basic houdt. De fancy stuff die je tegenwoordig in Windows en Linux zit maakt het gewoon te traag en dus draai ik dat soort zaken nog op mijn client. Ik vind dat overigens ook stukken prettiger werken dan via de vSphere client want die is nou niet echt snel met dat soort zaken. Overigens kun je met Workstation 9 tegenwoordig wel leuk connecten naar ESXi voor beheer. Heb je de vSphere client niet meer nodig.

[FireDrunk]

Ik heb momenteel ZFS, en aangezien FreeBSD nogal slecht virtualiseert, en RDM niet echt een oplossing is, heb ik FreeBSD een poos native draaien.

Ik heb nog wel ESXi servers hoor, een 1U doosje bijvoorbeeld wat ik altijd voor LAN parties gebruik. Die heeft een AMD Opteron 46xxEE ofzo, en 24GB ECC Registered geheugen.

Dus het is niet alsof ik compleet ESXi loos ben

Ik moet eens kijken hoe ik RDM aan de praat kan krijgen onder FreeBSD, misschien dat het dan wat word met ESXi.

[Compizfox]

FireDrunk schreef op maandag 14 januari 2013 @ 19:58:
Ik heb momenteel ZFS, en aangezien FreeBSD nogal slecht virtualiseert, en RDM niet echt een oplossing is, heb ik FreeBSD een poos native draaien.

En hoe bevalt dat t.o.v. gevirtualiseerd onder ESXi?
Ik zit het toch een beetje in overweging te nemen.

Aan de ene kant vind ik ESXi "1337" (), aan de andere kant heeft het wat nadelen:
- Hoger stroomverbruik
- Zit vast aan FreeBSD 9.0 (ivm physical RDM's die niet werken in 9.1)
- Kan m'n PCI-kaartjes niet gebruiken

Ik ben echter bang dat de performance van bijvoorbeeld Virtualbox onder FreeBSD als host te erg tegenvalt vergeleken met ESXi.

Ik moet eens kijken hoe ik RDM aan de praat kan krijgen onder FreeBSD, misschien dat het dan wat word met ESXi.

Als je het voor elkaar krijgt, hoor ik het graag! Tenminste, onder FreeBSD 9.1 bedoel je dan toch?

[FireDrunk]

Stroomverbruik van ESXi is vergelijkbaar met FreeBSD, het scheelt weinig hoor. Als je C- en P- states aan zet in ESXi is het ook vrij zuinig hoor.

De performance van FreeBSD native is wel stukken beter dan gevirtualiseerd. Je merkt duidelijk verschil in reads, writes en dingen als inpakken/uitpakken van bestanden. Ik heb nu ook SabNZBd native draaien onder FreeBSD waar ik dat eerste in een Ubuntu VM had draaien.

VirtualBox is wel echt traag. Netwerk is mager en de ruwe CPU performance valt ook tegen. Bovendien zijn de beheersmogelijkheden niet echt top (VNC is nou niet echt handig icm die vage poort definities, maar ach het werkt.)

Ik heb 2 VM's 1 Webdevelopment server, en 1 Sickbeard/Transmission/Couchpotato/Headphones VM.

Met 16GB geheugen is dat vrij kaal. ESXi is VEEEEEL beter in geheugen management dan VirtualBox.
Daardoor heb ik mijn ARC moeten limieteren tot 4GB. Hierdoor is mijn server niet echt snel meer.
Ik haal met 10 disks nog iets van 300MB/s schrijven en 450MB/s lezen.

[Valkyre]

FireDrunk schreef op dinsdag 15 januari 2013 @ 08:51:
Stroomverbruik van ESXi is vergelijkbaar met FreeBSD, het scheelt weinig hoor. Als je C- en P- states aan zet in ESXi is het ook vrij zuinig hoor.

Dit klinkt nog interressant heb je daar toevallig ergens een linkje over hoe wat en waar ik dat aanzet?
Ik kan mij niet indenken dat ik ooit iets dergelijks ben tegen gekomen.

[devastator83]

welk (VT-d) mobo raden jullie aan om een unraid server te maken met min 4 schijven ?
Ik neem aan het 2 SATA controllers moet hebben (1 voor unraid met de schijven, een 2de voor de data stores ) ?

[FireDrunk]

Gohan-san schreef op dinsdag 15 januari 2013 @ 11:51:
[...]
Dit klinkt nog interressant heb je daar toevallig ergens een linkje over hoe wat en waar ik dat aanzet?
Ik kan mij niet indenken dat ik ooit iets dergelijks ben tegen gekomen.

Staat in de start post.

devastator83 schreef op dinsdag 15 januari 2013 @ 12:17:
welk (VT-d) mobo raden jullie aan om een unraid server te maken met min 4 schijven ?
Ik neem aan het 2 SATA controllers moet hebben (1 voor unraid met de schijven, een 2de voor de data stores ) ?

Maakt niet uit, VT-d is VT-d... Als het werkt, werkt het.
Veel belangrijker zijn de verdere eisen die je hebt.

Bijna alle B75, H77, en Q77 borden met een UEFI hebben VT-d ondersteuning. Borden met een BIOS hebben wat minder kans.

Roep eens wat eisen, misschien kunnen we hier wat verzinnen.

Qua CPU moet je minimaal een i5-3330 of hoger hebben, en een non -K versie nemen.

[devastator83]

FireDrunk schreef op dinsdag 15 januari 2013 @ 12:23:

Maakt niet uit, VT-d is VT-d... Als het werkt, werkt het.
Veel belangrijker zijn de verdere eisen die je hebt.

Bijna alle B75, H77, en Q77 borden met een UEFI hebben VT-d ondersteuning. Borden met een BIOS hebben wat minder kans.

Roep eens wat eisen, misschien kunnen we hier wat verzinnen.

Qua CPU moet je minimaal een i5-3330 of hoger hebben, en een non -K versie nemen.

Idd, die CPU had ik ook voor ogen.

Nou, ik zou graag minstens 4 schijven willen pass throughen naar unraid, terwijl mijn VM's opgeslagen zouden worden op een SSD.

Andere requirements: minstens 16 GB ram, energiezuinig, en dual lan zou mooi zijn (maar is geen vereiste).
De nics zouden moeten werken in ESXI ...

Ik dacht persoonlijk mss aan dit: ASRock B75 Pro3-M

[ Voor 3% gewijzigd door devastator83 op 15-01-2013 12:32 ]

[FireDrunk]

De meeste NIC's zijn wel werkend te krijgen.

Ik heb zelf een DQ77MK en die zou heel goed met ESXi overweg moeten kunnen.
Ik moet het zelf nog uitproberen, maar het bord is wat mij betreft een aanrader.

Erg zuinig (19W icm een L7 300W en een i5-3550), dat zou dus nog minder kunnen zijn met een PicoPSU.

Daar zitten ook 2 NIC's op, maar die werken niet allebei out-of-the-box. Je moet daar een custom image voor maken.

Wil je een Moederbord met 2 out-of-the-box supported NIC's kom je al gauw aan een Tyan of Supermicro bord.

Die B75 schijnt nogal wat problemen te hebben met het doorgeven van 1 van de controllers terwijl de ander gebruikt word als datastore.

[ Voor 11% gewijzigd door FireDrunk op 15-01-2013 12:41 ]

[devastator83]

FireDrunk schreef op dinsdag 15 januari 2013 @ 12:36:
De meeste NIC's zijn wel werkend te krijgen.

Ik heb zelf een DQ77MK en die zou heel goed met ESXi overweg moeten kunnen.
Ik moet het zelf nog uitproberen, maar het bord is wat mij betreft een aanrader.

Erg zuinig (19W icm een L7 300W en een i5-3550), dat zou dus nog minder kunnen zijn met een PicoPSU.

Daar zitten ook 2 NIC's op, maar die werken niet allebei out-of-the-box. Je moet daar een custom image voor maken.

Wil je een Moederbord met 2 out-of-the-box supported NIC's kom je al gauw aan een Tyan of Supermicro bord.

Die B75 schijnt nogal wat problemen te hebben met het doorgeven van 1 van de controllers terwijl de ander gebruikt word als datastore.

Maar als ik het goed lees, heeft de DQ77MK een controller met 3 en een met 2 drives.
Dan kan ik toch geen 4 schijven aan unraid hangen, of wel ?

[redfoxert]

devastator83 schreef op dinsdag 15 januari 2013 @ 12:27:
[...]


Idd, die CPU had ik ook voor ogen.

Nou, ik zou graag minstens 4 schijven willen pass throughen naar unraid, terwijl mijn VM's opgeslagen zouden worden op een SSD.

Let op dat je een fysieke harddisk NIET kunt "VT-d-en" naar je guests. Je geeft namelijk de controller door aan je guest waaraan de disken hangen. Met de onboard AHCI controllers (reguliere Intel controllers) lukt dit vrijwel niet omdat de host dan zelf geen storage meer kan aanspreken. Je zult dus met een losse PCI-e SATA controller aan de gang moeten om dit te bewerkstelligen.

[FireDrunk]

Inderdaad, je moet dus nog een losse controller erbij kopen.

[devastator83]

redfoxert schreef op dinsdag 15 januari 2013 @ 12:43:
[...]


Let op dat je een fysieke harddisk NIET kunt "VT-d-en" naar je guests. Je geeft namelijk de controller door aan je guest waaraan de disken hangen. Met de onboard AHCI controllers (reguliere Intel controllers) lukt dit vrijwel niet omdat de host dan zelf geen storage meer kan aanspreken. Je zult dus met een losse PCI-e SATA controller aan de gang moeten om dit te bewerkstelligen.

Inderdaad, het was de bedoeling om de contoller door te geven. Daarom dat ik in de vorige post vermelde van die 3 + 2.

Is er een controller die jullie kunnen aanbevelen ?

[FireDrunk]

De M1015, maar als je goedkoop wil, kan je een tweedehands LSI 1068 gebaseerde controller kopen.

http://virtual-drive.in/2...l-s1200bt-under-esxi-5-1/

Om de NIC werkend te krijgen. (Deze ga ik zelf van de week ook proberen)

[alter88]

Ik lees hier ook al een tijdje mee en wil ook een virtualisatie server wegzetten. Ik wil gaan virtualiseren met ESXi.

Wat ik er mee wil doen:

OS	Functie
NAS	Spreekt voor zich, FreeNas, Nas4Free of ZFSGuru, ben er nog niet helemaal aan uit
Webserver	LAMP server
Ontwikkelserver	Ubuntu, eventueel te combineren met webserver
Downloads	SABnzbd, CouchPotato etc.
...	VM's om te leren/spelen

Aan de hand van dit topic heb ik de volgende config samengesteld:

#	Product	Prijs	Subtotaal
1	Intel Core i5 3330 Boxed	€ 159,-	€ 159,-
1	Intel Desktop Board DQ77MK	€ 121,24	€ 121,24
3	Western Digital Green WD20EARX, 2TB	€ 84,85	€ 254,55
1	Fractal Design ARC MINI	€ 73,60	€ 73,60
1	Corsair Vengeance CML16GX3M2A1600C10	€ 70,90	€ 70,90
1	be quiet! Pure Power L7 300W	€ 37,95	€ 37,95
1	Samsung 830 series SSD 128GB	€ 124,95	€ 124,95
Bekijk collectie Importeer producten		Totaal	€ 842,19

Het is de bedoeling om de schijven in RAID 5 te gebruiken. De SSD is voor de VM's.

Is dit een beetje nette server, of zie ik dingen over het hoofd die van belang zijn voor het goed werken van ESXi en de VM's?

Ik kijk even mee welke RAID controller wordt aanbevolen aan Devastator.

[FireDrunk]

RAID controller != harddisk controller.

Voor Unraid heb je een simpele HBA nodig, en geen RAID controller.

Als je onder ESXi RAID5 wil draaien, moet je een RAID controller en TLER schijven nemen.
Als je ZFSguru wil gebruiken, en daar RAID-Z (=RAID5) wil doen, moet je met VT-d aan de slag met een losse HBA.

Als HBA is een M1015 aan te raden, en deze dan naar IT-mode te flashen.

[redfoxert]

ESXi ondersteunt ook de fake-raid/bios-raid van de Intel RST controller _NIET_

De IBM M1015 kan je prima gebruiken als HBA en zo relatief goedkoop 8 extra SATA poorten in je systeem krijgen.

[ Voor 42% gewijzigd door redfoxert op 15-01-2013 12:57 ]

[FireDrunk]

Nadeel is wel, dat je stroomverbruik met ~7W stijgt.

[johnkeates]

FireDrunk, waarom wil je ESXi perse gebruiken? Het is niet de enige bare-metal hypervisor, en ook niet de beste, snelste of grootste.

Natuurlijk ga je geen Hyper-V of KVM gebruiken, maar Xen dan? Heb je daar al naar gekeken? In plaats van de troep die je met ESX moet doen (RDM, rare speciale drivers voor je hardware) kan je gewoon complete blockdevices doorgeven, zonder dat BSD daar iets speciaals voor moet doen.

Op het moment zit je dan nog wel vast aan Linux om als mangement OS gebruiken, maar je kan waarschijnlijk ook richting puur-BSD gaan, zowel als Dom0 als DomU.


FreeBSD still cannot run as a Dom0 host, which means you need to setup with a different Dom0-capable operating system. A list of Dom0 kernels is available here:

https://wiki.freebsd.org/FreeBSD/Xen

Ik heb zelf NetBSD en pfSense gewoon als DomU in Xen draaien, en dat werkt prima. Ook diverse Windows Server versies, Linuxen en een experimentje met een Mac OS X DomU! De performance is net zo goed, of beter dan ESXi, en het is echt niet moeilijker ofzo. Qua stroomgebruik is Xen niet zwaarder dan ESXi, en als je het echt dun wil houden kan je ook alleen een Linux Kernel en de Xen mangement tools gebruiken voor je VM mangement.

[FireDrunk]

Omdat we hier in het Zuinige ESXi topic zitten

Het doorgeven van complete block devices staat ABSOLUUT NIET GARANT voor een goede werking van ZFS.

Ik heb bijna ALLE controllers van KVM geprobeerd (SATA, SCSI, SAS, en VIRTIO) icm Raw device passthrough.
En ALLEMAAL geven ze problemen icm ZFS.
Ik verwacht niet dat Xen ineens een perfecte controller heeft ontwikkeld die NIET in linux zit...
(99% van alle userland tools van Xen komen direct uit Linux).
En ik vertrouw de block device passthrough van Xen dus _nog_ niet.
Ik wil het best een keer proberen

Ik ben ook geen voorstander van RDM, het is meer een poor-mans-solution.

VT-d is de enige veilige way-to-go. Zowel voor KVM, ESXi, als Xen.

[ Voor 88% gewijzigd door FireDrunk op 15-01-2013 13:04 ]

[johnkeates]

FireDrunk schreef op dinsdag 15 januari 2013 @ 12:59:
Omdat we hier in het Zuinige ESXi topic zitten

Ja, maar dat maakt nog niet dat je het niet kan proberen

[devastator83]

johnkeates schreef op dinsdag 15 januari 2013 @ 13:01:
[...]


Ja, maar dat maakt nog niet dat je het niet kan proberen

klinkt anders ook interessant ...
Welke specs heeft je systeem ?

[FireDrunk]

Ik ben ook zeker geinterreseerd in Xen, al is het vanwege de veel uitgebreidere hardware support, en de mogelijkheid om zonder VT-d PCI devices door te geven aan Linux guests.

Ik wil het dan ook binnenkort eens uitgebreid aan de tand voelen

Maar ja, so much to do, so little time.

[johnkeates]

Het doorgeven van devices in Xen gaat niet op basis van virtuele SCSI, SATA, SAS of whatever controllers, dat is het mooie eraan, en zoals je aangeeft, ook zonder VT-d te doen! (Maar niet zonder VT-x voor zo ver ik weet, nooit geprobeerd). Ik heb nog geen ZFS draaien om dat ik nu nog met 6 losse RAID1 arrays zit, wat qua migreren een probleem is zonder 12 nieuwe schijven te kopen Maar van wat ik gezien heb op de FreeBSD kernel en Xen pagina's zit goede support voor Xen gewoon ingebouwd, zowel Xen-specifiek, als de algemene virt support drivers.

Misschien moet ik maar eens in het ZFS topic geen kijken. Het zou natuurlijk ideaal zijn om FreeBSD als Xen Dom0 te hebben, met daarin ZFS als opslag oplossing, en alle DomU's (VM's dus) gewoon direct op de ZFS laag pluggen. (Hoewel dat dan nog lang niet klaar is - directe toegang voor ZFS pools van DomU naar Dom0... dat zou leuk zijn!)

[Compizfox]

FireDrunk schreef op dinsdag 15 januari 2013 @ 08:51:
Stroomverbruik van ESXi is vergelijkbaar met FreeBSD, het scheelt weinig hoor. Als je C- en P- states aan zet in ESXi is het ook vrij zuinig hoor.

Tenzij je veel schijven als datastores hebt (ESXi doet niet aan downspinning)

De performance van FreeBSD native is wel stukken beter dan gevirtualiseerd. Je merkt duidelijk verschil in reads, writes en dingen als inpakken/uitpakken van bestanden. Ik heb nu ook SabNZBd native draaien onder FreeBSD waar ik dat eerste in een Ubuntu VM had draaien.

VirtualBox is wel echt traag. Netwerk is mager en de ruwe CPU performance valt ook tegen. Bovendien zijn de beheersmogelijkheden niet echt top (VNC is nou niet echt handig icm die vage poort definities, maar ach het werkt.)

Ik heb onder Linux wel eens met Virtualbox gewerkt, en dat was echt heel traag. Load van 20 op de host als je een VM gaat opstarten. Maar dat was op mijn vorige serverbuild, zonder VT-x. Dus ik denk dat het met VT-x wel iets beter te doen is.

johnkeates schreef op dinsdag 15 januari 2013 @ 13:14:
Het doorgeven van devices in Xen gaat niet op basis van virtuele SCSI, SATA, SAS of whatever controllers, dat is het mooie eraan, en zoals je aangeeft, ook zonder VT-d te doen! (Maar niet zonder VT-x voor zo ver ik weet, nooit geprobeerd). Ik heb nog geen ZFS draaien om dat ik nu nog met 6 losse RAID1 arrays zit, wat qua migreren een probleem is zonder 12 nieuwe schijven te kopen Maar van wat ik gezien heb op de FreeBSD kernel en Xen pagina's zit goede support voor Xen gewoon ingebouwd, zowel Xen-specifiek, als de algemene virt support drivers.

Maar voor ZFS is het wel redelijk cruciaal dat de HDD low-level wordt doorgegeven. Dat houdt dus in dat SMART moet werken, bepaalde ATA/SCSI-commands enz. (Onder andere voor het kunnen herkennen van bad sectors, downspinnen van de disks)

Als je dat als block device of als virtual RDM (ESXi) gaat doorgeven, krijg je problemen.

[FireDrunk]

johnkeates schreef op dinsdag 15 januari 2013 @ 13:14:
Het doorgeven van devices in Xen gaat niet op basis van virtuele SCSI, SATA, SAS of whatever controllers, dat is het mooie eraan, en zoals je aangeeft, ook zonder VT-d te doen! (Maar niet zonder VT-x voor zo ver ik weet, nooit geprobeerd). Ik heb nog geen ZFS draaien om dat ik nu nog met 6 losse RAID1 arrays zit, wat qua migreren een probleem is zonder 12 nieuwe schijven te kopen Maar van wat ik gezien heb op de FreeBSD kernel en Xen pagina's zit goede support voor Xen gewoon ingebouwd, zowel Xen-specifiek, als de algemene virt support drivers.

Misschien moet ik maar eens in het ZFS topic geen kijken. Het zou natuurlijk ideaal zijn om FreeBSD als Xen Dom0 te hebben, met daarin ZFS als opslag oplossing, en alle DomU's (VM's dus) gewoon direct op de ZFS laag pluggen. (Hoewel dat dan nog lang niet klaar is - directe toegang voor ZFS pools van DomU naar Dom0... dat zou leuk zijn!)

Als het zonder Controller gaat, hoe ziet je guest os de disken dan?

[analog_]

De HCL van Citrix Xenserver is in mijn ervaring nog kieskeuriger dan ESXi, daarom ben ik er nooit mee begonnen.

[ppl]

FireDrunk schreef op dinsdag 15 januari 2013 @ 08:51:
De performance van FreeBSD native is wel stukken beter dan gevirtualiseerd. Je merkt duidelijk verschil in reads, writes en dingen als inpakken/uitpakken van bestanden. Ik heb nu ook SabNZBd native draaien onder FreeBSD waar ik dat eerste in een Ubuntu VM had draaien.

Die ervaring heb ik helemaal niet, ik heb juist exact het tegenovergestelde ervaren. Ik heb nu al geruime tijd FreeBSD op diverse soorten hardware en virtualisators gebruikt maar de performance tussen native en als vm in een VMware product is niet merkbaar, ook niet op I/O gebied. Waar ik het wel merkte was bij XenServer en VirtualBox waarbij de eerste amper support heeft voor FreeBSD (en vice versa) en VirtualBox sowieso een slechte performance weet neer te zetten vergeleken met de rest (en daar is FreeBSD weer voor geoptimaliseerd). Een ander punt is het verschil tussen harde schijf en ssd maar dit is niet specifiek voor FreeBSD want dit geldt voor ieder OS dat je gaat virtualiseren. Virtualisatie is nou eenmaal I/O- en geheugenintensief. VMware producten hebben in ieder geval zeer veel baat bij snelle I/O en veel geheugen.

johnkeates schreef op dinsdag 15 januari 2013 @ 12:58:
FireDrunk, waarom wil je ESXi perse gebruiken? Het is niet de enige bare-metal hypervisor, en ook niet de beste, snelste of grootste.

Het is sowieso erg lastig om te definieren welke de beste of snelste is maar de grootste is het zeker wel. VMware is al sinds een paar decennia marktleider met al haar producten. Door de opkomende concurrentie neemt dat wel wat af maar ze hebben nog steeds een streepje voor dankzij hun enorme ervaring op dit vlak en het feit dat zij de veruit de meeste operating systems ondersteunen.

Natuurlijk ga je geen Hyper-V of KVM gebruiken, maar Xen dan? Heb je daar al naar gekeken? In plaats van de troep die je met ESX moet doen (RDM, rare speciale drivers voor je hardware) kan je gewoon complete blockdevices doorgeven, zonder dat BSD daar iets speciaals voor moet doen.

Dat BSD er niks speciaal voor hoeft te doen is nogal wiedes, het draait er niet eens op. De enige uit de BSD-hoek die daadwerkelijk met iets als Xen/XenServer overweg kan is NetBSD. Voor FreeBSD is het allemaal experimental en werkt het in de praktijk eerder niet dan wel (dit is een work in progress bij zowel Xen maar vooral bij het FreeBSD project; ze willen veel meer met virtualisatie gaan doen). Als je toch al FreeBSD draait is het wellicht een heel stuk interessanter om naar de ingebouwde virtualisatiemogelijkheid te kijken, naar de jails.

Op het moment zit je dan nog wel vast aan Linux om als mangement OS gebruiken, maar je kan waarschijnlijk ook richting puur-BSD gaan, zowel als Dom0 als DomU.

Waarbij je dus in realiteit vastzit aan NetBSD.

Qua stroomgebruik is Xen niet zwaarder dan ESXi, en als je het echt dun wil houden kan je ook alleen een Linux Kernel en de Xen mangement tools gebruiken voor je VM mangement.

Waar een ESXi vooral in uitblinkt is het beheer, iets waar Xen een paar jaar geleden nog niet echt super in is maar wat wel eraan zat te komen. Wat gebruik je aan management spul voor je Xen doos?

Wat ik tot dusver qua virtualisatiesoftware heb ervaren is dat je echt bij VMware of FreeBSD jails moet zijn wanneer je FreeBSD wil gaan virtualiseren. Bij NetBSD lijkt Xen de beste mogelijkheid (VMware support het een beetje, bij de rest zie ik hier eigenlijk helemaal geen support voor; best jammer voor iets wat zelfs op een broodrooster zou draaien ).

[xelnaha]

Ik moet zeggen dat freebsd + zfs in esxi 5.1 enorm traag lijkt te zijn. Ik haal niet meer dan zeg 30mbs via nfs en via afp (nas4free) een enorm piekerig verkeersbeeld, soms piek ik naar 117mb/s om daarna makkelijk een paar seconden niets te doen en dan weer te pieken.

ik heb 8g geheugen aan de machine toegewezen, ssd toegewezen (maar dan wel via normale manier) en e1000 driver aangezien er geen vmxnet3 drivers zijn.


iets meer on topic: met 10 vmmeetjes gemiddeld iets van 13% cpu gebruik, wat ik netjes vind. Moet nog verbruik meten.

[ Voor 12% gewijzigd door xelnaha op 15-01-2013 21:47 ]

[Compizfox]

Vmxnet3-drivers zijn er wel hoor. Gewoon de vmware-tools installeren.

Ik haal met dezelfde constructie (ESXi 5.1) gemiddeld 80 MB/s via SMB/CIFS.

[ppl]

xelnaha schreef op dinsdag 15 januari 2013 @ 21:46:
Ik moet zeggen dat freebsd + zfs in esxi 5.1 enorm traag lijkt te zijn. Ik haal niet meer dan zeg 30mbs via nfs en via afp (nas4free) een enorm piekerig verkeersbeeld, soms piek ik naar 117mb/s om daarna makkelijk een paar seconden niets te doen en dan weer te pieken.

Dan is FreeBSD niet traag, dan is filetransfer in je FreeBSD vm traag. De vmxnet3 driver gaat daar denk ik geen verandering in brengen. Die is vooral snel bij filetransfers tussen de vm's op dezelfde host. Wat er precies gebeurd is moeilijk te zeggen. Het kan evenwel aan de soort data liggen of bepaalde settings waardoor het niet goed gaat.

Daarnaast is ZFS ook vrij cruciaal met geheugen en tweaks in o.a. de kernel. Op de FreeBSD wiki vindt je een hele tuning guide. In versie 9.0 en hoger doet FreeBSD autotuning maar het kan zijn dat dit voor jou niet goed uitpakt, dan zul je met de tuning guide het handmatig moeten doen. ZFS en traag zijn dingen die hand in hand samen gaan ook al gebruik je ssd's voor je ZIL en L2ARC. Tuning is vaak hetgeen wat de performance recht kan trekken. Als je ZFS gaat gebruiken dan zul je dus echt tijd moeten besteden aan het optimaliseren van de performance, vm of geen vm en ongeacht het OS.

Wat misschien ook wel de moeite is om naar te kijken: je vmdk settings (thick/thin provisioning, etc.). Daar kun je vaak ook nog wel wat performance winst mee boeken (maar dat geldt voor alles bij vm's: de juiste settings qua cpu, mem, etc. maken een behoorlijk verschil).

[ Voor 9% gewijzigd door ppl op 15-01-2013 22:58 ]

[FireDrunk]

analog_ schreef op dinsdag 15 januari 2013 @ 18:16:
De HCL van Citrix Xenserver is in mijn ervaring nog kieskeuriger dan ESXi, daarom ben ik er nooit mee begonnen.

Klopt, maar een HCL zegt niet altijd iets over of hardware daadwerkelijk werkt.
In geen 100.000 jaar zet VMware direct ASUS, Gigabyte en ASRock bordjes op de HCL.

@De discussie hier verder boven:

Er zijn heel veel zaken die meespelen als het gaat om performance, VMXNET3 speelt inderdaad een rol, maar dat is niet alles. Je kan met E1000 ook prima 110MB/s doen, alleen is het CPU gebruik iets hoger.

Waar ik het vooral in merkte was Unrar, Unzip, en PAR2, dat zijn echt dingen die soms wel 30-40% trager waren onder ESXi dan onder FreeBSD. Ik denk dat dat komt door de CPU Virtualisatie van ESXi, die is goed, maar je CPU word toch net wat vaker onderbroken om even aan een andere VM te geven, en dat nekt de performance direct. (ookal is die ander VM compleet idle).

Xen is wat dat betreft echt niet beter dan ESXi, en ook ik ga eerlijk gezegd nog liever voor KVM dan Xen. KVM ontwikkeld véél harder dan Xen, en in de nieuwste kernels zit er echt wel een goede concurrent voor ESXi. Ik draai hier op mijn laptop KVM (onder Ubuntu) en het is echt een prima virtualisatie platform.

[basprofessional]

Ik heb een ASrock B75 pro-3m moederbord en ben op zoek naar een losse sata PCI-express controller met minimaal 4 poorten die ik middels VT-D kan doormappen naar een VM.

Ik heb het reeds geprobeerd met de Delock 70154, dit is helaas geen pci-express controller maar wel 4 poorten. Deze heeft een SIS 3114 chipset en volgens bronnen op internet was het men eerder gelukt deze succesvol door te geven. Na het starten van de VM die deze controller had doorgemapt kreeg ik een PSOD.

Hopelijk heeft iemand een tip, mag opzich wat kosten en sta open tegen de aanschaf bijvoorbeeld een Dell Perc via Ebay.

[ Voor 7% gewijzigd door basprofessional op 16-01-2013 09:24 ]

[FireDrunk]

Is het voor ZFS, Unraid, MDADM of iets anders?

[Zorc]

Bestaat er een (courant) moederbord met 2 afzonderlijke SATA controllers, waarvan er eentje onder ESXI met VT-D door te geven is aan een VM?
Ik heb ergens gelezen dat het met het Asrock B75 plankje, mogelijk zou zijn om de Asmedia controller door te geven, maar daar zie je ook weer tegenstrijdige berichten over
Voor een zuinige ESXi thuis server zou dat mijns inziens ideaal zijn....

[Zorc]

ppl schreef op dinsdag 15 januari 2013 @ 20:55:
[...]

Waarbij je dus in realiteit vastzit aan NetBSD.


[...]

Voor zover ik begrepen heb is het niet mogelijk om kernel modules te gebruiken met de NetBSD Xen dom0 kernel en kunnen de ZFS&solaris modules alleen als module gebruikt worden en het schijnt nog niet zo goed te zijn gesteld met de ZFS implementatie onder netBSD.
Hmm jammer dat onder linux/BSD alles wat ik zou willen mogelijk is, alleen helaas nog niet onder een en dezelfde hoed.

[redfoxert]

Zorc schreef op woensdag 16 januari 2013 @ 10:21:
Bestaat er een (courant) moederbord met 2 afzonderlijke SATA controllers, waarvan er eentje onder ESXI met VT-D door te geven is aan een VM?
Ik heb ergens gelezen dat het met het Asrock B75 plankje, mogelijk zou zijn om de Asmedia controller door te geven, maar daar zie je ook weer tegenstrijdige berichten over
Voor een zuinige ESXi thuis server zou dat mijns inziens ideaal zijn....

Waarschijnlijk een SuperMicro server bordje met SAS onboard. SAS controller kan ook SATA aansturen maar ik denk dat je flexibeler (en vele malen goedkoper) uit bent met een losse PCI-e (SAS) controller.

[basprofessional]

FireDrunk schreef op woensdag 16 januari 2013 @ 09:37:
Is het voor ZFS, Unraid, MDADM of iets anders?

ZFS middels Freenas, ik heb 2e hands een Dell Perc H300 raid controller gespot voor een leuke prijs.
Zou dit een oplossing kunnen zijn?

Zorc schreef op woensdag 16 januari 2013 @ 10:21:
Bestaat er een (courant) moederbord met 2 afzonderlijke SATA controllers, waarvan er eentje onder ESXI met VT-D door te geven is aan een VM?
Ik heb ergens gelezen dat het met het Asrock B75 plankje, mogelijk zou zijn om de Asmedia controller door te geven, maar daar zie je ook weer tegenstrijdige berichten over
Voor een zuinige ESXi thuis server zou dat mijns inziens ideaal zijn....

Ik op hetzelfde bordje geprobeerd om de Intel controller door te geven dit werkt helaas niet.
De Asmedia heb ik niet werkend getest maar is imo ook veel minder interessant omdat deze maar 2 poorten heeft.

[Zorc]

Twee sata poorten houdt misschien niet over, maar voor een relatief zuinige ESXI home server zie ik dat best wel zitten: Datastore voor de belangrijkste VM's op een SSD, FreeBSD Vm met ZFS mirror met 2 zuinige disks voor data.
Backups en bulk data storage kunnen wat mij betreft prima op een andere bak die dan niet 24h per dag hoeft te draaien.

[FireDrunk]

basprofessional schreef op woensdag 16 januari 2013 @ 11:51:
[...]


ZFS middels Freenas, ik heb 2e hands een Dell Perc H300 raid controller gespot voor een leuke prijs.
Zou dit een oplossing kunnen zijn?

Onderwater is die H300 een LSI SAS2008 controller, maar ZFS vind hem alleen lief als hij in IT-mode geflashed word. En ik weet niet of dat zomaar kan. Ik verwacht eerlijk gezegd dat hij met dezelfde guide als de M1015 te flashen is, maar zeker weten doe ik het niet.

Check dus even google voor je hem koopt.

[basprofessional]

FireDrunk schreef op woensdag 16 januari 2013 @ 13:24:
[...]


Onderwater is die H300 een LSI SAS2008 controller, maar ZFS vind hem alleen lief als hij in IT-mode geflashed word. En ik weet niet of dat zomaar kan. Ik verwacht eerlijk gezegd dat hij met dezelfde guide als de M1015 te flashen is, maar zeker weten doe ik het niet.

Check dus even google voor je hem koopt.

Heb je misschien nog tips voor een andere controller die naar jouw weten wel word ondersteund?

[FireDrunk]

Die staat er toch al in De M1015 is (mits je er IT-mode firmware op zet), prima supported.

Als je niet wil crossflashen, moet je een LSI 9211i kopen, en die zijn duur.

[ Voor 5% gewijzigd door FireDrunk op 16-01-2013 14:21 ]

[Deveon]

Zorc schreef op woensdag 16 januari 2013 @ 12:32:
Twee sata poorten houdt misschien niet over, maar voor een relatief zuinige ESXI home server zie ik dat best wel zitten: Datastore voor de belangrijkste VM's op een SSD, FreeBSD Vm met ZFS mirror met 2 zuinige disks voor data.
Backups en bulk data storage kunnen wat mij betreft prima op een andere bak die dan niet 24h per dag hoeft te draaien.

Aangezien je maar met 2 disken wilt gaan werken is RDM misschien een oplossing voor je. De meeste moederborden is de extra controller niet door te geven. Daar kwam ik ten minste achter nadat ik mn intel DZ77BH-55k had gekocht.

[ppl]

FireDrunk schreef op woensdag 16 januari 2013 @ 08:33:

Waar ik het vooral in merkte was Unrar, Unzip, en PAR2, dat zijn echt dingen die soms wel 30-40% trager waren onder ESXi dan onder FreeBSD. Ik denk dat dat komt door de CPU Virtualisatie van ESXi, die is goed, maar je CPU word toch net wat vaker onderbroken om even aan een andere VM te geven, en dat nekt de performance direct. (ookal is die ander VM compleet idle).

Dat zijn allemaal cpu intensieve taken. Met dingen als vt-x en 64 bit vm's kun je de overhead die je door virtualisatie krijgt aardig reduceren en misschien met het uitdelen van meer dan 1 vCPU ook nog wel maar je zult nooit dezelfde snelheid halen als wanneer je het native draait (dus FreeBSD direct op hardware). Hoe groot het verschil is ligt weer aan veel factoren zoals de load op de ESXi machine.

Ik weet dat een aantal firma's over zijn gegaan van virtualisatie middels bare metal hypervisors zoals ESXi naar FreeBSD met jails omwille van de performance. Niet zo raar gezien het verschil tussen volledige virtualisatie (ESXi) en iets wat maar voor een bepaald deel virtualisatie toepast (jails). De overhead van de laatste is gewoon minder en dat is voor bepaalde toepassingen een stuk beter. Iets als ESXi, XenServer, Xen, KVM is dus niet altijd zaligmakend.

Zorc schreef op woensdag 16 januari 2013 @ 10:28:
Voor zover ik begrepen heb is het niet mogelijk om kernel modules te gebruiken met de NetBSD Xen dom0 kernel en kunnen de ZFS&solaris modules alleen als module gebruikt worden en het schijnt nog niet zo goed te zijn gesteld met de ZFS implementatie onder netBSD.
Hmm jammer dat onder linux/BSD alles wat ik zou willen mogelijk is, alleen helaas nog niet onder een en dezelfde hoed.

Daar zit je ook mee en dat komt vooral omdat NetBSD een erg klein project is vergeleken met FreeBSD. NetBSD, OpenBSD en FreeBSD kopieren echter wel vaak dingen van elkaar (pf komt van OpenBSD en zit al een tijd in FreeBSD om maar eens wat te noemen). Wat je in deze nog wel kunt doen is dingen combineren: je zou NetBSD als host met Xen kunnen draaien en FreeBSD dan als client voor ZFS. Dat schijnt in theorie te kunnen. In de praktijk zijn de ervaringen met FreeBSD en Xen/XenServer niet zo erg goed hoewel dat steeds beter wordt. Kijk vooral ook naar wat je nog meer in een vm wil gaan draaien. Dat bepaalt vaak welke hypervisor de beste keus is.

[Glival]

ppl schreef op woensdag 16 januari 2013 @ 19:33:
Kijk vooral ook naar wat je nog meer in een vm wil gaan draaien. Dat bepaalt vaak welke hypervisor de beste keus is.

Als ik het zo lees zijn FreeBSD jails of Linux containers een betere keus dan ESXi wanneer je voor al je VMs dezelfde kernel kan gebruiken?

[FireDrunk]

Net eens mijn 1U Opteron servertje van esx 5.1 voorzien. Met alle fans los, netwerkkaarten en BMC uit doet het ding gewoon 24watt... en dat voor een 6core met 24gb geheugen...
En dat is niet eens met een super zuinige voeding...

VT-d met een PCIe dual port nic werkt trouwens prima...

[ Voor 10% gewijzigd door FireDrunk op 16-01-2013 21:53 ]

[Compizfox]

FreeBSD jails zijn leuk als je virtualisatie wilt omwille van dingen van elkaar gescheiden houden.

Maar in mijn geval wil ik juist verschillende OS'sen draaien. Dat het gescheiden is, is niet de hoofdreden. Dus dan is ESXi de enige oplossing eigenlijk

[FireDrunk]

Nou ja, kvm kan ook. Alleen heb je geen memory overcommitment volgens mij... maar zelfs dat zou er best eens in kunnen zitten.. zal morgen eens kijken...

[Valkyre]

FireDrunk schreef op woensdag 16 januari 2013 @ 21:52:
Net eens mijn 1U Opteron servertje van esx 5.1 voorzien. Met alle fans los, netwerkkaarten en BMC uit doet het ding gewoon 24watt... en dat voor een 6core met 24gb geheugen...
En dat is niet eens met een super zuinige voeding...

VT-d met een PCIe dual port nic werkt trouwens prima...

zo dat is helemaal niet slecht! is de temp ook nog een beetje goed?
SSD eraan en gaan, ben je voor 30watt klaar

[FireDrunk]

Was met de kap open, maar temp blijft idle natuurlijk goed.
Lastige is dat je geen stille / zuinige fan kan vinden van 4CM (tenminste, ík niet...)

Onder load is het denk ik niet te doen... Ook met de kap dicht kan het ding natuurlijk niet zonder fans.
De fans doen bij elkaar iets van 6-7W. Het was meer voor de cijfers...

SSD is verwaarloosbaar, dat is een paar honderd mW...

Maar inderdaad, het valt me niets tegen.

[ Voor 27% gewijzigd door FireDrunk op 17-01-2013 13:09 ]

[alter88]

Ik begrijp dat het haast noodzakelijk is om een aparte HDC te gebruiken om VT-D te gebruiken. Ik heb mijn configuratie die ik eerder hier postte aangepast naar het volgende:

#	Product	Prijs	Subtotaal
1	Intel Core i5 3330 Boxed	€ 158,40	€ 158,40
1	ASRock B75 Pro3-M	€ 55,95	€ 55,95
2	Western Digital Green WD20EARX, 2TB	€ 84,85	€ 169,70
1	Fractal Design ARC MINI	€ 73,60	€ 73,60
1	Corsair Vengeance CML16GX3M2A1600C10	€ 73,99	€ 73,99
1	IBM ServeRAID M1015 SAS/SATA Controller for System x	€ 118,58	€ 118,58
1	be quiet! Pure Power L7 300W	€ 37,95	€ 37,95
1	Samsung 830 series SSD 128GB	€ 100,50	€ 100,50
Bekijk collectie Importeer producten		Totaal	€ 788,67

Moederbord
Als er toch een aparte HDC in de server komt is kan ik een ander (goedkoper) moerderbord nemen. Of zijn er misschien andere features op het Intel moederbord die nodig/handig/makkelijker zijn voor ESXi?

Hard disks
Ik heb de keuze gemaakt om niet RAID5, maar RAID1 te nemen en daarnaast een offsite backup plan met CrashPlan te gaan gebruiken. Vandaar 2 ipv 3 schijven. In de specs stond dat deze schijven goed werken in RAID0 en 1, in tegenstelling tot RAID5 waar Western Digital Enterprise schijven adviseert

Zou dit een goed systeem zijn om te beginnen met virtualiseren?

[mydogisgone]

Misschien wel op de verkeerde plek.

Ik draai op het moment een HP Proliant ML350G5 met een Quadcore XEON E5440, 24gb FB-Dimm en 4 SAS schijven.

Nu heb ik daar een meter tussen zitten om te meten wat de grote vriendelijke reus verbruikt. En dat is een whooping 200watt continu. Nu wil ik dat heel graag naar beneden hebben. Maar wat ik ook instel binnen vmware esxi. Het helpt allemaal niets.

iemand die mij van tips kan voorzien? behalve een andere server?

[basprofessional]

mydogisgone schreef op donderdag 17 januari 2013 @ 16:18:
Misschien wel op de verkeerde plek.

Ik draai op het moment een HP Proliant ML350G5 met een Quadcore XEON E5440, 24gb FB-Dimm en 4 SAS schijven.

Nu heb ik daar een meter tussen zitten om te meten wat de grote vriendelijke reus verbruikt. En dat is een whooping 200watt continu. Nu wil ik dat heel graag naar beneden hebben. Maar wat ik ook instel binnen vmware esxi. Het helpt allemaal niets.

iemand die mij van tips kan voorzien? behalve een andere server?

Ik denk dat het lastig gaat worden om hier nog heel veel mee te gaan doen.
Alleen het FB-DIMM geheugen staat al bekend als enorme energieslupers met een belachelijk slechte efficientie. Je zit met een Xeon cpu uit de vorige generatie en dan nog de SAS schijven.

Je zou kunnen overwegen om het geheel op Marktplaats te zetten, met een stukje eigen inbreng kan je iets veel zuinigers kopen wat zich op den duur gaat terug verdienen.

Daarnaast bezit je nu opzich wel over leuk 'speelgoed' ik denk dat je er nog best een leuk bedrijf voor kan krijgen. Succes!

[mydogisgone]

basprofessional schreef op donderdag 17 januari 2013 @ 16:24:
[...]


Ik denk dat het lastig gaat worden om hier nog heel veel mee te gaan doen.
Alleen het FB-DIMM geheugen staat al bekend als enorme energieslupers met een belachelijk slechte efficientie. Je zit met een Xeon cpu uit de vorige generatie en dan nog de SAS schijven.

Je zou kunnen overwegen om het geheel op Marktplaats te zetten, met een stukje eigen inbreng kan je iets veel zuinigers kopen wat zich op den duur gaat terug verdienen.

Daarnaast bezit je nu opzich wel over leuk 'speelgoed' ik denk dat je er nog best een leuk bedrijf voor kan krijgen. Succes!

Als je over iets zuinigers praat. hebben we het dan over zelfbouw of zijn er nog low power server alternatieven?

[DDX]

Kijk ook eens naar de voedingen die erin zitten.
Veel oude servers hebben soms 1100W voedingen en dan ook nog eens 2 stuks.

Maar nieuwe servers zijn stuk zuiniger natuurlijk.
Ter info mijn Dell PowerEdge T620 ( DDX in "Storage showoff topic - 10+ TB storage systems" )
Doet idle 56W
(Ook een stuk stiller trouwens, deze server hoor je gewoon niet)

[ Voor 9% gewijzigd door DDX op 17-01-2013 17:03 ]

[mydogisgone]

DDX schreef op donderdag 17 januari 2013 @ 17:02:
Kijk ook eens naar de voedingen die erin zitten.
Veel oude servers hebben soms 1100W voedingen en dan ook nog eens 2 stuks.

Maar nieuwe servers zijn stuk zuiniger natuurlijk.
Ter info mijn Dell PowerEdge T620 ( DDX in "Storage showoff topic - 10+ TB storage systems" )
Doet idle 56W
(Ook een stuk stiller trouwens, deze server hoor je gewoon niet)

Er zit idd 1 1000w voeding in.

[DDX]

Geen idee of het een optie is voor die server, maar misschien dat je er een 350W voeding voor kan krijgen ?

[mydogisgone]

DDX schreef op donderdag 17 januari 2013 @ 17:09:
Geen idee of het een optie is voor die server, maar misschien dat je er een 350W voeding voor kan krijgen ?

Het lijkt er niet op zoals ik nu zie. Moet toch maar eens voor een alternatief gaan kijken. Want dit kost me gewoon 450 euro per jaar

[DDX]

Heb je in paar jaar nieuwe server terugverdiend
Goedkopere broertje van server die ik heb is leuke optie bijvoorbeeld: Dell PowerEdge T320.

[analog_]

Meet eens zonder SAS disks. Dat is de enige zinnige besparing die je kan maken zonder in te boeten. Je kan ze vervangen door SSDs die invergelijking praktisch niks gebruiken. Je zou dan met SSDs eventueel de totale airflow wat kunnen verminderen (fannetjes eten ook stroom).

HP heeft overigens een power calculator in excel: http://h30099.www3.hp.com/configurator/powercalcs.asp
Vanuit gaande van 4x2G + 4x4G en 72G sas disks zit je ver onder wat ze voorspellen zelfs met minimum load. De redundante voeding aansluiten kost je overigens ook weer 30W volgens die calculator.

[ Voor 36% gewijzigd door analog_ op 17-01-2013 18:10 ]

[FireDrunk]

Zet in je BIOS als eerst eens wat stroombesparende functies aan, want die dingen staan standaard op high performance. Dat zorgt ervoor dat de CPU's en chipset nooit terugklokken.

Maar er valt weinig te behalen met zo'n server. Als je <100 komt heb je er denk ik alles uit gehaald.

Ik heb een Dual E5320 gehad, en die deed op zijn zuinigst 110W.
Mijn dual E5620 deed 60-80W als hij echt niets te doen had.

Dual setups met KVM en de hele rataplan zijn nou eenmaal niet zuinig.

Beste is, of verkopen, of als backup / test machine gebruiken, en dus niet continue aan laten.

Je kan eventueel zelfs je backup zo scripten dat hij via IPMI je server aan zet

Wel tof

[ Voor 16% gewijzigd door FireDrunk op 17-01-2013 20:06 ]

[ppl]

Glival schreef op woensdag 16 januari 2013 @ 21:40:
Als ik het zo lees zijn FreeBSD jails of Linux containers een betere keus dan ESXi wanneer je voor al je VMs dezelfde kernel kan gebruiken?

Het is een hele andere tak van virtualisatie. Een jail/container is niet een volledig op zichzelf staand iets, het deelt veel dingen met het host OS (de kernel kun je delen maar dat hoeft niet, dat mag ook een andere versie zijn). Bij ESXi is dit niet het geval, daar wordt eigenlijk niets gedeeld en is een virtuele machine een op zichzelf staand iets. Daardoor hebben ze ook verschillende toepassingsgebieden. Als je alles onder hetzelfde OS wil gaan draaien dan is ESXi geen handige oplossing als dat OS FreeBSD is. ESXi heeft namelijk veel meer overhead dan het jail systeem en dat is terug te zien in performance. Jails kun je echter niet gebruiken om Windows, Linux, etc. mee te virtualiseren. Als je meer dan dat ene OS wil virtualiseren zijn jails dus geen goed idee en kun je beter naar ESXi kijken.

Not to mention dat je met jails niet eens een complete machine hoeft in te richten; je kunt het ook beperken tot alleen de service (bijv. BIND). Het levert de mogelijkheid om een test vm in te richten om daar bijv. het upgradeproces van FreeBSD te testen maar ook om domweg een service (bijv. de webserver van de database server) te scheiden van de rest. Er zijn hele leuke dingen te doen met jails. Altijd leuk om eens naar te kijken

@Firedrunk: heb je ook al die patch voor 5.1 geinstalleerd die PCIe passthrough (aka VT-d) zou moeten verbeteren toegepast?

[jeroen1507]

Welke wifi USB dongles zijn geschikt voor ESX 5.1?
Zijn er nog aanpassingen noodzakelijk in ESX 5.1 of werkt het out of the box?

[Operations]

Ik snap dat een i7 de beste keuze is als je voor power gaat maar even kijkend naar de aanschafprijs is dat niet zo interessant. Je ziet veel i5's setups voorbij maar geen fx8350 die is ongeveer even duur. Waarom is dat geen beter keuze eventueel met een lichte overclock?

[Microkid]

jeroen1507 schreef op vrijdag 18 januari 2013 @ 02:09:
Welke wifi USB dongles zijn geschikt voor ESX 5.1?
Zijn er nog aanpassingen noodzakelijk in ESX 5.1 of werkt het out of the box?

Geen. ESXi ondersteund geen wifi. ESXi kent slechts een beperkt aantal netwerkkaarten, vandaar dat er een Hardware Compatibility List is van ondersteunde hardware. Daarnaast heeft de ESXi kernel geen optie om zo'n wifi usb ding aan te sturen, Je zal dus gewoon een echte netwerkkaart moeten gebruiken.

[Valkyre]

Microkid schreef op vrijdag 18 januari 2013 @ 07:57:
[...]

Geen. ESXi ondersteund geen wifi. ESXi kent slechts een beperkt aantal netwerkkaarten, vandaar dat er een Hardware Compatibility List is van ondersteunde hardware. Daarnaast heeft de ESXi kernel geen optie om zo'n wifi usb ding aan te sturen, Je zal dus gewoon een echte netwerkkaart moeten gebruiken.

ik denk als je de USB controller VT-d doorgeeft aan en VM dat die VM dan wel van de wifi module gebruik kan maken.

Als je dan 2 netwerkkaarten in die VM zet en de verbinding deelt kun je misschien de host weer terug bereiken. ideaal is het niet maar wie weet

[Compizfox]

Waarvoor überhaupt? Het enige waar ik in kan komen is een gevirtualiseerde router met wireless AP. Maar daarvoor kun je dus gewoon USB passthrough gebruiken.

[ Voor 5% gewijzigd door Compizfox op 18-01-2013 13:55 ]

[mydogisgone]

Zijn er trouwens nog meer alternatieven zoals de microserver van hp? Bijv iets snellers en toch weinig verbruik? Gaat me voornamelijk om de max hoeveelheid geheugen. Dat is maar 8gb bij die van HP

Zijn er ook mensen die weten wat de ML150 G6 doet van HP?

[ Voor 14% gewijzigd door mydogisgone op 18-01-2013 16:54 ]

[ppl]

Gohan-san schreef op vrijdag 18 januari 2013 @ 08:25:
ik denk als je de USB controller VT-d doorgeeft aan en VM dat die VM dan wel van de wifi module gebruik kan maken.

Daar hoef je de usb controller niet voor door te geven want je kunt prima losse usb devices doorgeven. Geheel zonder VT-d overigens. VT-d is er voor PCIe, niet voor usb of iets anders.

Als je dan 2 netwerkkaarten in die VM zet en de verbinding deelt kun je misschien de host weer terug bereiken. ideaal is het niet maar wie weet

Virtueel access point, virtuele draadloze router, etc. het kan allemaal en is soms wel handig om te doen als je ruimte e.d. wil besparen. Omwille van de ontvangst zou ik het niet doen. Dan zijn losse AP's handiger omdat je die neer kunt zetten daar waar het moet om zodoende overal goed ontvangst te hebben.

[hans_lenze]

mydogisgone schreef op vrijdag 18 januari 2013 @ 16:37:
Zijn er trouwens nog meer alternatieven zoals de microserver van hp? Bijv iets snellers en toch weinig verbruik? Gaat me voornamelijk om de max hoeveelheid geheugen. Dat is maar 8gb bij die van HP

Zijn er ook mensen die weten wat de ML150 G6 doet van HP?

De Microserver kan maximaal 16GB aan.
De ML310e g8 is de volgende in de HP lijn (single socket Xeon E3-12xxv2). Gok dat die rond de 40Watt zal verbruiken (mijn ML110 g6 met 16GB ECC + 1x 2,5" + 1x 3,5" + SSD +iLO Advanced gebruikt 46Watt met ESXi 5.1 en twee VMs).

[ Voor 0% gewijzigd door hans_lenze op 19-01-2013 15:11 . Reden: Foutje, moest natuurlijk gen8 zijn ]

[NielsIS]

Gents,

Het topic (grotendeels) doorgelezen, MUX zijn blog doorgenomen, elektronica achtergrond, maar om nu de juiste hardware samen te stellen voor een zuinige ESXi server vraagt toch wat meer (ontbrekende) specifieke hardware kennis.

Bij deze wil ik jullie dan ook vragen mee te denken in de juiste hardware setup.

Wat verwacht ik van mijn VM host? De machine staat thuis, en gaat dienst doen als test host. Ik heb altijd een linux host thuis draaien om lekker te prutsen en vanuit het werk gerelateerde zijn er nog wel eens appliances die ik eens virtueel wil uitproberen. Weinig behoefte aan brute kracht, maar mijn huidige PCEngine board (500MHz/256MB Ram) houdt het nu echt niet meer..

Totaal ruimte nodig voor zo'n 4-6 guests, 2-4GB memory per guest, en aan HD space helemaal weinig behoefte.

Daarnaast dient het binnen redelijke grenzen energie bewust te zijn, systemen draaien grootste deel van de tijd idle , en ik ben bereid in te leveren op specs (geen raid bijvoorbeeld). Daarnaast heb ik de mogelijkheid zelf een PicoPSU te bakken.

Een Intel i3 lijkt me op zijn plaats, 16GB aan rammetjes, maar bij de keuze van een moederbord loop ik écht vast, meer eisen dan 1155 socket, DVI uitgang en meerdere netwerk aansluitingen (mag evt via extra kaart) kom ik nu niet. Tevens twijfel tussen SSD of non-SSD schijf is lastig, laat staan de juiste keuze.

[Valkyre]

Als je voor energie zuinige en 4 a 6 guests gaat zou ik voor een SSD gaan 180g heb je ruimte zat lijkt mij?
Qua moederbod word vaak MSI aangeraden, en heb ik zelf ook goede ervaring mee qua zuinigheid.

[Roxsman]

Hallo iedereen, volg nu al eventjes dit topic en zit nu uiteindelijk met een probleem betreffende het vervangen van mijn huidige server. Op die server draait SBS2011 en omdat ik ook nog een guest nodig had draait binnen SBS VMWare server met daarbinnen één VM. Mijn mainboard (SuperMicro) ondersteunt helaas maar max 8Gb DDR2 en het ding verstookt continu 110W. . Ik wilde dus iets nieuws met het liefste ESXi erop zodat ik SBS als guest kan draaien samen met 2 andere guests. Wat ik nu thuis heb liggen is de DQ67OWB3, i5 2400, 16Gb DDR3, P410 (512mb, BBC), Dual 1Gbps Broadcom en 3 x 3TB. Nu zit ik met het probleem dat ik die P410 onder geen mogelijkheid goed werkend krijg. Als ik er een ouwe firmware op zet kan ik hem configureren maar ziet hij de 3Tb disks niet, zet ik er een nieuwere op dan kom ik in een reboot-loop. Ik denk dus dat ik de P410 moet vergeten tenzij jullie briljante ideeën hebben.
Maar wat is nu de beste keuze? Ik wilde eigenlijk ESXi booten van USB en dan een 6TB RAID5 tot mijn beschikking hebben. Gewoon andere controller kopen of toch iets anders? Ben benieuwd naar jullie mening.

[hans_lenze]

Roxsman schreef op zaterdag 19 januari 2013 @ 19:21:
Maar wat is nu de beste keuze? Ik wilde eigenlijk ESXi booten van USB en dan een 6TB RAID5 tot mijn beschikking hebben. Gewoon andere controller kopen of toch iets anders? Ben benieuwd naar jullie mening.

Wat is je doel met de RAID set? Waarom zijn losse schijven niet de oplossing?

[Pantagruel]

Roxsman schreef op zaterdag 19 januari 2013 @ 19:21:
Hallo iedereen, volg nu al eventjes dit topic en zit nu uiteindelijk met een probleem betreffende het vervangen van mijn huidige server. Op die server draait SBS2011 en omdat ik ook nog een guest nodig had draait binnen SBS VMWare server met daarbinnen één VM. Mijn mainboard (SuperMicro) ondersteunt helaas maar max 8Gb DDR2 en het ding verstookt continu 110W. . Ik wilde dus iets nieuws met het liefste ESXi erop zodat ik SBS als guest kan draaien samen met 2 andere guests. Wat ik nu thuis heb liggen is de DQ67OWB3, i5 2400, 16Gb DDR3, P410 (512mb, BBC), Dual 1Gbps Broadcom en 3 x 3TB. Nu zit ik met het probleem dat ik die P410 onder geen mogelijkheid goed werkend krijg. Als ik er een ouwe firmware op zet kan ik hem configureren maar ziet hij de 3Tb disks niet, zet ik er een nieuwere op dan kom ik in een reboot-loop. Ik denk dus dat ik de P410 moet vergeten tenzij jullie briljante ideeën hebben.
Maar wat is nu de beste keuze? Ik wilde eigenlijk ESXi booten van USB en dan een 6TB RAID5 tot mijn beschikking hebben. Gewoon andere controller kopen of toch iets anders? Ben benieuwd naar jullie mening.

Op [H]ardforum is er een thread rondom de problemen met de P410 (o.a. de reboot loop). Als je die doorleest is de conclusie min of meer dat je het beste ver van de P410 vandaan kunt blijven. Werkende combinaties lijken zeldzaam te zijn en de 'new and improved' BIOS versie voor de P410 lijkt meer kapot te maken dan je lief is.

[FireDrunk]

Wat vreemd, nou ben ik al een poosje uit de Hardware RAID scene, maar ik heb jaren een P410 gehad, en die werkte echt in alle borden die ik had... HP heeft duidelijk zijn zaakjes niet op orde blijkt dus

[Roxsman]

is de conclusie min of meer dat je het beste ver van de P410 vandaan kunt blijven

Helaas las ik dat forum pas naderhand. Ik heb op mijn werk een HP Workstation en daar draait hij wel perfect in. Maar op andere borden is het inderdaad hopeloos na firmware 3.66.

Wat is je doel met de RAID set? Waarom zijn losse schijven niet de oplossing?

Maar hoe heb ik dan bescherming tegen uitval van een disk? Eén van mijn VM's moet zo High Available mogelijk zijn. Ik weet dat de rest van de hardware dan ook nog een probleem is, maar daarom stap ik ook over naar ESXi. Mocht er dan ooit iets met die server gebeuren. Dan mount ik de VM gewoon weer op een andere bak. Maar wat is je idee dan? Via VT-d de sata controller aan FreeNAS aanbieden of iets dergelijks?

[FireDrunk]

Backup is beter dan RAID. Dus losse schijven en fatsoenlijke backups maken.

Dan is hardware een stuk minder belangrijk (maar niet onbelangrijk...)

[ Voor 71% gewijzigd door FireDrunk op 20-01-2013 11:05 ]

[Roxsman]

Backup is beter dan RAID

klopt in sommige gevallen, maar back-up heb ik ook.. van de "echte data".. maar van veel andere dingen heb ik geen backup nodig. En ik heb liever dat de boel door blijft draaien na een kapotte harddisk, dan dat ik van alles opnieuw moet doen en allemaal restores uit moet gaan voeren.

[Roxsman]

Maar mocht ik bepaalde mogelijkheden over het hoofd zien dan hoor ik dat natuurlijk ook graag. In mijn optiek is het zo dat RAID5 de beste mogelijkheden biedt om zo continu mogelijk door te kunnen draaien. Als jullie alternatieven gebruiken die de up-time van RAID 5 benaderen dan sta ik uiteraard open voor suggesties. Want stel ik ga 3 losse disks gebruiken, hoe doen jullie dat dan met back-up? Wat gebruik je daarvoor?

[FireDrunk]

Goede backup is beter dan RAID als het gaat om echt onafhankelijk zijn van hardware en hypervisor.
Maar is inderdaad slechter qua uptime, want je moet natuurlijk de backup eerst terugzetten voor alles weer werkt.

Ik gebruik zelf alleen RAID (ZFS RAIDZ2 om precies te zijn) omdat ik niet zulke belangrijke data heb dat het 100% backup moet hebben.

De belangrijkste dingen heb ik in mijn email online staan, maar zelfs dat zou weg kunnen vallen.

[Roxsman]

maar waar draai je die ZFS raid op? Op een VM neem ik aan (FreeNAS, Solaris)?
Als bovenstaande correct is, hoe draai je het dan? Had op de startpagina een setup van je zien staan met LSI controllers.. Heb je die met vt-d doorgezet naar een VM?

[Pantagruel]

Roxsman schreef op zondag 20 januari 2013 @ 12:42:
maar waar draai je die ZFS raid op? Op een VM neem ik aan (FreeNAS, Solaris)?
Als bovenstaande correct is, hoe draai je het dan? Had op de startpagina een setup van je zien staan met LSI controllers.. Heb je die met vt-d doorgezet naar een VM?

ZFS kun je prima in een VM draaien, HyperBart heeft er een blogje over gemaakt. OpenIndiana/Solaris doen het goed in ESXi en als je Napp-it installeerd kun je de ZFS vm redelijk eenvoudig beheren.
Je kunt inderdaad de controller mbv Vt-d doorgeven aan je storage vm.

[FireDrunk]

Ik heb momenteel nog FreeBSD native draaien, maar ga zometeen eens spelen met ESXi.
Eerst even mijn server onder het bureau vandaan halen (en die is zwaar )

[Pantagruel]

FireDrunk schreef op zondag 20 januari 2013 @ 13:26:
Ik heb momenteel nog FreeBSD native draaien, maar ga zometeen eens spelen met ESXi.
Eerst even mijn server onder het bureau vandaan halen (en die is zwaar )

LOL,da's het risico van zo'n hobby , zitten er geen wieltjes onder? Onder m'n M Stacker (de oude STC-T01) zitten wieltjes en da's wel makkelijk, rem eraf en rollen met die handel

[FireDrunk]

Nee, geen wieltjes, net nieuwe kast (wieltjes van vorige kwas waren stuk). Heb nu een Fractal Design Define XL.

Wel rubbers die redelijk schuiven

[hans_lenze]

Ik ben heel erg lui en heb mijn Windows VM die belangrijk is voorzien van een software mirror (dus een VMDK op twee verschillende fysieke schijven en die binnenin de VM als RAID1 set gebruiken). Alle overige ruimte op de schijven kan ik dan vrolijk inzetten voor minder belangrijke zaken. Als er een schijf dood gaat ben ik een behoorlijk deel van mijn speeltuin kwijt maar kan de belangrijke VM vrolijk doordraaien.

Niet complex, niet afhankelijk van hardware en toch alle belangrijke spullen dubbel aanwezig.

[ppl]

FireDrunk schreef op zondag 20 januari 2013 @ 11:04:
Backup is beter dan RAID. Dus losse schijven en fatsoenlijke backups maken.

Dan is hardware een stuk minder belangrijk (maar niet onbelangrijk...)

Het gaat hier om high availability, dan is het juist andersom: RAID is belangrijker dan backup (waarbij een backup natuurlijk nooit onbelangrijk is). Als je een backup terug moet zetten betekent dat 2 dingen:

1. de machine doet het niet
2. een backup terugzetten neemt tijd in beslag

Bij zowel punt 1 als 2 betekent dat de machine met alle diensten erop niet beschikbaar is. Er is dus op geen enkele wijze sprake van availability. Voor wie om high availability vraagt is dit dus absoluut geen oplossing. Bij high availability gaat het er nou juist om dat de hele boel door blijft draaien ondanks dat er iets stuk is. Dan denk je eerder aan RAID, redundante voedingen, live migration, etc. Die backup is een allerlaatste redmiddel, voor wanneer niets de uitval meer opvangt.

In dit geval lijkt mij het dan ook beter om verder te kijken dan alleen RAID. Je wil waarschijnlijk ook wel live migration van de vm kunnen doen als je de server in onderhoud wil nemen, wanneer er een onderdeel defect gaat, etc. Wellicht dat je nog iets moet gaan regelen mbt de netwerk/internet verbinding. Dan komt ook al snel de vraag naar boven borrelen wat je dan nou precies verstaat onder "high availability". Welke zaken (problemen) moeten er sowieso afgedekt worden door je setup en welke zaken zijn niet of nauwelijks van belang?

[Roxsman]

Een hardware failure (naast harddisks) is voor mij nog te overzien. Ik maak, vandaar ook dit topic, wel elke keer de afweging tussen HA en verbruik. Ik wil een server die zo HA mogelijk is, maar niet tegen elk kostenplaatje. Mijn huidige server trekt meer dan 110w continu en ik weet zeker dat dit minder kan zonder veel in te hoeven leveren. De bouwmiddelen daarvoor heb ik grotendeels in bezit.
Als er een PSU kapot gaat haal ik een nieuwe, inbouwen en werken (dus downtime minimaal). Mainboard defect is irritanter, maar dan in dat geval zou ik mijn belangrijkste VM overzetten naar een andere machine tijdens de downtime en toch weer kunnen draaien.
Een harddisk van 3Tb die kapot gaat en volledig van restores teruggezet moet worden duurt gewoon veel langer. Daarom wil ik eigenlijk mijn datastores op een RAID5 hebben staan met een backup van de echte belangrijke data. VM's en OS'en kunnen dan in de meeste gevallen door blijven draaien, en bij een echte "ramp" heb ik de data nog.

[devastator83]

alter88 schreef op donderdag 17 januari 2013 @ 15:45:
Ik begrijp dat het haast noodzakelijk is om een aparte HDC te gebruiken om VT-D te gebruiken. Ik heb mijn configuratie die ik eerder hier postte aangepast naar het volgende:

#	Product	Prijs	Subtotaal
1	Intel Core i5 3330 Boxed	€ 158,40	€ 158,40
1	ASRock B75 Pro3-M	€ 55,95	€ 55,95
2	Western Digital Green WD20EARX, 2TB	€ 84,85	€ 169,70
1	Fractal Design ARC MINI	€ 73,60	€ 73,60
1	Corsair Vengeance CML16GX3M2A1600C10	€ 73,99	€ 73,99
1	IBM ServeRAID M1015 SAS/SATA Controller for System x	€ 118,58	€ 118,58
1	be quiet! Pure Power L7 300W	€ 37,95	€ 37,95
1	Samsung 830 series SSD 128GB	€ 100,50	€ 100,50
Bekijk collectie Importeer producten		Totaal	€ 788,67

Moederbord
Als er toch een aparte HDC in de server komt is kan ik een ander (goedkoper) moerderbord nemen. Of zijn er misschien andere features op het Intel moederbord die nodig/handig/makkelijker zijn voor ESXi?

Hard disks
Ik heb de keuze gemaakt om niet RAID5, maar RAID1 te nemen en daarnaast een offsite backup plan met CrashPlan te gaan gebruiken. Vandaar 2 ipv 3 schijven. In de specs stond dat deze schijven goed werken in RAID0 en 1, in tegenstelling tot RAID5 waar Western Digital Enterprise schijven adviseert

Zou dit een goed systeem zijn om te beginnen met virtualiseren?

Iemand ervaring met een dergelijke setup ?

[ppl]

Roxsman schreef op maandag 21 januari 2013 @ 00:04:
Als er een PSU kapot gaat haal ik een nieuwe, inbouwen en werken (dus downtime minimaal). Mainboard defect is irritanter, maar dan in dat geval zou ik mijn belangrijkste VM overzetten naar een andere machine tijdens de downtime en toch weer kunnen draaien.

Dat zou er op neerkomen dat je zou kunnen volstaan met HA wanneer de vm naar een andere machine te kopiëren is. Het probleem daarvan is de grootte. Je haalde al het restoren van een 3TB schijf aan maar vergeet niet dat een vm naar een andere machine kopiëren ook het nodige aan tijd zal gaan kosten.

Als het je echt alleen te doen is om uitval van 1 of 2 schijven op te vangen zodat de machine niet meteen plat ligt (rebuilden van een array kan overigens ook aardig wat tijd in beslag nemen met de nodige risico's) dan zou je inderdaad kunnen volstaan met RAID. Let wel dat bij RAID1 en ook RAID5 maar 1 disk stuk mag gaan. Bij iets als RAID10 zijn dat er al maximaal 2. Kijk ook naar de verschillen in performance tussen de RAID levels. Er zijn situaties waarbij RAID10 het beter doet dan RAID5.

[Xenophoben]

Wat voor raidcontroller bevelen jullie aan in een esxi server? Ik gebruik een HP ML110 g7. Voor mij zou raid 5 mooi zijn maar raid 1 voldoende... Ik wil wel graag behoorlijke performance!

[ Voor 35% gewijzigd door Xenophoben op 22-01-2013 09:45 ]

[alter88]

De M1015 komt hier veel voorbij (link)

[ Voor 4% gewijzigd door alter88 op 22-01-2013 09:25 ]

[Valkyre]

Ik ben zelf ook opzoek naar een sata controller, en het liefst zonder raid functionaliteit. Nu vraag ik mij af als je een controller vind welke niet op de HCL staat bijv de HighPoint rocketraid 640L en die via VT-d doorgeeft maakt het dan uit dat die niet gesupport is? Of kan esx hem ook niet doorgeven als de controller niet gesupport is.

[Deveon]

ppl schreef op maandag 21 januari 2013 @ 20:50:
[...]
Als het je echt alleen te doen is om uitval van 1 of 2 schijven op te vangen zodat de machine niet meteen plat ligt (rebuilden van een array kan overigens ook aardig wat tijd in beslag nemen met de nodige risico's) dan zou je inderdaad kunnen volstaan met RAID. Let wel dat bij RAID1 en ook RAID5 maar 1 disk stuk mag gaan. Bij iets als RAID10 zijn dat er al maximaal 2. Kijk ook naar de verschillen in performance tussen de RAID levels. Er zijn situaties waarbij RAID10 het beter doet dan RAID5.

Bij Raid10 is het dan wel afhankelijk welke 2 disken eruit vallen anders zit nog met een probleem.. Daarnaast is er met Raid genoeg opties om je continueteit te waarborgen, maar de vraag is maar hoeveel risico wil je dragen?

Zelf draai ik Raid 01 omdat ik het risco van 1 defect schijf wil onderscheppen, maar de kans op 2 kapotte disken wil ik wel riskeren en raid5 is volgens mij performance wise niet zo super voor je iops...

[Xenophoben]

alter88 schreef op dinsdag 22 januari 2013 @ 09:24:
De M1015 komt hier veel voorbij (link)

Geeft deze out of the box goede performance of moet je flashe etc?

[FireDrunk]

RAID0 en RAID1 heb je bijna nooit verschil qua performance tussen controllers... Het is vooral afhankelijk van de schijven. Bij RAID1 heb je ~180-190% leessnelheid van 1 disk, en 95-100% schrijfsnelheid van 1 disk. Bij RAID0 heb je 190% leessnelheid en 190% schrijfsnelheid van 1 disk.

(Dat geld alleen voor sequentieel, random reads/writes zijn weer anders...)

De M1015 is GEEN hardwarematige controller, en kan daarom ook by-default GEEN RAID5 aan.
Als je via een speciale key hier RAID5 toch in activeert, is het nog steeds een magere engine.

Een M1015 is alleen aan te raden icm ZFS. Als je echt RAID5 onder ESXi zelf wil, kan je beter naar een iets deftigere LSI controller kijken met een BBU en TLER schijven.

Voor simpel RAID1 kan een M1015 wel, en dan kan je het ding prima out of the box gebruiken, omdat hij 99/100 keer geleverd word met -IR firmware.

[Pantagruel]

Voor grofweg de kosten van een M1015 en de bijbehorende RAID 5 key kun je ook een M5014 aanschaffen. Deze kun je zo onder ESXi gebruiken (staat op de VMWare HCL) of naar een LSI 92608i flashen vlgs ServeTheHome.

[base_]

Met die M5014 heb je geen BBU, die zit bij de ruim 100 euro duurdere M5015 wel. Ik vraag me overigens wel af hoe kapot de RAID en/of OS'en gaan zonder BBU bij stroomstoringen.

[ThinkPad]

Anders zet je er toch een UPSje tussen? Heb je die BBU niet eens nodig, en kan je systeem ook normaal afsluiten bij een stroomstoring