Zuinige ESXi Server

[raymonvdm]

aceke schreef op woensdag 27 april 2011 @ 23:15:
[...]

ja in raid haal ik 40mbyte/sec terwijl ik op dezelfde pc met 1 schijf 80 haal

Ik heb een raid1 2 x sata dat is /tank/media
Ik heb een single ide disk dat is /home/beheer

Beide halen geen hoge snelheid dus in mijn geval lijkt er nog een ander probleem te zijn.

Overigens als ik in Windows Vista opstart dan kan ik wel lezen met 50mb/sec vanaf beide Samba shares. Schrijven daarin tegen is nog steeds niet snel. Het lijkt erop dat mn laptop geen Jumbo frames ondersteund (klote broadcomm 57xx)

[ Voor 23% gewijzigd door raymonvdm op 27-04-2011 23:46 ]

[TrailBlazer]

zou je met 2 van dit soort systeempjes ook een cluster kunnen bouwen in combinatie met een shared storage bakje (iSCSI of NFS)

[FireDrunk]

Alles kan, maar of je het wil...

[HyperBart]

TrailBlazer schreef op donderdag 28 april 2011 @ 08:11:
zou je met 2 van dit soort systeempjes ook een cluster kunnen bouwen in combinatie met een shared storage bakje (iSCSI of NFS)

Jup, dat is net de leukste opstelling van ze allemaal... Knalt er een host uit, wordt de VM opgestart op de andere host...

[Micr0mega]

@raymonvdm:
Zie ik aan je hostname goed dat FreeBSD gebruikt, of Debian/kFreeBSD? De laatste heb ik zelf in een VM op m'n desktop getest voor ZFS performance met bonnie++. Dit was echt om te huilen voor wat grotere bestanden (1MB). In vergelijking met Solaris en OpenIndiana scheelde het een orde van 30x tot 300x in bestanden per seconde! Misschien heeft dit te maken met een caching mechanisme in Solaris, want het zijn wel idiote getallen. Maar ik heb toch het idee dat de native ZFS implementaties onder een Solaris afgeleidde beter werken dan een port naar FreeBSD of Linux.

[TrailBlazer]

FireDrunk schreef op donderdag 28 april 2011 @ 08:34:
Alles kan, maar of je het wil...

het gaat me puur om te oefenen met VMWare/ESX performance boeit me niet. OS zou ik dan installeren op USB

[FireDrunk]

Dan kan je het prima doen (zelfs op 1 machine) in vmware workstation kan je 2 esx hosts aanmaken en daartussen met clustering spelen... Als performance geen probleem is...

[HyperBart]

FireDrunk schreef op donderdag 28 april 2011 @ 13:40:
Dan kan je het prima doen (zelfs op 1 machine) in vmware workstation kan je 2 esx hosts aanmaken en daartussen met clustering spelen... Als performance geen probleem is...

[FireDrunk]

Kan prima, ik spreek uit ervaring. Zolang je maar > 4GB geheugen hebt

[raymonvdm]

Ik heb inmiddels de CD van openindian gedownload en die gaat vanavond op de machine om te zien wat het doet. Ik dacht dat openindian een FreeNAS achtig iets is maar blijkbaar is het een volwaardig OS zodat m`n andere services ook gewoon gedraaid kunnen worden (PowerDNS/Nagios/Cacti/MySQL enz)

Vanavond gaan we dus verder met testen

[ Voor 7% gewijzigd door raymonvdm op 28-04-2011 14:48 ]

[HyperBart]

FireDrunk schreef op donderdag 28 april 2011 @ 14:01:
Kan prima, ik spreek uit ervaring. Zolang je maar > 4GB geheugen hebt

Gaat zeker, maar kom, om nu telkens te gaan modderen met mijn vmware workstation om wat dingen te testen... Neen thnks

[FireDrunk]

I couldn't agree more, daarom heb ik ook ESXi op een mooie Xeon met VT-d.. om lekker te kunnen speulen

[HyperBart]

FireDrunk schreef op donderdag 28 april 2011 @ 15:03:
I couldn't agree more, daarom heb ik ook ESXi op een mooie Xeon met VT-d.. om lekker te kunnen speulen

Hmmm, dat gaat voorbij aan het "knutselaspectje" van bij mij. Ik vind het nog altijd geweldig dat dat ding draait op een i3 (esxi is bijna nooit cpu-bound, vooral mem) en dat ie zo zuinig is... Als je dat dan vergelijkt met een HP die een vriend draait bij zijn thuis (wel veel meer geheugen en RAID5) dan weet je het wel

[FireDrunk]

Een i3 kan ook gewoon 16G of volgens mij zelfs 32G aan hoor

[ Voor 25% gewijzigd door FireDrunk op 28-04-2011 15:31 ]

[HyperBart]

Ja ja, weet ik wel, maar ik heb het over die Xeon
Vond ik wel spijtig, 16GB limiet had graag ooit tot 24 gegaan

[Weiman]

Met een X58 mobo haal je de 24GB net..maar ja, dan mag je je zuinigheid vaarwel zeggen.. kun je volgens mij net zo goed een tweede systeem bouwen zodat je 2 keer 16GB ter beschikking hebt.

[FireDrunk]

Jup, 2x i3-530 met 16GB is zuiniger dan een X58 Maar ja, dan moet je veel meer hardware kopen

[HyperBart]

Moederbordje is dan ook wel een stuk duurder...

[FireDrunk]

Nee hoor, scheelde maar 3 tientjes

[Staatslot]

HyperBart schreef op donderdag 28 april 2011 @ 16:07:
Moederbordje is dan ook wel een stuk duurder...

Je hebt nog iemand geïnspireerd met je blog zie ik..
We are Borg: Nieuwe server voor virtualisatie

[HyperBart]

Staatslot schreef op zondag 01 mei 2011 @ 10:25:
[...]


Je hebt nog iemand geïnspireerd met je blog zie ik..
We are Borg: Nieuwe server voor virtualisatie

Blijkbaar
Leuk om te zien natuurlijk! Het valt wel op dat er in CSL een algemene tendens is om thuis zuinig te virtualiseren... Ik denk dat als er nog zo een paar types als Mux op gaan dat dit wel een heel interessant gebied kan worden...

[Staatslot]

Ik ben ook enthousiast geworden en heb na lang wikken en wegen de volgende wenslijst samengesteld.
Ga er gewoon lekker mee stoeien, veel kleine linux vm's op draaien en ga kijken of ik met FreeNAS een mooie NAS functie kan toevoegen.

#	Product	Prijs	Subtotaal
1	Intel PRO/1000 GT	€ 22,86	€ 22,86
3	Samsung EcoGreen F4EG HD204UI, 2TB	€ 57,40	€ 172,20
1	Fractal Design Define R3 (Zwart)	€ 88,90	€ 88,90
1	Intel Core i3 540	€ 86,40	€ 86,40
1	be quiet! Pure Power L7 300W	€ 34,30	€ 34,30
1	Kingston SSDNow S100 SS100S2/16G 16GB	€ 43,13	€ 43,13
2	Kingston ValueRAM KVR1333D3N9K2/8G	€ 70,-	€ 140,-
1	MSI H55M-E33	€ 62,86	€ 62,86
Bekijk collectie Importeer producten		Totaal	€ 650,65

Kortom, Hyperbart ik ga je blog de komende tijd nog goed doorlezen

[HyperBart]

Bedenk wel dat het voor NAS-opstellingen fijner is als je RDM's (= VT-D voor nodig) kan doen om je disks maximaal te laten performen... (nu, je gaat het bijna niet merken denk ik, maar toch )

Sta er wel van verwonderd, best wel wat opslag, RAM en zelfs een SSD in die bak voor "heel weinig geld"
Ik was 300 kwijt voor geheugen, cpu, voeding en mobo... Jij trekt er zo maar even 6TB, een NIC'je een SSD en een duurdere kast uit... Netjes...

[ Voor 54% gewijzigd door HyperBart op 02-05-2011 14:38 ]

[Staatslot]

HyperBart schreef op maandag 02 mei 2011 @ 14:30:
Bedenk wel dat het voor NAS-opstellingen fijner is als je RDM's (= VT-D voor nodig) kan doen om je disks maximaal te laten performen... (nu, je gaat het bijna niet merken denk ik, maar toch )

Sta er wel van verwonderd, best wel wat opslag, RAM en zelfs een SSD in die bak voor "heel weinig geld"
Ik was 300 kwijt voor geheugen, cpu, voeding en mobo... Jij trekt er zo maar even 6TB, een NIC'je een SSD en een duurdere kast uit... Netjes...

Vwb die RDM heb je een goed punt..
Maar als ik de post van Firedrunk mag citeren:

Voor RDM (Raw Device Mapping) heb je niets anders nodig dan ESX(i). Er is geen speciale hardware voor nodig, je kan (zolang je disk door ESX herkend word) elke disk direct aan een VM geven.

Dus als ik het goed begrijpt kan het wel zonder vt-d maar het performed minder?

[HyperBart]

Staatslot schreef op maandag 02 mei 2011 @ 14:49:
[...]


Vwb die RDM heb je een goed punt..
Maar als ik de post van Firedrunk mag citeren:


[...]


Dus als ik het goed begrijpt kan het wel zonder vt-d maar het performed minder?

Pin me er niet op vast, maar volgens mij wel... Maar als je de disks gebruikt als onderdelen voor een NAS-opstelling is dat toch iets wat ik graag heb (zijnde dus rechtstreeks op disks kunnen schrijven).
Neen toch niet, RDM's (=mappen van disks) kan je zo doen, zonder VT-D, voor het gebruik van bv insteekkaartjes of dergelijke die je wilt doorgeven heb je wel VT-D nodig...

[ Voor 15% gewijzigd door HyperBart op 02-05-2011 15:41 ]

[ExploitSolo]

wel jammer dat het niet werkt op mijn
Asus P5GC-MX moederbord in combinatie met een intel E4400

Tips om dit op te lossen?

[mux]

HyperBart schreef op maandag 02 mei 2011 @ 11:42:
[...]

Blijkbaar
Leuk om te zien natuurlijk! Het valt wel op dat er in CSL een algemene tendens is om thuis zuinig te virtualiseren... Ik denk dat als er nog zo een paar types als Mux op gaan dat dit wel een heel interessant gebied kan worden...

Niet alleen virtualiseren, er is in het algemeen veel interesse voor stille en zuinige computers. Alleen is de staat van wetenschap hierover nog lang niet zo goed als bijvoorbeeld overclocking en andere tweaking.

[HyperBart]

ExploitSolo schreef op maandag 02 mei 2011 @ 15:40:
wel jammer dat het niet werkt op mijn
Asus P5GC-MX moederbord in combinatie met een intel E4400

Tips om dit op te lossen?

Wat werkt niet, wat zijn de fouten die je tegenkomt, waar loop je op vast? Best wel weinig info...
Wat ik er alvast van vind (ik weet niet wat je eigenlijk bezig bent en hoe):
Heb je er een supported NIC insteken? Die is onmisbaar tijdens de installatie tenzij je de installatie CD gaat customizen zodat je onboard nic ondersteund wordt.... (have fun ).

mux schreef op maandag 02 mei 2011 @ 15:42:
[...]


Niet alleen virtualiseren, er is in het algemeen veel interesse voor stille en zuinige computers. Alleen is de staat van wetenschap hierover nog lang niet zo goed als bijvoorbeeld overclocking en andere tweaking.

Kudo's to you trouwens om deze hele beweging met je blog zo fel op gang te krijgen. Jouw projectje was voor mij de reden om dezelfde weg op te gaan met mijn zuinige bak thuis...

* HyperBart gooit een koekje naar Mux

[ Voor 34% gewijzigd door HyperBart op 02-05-2011 15:45 ]

[FireDrunk]

Wat dat betreft is die kennis zeker aanwezig in dit forum, en met een beetje goed zoeken, kan iedere beginner in dit topic bijna al zijn antwoorden vinden.

[deludi]

Voor diegenen die niet zelf willen bouwen: voor iets meer dan 220 Euro heb je een HP Microserver N36L.
Ik heb er wat stukjes (esxi, p410 raid controller) over geschreven op:

http://deludi.nl/blog/vbs...-hp-p410-raid-controller/

[mux]

HyperBart schreef op maandag 02 mei 2011 @ 15:43:
Kudo's to you trouwens om deze hele beweging met je blog zo fel op gang te krijgen. Jouw projectje was voor mij de reden om dezelfde weg op te gaan met mijn zuinige bak thuis...

* HyperBart gooit een koekje naar Mux

mmmmm koekjes..

[HyperBart]

Zeg, nu even uit nieuwsgierigheid, wat draaien jullie eigenlijk allemaal op je ESXi'en en op welke manieren en met welke verdeling van resources?

Vraagsteller trapt af vet is resource pool, normaal is de naam van de VM, OS en functies, al mijn disks zijn btw thin provisioned:
Critical CPU reservation 1GHz, Mem reservation 2GB
Hammer: W2K8R2, DC en DNS, 2GB RAM (gaat nog naar onder naar 512)
Jethro: W2K8R2, vCenter, 2GB RAM (gaat ook naar onder naar 512)
Pyro: Ubuntu 11.04, Sick Beard, Couch Potato en Sabnzbd+ server, 512 MB RAM, mijn favorietje
Informer: OpenVPN appliance, 1GB RAM (moet nog geconfigged worden en RAM is imho veel te veel, gaat iets van 128MB ofzo worden)
Test Mem reservation van 512MB
Kbot: XP SP3, bakje voor altijd remote aan te kunnen en thuis toch enkele dingen via Windows lokaal te kunnen doen...

[FireDrunk]

Ik heb geen resource pools, zolang vm's niet om resources vechten zijn ze niet nodig, en ik heb cpu power over dus misschien in een later stadium.
Verder heb ik 3 VM's die je als 'belangrijk' zou kunnen classificeren.
Fileserver, 4 vCPU, LSI Controller en 4GB RAM.
DownloadVM, 4 vCPU, 2GB RAM
vMA VM, 1vCPU 512MB RAM

Verder heb ik nog een Zabbix monitoring Ubuntu met 512MB RAM, maar die is niet zo heel belangrijk.
En nog wat test VM's.

Waarom vCenter op ESXi? Wat doe je ermee?

[HyperBart]

had die voor wat te spelen met storage vMotion en ik heb zelfs heel even een virtuele ESXi gedraaid

Waarom geef je eigenlijk je download en fileserver 4 vCPU's? Niet bepaald ideaal, want dan moet ESXi 4 CPU's TEGELIJKERTIJD vrijmaken, terwijl kunnen andere VM's nergens aanspraak op maken...

Aaah shit nu ben ik gisteren vergeten er een watt-metertje aan te hangen...

[ Voor 65% gewijzigd door HyperBart op 03-05-2011 10:54 ]

[FireDrunk]

Weet ik, maar dat verhaal van tegelijkertijd is een beetje van het 3.5 / 4.0 tijdperk, in 4.1 is dat sterk verbeterd. Maar zoals ik al zei, mijn server heeft CPU power over, dus ik merk er nog niets van. Het zal niet 400% schalen, maar 250-300% schaalt het zeker (gemeten unpar/unrar tijd)

[Paul]

Het is een virtuele CPU, geen echte... Zoals ik het begrepen heb, heb je daardoor in je VM ook voordeel van multithreading. Met maar 1 vCPU denkt je VM dat er maar 1 CPU / core is en kan deze dus geen dingen tegelijk doen.

Dat wil dus niet zeggen dat je daarmee CPU's lockt of zo, andere VMs kunnen nog steeds gebruik maken van beschikbare cycles.

[FireDrunk]

Wat HyperBart zegt klopt wel.. 'vroeger' moest een host evenveel pCPU's vrij hebben als een VM vCPU's aansprak, maar omdat dat ook gevirtualiseerd is kan dat asynchroon verlopen tegenwoordig volgens mij. Er zit een delay van zeg een paar microseconden op om te wachten tot een core vrij komt. Het zou dus theoretisch volgens mij nu kunnen zijn dat vCPU 1, 2 en 3 op core 1, 2 en 3 gerunt worden, maar omdat core 4 bezig is, word in de nanoseconde daarna vCPU 4 op core 1 gerunt. Effectief betekend dit dus in tijd dat je 2.5 pCPU's bezet hebt gehad in twee tijdseenheden. Hoe het exact werkt zal ik eens opzoeken... Misschien vind ik er ergens een mooie blogpost over

[HyperBart]

FireDrunk schreef op dinsdag 03 mei 2011 @ 11:32:
Wat HyperBart zegt klopt wel.. 'vroeger' moest een host evenveel pCPU's vrij hebben als een VM vCPU's aansprak, maar omdat dat ook gevirtualiseerd is kan dat asynchroon verlopen tegenwoordig volgens mij. Er zit een delay van zeg een paar microseconden op om te wachten tot een core vrij komt. Het zou dus theoretisch volgens mij nu kunnen zijn dat vCPU 1, 2 en 3 op core 1, 2 en 3 gerunt worden, maar omdat core 4 bezig is, word in de nanoseconde daarna vCPU 4 op core 1 gerunt. Effectief betekend dit dus in tijd dat je 2.5 pCPU's bezet hebt gehad in twee tijdseenheden. Hoe het exact werkt zal ik eens opzoeken... Misschien vind ik er ergens een mooie blogpost over

Hmmm dan is dat veranderd... Ik dacht dat hij evenveel pCPU's (=als in cores) moest vrijhebben als dat er vCPU's zijn toegekend. Blogpost zou wel welkom zijn...

[FireDrunk]

Ik heb het ook maar van horen zeggen (hier lopen wel een paar vmware guru's rond...), ben al aan het rondzoeken

http://www.vmware.com/fil...re41_cpu_schedule_ESX.pdf
Sectie 3.1

[ Voor 28% gewijzigd door FireDrunk op 03-05-2011 11:46 ]

[TrailBlazer]

Ik heb nu het volgende lijstje samengesteld. Om een cluster van 2 servertjes te maken. Goedkopere voeding en kast uitgekozen. Hij komt bij mij toch in de bijkeuken te staan en zal niet 24x7 draaien.

#	Product	Prijs	Subtotaal
2	Intel Gigabit CT Desktop Adapter	€ 22,78	€ 45,56
2	Samsung Spinpoint F1 HD161GJ, 160GB	€ 26,50	€ 53,-
2	MS-Tech CA-0130	€ 17,85	€ 35,70
2	Intel Core i3 540	€ 84,-	€ 168,-
2	HKC USP-3430	€ 24,64	€ 49,28
2	GeIL Value PLUS GVP38GB1333C9DC	€ 59,90	€ 119,80
2	MSI H55M-E33	€ 62,86	€ 125,72
Bekijk collectie Importeer producten		Totaal	€ 597,06

iemand nog op of aanmerkingen.

[FireDrunk]

Waarom geen L7? Scheelt 6 euro... Die verdien je wel terug...

[n0fragger]

Waarom niet geen modulaire voeding? Nu wordt het al een bende in de kast en je moet nog beginnen...

[HyperBart]

Zou ik ook wel doen...
Was HKC geen budgetmerk? Of sla ik de bal helemaal mis?

n0fragger schreef op dinsdag 03 mei 2011 @ 11:56:
Waarom niet geen modulaire voeding? Nu wordt het al een bende in de kast en je moet nog beginnen...

Zo kan je wel verder blijven gaan... Trouwens, kom bij mij maar eens kijken, zo een "bende" is het niet hoor. Plus we zijn op dit moment niet bekend met een modulaire voeding die dezelfde efficiëntie neerzet als de L7... (ik toch niet)

[ Voor 74% gewijzigd door HyperBart op 03-05-2011 11:57 ]

[Dadona]

Maak je je eigen 'modulaire' voeding Nah, de schijven zorgen voor de puinzooi, maar met een beetje slim kabels routeren en de eventuele splitters op handige plaatsen neerzetten dan komt dat gewoon goed.

[TrailBlazer]

in mijn geval zit er een schijf in dus dat valt ook wel mee dan.

[aceke]

een klein vraagje

ondesteund de intel sasuc8i nu spin down of niet? want ik lees hier tegenstrijdige berichten over
wat als deze dat niet ondersteund is deze zeker niet aan te raden in een zuinige server omgeving

[FireDrunk]

Ik heb de LSI 3068E, en die kan het zeker niet... Hij negeert het commando gewoon...

[fjskmdl2]

Ik ben er ook over aan het nadenken om hetvolgende aan te schaffen:
MSI-H55M-E33
8GB RAM
I3-540

Zal voornamelijk als nas gebruikt worden maar ik wil ook met esxi experimenteren.
Nu weet ik intussen al dat vt-d niet ondersteund wordt in deze setup, maar zal dit van grote invloed zijn op de nas performance? Ik zou dan een vm maken met een zfs gebaseerde distro. De zfs harddisks zou ik gewoon aan esxi toekennen (dus geen virtuele hds)

Dat msi moederbord heeft 6 sata aansluitingen. Indien ik dit later nog wil uitbreiden, zal ik dan "in de problemen" komen met esxi omdat ik niet over vt-d beschik?

[FireDrunk]

Nee hoor, dat werkt prima, later uitbreiden kan, maar dan moet je wel een controller nemen die ondersteund word door ESXi, dan kan je de disks die daarna in ESXi verschijnen weer op dezelfde manier (RDM) aan de VM geven. Performance technisch zal je denk ik 10-15% lager presteren dan met een op VT-d gebaseerde setup.
Maar of je nou 350MB/s of 400MB/s haalt zal niet zoveel uitmaken om je gigabit lijntje vol te krijgen

[ Voor 31% gewijzigd door FireDrunk op 04-05-2011 08:09 ]

[MadMike261]

Wat ik uit de praktijk heb gemerkt met VMWare Workstation is dat het niet uitmaakt hoeveel echte CPU's je hebt. En dat elke VM dan gewoon in de task manager verschijnt als 1 proces dat met alle andere processen "vecht" om CPU tijd. Ongeacht hoeveel vCPU's je hebt toegewezen.

Bijvoorbeeld op mijn main systeem (i7 2600k met HT).
Dan heb ik World Community Grid draaien op 100% en als ik dan verschillende VM's start word WCG "verdrongen" en krijgen de VM's wat ze nodig hebben. Ookal hebben beide VM's 8 vCPU's. Ze werken gewoon naast elkaar terwijl WCG het resterende % cpu tijd pakt.

Hoe het in de theorie werkt weet ik niet

[FireDrunk]

VMWare Workstation is wat dat betreft onderhevig aan de CPU scheduler van je primaire OS, in jou geval zal dat waarschijnlijk Windows 7 zijn. Daar zit nou juist het verschil met ESXi. Die bepaald zelf de scheduling van de VM's, en laten ze daar nou net even wat slimmer overna gedacht hebben dan Microsoft

[Stefanovic45]

Ik vind mijn ESXi server nog vrij veel gebruiken in idle toestand. De config zit zo rond de 60 W! Ik heb in ESXi de powersaver aanstaan, maar verder niet.

Er zit het volgende in:

AMD Athlon II X2 240
2x2GB geheugen ddr2
MSI 740GTM-P25
Intel Gigabit CT Desktop
2 x WD green 1.5 TB 5400 rpm
1 x Hitachi Deskstar 5K3000 2TB 5.940 rpm

Wat doen jullie nog meer om de config zo zuinig mogelijk te maken?

[sloth]

Welke PSU gebruik je?
Op welke hdd staan je VM's, en doen de andere aan spindown?
Doe je aan undervolting?

[FireDrunk]

Heb je mijn link gezien waarin ESXi powersaving tips gegeven worden? Paar pagina's terug...

[aceke]

heb mijn intel sasuc8i geannuleert aangezien deze geen spindown heeft, ik ga dan voorlopig een win 7 terug als file server zetten, dan heb ik geen gezeik met trage smb snelheden want nu haal ik 115mbyte sec op men gigabit wat zeer mooi is
mijn highpoint zorgt voor 'hardware matige' raid 5
hier heb ik 8 poorten op wat voldoende is

morgen krijg ik de nieuwe onderdelen binnen
intel i5 2400
3x 4gb ddr3
5x samsung 2tb (+ de 5 bestaande)
de l7 voeding
intel dq67sw

kent iemand goedkope hba die wel spindown kan? wilde eigelijk beginnen met zfs maar omdat de intel het niet kan ga ik het niet doen omdat zonder spindown het niet zuinig is

[nzyme]

wat is jullie mening over VT-d passthrough van de onboard SATA chip/poortjes naar een NAS vm die de datastore is voor de esxi host (met daarop dus de VMDK files)? Aangezien er steeds meer onboard poortjes beschikbaar worden gemaakt op mainboards en het goedkoper en zuiniger is dan de aanschaf van een extra kaart (zoals de sasuc8i).
De ESXi installatie en configuratie staat dan op een usb-stick.
Ik heb zelf dit plankje op 't oog, icm een i5 2400: pricewatch: Intel Desktop Board DQ67OWB3

[Dadona]

FireDrunk schreef op woensdag 04 mei 2011 @ 20:14:
Heb je mijn link gezien waarin ESXi powersaving tips gegeven worden? Paar pagina's terug...

Deze link
Misschien aardig om de startpost een beetje op te vrolijken met wat beknopte informatie? (Minimale benodigheden, sterke en zwakke punten, ..energieverbruik, link naar blogposts) Nog wat gegadigden om zich te laten toevoegen aan de startpost?

[aceke]

nzyme schreef op woensdag 04 mei 2011 @ 21:27:
wat is jullie mening over VT-d passthrough van de onboard SATA chip/poortjes naar een NAS vm die de datastore is voor de esxi host (met daarop dus de VMDK files)? Aangezien er steeds meer onboard poortjes beschikbaar worden gemaakt op mainboards en het goedkoper en zuiniger is dan de aanschaf van een extra kaart (zoals de sasuc8i).
De ESXi installatie en configuratie staat dan op een usb-stick.
Ik heb zelf dit plankje op 't oog, icm een i5 2400: pricewatch: Intel Desktop Board DQ67OWB3

ik vind met de laatste mobo's dat er steeds minder sata poorten zijn

[Priet]

aceke schreef op woensdag 04 mei 2011 @ 21:33:
[...]


ik vind met de laatste mobo's dat er steeds minder sata poorten zijn

Dat idee heb ik ook. Ben nu ook op zoek (besloten om niet voor de DS411 te gaan maar eentje zelf te bouwen icm ESXi) maar de meeste mooie moederborden hebben maar 4 SATA poorten

[nzyme]

oh... nouja, mss kijk ik er dan ook iets anders naar; ik heb aan 4 tot 6 genoeg maar dan nog, iemand een mening?

[ExploitSolo]

zou iemand mij even een handje kunnen ondersteunen hierin

kan vrij onduidelijk vinden

Mijn systeem
CPU: Intel E4400 @ 2.0 ghz
Mobo: Asus P5GC-MX

Als ik daarbij deze de pricewatch: Intel Gigabit CT Desktop Adapter haal
kan esxi dan zonder problemen werken? Dat ik geen gezeik krijg dat me cpu/mobo niet wilt virtualiseren o.i.d

[analog_]

AMD moederborden komen gemiddeld genomen met meer SATA poorten dan Intel borden, oorzaak zit hem in de standaard 6 SATA2 poorten op elke southbridge van AMD tegenover de vier van de ich(r) controllers. Heeft iemand trouwens als een uitgezocht of ESXi in idle, ook de i5 in idle toestand brengt of sowieso nooit anders gaat jullie i5-is-zuinig verhaal niet op.

[ Voor 29% gewijzigd door analog_ op 04-05-2011 21:49 ]

[Dadona]

Zonder mij echt te hebben verdiept in de (on)zuinigheid:
pricewatch: Intel Desktop Board DB65AL
pricewatch: Intel BOXDH67CLB3
Wat is daar mis mee? Vergeet niet dat er soms niet 6x SATA staat, maar 5x SATA(-300) en 1x SATA-600 of iets dergelijks. Mogelijk ga ik weer de mist in met dat verduivelde, verplichte raid gezeur.
En helaas heeft Intel iets waar je bij AMD meteen een ban voor krijgt in deze topic: moederborden met 6 DDR3 geheugenbanken.

[ Voor 6% gewijzigd door Dadona op 04-05-2011 21:58 ]

[nzyme]

die hebben beide geen VT-d, geloof dat je daar een Qxx voor moet hebben.

[Dadona]

Ah, even VT-d links laten liggen. Ik dacht even dat de reactie van iemand die een mobo voor met een i3 zocht (waarmee je VT-d sowieso al kunt schudden).

[ Voor 14% gewijzigd door Dadona op 04-05-2011 23:11 ]

[Pantagruel]

Dadona schreef op woensdag 04 mei 2011 @ 21:54:
Zonder mij echt te hebben verdiept in de (on)zuinigheid:
pricewatch: Intel Desktop Board DB65AL
pricewatch: Intel BOXDH67CLB3
Wat is daar mis mee? Vergeet niet dat er soms niet 6x SATA staat, maar 5x SATA(-300) en 1x SATA-600 of iets dergelijks. Mogelijk ga ik weer de mist in met dat verduivelde, verplichte raid gezeur.
En helaas heeft Intel iets waar je bij AMD meteen een ban voor krijgt in deze topic: moederborden met 6 DDR3 geheugenbanken.

Volgens de Duitstalige C't (nr 10 26/4/2011) doet de DB65AL
soft-off (Eup): 1W; Standby:3W; Idle: 20W; CPU vol belast: 97W; CPU en GPU vol belast: 117W
Gemeten aan het 230 V net met de volgende hardware: Core i5 2400, 2x2 GB RAM, SSD, USB ToBo/muis, EnerMax ErPro80+ 300W PSU.

Het Intel DH67BL bordje (heeft wel USB 3.0 en HDMI) verbruikt 23W bij idle.

Voordeel van de B65 en de H67 chipset is dat ze beiden 32GB ondersteunen (itt de h55/57 chipsets) wat voor de VM's wel erg lekker is. Voorlopig staan ze nog niet op de ESXi hcl, Google helpt en waarschijnlijk komt 't neer op een niet ondersteunde NIC (eenvoudig te verhelpen middels insteekkaart)

[ Voor 12% gewijzigd door Pantagruel op 05-05-2011 18:53 . Reden: xtra info ]

[Stefanovic45]

sloth schreef op woensdag 04 mei 2011 @ 19:44:
Welke PSU gebruik je?
Op welke hdd staan je VM's, en doen de andere aan spindown?
Doe je aan undervolting?

Als PSU heb ik een OCZ Silencer 370W, een andere voeding zou niet veel schelen. De silencer voedingen zijn de betere voedingen van OCZ

Undervolting ondersteunt mijn moederbord niet Toen ik alleen Windows had draaien, kon ik het nog softwarematig doen.

Ik ga die Custom Power Management eens proberen.

[ Voor 5% gewijzigd door Stefanovic45 op 05-05-2011 09:03 ]

[HyperBart]

Duuuus, met een oud Interelectra metertje:

0.25 tot 0.31 A op 237V...

Dat is dan 59,25 tot 73W voor mijn ESXi-bakje?

[mux]

Nee, dat is 59,25 tot 73 VA voor je ESXi-bakje. Klik maar eens op 'de power factor uitgelegd' in m'n sig

[HyperBart]

Ik hoor het al, den deze mag zo een energy logger gaan kopen
Zo een Energy Logger geeft me dan het echte verbruik.... Zonder poespas kan ik het dan aflezen en netjes bekijken via het SD-kaartje, correct?

Bij conrad staat de 4000 in reclame voor 25 EUR
http://www2.conrad.be/goto.php?artikel=125338

[ Voor 69% gewijzigd door HyperBart op 06-05-2011 11:31 ]

[Staatslot]

Ik zit met het volgende, lichtelijk offtopic maar toch past het hier nog net..

Ik wil op mijn esxi bak straks freenas of openfiler draaien, zodat die de nas functionaliteiten regelt.
Freenas of openfiler krijgt 3x 2tb via raw device mapping (later uitbreidbaar) en geeft vervolgens disk-ruimte aan de nieuw te maken vm's. Dat kan volgens mij op 2 manieren, via NFS of via iscsi.

Ik zit me suf te lezen wat sneller is, maar alle berichten spreken elkaar tegen.
Ik wil eigenlijk vooral met Freenas of openfiler werken zodat ik niet op 10 vm's apart samba moet inregelen om de bestanden op alle andere machines in mijn netwerk te kunnen benaderen.

Hoe hebben jullie dit opgelost, of werken jullie met een hele andere constructie?

[nzyme]

volgens mij is snelheid niet het voornaamste, maar heeft NFS het voordeel dat je aan de fileserver kant nog iets kunt doen met de VMDK bestanden: snapshots maken bijvoorbeeld, met zfs. Die fileserver vm moet je vervolgens dus in je esx host mounten zodat je die als datastore kunt gebruiken.

[HyperBart]

inderdaad, NFS is Network Filesystem, waardoor als er iets met je ESXi is, je makkelijk via Linux of Windows toegang kan krijgen tot een store waar je vmdk's staan en deze makkelijk kan kopieren... bij vmfs is dat wat moeilijker ...

maar waarom je de gevirtualiseerde storage gaat gebruiken om er VM's op te zetten ontgaat me een beetje...

Iemand trouwens in de streek van Limburg/Antwerpen ook geïnteresseerd in een Energy Logger of iets anders van Conrad? Als ik boven de 35 EUR zit heb ik geen leveringskosten...

[ Voor 38% gewijzigd door HyperBart op 06-05-2011 14:43 ]

[nzyme]

HyperBart schreef op vrijdag 06 mei 2011 @ 14:41:
inderdaad, NFS is Network Filesystem, waardoor als er iets met je ESXi is, je makkelijk via Linux of Windows toegang kan krijgen tot een store waar je vmdk's staan en deze makkelijk kan kopieren... bij vmfs is dat wat moeilijker ...

maar waarom je de gevirtualiseerde storage gaat gebruiken om er VM's op te zetten ontgaat me een beetje...

Iemand trouwens in de streek van Limburg/Antwerpen ook geïnteresseerd in een Energy Logger of iets anders van Conrad? Als ik boven de 35 EUR zit heb ik geen leveringskosten...

waar moet het anders, een aparte tweede machine? Een dure VMware compatible raid adapter is ook geen optie want dat is duur Daarnaast biedt een solaris nas snapshots van de vmdk files, en dat is best prettig.

[MadMike261]

HyperBart schreef op vrijdag 06 mei 2011 @ 14:41:
inderdaad, NFS is Network Filesystem, waardoor als er iets met je ESXi is, je makkelijk via Linux of Windows toegang kan krijgen tot een store waar je vmdk's staan en deze makkelijk kan kopieren... bij vmfs is dat wat moeilijker ...

maar waarom je de gevirtualiseerde storage gaat gebruiken om er VM's op te zetten ontgaat me een beetje...

Iemand trouwens in de streek van Limburg/Antwerpen ook geïnteresseerd in een Energy Logger of iets anders van Conrad? Als ik boven de 35 EUR zit heb ik geen leveringskosten...

Heb net mn Energy Monitor 3000 binnen xD anders had ik wel gewild...

[Staatslot]

HyperBart schreef op vrijdag 06 mei 2011 @ 14:41:
[...]maar waarom je de gevirtualiseerde storage gaat gebruiken om er VM's op te zetten ontgaat me een beetje...[...]

2 redenen
- om er eens mee te leren werken
- met gevirtualiseerde storage kan ik raid opzetten over mijn (via RDM toegekende) schijven.
Software raid kan natuurlijk ook wel per vm, maar dat heeft niet zoveel nut

Bovendien wil ik de gevirtualiseerde storage via cifs / samba aan de vm's geven, zodat ze bij elkaars bestanden kunnen. Anders moet ik op 10 machines samba / cifs draaien en configureren, ipv op één centraal NAS-OS dat het regelt..

[HyperBart]

Staatslot schreef op vrijdag 06 mei 2011 @ 15:24:
[...]


2 redenen
- om er eens mee te leren werken
- met gevirtualiseerde storage kan ik raid opzetten over mijn (via RDM toegekende) schijven.
Software raid kan natuurlijk ook wel per vm, maar dat heeft niet zoveel nut

Bovendien wil ik de gevirtualiseerde storage via cifs / samba aan de vm's geven, zodat ze bij elkaars bestanden kunnen. Anders moet ik op 10 machines samba / cifs draaien en configureren, ipv op één centraal NAS-OS dat het regelt..

Storage voor ESXi mee leren werken, das één keer toevoegen en that's it, zolang je niet met storage vmotion of met gewone vmotion begint, niet veel aan en daar kan je ook bitter weinig aan leren...

Je hebt dan een ESX met storage, daar draai je dan een filer op en via die filer bied je storage aan aan de ESX... Je begrijpt wel waar ik naar toe wil...

OK, je wilt je disks maximaal benutten, akkoord, maar die filer ertussen zetten, liever niet...

[Staatslot]

HyperBart schreef op vrijdag 06 mei 2011 @ 15:34:
[...]

Storage voor ESXi mee leren werken, das één keer toevoegen en that's it, zolang je niet met storage vmotion of met gewone vmotion begint, niet veel aan en daar kan je ook bitter weinig aan leren...

Je hebt dan een ESX met storage, daar draai je dan een filer op en via die filer bied je storage aan aan de ESX... Je begrijpt wel waar ik naar toe wil...

OK, je wilt je disks maximaal benutten, akkoord, maar die filer ertussen zetten, liever niet...

Ik begrijp je punt als het gaat om het plaatsen van vm's op de gevirtualiseerde storage..
Maar als we het hebben over de data op de diverse vm's, dan lijkt het me toch wel verdedigbaar om een NAS-OS te gebruiken die de vm's toegang geeft via cifs / samba, zodat ze er allemaal netjes bij kunnen en om ervoor te zorgen dat ik niet 10x samba / cifs op de verschillende vm's hoef in te regelen?

Volgens mij is dat toch wel goed verdedigbaar en wordt het al veel vaker gebruikt hier op het forum (en in DIY Raid NAS topic)? Of zie ik iets over het hoofd?

[Danfoss]

Dat is ook precies hoe ik het ga inrichten.
Server boot met ssd, daarop 1 NAS guest die via raw device mapping een berg schijven krijgt voor zfs raid.
Vervolgens kan ik andere vm's via nfs daar ook op kwijt. De nas wordt ook verder in het netwerk gebruikt.
Volgens mij is dit een goede optie als je geen losse nas neer wilt zetten.

Ik ben vandaag begonnen met een test platform om wat dingen te kunnen testen (laptop met intel t8300 en 3gb ram):
- Laatste ESXi gedownload - Check
- custom netwerk drivers injecteren in ISO - Check
- ISO op USB gezet - Check
- Laptop booten van USB - Profit

[raymonvdm]

Danfoss schreef op vrijdag 06 mei 2011 @ 17:32:
Dat is ook precies hoe ik het ga inrichten.
Server boot met ssd, daarop 1 NAS guest die via raw device mapping een berg schijven krijgt voor zfs raid.
Vervolgens kan ik andere vm's via nfs daar ook op kwijt. De nas wordt ook verder in het netwerk gebruikt.
Volgens mij is dit een goede optie als je geen losse nas neer wilt zetten.

Ik ben vandaag begonnen met een test platform om wat dingen te kunnen testen (laptop met intel t8300 en 3gb ram):
- Laatste ESXi gedownload - Check
- custom netwerk drivers injecteren in ISO - Check
- ISO op USB gezet - Check
- Laptop booten van USB - Profit

Ga je ook booten vanaf een usb stick of gebruik je wel een "normale" harddisk ?

[Danfoss]

raymonvdm schreef op vrijdag 06 mei 2011 @ 17:38:
[...]


Ga je ook booten vanaf een usb stick of gebruik je wel een "normale" harddisk ?

Weet ik nog niet eigenlijk. Ik zie nog geen nadelen voor het booten van usb.

[Staatslot]

Danfoss schreef op vrijdag 06 mei 2011 @ 17:32:
Dat is ook precies hoe ik het ga inrichten.
Server boot met ssd, daarop 1 NAS guest die via raw device mapping een berg schijven krijgt voor zfs raid.
Vervolgens kan ik andere vm's via nfs daar ook op kwijt. De nas wordt ook verder in het netwerk gebruikt.
Volgens mij is dit een goede optie als je geen losse nas neer wilt zetten.

Ik ben vandaag begonnen met een test platform om wat dingen te kunnen testen (laptop met intel t8300 en 3gb ram):
- Laatste ESXi gedownload - Check
- custom netwerk drivers injecteren in ISO - Check
- ISO op USB gezet - Check
- Laptop booten van USB - Profit

dan de vraag, waarom koos je voor nfs (ik neem aan dat je ook bedoelt een datastore aan maken via nfs?) en niet voor een datastore aanmaken via iscsi?

[FireDrunk]

Nfs is veel makkelijker dan iscsi.. bij nfs kan je nog gewoon bij je files... bij iscsi niet.
Waarom zou je vm's op je data schijven... dan kunnen ze niet idle...

[TrailBlazer]

je kan toch bij je files via ESX.

[Staatslot]

FireDrunk schreef op vrijdag 06 mei 2011 @ 19:33:
Nfs is veel makkelijker dan iscsi.. bij nfs kan je nog gewoon bij je files... bij iscsi niet.
Waarom zou je vm's op je data schijven... dan kunnen ze niet idle...

Dat is waar, maar dan gaan ze wel mee in de opgebouwde raid-array.
Anders kost het me 2 losse disks in raid-1 om de vm's op te zetten..

edit: heb het overigens nog niet draaien hoor, spullen zijn besteld en ben aan het bedenken hoe ik alles het meest handig kan inrichten en begin in ieder geval met een hoop testen en uitproberen, dus alle input van jullie als ervaringsdeskundigen is meer dan welkom natuurlijk!

[ Voor 25% gewijzigd door Staatslot op 06-05-2011 21:47 ]

[FireDrunk]

Ik bedoel, zet alle OS drives van je VM's op 1 SSD, en geef je vm's een 2e data disk op je data array.
Dan worden alle vieze loggings enzo van je VM's naar je SSD gedaan, en hoeven je disks alleen op te spinnen als 1 van de VM's ook echt data wil.

Over NFS <-> iSCSI. Ik ga altijd voor NFS, het is net zo snel, en net zo gemakkelijk, enige probleem is dat Windows niet fatsoenlijk met NFS overweg kan...

NFS Shares kan je gewoon tegelijkertijd inhoudelijk bekijken. iSCSI niet...

[Staatslot]

FireDrunk schreef op vrijdag 06 mei 2011 @ 21:46:
Ik bedoel, zet alle OS drives van je VM's op 1 SSD, en geef je vm's een 2e data disk op je data array.

Ik wil straks 10+ vm's draaien, moet er niet aan denken dat de SSD het dan begeeft en ik ze allemaal opnieuw moet installeren.. Raid voor de vm's zelf voelt dan toch wel wat veiliger.. Maar je punt is zeker waar, ik moet er nog verder over denken..

[FireDrunk]

Uh, backups naar je array elke nacht?

[nzyme]

en wat is 't voordeel van SSD voor esxi boven een usb stick? Ervanuitgaande dat je de virtual machine vmdk files op de NAS-vm zet (via NFS)? Als ik die NAS-vm als datastore gebruik, slaat ie daar dan ALLE data op betreffende de vm's of komt er nog nuttige data op de usb stick?

[Staatslot]

FireDrunk schreef op vrijdag 06 mei 2011 @ 21:51:
Uh, backups naar je array elke nacht?

Waarschijnlijk heel stom, maar hoe kan ik er dan voor zorgen dat een vm bij de ssd bestanden komt om ze te kunnen back-uppen? Voor zover ik weet kan je daar niet zomaar bijkomen toch?

[FireDrunk]

Jawel hoor, SCP

[raven22]

FireDrunk schreef op vrijdag 06 mei 2011 @ 22:38:
Jawel hoor, SCP

Misschien beetje offtopic omdat ik geen esxi gebruik (maar wel virtualiseer dmv proxmox). Mijn i3-2100 systeem verbruikt idle met 3 draaiende linux vm's 18 watt. Dat vind ik toch wel netjes. Er zit een 2,5" disk in en 3x3,5" (gaan in spindown).

[FireDrunk]

Mooie waarden! Dat moet ik nog zien te halen

[aceke]

ik zit hier dus met een groot probleem he
ik heb op hq67sw esxi geinstalleerd en met vt-d mijn highpoint raid kaart aan mijn win 7 gekoppelt
deze vindt de kaart en ik kan mijn raid 5 maken

maar zodra ik lees of schrijf naar de raid dan valt deze uit na 5-10sec en dan reageert de vm niet meer en moet ik de vm zelf herstarten
de raid kaart komt uit een werkende win 7 install

als ik op de kaart enkel jbod neem dan gaat het wel met alle disk

[FireDrunk]

Vreemd, heb je de goede drivers IN de VM geinstalleerd?

[aceke]

ja dezelfde als bij mijn gewone win 7

Anoniem: 15758 in "Het grote DIY RAID NAS topic deel 3"

hier zijn er nog met het probleem

[FireDrunk]

Ik denk eerlijk gezegd dat de kaart gewoon niet geschikt is voor VT-d, dit komt denk ik omdat het een echte 'software' RAID controller is die in je geheugen wil schrijven. Maar pin me er niet op vast...

[redfoxert]

aceke schreef op maandag 09 mei 2011 @ 09:15:
ja dezelfde als bij mijn gewone win 7

Anoniem: 15758 in "Het grote DIY RAID NAS topic deel 3"

hier zijn er nog met het probleem

En watvoor schijven heb je er dan aan hangen? Zoals CiPHER al aanhaalt kan het te maken hebben met de TLER zoals WD het noemt. Deze schijven passen zelf een powermanagement toe waardoor een hardware raid controller hier problemen mee kan krijgen en ze uit de raid set gooit omdat ze, volgens de software op de controller, gefailed zijn.

[aceke]

redfoxert schreef op maandag 09 mei 2011 @ 09:26:
[...]


En watvoor schijven heb je er dan aan hangen? Zoals CiPHER al aanhaalt kan het te maken hebben met de TLER zoals WD het noemt. Deze schijven passen zelf een powermanagement toe waardoor een hardware raid controller hier problemen mee kan krijgen en ze uit de raid set gooit omdat ze, volgens de software op de controller, gefailed zijn.

oke snap ik maar waarom werkt het 1 jaar goed onder win 7 en nu via vt-d geen 20sec?

ik ben hem nu terug onder win 7 aan het installeren op de nieuwe hardware om straks eens te zien

[FireDrunk]

Als het met die schijven onder Windows 7 werkt, moet het ook onder een ander OS werken. Die controller gaat niet ineens anders met de disks om. JBOD vs RAID maakt wel uit bij sommige controllers omdat de recovery time langer mag duren bij JBOD.

Persoonlijk denk ik dat er iets mis gaat bij de memory mappings bij VT-d. Heb je al eens in /var/messages gekeken op je host of daar iets vreemds staat?