Zuinige ESXi Server

[BlackShadow]

FireDrunk schreef op woensdag 30 januari 2013 @ 23:03:
Ohja, even gemist. Verder prima setje, kastje erbij?

Na wat extra opzoekwerk zal het toch dit bordje worden indien support native is voor ESXi.
Al zullen er waarschijnlijk wat extra tweaks nodig zijn om hem even zuinig te maken als het Intel bordje...
Testen op stabiliteit zal niet zo makkelijk worden aangezien hij op enkele dagen tijd permanent mijn huidige ESXi omgeving zal moeten vervangen.

Ook wil ik pfSense draaien en heb momenteel een Intel Pro dual 1Gbit NIC PCI Express liggen, maar ik vrees dat die niet echt energiezuinig is, deze zal dienst doen als gateway, DHCP en IP-SEC VPN.

Kastje zal waarschijnlijk een Fractal Design Arc Midi Tower worden.

#	Product	Prijs	Subtotaal
1	Intel Core i5 3470 Boxed	€ 165,80	€ 165,80
1	ASRock H77 Pro4-M	€ 69,45	€ 69,45
2	Corsair CMV16GX3M2A1333C9	€ 66,10	€ 132,20
1	Seasonic G-Serie 360Watt	€ 60,-	€ 60,-
1	Samsung 840 series Pro 256GB	€ 204,99	€ 204,99
Bekijk collectie Importeer producten		Totaal	€ 632,44

Toch wat opmerkelijke problemen gevonden met ESXi icm dit bord:

Word of caution using the ASRock H77 Pro4/MVP motherboard on-board SATA connectors:

ESXi 5.1 will PSOD on you when trying to use passthru on the Intel Panther Point controller responsible for the six SATA ports labeled SATA2_2, SATA2_3, SATA2_4, SATA2_5, SATA3_0, and SATA3_1. Passthru for the controller managing SATA3_A1 and SATA3_A2, which ESXi calls "unknown", works fine.

ESXi 5.0U does not have this problem. All onboard SATA ports work with passthru under ESXi 5.0U.

Bron: http://forums.nas4free.or...=57&t=1601&start=10#p7459

Zijn er mensen met ervaringen met dit bordje?

edit:

Memory gewijzigd: Corsair CMV16GX3M2A1333C9 ipv Kingston HyperX KHX1600C10D3B1K2/16G
@ hieronder, bedankt voor de tip!

[ Voor 19% gewijzigd door BlackShadow op 31-01-2013 08:30 ]

[analog_]

BlackShadow schreef op woensdag 30 januari 2013 @ 22:32:
Wat vinden jullie van volgend systeem voor ESXi, zou idle 15W moeten verbruiken icm SSD:

#	Product	Prijs	Subtotaal
1	Intel Core i5 3570 Boxed	€ 181,20	€ 181,20
1	Intel DH77EB	€ 88,45	€ 88,45
2	Kingston HyperX KHX1600C10D3B1K2/16G	€ 75,90	€ 151,8
1	Seasonic G-Serie 360Watt	€ 60,-	€ 60,-

Zoals een post erboven is de 3470 een equivalente keuze kwa features maar wel goedkoper. Just so you know

[FireDrunk]

LOL, die ASmedia controller doorgeven werkt dus wel op de H77, ik lees heel veel problemen met de B75, waar dat dus niet werkt

Kan goed komen omdat de H77 meer PCie lanes heeft, en zijn lanes dus helemaal niet deelt met de onboard controller

Mijn keuze staat vast

[Verwijderd]

FireDrunk schreef op donderdag 31 januari 2013 @ 08:58:
LOL, die ASmedia controller doorgeven werkt dus wel op de H77, ik lees heel veel problemen met de B75, waar dat dus niet werkt

De ASmedia controller heb ik gewoon door kunnen geven op de asrock B75 pro3-m en dit werkt echt super!

Ik draai dan geen ESXi maar Xen, misschien dat het daardoor te verklaren is. Zo werkt GPU passthrough niet op ESXi met mijn build maar wel op Xen (Full HD playback werkt).

Moment dat ik overstapte op Xen en zag hoe vloeiend alles werkte ben ik meteen ESXi vergeten maar blijf dit topic wel lekker volgen

[ Voor 3% gewijzigd door Verwijderd op 31-01-2013 09:08 ]

[FireDrunk]

Hmm, toch maar eens proberen dan
Ik heb altijd geroepen dat ik 'ooit' nog eens mijn mediacenter wilde virtualiseren

[Verwijderd]

FireDrunk schreef op donderdag 31 januari 2013 @ 09:09:
Hmm, toch maar eens proberen dan
Ik heb altijd geroepen dat ik 'ooit' nog eens mijn mediacenter wilde virtualiseren

Hehe, het is mij gelukt en kijk nu lekker 1080p films op mijn htpc Ik wil best een tutorial schrijven voor de mensen die dit ook willen proberen op Xen. Alles werkt out of the box, geen gedoe

[BlackShadow]

FireDrunk schreef op donderdag 31 januari 2013 @ 08:58:
LOL, die ASmedia controller doorgeven werkt dus wel op de H77, ik lees heel veel problemen met de B75, waar dat dus niet werkt

Kan goed komen omdat de H77 meer PCie lanes heeft, en zijn lanes dus helemaal niet deelt met de onboard controller

Mijn keuze staat vast

Jouw keuze staat vast op de ASRock H77 Pro4-M?

[FireDrunk]

Ja, dat denk ik wel.

@mckroes, hoe meer tutorials, hoe meer vreugd

Van mij (maar ik ben geen mod) mag er best een Het grote (Zuinige) Xen topic! komen...

[BlackShadow]

Verwijderd schreef op donderdag 31 januari 2013 @ 09:13:
[...]


Hehe, het is mij gelukt en kijk nu lekker 1080p films op mijn htpc Ik wil best een tutorial schrijven voor de mensen die dit ook willen proberen op Xen. Alles werkt out of the box, geen gedoe

Ik heb ook interesse!

En eventueel een Xen topic inderdaad.

[FireDrunk]

* FireDrunk heeft de modjes aangeschoten.

[Verwijderd]

Top! Dan heb ik vanavond wat uit te werken na het werk ^.^

[Phorze]

Verwijderd schreef op donderdag 31 januari 2013 @ 09:13:
[...]


Hehe, het is mij gelukt en kijk nu lekker 1080p films op mijn htpc Ik wil best een tutorial schrijven voor de mensen die dit ook willen proberen op Xen. Alles werkt out of the box, geen gedoe

Tutorial is zeer welkom! Dedicated gpu? of gewoon iGPU?

[BlackShadow]

Aan welke behuizing denken jullie als een dergelijk systeem in/aan de TVkast komt te staan?

[FireDrunk]

Silverstone maakt mooie HTPC kasten, maar dat is niet echt een onderwerp voor dit Topic.

[hans_lenze]

BlackShadow schreef op donderdag 31 januari 2013 @ 12:54:
Aan welke behuizing denken jullie als een dergelijk systeem in/aan de TVkast komt te staan?

Ik denk aan een Fractal Design Define R4 als het in een tv kast komt te staan.


Dat moet makkelijk passen achter een ultra moderne flat screen tv.

[devastator83]

Mmm, ook wel geinteresseerd in de ASRock H77 Pro4-M.
Zou dit dan betekenen dat ik onder 5.0u een controller kan doorgeven via VT-d, en de andere gebruiken voor de SSD met de datastore ?

[FireDrunk]

Dat laatste weet ik niet, dat zou inderdaad wel heel tof zijn!

Ik denk dat andersom wel sowieso gaat... Ik dacht dat pantagruel dat even ging bekijken?

[devastator83]

Andersom ?

[FireDrunk]

ASmedia controller doorgeven.

[Verwijderd]

Hi Guys,
zijn er hier ook mensen met een MSI B75ma-P45 moederbord waarbij hun netwerkkaart niet werkt onder ESXI 5.1?

[FireDrunk]

Nee, maar het lijkt me wel duidelijk waarom dat zou zijn
Je moet de driver even met de hand injecteren.

[Pantagruel]

FireDrunk schreef op vrijdag 01 februari 2013 @ 12:40:
Dat laatste weet ik niet, dat zou inderdaad wel heel tof zijn!

Ik denk dat andersom wel sowieso gaat... Ik dacht dat pantagruel dat even ging bekijken?

Aangezien er een i3-2120 in de Asrock B75 Pro3-m zit, zal dat wegens gebrek aan Vt-d ondersteuning helaas niet gaan. Wat ik wilde proberen is de Asmedia controller als datastore gebruiken.

Dus.., er even een USB stickie er ingestopt en een 160GB SATA drive aan de Asmedia controller gehangen.

- De ESXi 5.0.0 installer ziet de disk aan de ASmedia controller niet , de USB stick wel (wist ik al ivm eerder poging om ESXi 5.0 geinstalleerd te krijgen. Toen dus de datastore disk naar de onboard Intel omgehangen)

-De ESXi 5.1.0 installer ziet zowel de disk aan de ASmedia controller wel als de USB stick, game on! (installer loopt op dit moment)

Dus tja, nu ga ik toch twijfelen of ik niet een i5-3330 zal aanschaffen.

[FireDrunk]

Hej, dat is goed om te weten! Dus ESXi 5.1 kan de ASMedia lokaal aan!
Wat dan weer wel jammer is, is dat de VT-d ondersteuning van ESXi 5.0 beter schijnt te zijn, maar dat heb ik nog niet gemerkt.

[SaiBork]

Op het moment draai ik ESXi 5.0.0 op de onderstaande hardware. Aangezien dit alleen maar was omdat ik het gewoon werkend wilde krijgen, moet dit nu toch maar geupgrade worden naar fatsoenlijke hardware. Met onderstaande heb ik namelijk niet eens 64-bit ondersteuning en kan ik dus geen huidige Windows servers installeren of gebruiken. Enige wat er momenteel op draait is 1 Windows 8 32-bit VM.

#	Product	Prijs	Subtotaal
1	Intel Core 2 Duo E7400 Boxed	€ 0,-	€ 0,-
1	Asus P5E-VM HDMI	€ 0,-	€ 0,-
1	Hitachi Deskstar 7K4000, 4TB	€ 205,-	€ 205,-
2	Western Digital Green WD20EARS, 2TB	€ 99,95	€ 199,90
1	Huntkey Jumper 300G	€ 62,70	€ 62,70
1	Crucial v4 SSD 2.5" 32GB	€ 43,99	€ 43,99
Bekijk collectie Importeer producten		Totaal	€ 511,59

In deze machine zit ook nog 6GB DDR2 (2x2GB en 2x1GB). Op de SSD is ESXi geinstalleerd en daarop staat ook de VM met Windows 8. Dan heb ik de 3 HDDs opgezet als elk een datastore.

De 2x WD (2TB) hebben elk 1 virtual disk van 2TB, dus worden volledig gebruikt. In de Windows 8 machine staan deze 2 schijven in RAID 0 zodat het een 1x 4TB schijf wordt.
De 1x Hitachi (4TB) heeft 2 virtual disks van 2TB (aangezien ESXi 5.0.0 niet grotere virtual disks wilt aanmaken) en wordt dus ook volledig gebruikt. In de Windows 8 machine staan deze 2 schijven in RAID 0 zodat het een 1x 4TB schijf wordt.

Dit zorgt ervoor dat ik dus 2x een 4TB schijf in de Windows 8 VM heb draaien. Deze machine gebruik ik momenteel om mijn data te delen naar de rest van mijn thuis netwerk. Ik heb dus geen lokaal domein opgesteld.

Nu denk ik het onderstaande aan te schaffen, maar wil graag jullie advies.

#	Product	Prijs	Subtotaal
1	Intel Core i3 3225 Boxed	€ 114,90	€ 114,90
1	Asus P8H77-I	€ 85,95	€ 85,95
1	Hitachi Deskstar 7K4000, 4TB	€ 205,-	€ 205,-
2	Western Digital Green WD20EARS, 2TB	€ 99,95	€ 199,90
1	Scythe Kozuti 40mm Super-Low Profile	€ 25,60	€ 25,60
1	Kingston HyperX KHX1600C10D3B1K2/16G	€ 75,90	€ 75,90
1	Huntkey Jumper 300G	€ 62,70	€ 62,70
1	Crucial RealSSD C300 2.5" 256GB	€ 0,-	€ 0,-
Bekijk collectie Importeer producten		Totaal	€ 769,95

De voeding van de huidige machine kan ik hergebruiken en zelfde geldt voor de opslag. De Crucial C300 komt uit mijn huidige pc die ik gebruik als mijn desktop/game-bak. Deze zal ik vervangen door een M4/Vector of 640 Pro, maar dat is een andere zaak

Ik zal de ESXi host voornamelijk gebruiken als volgt.
- 1x netwerk data opslag en workstation die 24/7 bereikbaar is (de Windows 8 machine)
- verschillende servers, waarschijnlijk 2 of 3 (tegelijk aan) om mee te testen, bijv. DC, Exchange
- 1 extra workstation of linux machine, maar die staat alleen aan wanneer nodig

Op de nieuwe config zal ik dan ESXi 5.1 willen gaan draaien en hoop niet al teveel moeten doen met extra drivers. Door de 32GB SSD te vervangen door de 256GB C300 zorg ik er voor dat ik ruimte heb om meerdere VMs te installeren. ESXi zal ik of daarop installeren, of op een USB stick.

[ Voor 74% gewijzigd door SaiBork op 01-02-2013 20:55 ]

[Pantagruel]

FireDrunk schreef op vrijdag 01 februari 2013 @ 17:01:
Hej, dat is goed om te weten! Dus ESXi 5.1 kan de ASMedia lokaal aan!
Wat dan weer wel jammer is, is dat de VT-d ondersteuning van ESXi 5.0 beter schijnt te zijn, maar dat heb ik nog niet gemerkt.

Blergh, de onboard nic (rtl8111e) wil geen IP krijgen, ook handmatig toekennen geeft geen werkende connectie.
Heb zelfs de ssd weer aangesloten en de usb stick eruit getrokken, maar ook dit helpt niet. Nu maar hopen dat de nic niet kaduk is (ff testen met boot cd).

Update:

Geen idee wat er loos was, maar een de test met een boot cd doet de relatek 8111e het weer onder ESXi, wellicht dat de onbaord nic zich bedreigt voelde door de Intel Pro/1000MT die al klaar had liggen als backup.

[ Voor 16% gewijzigd door Pantagruel op 01-02-2013 22:07 ]

[Tha_Butcha]

FireDrunk schreef op vrijdag 01 februari 2013 @ 17:01:
Hej, dat is goed om te weten! Dus ESXi 5.1 kan de ASMedia lokaal aan!
Wat dan weer wel jammer is, is dat de VT-d ondersteuning van ESXi 5.0 beter schijnt te zijn, maar dat heb ik nog niet gemerkt.

Ja klopt, had ik ook eerder gemeld in dit topic. Mijn VM's draaien nu vanaf een 2.5" HD die aan de Asmedia hangt. Overigens ben ik nu aan het mailen met de support van AsRock en ze hebben het uitgezet in Taiwan bij de engineers.

[devastator83]

Ok, eindelijk de knoop doorgehakt ...

Wil volgende week dit systeem bestellen:

#	Product	Prijs	Subtotaal
1	Intel Core i5 3330 Boxed	€ 156,-	€ 156,-
1	ASRock H77 Pro4-M	€ 69,45	€ 69,45
1	Fractal Design ARC MINI	€ 72,20	€ 72,20
1	Corsair Vengeance CML16GX3M2A1600C10	€ 76,48	€ 76,48
1	Seasonic G-Serie 360Watt	€ 60,-	€ 60,-
2	Samsung 830 series SSD 128GB	€ 119,-	€ 238,-
Bekijk collectie Importeer producten		Totaal	€ 672,13

Nog op- en/of aanmerkingen ? Ben niet zo zeker over de voeding BTW ...
Ik hoor graag jullie reacties !

[FireDrunk]

Ziet er prima uit! Voeding is ook prima keuze!

[-The_Mask-]

Waarom twee SSD's?

[FireDrunk]

OH, en trouwens, voor dat geld heb je een 840 Pro... Geen 830 meer nemen, zijn overpriced.

[devastator83]

FireDrunk schreef op zaterdag 02 februari 2013 @ 00:19:
OH, en trouwens, voor dat geld heb je een 840 Pro... Geen 830 meer nemen, zijn overpriced.

Zal even kijken wat het verschil is tussen de 840 en de 830, bedankt voor de tip.
Er moet idd maar 1 SSD in, de andere bestel ik voor mijn HTPC :-)

[Sleepie]

Net mijn ESX servertje gebouwd.

Na lang lezen hier, heb ik uiteindelijk voor de volgende onderdelen gekozen:

#	Product	Prijs	Subtotaal
1	Intel Pentium G2120 Boxed	€ 71,30	€ 71,30
1	ASRock B75 Pro3-M	€ 56,80	€ 56,80
2	Corsair Vengeance CML16GX3M2A1600C10	€ 76,48	€ 152,96
1	Samsung 840 series SSD 250GB	€ 149,89	€ 149,89
Bekijk collectie Importeer producten		Totaal	€ 430,95

Volgens mij ruim voldoende om een stuk of 4-5 servertjes en een enkel test-machientje op te draaien.

Lang nagedacht over de storage voor de VMs en uiteindelijk maar voor een SSD gekozen (ipv NAS storage op mijn ZFS bak). Lekker snel, en ik maak gewoon backups naar mijn NAS voor het geval de SSD het zou begeven.

[FireDrunk]

Ik verwacht dat de 840 Pro net zo stabiel/betrouwbaar is als de 830. Het is gewoon een verbetering..

[Compizfox]

De M4 is ook een goed alternatief voor de 830 (aangezien dat 840 langzamer is, en de 840 Pro duurder)

[ppl]

FireDrunk schreef op zaterdag 02 februari 2013 @ 22:31:
Ik verwacht dat de 840 Pro net zo stabiel/betrouwbaar is als de 830. Het is gewoon een verbetering..

Dat vond een collega niet toen hij ineens 70 euro meer moest dokken omdat ze de 830 niet konden leveren maar de 840 Pro wel. Dat verschil is ook niet te verklaren wat verschil in snelheid en energiebesparing betreft. Dat die 840 en 840 Pro net zo stabiel/betrouwbaar zullen worden als die 830 geloof ik ook wel maar of dat ook op dit moment is...de ervaring leert dat je hier nooit vanuit moet gaan. De M4 is ook pas betrouwbaar geworden na een aantal belangrijke firmware updates zoals vele anderen.

[devastator83]

FireDrunk schreef op vrijdag 01 februari 2013 @ 13:08:
ASmedia controller doorgeven.

Hebben we het over deze controller ?

Als ik deze aan een NAS VM zou doorgeven, kan ik wel maar 2 HDD's gebruiken.
Zou leuk zijn als ik de onboard controllers zou kunnen doorgeven, en de ASMedia gebruiken voor datastore.

[Pantagruel]

analog_ schreef op zondag 03 februari 2013 @ 01:58:
[...]

Zo ziet mijn RSS feed eruit, ik denk dat de meeste actieve leden in die topics ook de andere bezoeken, het ligt allemaal erg dicht bij elkaar qua expertise/kennis. Soms krijg ik ook de indruk dat discussie over topics heen worden bediscussieert maar dat kan aan mij liggen.

Dat er wat orde nodig is zijn we denk ik allemaal wel mee eens. Maar een simpele insteek werkt beter dan ons in keurslijfjes gieten. Ik zie liever te snel offtopic gebral dan posts die heen en weer worden geschopt. Sowieso krijg ik de indruk van andere subfora (gaming, fotografie, ...) dat 'grote topics' een slow-chat zijn.

Heb min of meer dezelfde RSS feeds (Zuinige server topic/ZFS/DIY NAS/ESXi/virtualisatie gerelateerde dingen).

Dat discussies zich over meerdere topics heen bewegen heeft naturlijk te maken met het feit dat een combinatie van zuinig/virtualisatie/ZFS/DIY NAS elkaar inmiddels niet meer uitsluiten.
De topic's van Mux hebben uitstekend laten zien dat potente hardware ook zuinig kan zijn.
Tweakers als Cipher en FireDrunk zijn voortdurend bezig met hun 'kruistocht' om ZFS 'the one' te maken en de mods en actieve tweakers in dit topic geven de bewijsvoering dat je best je DIY NAS op basis van ZFS kunt virtualiseren zonder al te veel in te leveren. Een beetje tweaker mix en matched de info uit de topics om tot de, voor hem/haar, optimale samenstelling te komen.

En ach, zo nu en dan een pietsie off-topic gebral is zo erg nog niet en als het de foute kant op gaat grijpen de mods wel in.

devastator83 schreef op zondag 03 februari 2013 @ 10:11:
[...]


Hebben we het over deze controller ?

Als ik deze aan een NAS VM zou doorgeven, kan ik wel maar 2 HDD's gebruiken.
Zou leuk zijn als ik de onboard controllers zou kunnen doorgeven, en de ASMedia gebruiken voor datastore.

De Asm1061 aanwezig op een Asrock B75 Pro3-M laat zich middels Vt-d doorgeven (als we de verdere problemen even vergeten), dus met alle waarschijnlijkheid lukt het dan ook wel met dat insteekkkaartje. Even kijken of Google een gebruiker met een succes vermelding voor je kan opduikelen.

@hieronder:

Vlgs de spec's van MSI zit er een RealTek 8111E nic op dat bordje en die doet het onder zowel ESxi 5 als 5.1, ESXi 5.1 ziet hem als 'Realtek 8168 Gigabit Ethernet' .

[ Voor 21% gewijzigd door Pantagruel op 03-02-2013 10:51 . Reden: asm1061/RTL8111E ]

[redfoxert]

Verwijderd schreef op vrijdag 01 februari 2013 @ 14:07:
Hi Guys,
zijn er hier ook mensen met een MSI B75ma-P45 moederbord waarbij hun netwerkkaart niet werkt onder ESXI 5.1?

FireDrunk schreef op vrijdag 01 februari 2013 @ 14:11:
Nee, maar het lijkt me wel duidelijk waarom dat zou zijn
Je moet de driver even met de hand injecteren.

Bij mij (en meerdere collegas) werkte deze out-of-the-box direct met 5.1. Zie geen reden waarom hij niet zou werken eerlijk gezegd.

Kijk eens welke Realtek er op zit momenteel? Misschien heeft MSI in een nieuwere revisie een andere chip gebruikt al lijkt met dat wel erg vergezocht ...

[ Voor 11% gewijzigd door redfoxert op 03-02-2013 10:37 ]

[Bolletje]

Modbreak:

In LA loopt nu een discussie waarbij de toekomst/herstructurering van dit topic ter sprake komt. Relevante input is daarbij gewenst.

Ik heb daar ook enkele berichten al naar verplaatst

[alter88]

Vorige week heb ik mijn nieuwe server in elkaar gezet en tot nu toe werkt alles i.c.m. ESXi.

Setup:

#	Product	Prijs	Subtotaal
1	Intel Core i5 3330 Boxed	€ 156,-	€ 156,-
1	MSI B75MA-P45	€ 52,95	€ 52,95
2	Western Digital Green WD20EARX, 2TB	€ 82,-	€ 164,-
1	Fractal Design ARC MINI	€ 72,20	€ 72,20
1	3Ware 3Ware Multi-lane SATA cable CBL-SFF8087OCF-05M	€ 15,99	€ 15,99
1	Corsair Vengeance CML16GX3M2A1600C10	€ 76,48	€ 76,48
1	IBM ServeRAID M1015 SAS/SATA Controller for System x	€ 118,50	€ 118,50
1	be quiet! Pure Power L7 300W	€ 37,95	€ 37,95
1	Kingston SSDNow V Series V300 120GB	€ 81,90	€ 81,90
Bekijk collectie Importeer producten		Totaal	€ 775,97

Het installeren van ESXi ging probleemloos. Alle hardware wordt herkent en ESXi start zonder problemen op.

Het installeren van de eerste virtuele machine (Ubuntu 12.10) ging ook zonder problemen.

Daarna ging ik ZFSGuru installeren en liep tegen een paar dingen aan. Om dit op te lossen heb ik eerst de netwerkadapter in ESXi veranderd (E1000 ipv VMXNET3), dan de livecd van ZFSGuru geboot en geinstalleerd op de datastore. Daarna de M1015 naar IT firmware geflashed (wat overigens niet gaat op dit moederbord), en dan de M1015 pas doorgeven aan de virtuele machine. Hieronder wat screenshots van het resultaat.

VMSphere Client:


ZFSGuru overview:


ZFSGuru disks:


Ik zal binnenkort ook nog wat stroomverbruik resultaten posten.

[Verwijderd]

FireDrunk schreef op vrijdag 01 februari 2013 @ 14:11:
Nee, maar het lijkt me wel duidelijk waarom dat zou zijn
Je moet de driver even met de hand injecteren.

Hij zou gewoon herkend moeten worden, toch?
check http://www.ivobeerens.nl/...i-5-whitebox-nic-support/

sorry zie nu pas bovenstaande berichten, ik zal kijken of ik wat meer info kan vergaren over de netwerkkaart.

[ Voor 14% gewijzigd door Verwijderd op 04-02-2013 10:46 ]

[FireDrunk]

@Alter88, ik zou je ZFS VM iets meer geheugen geven, bij 6GB word prefetchin namelijk aangezet, dat scheelt weer wat in performance. Meer geheugen is sowieso altijd beter voor ZFS.

[Pantagruel]

alter88 schreef op maandag 04 februari 2013 @ 09:03:
Vorige week heb ik mijn nieuwe server in elkaar gezet en tot nu toe werkt alles i.c.m. ESXi.

Setup:

..snipzz..

Het installeren van ESXi ging probleemloos. Alle hardware wordt herkent en ESXi start zonder problemen op.

Het installeren van de eerste virtuele machine (Ubuntu 12.10) ging ook zonder problemen.

Daarna ging ik ZFSGuru installeren en liep tegen een paar dingen aan. Om dit op te lossen heb ik eerst de netwerkadapter in ESXi veranderd (E1000 ipv VMXNET3), dan de livecd van ZFSGuru geboot en geinstalleerd op de datastore. Daarna de M1015 naar IT firmware geflashed (wat overigens niet gaat op dit moederbord), en dan de M1015 pas doorgeven aan de virtuele machine. Hieronder wat screenshots van het resultaat.

..snipzz.

Ik zal binnenkort ook nog wat stroomverbruik resultaten posten.

VMXNET3 doet het evt. wel onder FreeBSD (ZFSguru heeft FreeBSD als basis), zie deze post in het ZFSGuru forum. De How-to en de links naar de benodigde bestanden vindt je hier.
Tot mijn eigen schaamte moet ik bekennen dat ik er nog steeds geen tijd in heb gestoken om dit te testen.

[FireDrunk]

VMXNET3 werkt inderdaad prima (behalve bij HyperBart), en kan tegenwoordig gewoon weer met de originele VMware tools CD (Vanaf 5.1 werkt die geloof ik weer met FreeBSD9).

[TheFirepit]

Ik volg dit topic al een tijdje om een zuinige ESXi server te maken. Nou kom ik hier thuis net een Intel Core2Duo E6850 tegen.

Zou ik met de Intel en een micro-ATX bordje (ruimte gebruik in de meterkast) een enigszins zuinige ESXi server kunnen maken (+/- 4 vm's (NAS, Mediaserver, 2 x Linux testsysteem))? Of kan ik beter naar een andere CPU kijken?

[ThinkPad]

Andere CPU kijken. Uit je post begrijp ik dat je sowieso nog een ander bordje moet kopen, dus investeer dan gelijk in iets toekomstwaardigs (en een S775 bordje voor je E6850 is dat niet)

[Edd]

Omdat ik gebruik wil maken van VT-d heb ik gisteren onderstaand moederbord en proc binnengekregen:

#	Product	Prijs	Subtotaal
1	Intel Core i5 3330 Boxed	€ 153,50	€ 153,50
1	MSI H77MA-G43	€ 64,95	€ 64,95
Bekijk collectie Importeer producten		Totaal	€ 218,45

Het probleem is alleen dat ESXi 5.1 de onboard networkcontroller (Realtek 8111E) niet herkent tijdens de installatie.. Nu lees ik berichten van mensen waar de controller zonder problemen werkt. Heeft iemand een idee waar dit aan zou kunnen liggen? Misschien ergens een BIOS-setting die ik mis?

P.S. Intel-kaartje is onderweg..

[Verwijderd]

Edd schreef op woensdag 06 februari 2013 @ 10:11:
Omdat ik gebruik wil maken van VT-d heb ik gisteren onderstaand moederbord en proc binnengekregen:

#	Product	Prijs	Subtotaal
1	Intel Core i5 3330 Boxed	€ 153,50	€ 153,50
1	MSI H77MA-G43	€ 64,95	€ 64,95
Bekijk collectie Importeer producten		Totaal	€ 218,45

Het probleem is alleen dat ESXi 5.1 de onboard networkcontroller (Realtek 8111E) niet herkent tijdens de installatie.. Nu lees ik berichten van mensen waar de controller zonder problemen werkt. Heeft iemand een idee waar dit aan zou kunnen liggen? Misschien ergens een BIOS-setting die ik mis?

P.S. Intel-kaartje is onderweg..

Ik heb precies hetzelfde alleen met een MSI B75ma-p45. Bij iedereen werkt die direct en ik krijg hem NIET aan de gang. Snap er helemaal niets meer van. Had gehoopt dat die defect was maar w7 geïnstalleerd gister en daar werkt die perfect.

[lazybones]

Mijn ervaringen met Realtek in ESXi 5.x zijn dat - als ie al herkend wordt en werkt - zo nu en dan spontaan de verbinding verliest. Kabel er uit en weer insteken en de verbinding is weer terug, maar betrouwbaar is het niet.

Dual port HP kaartje inbouwen (of iets anders van goede merken) werkt vele malen beter. Betrouwbaar maar ook duidelijk betere snelheden.

[Edd]

Daar was ik eigenlijk ook al bang voor als ik de berichten zo las. Ik heb daarom gisteren ook maar de pricewatch: Intel Gigabit CT Desktop Adapter besteld.

[teddysleep]

Is een G1610 (nieuwste celeron) krachtig genoeg voor een simpel esxi machine te draaien met max 3 vm's tegelijkertijd?

[lazybones]

Ik gebruik overigens de volgende setup voor vSphere 5.1.

#	Product	Prijs	Subtotaal
1	AMD A10-5700 Boxed	€ 107,60	€ 107,60
1	Gigabyte GA-F2A85XM-D3H	€ 66,45	€ 66,45
2	Seagate Barracuda 7200.14 ST3000DM001, 3TB	€ 113,90	€ 227,80
1	Fractal Design Define Mini	€ 80,91	€ 80,91
1	Scythe Mugen 3 PC Games Hardware Edition	€ 34,99	€ 34,99
1	Corsair Vengeance CML32GX3M4A1600C10	€ 149,95	€ 149,95
1	Corsair CX430M	€ 42,95	€ 42,95
Bekijk collectie Importeer producten		Totaal	€ 710,65

Directpath / IOMMU werkt prima hierop.
Ik heb alleen nog een dual-port gigabit netwerkkaart (HP NC382T) aan toegevoegd.

HP NC382T PCI Express dual-port multifunction gigabit server adapter

Ik heb nog een Smart Array P400 controller liggen met 512 BBWC en die voor de grap eens ingeprikt: werkt ook foutloos.

Het geheel is zo goed als geruisloos, het meeste geluid komt van één van de disken, die resoneert een klein beetje. De AMD A10-5700 cpu is vlot genoeg en een stuk zuiniger dan de -5800 versie.

[ Voor 9% gewijzigd door lazybones op 08-02-2013 12:10 . Reden: toevoegingen ]

[Dodge-Charger]

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1220LV2 Tray	€ 196,48	€ 196,48
1	Supermicro X9SAE-O	€ 204,99	€ 204,99
1	Noctua NH-L9i	€ 36,40	€ 36,40
2	Kingston ValueRAM KVR16E11/8	€ 59,-	€ 118,-
1	Antec Earthwatts EA-450 Platinum	€ 79,30	€ 79,30
Bekijk collectie Importeer producten		Totaal	€ 635,17

Dit net besteld als vervanger van mijn ML350 G5

Wat ik al heb is een Adaptec 2405 en fractal design kast.
Ik kan niet wachten tot ik het verbruik kan gaan meten:)
jammer alleen dat het geheugen een levertijd van 20 werkdagen heeft

[FDMK]

Waarom kies je voor het supermicro bord? Hecht je echt waarde aan ECC voor een thuislab? Is die 1220L bewust of heb je naar tdp gekeken?

[Dodge-Charger]

Rooke schreef op woensdag 06 februari 2013 @ 15:23:
Waarom kies je voor het supermicro bord? Hecht je echt waarde aan ECC voor een thuislab? Is die 1220L bewust of heb je naar tdp gekeken?

Ja juist om de TDP daarom ook de V2 versie 17W ipv de 2 keer 80W in mijn ML350.
ECC moet voor de 1220L V2 dus niet veel keuze.
Supermicro omdat ik daar a goede ervaringen mee heb en b omdat mijn collega dat bordje heeft met een i5 3470T en er heel tevreden mee is. en officeel ondersteund is voor ESXI 5.0

En de antec voeding heeft een goed rendement bij een laag verbruik. review

[ Voor 16% gewijzigd door Dodge-Charger op 06-02-2013 15:37 ]

[FDMK]

Je supermicro bordje, of eerder je chipset, die vereist ECC. Niet je cpu. Ikzelf heb een 1260L omdat ik puur afging op de tdp, achteraf gezien had ik beter voor een non L/T kunnen gaan want ding staat vaker te idlen dan iets anders.

[Dodge-Charger]

owke dat wist ik niet, maar dan nog kon ik niet echt anders want een 1220L heeft geen onboard GPU dus had ik in een normaal bordje weer videokaart moeten proppen.

Bij mij zal hij meer te doen krijgen omdat ik er ook mijn nas virtueel op heb, mijn Sabnzbd met rss voor mijn series en film heeft elke dag wel wat te downloaden, maargoed het gemiddelde zal niet boven de 20% komen gok ik.

maar idd misschien had een non L/T wel beter geweest maarja achteraf weet je altijd wat het beste is

[ Voor 12% gewijzigd door Dodge-Charger op 06-02-2013 15:52 . Reden: Typo ]

[Pantagruel]

lazybones schreef op woensdag 06 februari 2013 @ 12:21:
Mijn ervaringen met Realtek in ESXi 5.x zijn dat - als ie al herkend wordt en werkt - zo nu en dan spontaan de verbinding verliest. Kabel er uit en weer insteken en de verbinding is weer terug, maar betrouwbaar is het niet.

Dual port HP kaartje inbouwen (of iets anders van goede merken) werkt vele malen beter. Betrouwbaar maar ook duidelijk betere snelheden.

Tja, moet ik me helaas bij aansluiten. Aanvankelijk werkte de RTL8111E in combi met ESXi 5.0 uit de doos, de update naar 5.1 was ook geen probleem.

Recentelijk (01-02-2013) dacht ik wat dingen uit te proberen en toen begon de nic te bokken.
ESXi installeerde zonder problemen, alleen de nic kreeg geen geldig IP (zelf toegekend ip ipv dat van de DHCP server) en da's natuurlijk lastig. Na een check met een linux livecd bleek het geen fysiek probleem te zijn, alles werkte. Na vervolgens de werkende ESXi install terug gestoken te hebben gaf de nic wederom 'niet thuis', dit loste automagisch op na een herstart of 2~3. Niet echt een solide oplossing, maar sindsdien werkt de NIC weer goed. Mocht de onboard wederom mekkeren dan steek ik er alsnog een 1000MT in en gaat de RealTek definitief uit (in t BIOS).

[ppl]

Rooke schreef op woensdag 06 februari 2013 @ 15:40:
Je supermicro bordje, of eerder je chipset, die vereist ECC. Niet je cpu.

Het bordje kan, zoals Supermicro zelf al zegt, zowel ECC als non-ECC aan. Het is de combinatie van cpu-bordje die bepaald of je wel of geen ECC geheugen moet gebruiken in dit geval. Dat betekent doorgaans dat je bij een Xeon aan de ECC moet en bij een i7/i5/i3 aan het non-ECC moet. Het is dus noch de cpu noch het bordje alleen wat bepaald wat je moet gebruiken. Een subtiel maar erg belangrijk verschil waar je te snel overheen kijkt.

[Dodge-Charger]

ppl schreef op woensdag 06 februari 2013 @ 20:08:
[...]

Het bordje kan, zoals Supermicro zelf al zegt, zowel ECC als non-ECC aan. Het is de combinatie van cpu-bordje die bepaald of je wel of geen ECC geheugen moet gebruiken in dit geval. Dat betekent doorgaans dat je bij een Xeon aan de ECC moet en bij een i7/i5/i3 aan het non-ECC moet. Het is dus noch de cpu noch het bordje alleen wat bepaald wat je moet gebruiken. Een subtiel maar erg belangrijk verschil waar je te snel overheen kijkt.

Dan had ik toch gelijk dat dacht ik ook namelijk.
Toch maar goed dat ik ECC heb besteld voor mijn Xeon

[ppl]

De vraag is alleen of het ook nodig is geweest. De handleiding meldt alleen dat ie met zowel ECC als non-ECC overweg kan. Er staat niks over wat ie doet als je er een Xeon of een niet-Xeon erin stopt. Er is echter 1 ding die je wel heel zeker weet: zowel de cpu als het moederbord ondersteunen ECC dus dat gaat zeker werken. Je zou nog eens kunnen uit gaan zoeken wat dat Supermicro bordje nou precies doet maar als je het allemaal al besteld hebt...tja, wat win je er dan nog mee? Moet je dingen weer terugsturen, nieuwe bestellen, etc. etc.

[base_]

Bij de huidige i3/5/7 en xeons zit de geheugencontroller toch in de cpu? Dat moederbord doet niet veel meer als e.e.a. fysiek koppelen wat dat betreft, dus deze cpu bepaalt welke geheugens er ondersteund worden voor zover ik weet?

[FireDrunk]

Ja en nee, ja je CPU bevat de geheugencontroller, maar dat wil niet zeggen dat het geen 2 componenten zijn. De geheugencontroller zit welliswaar IN je CPU, maar word op veel fronten aangestuurt door chipset en BIOS. En juist daar zit de valkuil, je chipset en BIOS moeten ECC modus activeren in je CPU bij boot.

De CPU gaat daarna gewoon doen wat hem opgedragen wordt.

[Dodge-Charger]

ppl schreef op woensdag 06 februari 2013 @ 22:49:
De vraag is alleen of het ook nodig is geweest. De handleiding meldt alleen dat ie met zowel ECC als non-ECC overweg kan. Er staat niks over wat ie doet als je er een Xeon of een niet-Xeon erin stopt. Er is echter 1 ding die je wel heel zeker weet: zowel de cpu als het moederbord ondersteunen ECC dus dat gaat zeker werken. Je zou nog eens kunnen uit gaan zoeken wat dat Supermicro bordje nou precies doet maar als je het allemaal al besteld hebt...tja, wat win je er dan nog mee? Moet je dingen weer terugsturen, nieuwe bestellen, etc. etc.

Precies de tijd en moeite om dat uit te zoeken en eventueel terug te sturen... nee dan liever een paar euro meer voor ECC en dan weet ik zeker dat het werkt:)

Als alles mee zit heb ik het de 21ste

[ThinkPad]

Heb op dit moment m'n thuisserver (G602 + DH67BL + 8GB + 2.5" voor VM's + 3.5" 2TB voor data) draaien onder Server 2008 R2 met daarin Hyper-V role met enkele VM's. Maar heb toch het idee dat het qua performance niet helemaal super is. Verder bevalt het opzich wel goed.

Heb al eens eerder met ESXi gespeeld, maar er toen vanaf gezien omdat ik met m'n data zat (NTFS schijf).

Ik wil het nu misschien nog eens proberen, maar zit met enkele vragen:


1. Zou het qua performance veel uitmaken als ik overstap van 2008 R2 met Hyper-V role naar ESXi ? Heb zelf het idee van wel, heb het idee dat ESXi betere geheugen verdeling biedt.
2. Hoe gaat het met het m'n dataschijf? Heb nu dus een 2.5" schijf die ik als datastore voor VM's kan gebruiken, en een 3.5" schijf van 2TB voor alle films, muziek etc. RAID doe ik niet aan ivm onnodig extra stroomverbruik. Deze data zou ik aan meerdere VM's beschikbaar willen maken, maar hoe doe ik dat? Dan moet ik zeker met een tussenstap werken door de schijf aan een FreeNAS VM aan te bieden ofzo? En moet ik dan ook de schijf van NTFS > VMFS omzetten?
3. Hoe gaat het in bovenstaand verhaal met spindown van de 3.5" schijf?
4. Hoe gaat ESXi om met m'n APC UPS aangesloten via USB? Lees op internet wel truukjes dat je hem doorgeeft aan een van je VM's, en dat je VM een seintje naar ESXi geeft. Maar dat vind ik een redelijk ranzige oplossing, zou het liever gewoon native in ESXi oplossen, anders zul je zien dat m'n VM freezed en de boel misschien alsnog platgaat


Mijn excuses als dit niet in het goede topic staat, ik kan geen topic vinden waar het beter zou passen

[ Voor 22% gewijzigd door ThinkPad op 07-02-2013 16:22 ]

[FireDrunk]

1. Niet merkbaar
2. Je kan dmv RDM nog steeds NTFS blijven gebruiken.
3. Spindown heeft bij mij gewerkt icm RDM, maar garantie tot de deur...
4. Dat kan je inderdaad doen, maar je kan ook een vMA installeren.

[Compizfox]

ThinkPadd schreef op donderdag 07 februari 2013 @ 16:21:
2. Hoe gaat het met het m'n dataschijf? Heb nu dus een 2.5" schijf die ik als datastore voor VM's kan gebruiken, en een 3.5" schijf van 2TB voor alle films, muziek etc. RAID doe ik niet aan ivm onnodig extra stroomverbruik. Deze data zou ik aan meerdere VM's beschikbaar willen maken, maar hoe doe ik dat? Dan moet ik zeker met een tussenstap werken door de schijf aan een FreeNAS VM aan te bieden ofzo? En moet ik dan ook de schijf van NTFS > VMFS omzetten?

De vraag is of je wel VMFS wilt gebruiken voor je data. Het is namelijk niet flexibel, wat doe je als je van ESXi af wilt en je data ergens anders wilt uitlezen?

Ik denk dat je daarvoor dus beter van RDMs gebruik kunt maken. Probleem daarvan is weer dat het volgens mij niet goed gaat als je die aan meerdere VMs tegelijk beschikbaar maakt (al weet ik dat niet zeker, misschien dat het met virtual RDMs wel mogelijk is)

Een oplossing zou dan zijn om de data beschikbaar te maken aan één VM, die je de rol van fileserver geeft. Vanaf daar maak je de data beschikbaar dmv NFS en/of CIFS (SMB).

Mocht je dat met FreeBSD of Linux willen doen, moet ik opmerken dat NTFS + een OS anders dan Windows een no-go is qua performance en reliability.

3. Hoe gaat het in bovenstaand verhaal met spindown van de 3.5" schijf?

Dat gaat alleen werken als je physical RDMs gebruikt.
Als je VMFS gebruikt kan het überhaupt niet omdat ESXi zelf geen disks kan downspinnen.
Het OS dat je op een VM draait kan dat ongetwijfeld wel, maar dan moet je wel physical RDMs gebruiken (bij een virtual RDM wordt het ATA-command om de schijven down te spinnen niet eens doorgegeven)

[lazybones]

ThinkPadd schreef op donderdag 07 februari 2013 @ 16:21:
Heb op dit moment m'n thuisserver (G602 + DH67BL + 8GB + 2.5" voor VM's + 3.5" 2TB voor data) draaien onder Server 2008 R2 met daarin Hyper-V role met enkele VM's. Maar heb toch het idee dat het qua performance niet helemaal super is. Verder bevalt het opzich wel goed.

1. Zou het qua performance veel uitmaken als ik overstap van 2008 R2 met Hyper-V role naar ESXi ? Heb zelf het idee van wel, heb het idee dat ESXi betere geheugen verdeling biedt.

4. Hoe gaat ESXi om met m'n APC UPS aangesloten via USB? Lees op internet wel truukjes dat je hem doorgeeft aan een van je VM's, en dat je VM een seintje naar ESXi geeft. Maar dat vind ik een redelijk ranzige oplossing, zou het liever gewoon native in ESXi oplossen, anders zul je zien dat m'n VM freezed en de boel misschien alsnog platgaat

Als ik lees dat je meerdere VM's draait op één enkele 2.5" disk dan denk ik dat je een performance bottleneck daar ligt.

ad 1: zal vermoedelijk weinig verschil maken omdat ik denk dat je bottleneck bij je disk zit. Dat eerst oplossen lijkt me zinvoller.
ad 4: APC via USB kun je inderdaad probleemloos doorkoppelen aan een VM. Je kunt de APC software die je daar installeert ook de rest down laten brengen, maar er zijn meer oplossingen.

[pientertje]

Heb mijn spulletjes binnen, en ben nu mijn server aan het inrichten.

Ik heb uiteindelijk toch maar voor de i5 gekozen en de SSD nog even op de lange baan geschoven. Een SSD kan je later makkelijk toevoegen, een CPU niet. Ook merk ik dat ik nu ik de smaak te pakken heb nog meer VM's wil draaien dan ik gepland heb.

Ik ben nu VM's aan het installeren en mijn data aan het overzetten op virtuele drives. Dat vSphere werkt echt heerlijk!

[-The_Mask-]

Dodge-Charger schreef op woensdag 06 februari 2013 @ 15:14:

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1220LV2 Tray	€ 196,48	€ 196,48
1	Supermicro X9SAE-O	€ 204,99	€ 204,99
1	Noctua NH-L9i	€ 36,40	€ 36,40
2	Kingston ValueRAM KVR16E11/8	€ 59,-	€ 118,-
1	Antec Earthwatts EA-450 Platinum	€ 79,30	€ 79,30
Bekijk collectie Importeer producten		Totaal	€ 635,17

Dit net besteld als vervanger van mijn ML350 G5

Wat ik al heb is een Adaptec 2405 en fractal design kast.
Ik kan niet wachten tot ik het verbruik kan gaan meten:)
jammer alleen dat het geheugen een levertijd van 20 werkdagen heeft

Voor minder heb je ook de betere Seasonic G series 360W voeding.

[ppl]

ThinkPadd schreef op donderdag 07 februari 2013 @ 16:21:
1. Zou het qua performance veel uitmaken als ik overstap van 2008 R2 met Hyper-V role naar ESXi ? Heb zelf het idee van wel, heb het idee dat ESXi betere geheugen verdeling biedt.

Misschien. Hyper-V in 2008 blijft een role die je toevoegt aan een bestaande server. ESXi is heel wat afgeslankter wat wellicht net even het verschil zou kunnen maken. Wat je hier echter niet moet vergeten is dat dit ook iets is wat je zelf in de hand hebt door de juiste hardware te gebruiken (een gewone 2.5" laptop hdd is niet snel, je kunt beter een 3.5" hdd gebruiken of naar een ssd gaan; snelheid van je i/o en hoeveelheid geheugen is van groot belang bij virtualisatie) maar ook door de juiste settings. Dat laatste betekent niet alleen de juiste settings binnen Hyper-V en de vm maar ook de juiste settings in het OS en de overige software die je in de vm draait. Vaak is hier de meeste winst te behalen.

Als het je alleen om performancewinst te doen is zou ik toch eerst eens naar dingen als settings en je hardware setup kijken. Met name het gebruik van vm's op een laptopschijf is nou niet iets wat een positieve bijdrage heeft qua performance. Niet met Hyper-V maar ook niet met ESXi of XenServer.

2. Hoe gaat het met het m'n dataschijf? Heb nu dus een 2.5" schijf die ik als datastore voor VM's kan gebruiken, en een 3.5" schijf van 2TB voor alle films, muziek etc. RAID doe ik niet aan ivm onnodig extra stroomverbruik. Deze data zou ik aan meerdere VM's beschikbaar willen maken, maar hoe doe ik dat? Dan moet ik zeker met een tussenstap werken door de schijf aan een FreeNAS VM aan te bieden ofzo? En moet ik dan ook de schijf van NTFS > VMFS omzetten?

Als je de data aan meerdere vm's ter beschikking wil stellen is dat niet anders als wanneer je data beschikbaar wil stellen aan diverse computers. Daar hebben we al jarenlang allerlei filesharing oplossingen voor die o.a. in FreeNAS zitten. In jouw geval is Windows hiervoor gebruiken een beter idee omdat je dan die 2TB schijf ongemoeid hoeft te laten (Windows kan wat met NTFS, FreeNAS niet maar filesharing kun je met beiden). Zoals andere hier al aangeven moet je die schijf dan wel middels RDM aan de filesharing vm ter beschikking stellen.

VMFS heb je alleen nodig voor de schijf die de datastore waar al je vm's in komen te staan moet bevatten. ESXi snapt namelijk alleen VMFS, niet NTFS (via iSCSI en NFS kan ook maar is niet aan te raden omdat het de boel complexer maakt en je ergens een NAS moet hebben).

3. Hoe gaat het in bovenstaand verhaal met spindown van de 3.5" schijf?

Je moet er wat voor doen, dan schijn je aardig wat te kunnen met spindown in ESXi maar echt duidelijke garanties heb ik tot dusver niet gevonden.

4. Hoe gaat ESXi om met m'n APC UPS aangesloten via USB? Lees op internet wel truukjes dat je hem doorgeeft aan een van je VM's, en dat je VM een seintje naar ESXi geeft. Maar dat vind ik een redelijk ranzige oplossing, zou het liever gewoon native in ESXi oplossen, anders zul je zien dat m'n VM freezed en de boel misschien alsnog platgaat

Het probleem is dat ESXi vrijwel geen native ondersteuning voor UPS heeft. Het trucje is vrij simpel: je laat een andere machine de UPS software draaien en zorgen dat die een actie gaat uitzetten op moment dat de stroom wegvalt. Die actie is niet meer dan inloggen via de commandline op ESXi om daar vervolgens iets te doen als eerst alle vm's suspenden en daarna de machine shutdownen. Met de auto-shutdown/auto-start optie in ESXi kan het zelfs iets simpeler: alleen een shutdown, ESXi zet dan zelf wel de vm's op suspend. Dit trucje werkt voor iedere UPS dus vandaar dat je het ook vaak tegen zult komen.

[Compizfox]

Iemand ervaring met HBA's gebaseerd op de sil3114-chipset en ESXi 5.1?
Er zijn kaartjes met die chipset te koop op eBay rond de €20, wat hem voor mij erg interessant maakt.

Ik wil graag mijn onboard-HBA (AMD SB700) doorgeven aan een VM met ZFSGuru, en het losse kaartje gebruiken voor de datastore.

[ Voor 20% gewijzigd door Compizfox op 10-02-2013 02:05 ]

[analog_]

sil3112 en 3114 (2 en 4 poort) werken onder ESXi en ook 'fake rdm' met vmkfstools -r of -z. Wel erg limiterend in bandbreedte.

[Compizfox]

analog_ schreef op zondag 10 februari 2013 @ 02:22:
sil3112 en 3114 (2 en 4 poort) werken onder ESXi

Ook onder ESXi 5.1? Mooi! Dat is dan eindelijk een goede 'uitweg'.

en ook 'fake rdm' met vmkfstools -r of -z.

Dat is wat ik nu gebruik, en problemen mee heb.
Virtual RDMs wil ik niet gebruiken omdat ZFS dan niet op de hoogte is van bad sectors, en geen SMART-data kan uitlezen. Daarnaast werkt spindown niet.

Momenteel gebruik ik physical RDMs, maar die werken niet onder FreeBSD 9.1 ("unsupportable block size 0"). Ik draai dus FreeBSD 9.0 maar die is EOL over een maandje.

Wel erg limiterend in bandbreedte.

Dat maakt niet uit, het het is puur 'omdat het moet'. ESXi wil namelijk per se een datastore hebben, die niet op een USB-stick oid mag staan (dat zou een mooie uitweg zijn).

In principe heb ik hem niet eens nodig. ZFSGuru kan ik immers booten via Root-on-ZFS (geen aparte bootschijf nodig dus), en alle andere VM's kan ik op die ZFS-pool zetten die ik 'terug'-beschikbaar maak aan ESXi dmv iSCSI.

[analog_]

Compizfox schreef op zondag 10 februari 2013 @ 02:28:
[...]
Ook onder ESXi 5.1? Mooi! Dat is dan eindelijk een goede 'uitweg'.

[...]
Dat is wat ik nu gebruik, en problemen mee heb.
Virtual RDMs wil ik niet gebruiken omdat ZFS dan niet op de hoogte is van bad sectors, en geen SMART-data kan uitlezen. Daarnaast werkt spindown niet.

Momenteel gebruik ik physical RDMs, maar die werken niet onder FreeBSD 9.1 ("unsupportable block size 0"). Ik draai dus FreeBSD 9.0 maar die is EOL over een maandje.

[...]
Dat maakt niet uit, het het is puur 'omdat het moet'. ESXi wil namelijk per se een datastore hebben, die niet op een USB-stick oid mag staan (dat zou een mooie uitweg zijn).

In principe heb ik hem niet eens nodig. ZFSGuru kan ik immers booten via Root-on-ZFS (geen aparte bootschijf nodig dus), en alle andere VM's kan ik op die ZFS-pool zetten die ik 'terug'-beschikbaar maak aan ESXi dmv iSCSI.

Destijds was dat 4.0, 4.1 en 5.0 inmiddels die rot kaartjes (was bij mij PCI) weggedaan en vervangen door echt speelgoed. Wat ik beschrijf is wel niet de 'mooie' manier van RDM hé... dit is voor ZFS of gevirtualiseerde storage omgevingen suboptimaal. Ik zou toch echt even door sparen voor een m1015 op ebay.

[Compizfox]

Waarom? Het is niet voor de storage, daar gebruik ik mijn onboard-controller voor (die ik met PCI-e passthrough in zijn geheel doorgeef aan de VM), wat meestal de beste controller is om te gebruiken icm ZFS.

De losse HBA heb ik enkel nodig voor ESXi's datastore

Momenteel gebruik ik RDMs wat inderdaad suboptimaal is. Straks hoef ik dat niet meer te gebruiken.

Een M1015 van €100 vind ik helemaal van het zotte voor een paar SATA-poorten. Ik begrijp wel dat deze prijs komt door de RAID-functionaliteit, maar die ga ik helemaal niet gebruiken.

Moederborden hebben meestal 4 t/m 8 SATA-poorten en die zijn meestal nog de helft goedkoper dan een IBM M1015, terwijl een moederbord even een slagje meer is/kan dan een HBA!

---

Ik zou graag nog wat van het idle-verbruik van mijn bak (Asrock 970 Extreme3, AMD FX-8120) afhalen.

Ik heb er momenteel een losse videokaart inzitten. Zou ik die eruit kunnen halen?

Daarnaast ga ik nog even kijken of ik het één en ander kan undervolten.

[ Voor 71% gewijzigd door Compizfox op 10-02-2013 15:08 ]

[jadjong]

Compizfox schreef op zondag 10 februari 2013 @ 02:28:
In principe heb ik hem niet eens nodig. ZFSGuru kan ik immers booten via Root-on-ZFS (geen aparte bootschijf nodig dus), en alle andere VM's kan ik op die ZFS-pool zetten die ik 'terug'-beschikbaar maak aan ESXi dmv iSCSI.

Vt-d apparaten zijn tijdens de boot niet beschikbaar, je kan er daarom niet van booten.

[Compizfox]

Dat begrijp ik niet. Vanaf wanneer zijn ze dan wel beschikbaar?
Of bedoel je dat de geëmuleerde BIOS het niet ondersteunt te booten vanaf zo'n HBA die met VT-d is doorgegeven?

Dan nog geen probleem, dan boot ik vanaf de datastore.

[ Voor 56% gewijzigd door Compizfox op 10-02-2013 15:36 ]

[ThinkPad]

ppl schreef op zaterdag 09 februari 2013 @ 16:36:
[...]
...
[...]

Bedankt voor je uitgebreide reactie! Flink aantal dingen opgehelderd zo!

Is er een manier om te checken of m'n hardeschijf de bottleneck is? Read / Write I/O ergens uitlezen oi.d.?
En je hebt het over settings, wat voor settings moet ik dan aan denken? Je hoeft niet alles voor te kauwen hoor, maar ik zou niet weten welke settings ik dan moet hebben.

Overigens ook dank voor de mensen hierboven die gereageerd hebben op mijn post

[jadjong]

Compizfox schreef op zondag 10 februari 2013 @ 15:35:
Dat begrijp ik niet. Vanaf wanneer zijn ze dan wel beschikbaar?
Of bedoel je dat de geëmuleerde BIOS het niet ondersteunt te booten vanaf zo'n HBA die met VT-d is doorgegeven?

Dan nog geen probleem, dan boot ik vanaf de datastore.

De bios heeft wel de "bootable add-in cards" optie, maar die geld alleen voor virtuele HBA's. Ook de option rom 'press F10 for card bios' wordt niet weergeven.

[Compizfox]

Hij kan er niet van booten dus. Dat is iets anders dan dat het device niet beschikbaar is

Maar goed, is nog steeds geen probleem. Volgens mij kun je wel /boot op de virtuele disk zetten en dan het root file system op ZFS.
Moet ik even kijken hoe dat gaat met FreeBSD (onder Linux weet ik het wel )

[ Voor 3% gewijzigd door Compizfox op 10-02-2013 21:15 ]

[FireDrunk]

Wat je wil kan inderdaad wel, wat je misschien beter kan doen, is eerst gewoon 100% op je pool installeren, en daarna /boot kopieren naar je vdisk op de datastore, en even de bootloader een entry laten scrijven in je MBR. Dat is iets veiliger dan zelf de boel omgooien

Bovendien, kan je als je vdisk krakt, het gewoon nog een keer doen aangezien de /boot op je pool gewoon actief blijft.

[xelnaha]

Misschien wat ot:

ik heb op m'n setup openindiana gezet, om dmv nfs drives te kunnen doorgeven.
Ik heb hier een pool gemaakt op een ssd, die makkelijk 300MB+ kan verwerken.

Wanneer ik een nfs exporteer een mount op een andere vm, gaat het copieren met een snelheid van wel 200kbps - 10 MB als ik geluk heb (100mbit).

cpu van openindiana schiet dan ook omhoog naar 500 - 600mhz ,wat ik veel vind.

Ik kan dt niet goed verklaren, iemand dit eerder gezien? Namelijk niet heel leuk als ik m'n servertje zuinig wil houden en ook nog performance wil

btw. vm heeft 8+ GB mem.

[FireDrunk]

VMXNET3 adapters?

Mount je de NFS mount in ESXi of echt direct in een andere VM?

[xelnaha]

Ik heb eerst met vmxnet3 gebruikt, en daarna e1000, heb geen verschil gemerkt.
Ik heb de nfs direct in andere vm gemount, welke allebei op dezelfde vswitch zijn aangesloten.

[FireDrunk]

Nieuwste VMware tools geinstalleerd?

[xelnaha]

yup, 5.1,

ik heb ergens gelezen dat de sync nog wel eens voor brakke performance kan zorgen samen met nfs, dus die heb ik uitgezet (om te testen)

daar werd het niet echt sneller van.

[ Voor 91% gewijzigd door xelnaha op 11-02-2013 13:25 ]

[FireDrunk]

Vreemd... Zie je niets vreemds in de kernel logs van beide?

[Compizfox]

FireDrunk schreef op maandag 11 februari 2013 @ 08:39:
en even de bootloader een entry laten scrijven in je MBR. Dat is iets veiliger dan zelf de boel omgooien

Ik denk zelfs dat dit laatste al voldoende is.

Zo te zien is er sowieso al een aparte bootpartitie aanwezig. Dat is ook logisch, want de bootloader moet de kernel laden voor dat het ZFS-filesystem met daarop / gemount is.

De eerste stage van de bootloader verplaatsen naar een schijf waarvan cd VM kan booten, moet dus voldoende zijn.

Ik ga even nazoeken hoe ik dit kan bereiken
Ik heb totaal geen verstand van het bootprocess van FreeBSD, de bootloader die hierbij gebruikt wordt, en de FreeBSD kernel, maar ik heb wel als voordeel dat ik bekend ben met GRUB en Linux

[xelnaha]

hmmm ik doe net weer even een kopieer actie, maar tail -f op syslog doet niets raars naar voren komen.

[johnkeates]

Gebruik je niet per ongeluk device polling?

[xelnaha]

johnkeates schreef op maandag 11 februari 2013 @ 13:29:
Gebruik je niet per ongeluk device polling?

hoe bedoel je?

[80000]

xelnaha schreef op maandag 11 februari 2013 @ 13:10:
Misschien wat ot:


btw. vm heeft 8+ GB mem.

Hoe groot is je ZFS pool?
Hoe is de SSD aan de Openindiana gegeven? Via VT-D?

[xelnaha]

zfs pool is maar 10gb op dit moment, als test

niet via vt-d doorgegeven, maar als vmfs5 bestand, wederom als test. lokaal gezien haal ik wel meer dan die paar mb/s hoor, het lijkt zich te richten op nfs.

Het idee is namelijk om met vt-d de boel door te geven, maar wil eerst testen wat nou sneller is, openindiana, zfsguru, nas4free oid.

[FireDrunk]

NFS async gemount?

[xelnaha]

FireDrunk schreef op maandag 11 februari 2013 @ 16:10:
NFS async gemount?

net opnieuw gemount met async.
nog steeds niet echt sneller dan voorheen, 14mb/s en hele omgeving reageert traag.

ik kan het niet verklaren

[FireDrunk]

Check even interrupts en CPU gebruik op je ESXi host met esxtop. Misschien klappert er ergens iets.

[ppl]

ThinkPadd schreef op zondag 10 februari 2013 @ 16:09:
Is er een manier om te checken of m'n hardeschijf de bottleneck is? Read / Write I/O ergens uitlezen oi.d.?

Nou ja, eigenlijk is het meer algemene kennis Een harde schijf weet bij lange na niet het aantal iops van een ssd te behalen. Dat geldt bijv. ook voor doorvoersnelheden. Het zijn gewoon de specificaties. Wat men altijd ziet als men er een snellere schijf in stopt: er kunnen meer vm's tegelijk worden gedraaid en/of datgene wat tegelijkertijd draaide is nu ook responsiever.
Je kunt dit wel meten op een aantal manieren. Het kan natuurlijk in de vm zelf maar je kunt het ook in de vSphere client doen. Je hebt daar grafieken die je kunt aanmaken voor o.a. cpu gebruik, geheugengebruik maar ook de schijf belasting.

Ik had ooit wel een blog gevonden die wat iops calcs vermeldt: Calculate IOps.

En je hebt het over settings, wat voor settings moet ik dan aan denken? Je hoeft niet alles voor te kauwen hoor, maar ik zou niet weten welke settings ik dan moet hebben.

Denk aan instellingen van de vm zelf zoals die voor de cpu, hoeveelheid geheugen, de vmdk (je kunt 'm bijv. thick provisioned maken wat je wel schijfruimte kost maar wat een ietwat betere performance zou moeten geven) maar ook dingen als resource groepen. Je kunt dan begrenzingen instellen in de zin van maximaal x % cpu gebruik/geheugengebruik. Daardoor kun je ook een soort van prioriteiten stellen (zie het als nice/renice) en zorg je er voor dat vm's er niet met je hardware vandoor gaan. Vooral handig bij een test vm/omgeving; kun je daar rare scripts testen zonder dat meteen je productieomgeving op hetzelfde ding er last van heeft.

Wat men vaak aanraadt is om maar 1 vCPU toe te kennen en zo minimaal mogelijk aan geheugen. Dat kun je namelijk altijd nog wel opschalen wanneer dat nodig is. Het teveel toewijzen aan geheugen en vCPUs (die totaal niet te vergelijken zijn met physical CPUs/cores; deze laatsten kun je trouwens niet toewijzen aan een specifieke vm) is iets wat in veel gevallen de oorzaak van performance problemen is dus vandaar. In jouw geval moet je oppassen met je schijf en het geheugen omdat die 2 de bottleneck zullen zijn.

Je kunt ook nog een andere NIC uitzoeken wat weer wat performancewinst kan opleveren maar dat luistert wat nauwer ivm support. Zie ook de KB die VMware er over heeft: Choosing a network adapter for your virtual machine.

Het meest handigste voor dit alles is VMware's eigen Performance Best Practices for VMware vSphere™ 5.0 (PDF) (of de 5.1 versie). Staat alles wel in wat je moet weten.

[ Voor 13% gewijzigd door ppl op 11-02-2013 19:43 ]

[redfoxert]

ppl schreef op maandag 11 februari 2013 @ 19:36:
[...]
Denk aan instellingen van de vm zelf zoals die voor de cpu, hoeveelheid geheugen, de vmdk (je kunt 'm bijv. thick provisioned maken wat je wel schijfruimte kost maar wat een ietwat betere performance zou moeten geven)

For the record, diverse tests, ook door VMware engineers gepubliceerd, wijzen uit dat Thick of Thin provisioning geen performance verschil heeft. Het verschil zit in de marge 1-2% en dat valt al redelijk binnen een meetfout-marge. Niet noemenswaardig verschil dus.

De reden waarom ik, en iedereen bij mij op het werk, toch voor Thick provisioning kiezen is het "set and forget" principe. Je wilt niet midden in de nacht gebeld moeten worden omdat er een VMFS is volgelopen doordat er teveel is provisioned binnen je VMFS.

[ Voor 7% gewijzigd door redfoxert op 11-02-2013 19:58 ]

[80000]

xelnaha schreef op maandag 11 februari 2013 @ 17:47:
[...]


net opnieuw gemount met async.
nog steeds niet echt sneller dan voorheen, 14mb/s en hele omgeving reageert traag.

ik kan het niet verklaren

het is al een tijdje geleden dat ik mijn onderzoek hierover had overgerond, maar het staat me bij dat als je niet via Vt-d doorgeeft het niet echt performt. Source: ergens in de hardforum thread over napp-it die in openindiana werkt: http://hardforum.com/showthread.php?t=1573272

Misschien had je die al gelezen maar die gaat volledig in voor een "All-in-one" opzet met esxi, openindiana, de z-pool sharen via nfs (ik heb er in mijn zomervakantie de tijd voor genomen om het door te nemen).

Daarbij, wat bedoel je de hele omgeving reageert traag? Openindiana of de VM die draait op de NFS?
Ik draai Openindiana met nfs share, 7 VM's excl. openindiana, incl een mix van ubuntu, Windows en een oracle database en middle tier server. Alle VM's draaien nog niet eens op een SSD maar een notebook hd.
Ik heb niks te klagen over traagheid van geen enkele VM.

[ Voor 0% gewijzigd door 80000 op 11-02-2013 21:09 . Reden: correcte link hardforum ]