Zuinige ESXi Server

[sloth]

ESXi

ESXi is een bare metal embedded hypervisor waarmee je, afhankelijk van de gebruikte hardware, een efficiënte virtuele omgeving kunt neerzetten. Door het bare metal aspect heb je namelijk minder overhead en haal je betere prestaties dan met een virtualisatieoplossing die bovenop een besturingssysteem draait. (Hoe bare metal ESXi werkelijk is, is een andere discussie.)
Bare metal kan zelfs zover gaan dat verschillende hardware kan worden doorgegeven aan virtuele machines, mits je moederbord en processor dit toelaten.

Installeren (op USB)

ESXi neemt weinig ruimte in en kan worden geïnstallesterd op een USB stick, dat scheelt weer een SATA poort. Daarnaast heb je niets te maken met harde schijven die bezwijken onder de last of andere ongemakken. De USB stick is na boot alleen nog maar actief voor configuratie wijzigingen, er word verder niets actiefs op gedaan, ESXi draait volledig in RAM.

Voor het installatieproces op USB-stick heb je er (to keep it simple) in feite maar 1 nodig. Je USB stick moet minstens 1GB zijn, liever 2GB zodat er ruimte is voor toekomstige hotfixes en updates. De installatie is heel eenvoudig, er zijn een aantal manieren:

1) Zonder CD speler: Via Unetbootin
Je downloadt UNetbootin en de ISO van ESXi, je start UNetbootin, selecteert geen Linux distro maar gewoon rechtstreeks "ISO" en dan de ISO van ESXi en het station waar je naar wilt installeren. Hij vraagt of je menu.c32 wilt overschrijven, hier mag je "JA" op antwoorden. De stick is nu na een tijdje werken klaar .
Wil je het nog gedetailleerder en netjes met screenshots uitgewerkt? http://blog.vmpros.nl/201...-bootable-esxi-usb-stick/

Installeren van ESXi is dan een fluitje, je steekt een andere USB-stick in je server samen met het installatie-stick en je kan tijdens het installatieproces aangeven op welke stick je wilt installeren (wel de juiste selecteren natuurlijk , 2 sticks van verschillende grootte zijn dan wel fijn om het verschil te kunnen zien...)

2) Zonder CD speler: Via VMware player of Worksation
Download de ESXi ISO, koppel deze aan een VM en koppel ook je USB stick aan de VM. Start nu je VM op en laat deze starten vanaf de ISO. Start de ESXi installatie. Als het goed is ziet deze nu alleen de USB stick. Installeer hier ESXi op. Nadat alles klaar is, sluit de VM af en stop de USB stick in de gewenste computer.

3) Met CD speler
Download en brand de ESXi ISO op een CD. Koppel alle harde schijven los van je computer, steek een USB stick er in. Start de computer op vanaf de CD. Start de ESXi installatie. Kies als locatie de gevonden USB stick. Rond de installatie af. Koppel je harde schijven weer aan, verwijder de CD, stel je BIOS in om vanaf USB op te starten. Klaar.

Om het allemaal netjes weg te werken kan je je USB-stick in je computer (ja er echt IN) laten steken via een kabeltje: http://pcpartsandcables.com//product_info.php?products_id=42 of je doet het op de Tweaker-manier (site laadt traag): http://www.justblair.co.uk/adding-an-internal-usb-port.html of je kan een chipje op de USB-pinout van je moederbord steken waardoor je ook een interne USB-poort krijgt: Google Shopping USBMBADAPT2

Hardware

Intel en AMD ondersteunen beide hardwarematige virtualisatie. Bij Intel heet dit VT-x, bij AMD heet dit AMD-V. Voor hardwarematige virtualisatie van devices heb je in het geval van Intel VT-d nodig en in het geval van AMD heet het AMD-Vi. Hardwarematige virtualisatie (oftewel het "doormappen van devices aan VM's"), denk maar aan een TV-kaart of bv een PCI Wifi-kaartje met VT-D is pas ondersteund bij de i5-series en op voorwaarde dat je moederbordje natuurlijk het ondersteunt...

Onthou wel dat je GEEN VT-D nodig hebt om bv een USB-device door te geven aan je VM (zie hiervoor HyperBart in "Zuinige ESXi Server"), net zoals je geen VT-D nodig hebt om een harde schijf via een zogenaamde Raw Device Mapping door te geven aan je VM (zie hiervoor FireDrunk in "Zuinige ESXi Server")

Wil je goed ondersteunde hardware, kan je het beste kijken op VM-Help.com.

Zuiniger!

ESXi verbruikt na een kale installatie nog relatief veel, aangezien het een hele kale 'installatie' bovenop je hardware is. Deze installatie kan standaard niet profiteren van alle mooie besparingsfuncties die componenten bieden. Op deze pagina staan een aantal tweaks om toch behoorlijk wat van het idle verbruik van ESXi installatie af te kunnen halen. Het belangrijkste probleem van ESXi is dat je niet standaard drivers kan installeren wat je onder een volwaardig OS meestal wel kan. Van Intel weten we bijvoorbeeld dat de videokaart vaak door de driver in standby gezet word, omdat deze driver onder ESXi niet te installeren is, kan dit onder ESXi dus niet.

Mux, een tweaker die een behoorlijk opvallende blog heeft gemaakt ivm het zuinige verbruik van zijn i3 machine (8.5W idle) heeft ook nog een interessante post gemaakt over het gebruik van Pico-PSU's en de voor- en nadelen, die post kan je hier mux in "Zuinige ESXi Server" terugvinden...

Tutorials en handige tips

The Hyperactive Blog: Zuinig virtualiseren met ESXi

Enablen van nested 64-bit VM's en Hyper-V VM's (met deze kan je ook VM's onder een virtuele Hyper-V opstarten)

How to Enable Nested vFT (virtual Fault Tolerance) in vSphere 5

How to Install VMware VSA in Nested ESXi 5 Host Using the GUI (/me heeft hier ook een blog over geschreven omdat er wat problemen waren met onder andere poort 80 en niet standaard dingen van vCenter: The Hyperactive Blog: Installing VSA on a ghetto-lab)

Een ZFS-machine virtualiseren onder ESXi

Als je je ZFS-bak wilt virtualiseren dmv ESXi, moet je er rekening mee houden dat je je HDDs het beste direct doorgeeft aan ZFS. Dat wil zeggen: Niet als block device of in een VMFS-container. Je guest-OS heeft dan geen directe toegang tot de HDD. Dit heeft namelijk de volgende nadelen:

• Je guest-OS heeft geen toegang tot S.M.A.R.T.
• Je guest-OS kan geen APM/AAM-parameters veranderen van de HDDs
• Je guest-OS kan de schijven niet downspinnen
• Afhandeling van UREs en bad sectors gaat vaak problematisch

Vooral dit laatste punt is vervelend. ZFS weet niet waar eventuele bad sectors zich bevinden en kan daar dus niet omheen werken.
Uit eigen ervaring weet ik dat dit zelfs grotere problemen zal opleveren als je een stervende schijf hebt, aangezien ZFS allerlei 'vreemde' read-errors krijgt die niet direct zijn terug te leiden op een bad sector.

RDM

RDM is een functie van ESXi om losse HDDs door te geven aan RDM. Helaas is het alleen officieel ondersteund voor SCSI-LUNs en werkt het alleen met een 'hack' op SATA-disks. RDM bestaat in twee smaken:

Virtual RDM

Bij virtual RDM zit er nog een flinke abstractielaag tussen je VM en je disk. Sterker nog: Je disk wordt als block device doorgegeven, ongeveer vergelijkbaar met hoe dat gaat met iSCSI. Deze methode valt dus af.

Physical RDM

Dit is een kansmaker. De enige abstractielaag die er tussenzit is een vertaalslag van ATA naar SCSI. Dit betekent dat er een SAS-controller wordt geëmuleerd, maar de HDD wordt wel zo doorgegeven dat je VM er echt 'als schijf' bij kan.
Helaas veroorzaakt juist deze geëmuleerde SAS-controller problemen met FreeBSD9.1, waarop de laatste versie van o.a. Nas4Free en ZFSGuru op is gebaseerd. (zie Compizfox in "Zuinige ESXi Server")

Gebruik je geen FreeBSD9.1? Dan is dit een optie voor jou. Wil je dat wel gebruiken? (grote kans ) Dan zul je even verder moeten kijken.

PCI-e passthrough van een complete HBA

De enige optie die nog overblijft is het doorgeven van een complete HBA met PCI-e passthrough (AMD-Vi / VT-d vereist!). Normaliter werkt ZFS prima met de onboard HBA, maar ESXi wil graag een datastore hebben die niet op een USB-stick mag staan. Je bent dus al redelijk snel aangewezen op een aparte disk voor je datastore, die aan je onboard HBA hangt.
ESXi houdt dus een complete HBA 'bezet' in dit geval.

Een losse controller (IBM M1015)

De makkelijkste, en beste oplossing is een aparte HBA die je doorgeeft aan je guest.
De M1015 is zo'n beetje de goedkoopste HBA die goed door ZFS wordt ondersteund.
Je onboard HBA gebruik je dan voor de datastore voor ESXi.

Helaas is dit wel een relatief dure oplossing. Maar het is vergeleken met de andere oplossingen wel de makkelijkste.

Doorgeven van de onboard HBA

Goedkoper is het om een cheap-ass HBA te kopen, die je gebruikt om de datastore aan te hangen. Je kunt dan de onboard HBA doorgeven aan je guest en gebruiken voor ZFS. Het probleem hierbij is wel dat er niet zo heel veel SATA-kaartjes zijn die door ESXi ondersteund worden. Enkele dingen die wel en niet werken:

Werkt:

• HBAs op basis van sil3112 (eBay!)
• HBAs op basis van sil3114 (hetzelfde als sil3112, maar met 4 ipv 2 SATA-poorten) (eBay!)

Wat niet werkt:

• HBAs op basis van ASM1061 (sinds ESXi 5.1) (pricewatch: Conceptronic PCI Express Card SATA 600) Als je deze kaart voor ESXi wilt 'overhouden', en je geeft je onboard HBA door, gaat deze kaart mee op de 1 of andere manier. Met wat testen ben ik erachter gekomen dat de kaart zelfs niet functioneert als de onboard HBA in de fysieke BIOS is uitgeschakeld. (zie [a href="Compizfox in "Zuinige ESXi Server"Compizfox in "Zuinige ESXi Server"
• [/MESSAGE]Compizfox in "Zuinige ESXi Server"[/MESSAGE]Compizfox in "Zuinige ESXi Server"[/MESSAGE]Compizfox in "Zuinige ESXi Server"[/MESSAGE]" rel="external nofollow"]Compizfox in "Zuinige ESXi Server"[/a])
• Er zijn aanwijzingen dat het bovenstaande voor alle HBAs op PCI-e geldt. (zie Compizfox in "Zuinige ESXi Server")

Het 'splitsen' van je onboard HBA

Op sommige moederborden is een leuk trucje beschikbaar wat een extra HBA overbodig maakt (gegeven dat je genoeg SATA-poorten onboard hebt): SATA IDE Combined mode.

Deze BIOS-optie maakt het mogelijk om je onboard HBA te splitsen: De eerste 4 SATA-poorten worden aangeboden onder een AHCI-device, en je 5e en 6e poorten (je eSATA-poort) worden aangeboden onder een (legacy) IDE-device.
Dit maakt het mogelijk om de controller gewoon door te geven aan een VM. Het is gebleken dat de twee IDE-poorten blijven 'hangen' bij ESXi. Hiervan kunnen wij mooi gebruikmaken door de datastore aan juist deze poort te hangen.

Moederborden waarop deze BIOS-optie is tegengekomen:

• Asrock 970 Extreme3

(zie Compizfox in "Zuinige ESXi Server")

Geweldige ghetto-lab tools en scripts

ESXi afsluiten bij stroomuitval

Meest simpele oplossing tot nu toe om ESXi te laten detecteren dat de stroom uitgevallen is en te shutdownen:
http://communities.vmware.com/docs/DOC-17485

Basically komt het er op neer dat hij een check doet of een VMNIC nog up is, als dat niet het geval is doet hij een shutdown van je ESXi. Het is dan wel zo handig om al je VM's te voorzien van de VMware Tools zodat ze een graceful shutdown krijgen...

RVTools

RVTools

RVTools is a windows .NET 2.0 application which uses the VI SDK to display information about your virtual machines and ESX hosts. Interacting with VirtualCenter 2.5, ESX 3.5, ESX3i, ESX4i and vSphere 4 RVTools is able to list information about cpu, memory, disks, nics, cd-rom, floppy drives, snapshots, VMware tools, ESX hosts, nics, datastores, service console, VM Kernel, switches, ports and health checks. With RVTools you can disconnect the cd-rom or floppy drives from the virtual machines and RVTools is able to list the current version of the VMware Tools installed inside each virtual machine. and update them to the latest version.

vSphere Health Check 5.0

vSphere Health Check 5.0 Script

Ghetto Backups

ghettoVCB.sh
ghettoVCBg2

ESXi Health Monitoring per mail

ESXi 5 Health Status Monitoring

Werkende set-ups

Om mogelijke geïnteresseerden te helpen en hun zoektocht wat te vergemakkelijken hebben we hier een aantal setups die verified werkend zijn. Waar ESXi vooral heel picky op is, is op het moederbord (SATA en netwerkcontroller). Vaak zie je in de setups een moederbordje gecombineerd met een aparte insteek-netwerkkaart van Intel. Dit is omdat ESXi tijdens de installatieprocedure een netwerkkaart nodig heeft, anders struikelt hij en kan de setup niet gestart worden... Na de installatie kan je soms met een extra driver de onboardnetwerkkaart aan het werk krijgen. Kijk daarvoor ook even de bovenvermelde blog van HyperBart na...

Op basis van i3

Allemaal op basis van een pricewatch: MSI H55M-E33

Belangrijke melding: sinds kort is ESXi 5 uit, deze biedt voor het bedrijfsleven heel wat nieuwe functies, voor de basisgebruiker (zoals sommigen) verandert er niet veel. Niettemin is * HyperBart wel iets opgevallen: ESXi 5 ondersteunt zonder tampering met oem.tgz standaard de onboard NIC van de MSI H55M-E33.
Het gaat hierbij om de Realtek 8111DL die ook in heel wat andere moederborden terug te vinden is...


De setup van HyperBart
VT-D: neen
On-board NIC werkend: ja, met http://www.vm-help.com/fo...78c47e123d5d3d5c497821835

#	Product	Prijs	Subtotaal
1	Antec New Solution VSK-2000-EC	€ 38,72	€ 38,72
1	Intel Core i3 540	€ 79,10	€ 79,10
1	be quiet! Pure Power L7 300W	€ 35,50	€ 35,50
1	GeIL Value PLUS GVP38GB1333C9DC	€ 40,94	€ 40,94
1	Kingston ValueRAM KVR1333D3N9K2/8G	€ 36,35	€ 36,35
1	MSI H55M-E33	€ 62,-	€ 62,-
Bekijk collectie Importeer producten		Totaal	€ 292,61

De setup van Staatslot
VT-D: neen
On-board NIC werkend: ja, met http://www.vm-help.com/fo...78c47e123d5d3d5c497821835

#	Product	Prijs	Subtotaal
4	Western Digital Caviar Green WD20EARX, 2TB SATA-600, 64MB, 5400rpm	€ 62,-	€ 248,-
1	Intel PRO/1000 GT	€ 22,40	€ 22,40
1	Fractal Design Define R3 (Zwart)	€ 86,55	€ 86,55
1	Intel Core i3 540	€ 79,10	€ 79,10
1	Corsair Builder CX430 V2	€ 36,95	€ 36,95
2	Kingston ValueRAM KVR1333D3N9K2/8G	€ 36,35	€ 72,70
1	MSI H55M-E33	€ 62,-	€ 62,-
Bekijk collectie Importeer producten		Totaal	€ 607,70

De setup van TrailBlazer
VT-D: neen
On-board NIC werkend: ja, met http://www.vm-help.com/fo...78c47e123d5d3d5c497821835

#	Product	Prijs	Subtotaal
2	Intel Gigabit CT Desktop Adapter	€ 22,99	€ 45,98
2	Samsung Spinpoint F1 HD161GJ, 160GB	€ 26,23	€ 52,46
2	MS-Tech CA-0130	€ 21,35	€ 42,70
2	Intel Core i3 540	€ 79,10	€ 158,20
2	be quiet! Pure Power L7 300W	€ 35,50	€ 71,-
2	GeIL Value PLUS GVP38GB1333C9DC	€ 40,94	€ 81,88
2	MSI H55M-E33	€ 62,-	€ 124,-
Bekijk collectie Importeer producten		Totaal	€ 576,22

Op basis van i5

De setup van Appel
VT-D: ja
On-board NIC werkend: ja, met http://www.vm-help.com/forum/viewtopic.php?p=11181#p11181

#	Product	Prijs	Subtotaal
2	Delock Nano Memory stick 4GB Zwart	€ 9,-	€ 18,-
4	Samsung EcoGreen F4EG HD204UI, 2TB	€ 58,46	€ 233,84
1	Fractal Design Core 3000	€ 58,60	€ 58,60
1	Fractal Design Define R3 (Zwart)	€ 86,70	€ 86,70
1	Scythe Mugen 2 Rev. B	€ 32,99	€ 32,99
1	Intel Core i5 2500 Boxed	€ 162,41	€ 162,41
1	be quiet! BN081	€ 35,90	€ 35,90
2	Kingston ValueRAM KVR1333D3N9/4G	€ 18,30	€ 36,60
1	Intel Desktop Board DQ67OWB3	€ 92,15	€ 92,15
Bekijk collectie Importeer producten		Totaal	€ 757,19

De setup van TheMOD
VT-D: ja
On-board NIC werkend: ja, met http://www.vm-help.com/fo...=12&t=2194&p=11181#p11181[/b]
Verbruik: 60-70W

#	Product	Prijs	Subtotaal
1	Samsung Spinpoint F3 HD103SJ, 1TB	€ 42,90	€ 42,90
3	Western Digital Caviar Green WD10EARS, 1TB	€ 42,20	€ 126,60
1	Cooler Master Elite 335	€ 33,90	€ 33,90
1	Intel Core i5 2400S	€ 157,40	€ 157,40
1	Antec Basiq BP350	€ 30,54	€ 30,54
1	Transcend 8GB DDR3 Dual/Triple Channel Kit	€ 35,90	€ 35,90
1	Intel Desktop Board DQ67OWB3	€ 92,15	€ 92,15
Bekijk collectie Importeer producten		Totaal	€ 519,39

De setup van BlackAdder
VT-D: vermoedelijk, gezien de grote gelijkenis met de OWB3-variant van het moederbord waarbij andere tweakers aangeven dat het werkt...
On-board NIC werkend: ja
Verbruik: 45W onder ESXi, met W7 27W

#	Product	Prijs	Subtotaal
1	Kingston DataTraveler G3 4GB Zwart	€ 5,14	€ 5,14
2	Western Digital Caviar Black WD5002AALX, 500GB	€ 45,-	€ 90,-
1	Western Digital Caviar Blue 6Gb/s WD5000AAKX, 500GB	€ 31,-	€ 31,-
1	Cooler Master Elite 342	€ 24,25	€ 24,25
1	Intel Core i5 2500 Boxed	€ 162,-	€ 162,-
1	be quiet! Pure Power L7 300W	€ 34,50	€ 34,50
2	Kingston ValueRAM KVR1333D3N9K2/8G	€ 59,50	€ 119,-
1	Intel Desktop Board DQ67SWB3	€ 101,85	€ 101,85
Bekijk collectie Importeer producten		Totaal	€ 567,74

De setup van MadMike261
VT-D: ja
On-board NIC werkend: neen, maar kan wel gepasstroughed worden naar een VM
Verbruik: rond de 80W

#	Product	Prijs	Subtotaal
1	Intel Gigabit CT Desktop Adapter	€ 22,99	€ 22,99
6	Samsung EcoGreen F4EG HD204UI, 2TB	€ 58,46	€ 350,76
1	Fractal Design Define R3 (Zwart)	€ 86,55	€ 86,55
1	Scythe Ninja 3	€ 32,88	€ 32,88
4	Scythe Slip Stream SY1225SL12SL, 120mm	€ 6,43	€ 25,72
1	Intel RAID Controller SASUC8I	€ 126,72	€ 126,72
1	Intel Core i5 2400	€ 149,95	€ 149,95
1	Cooler Master Silent Pro Gold 600W	€ 109,90	€ 109,90
1	Crucial RealSSD C300 2.5" 128GB	€ 169,90	€ 169,90
2	GeIL Value PLUS GVP38GB1333C9DC	€ 40,94	€ 81,88
1	Intel Desktop Board DQ67OWB3	€ 92,15	€ 92,15
Bekijk collectie Importeer producten		Totaal	€ 1.249,40

CWO in "Zuinige ESXi Server" UNVERIFIED!
Ritchie in "Zuinige ESXi Server" UNVERIFIED!

Op basis van een G620

De cluster (2 hosts) van FireDrunk
VT-D: neen
On-board NIC werkend: onbekend
Verbruik: 33W

#	Product	Prijs	Subtotaal
2	Intel Pentium G620	€ 57,-	€ 114,-
2	Antec ISK 300-65	€ 68,85	€ 137,70
4	Kingston ValueRAM KVR1333D3N9K2/8G	€ 36,35	€ 145,40
2	Biostar TH61 ITX	€ 70,80	€ 141,60
Bekijk collectie Importeer producten		Totaal	€ 538,70

jeanj in "Zuinige ESXi Server"
GH45T in "Zuinige ESXi Server"

Op basis van een i7

VT-D: ja
On-board NIC werkend: neen, maar kan wel gepasstroughed worden naar een VM
Verbruik: * HyperBart denkt dat hij zijn handen er aan kan verwarmen

#	Product	Prijs	Subtotaal
2	Western Digital Caviar GreenPower WD20EARS, 2TB	€ 59,60	€ 119,20
1	Cooler Master Elite 371	€ 34,19	€ 34,19
1	Intel Core i7 2600 Boxed	€ 231,90	€ 231,90
1	be quiet! Pure Power L7 530W	€ 55,22	€ 55,22
2	Kingston ValueRAM KVR1333D3N9K2/8G	€ 36,35	€ 72,70
1	Intel Desktop Board DQ67SWB3	€ 104,18	€ 104,18
Bekijk collectie Importeer producten		Totaal	€ 617,39

Op basis van AMD

Setup van StefanvanGelder:

AMD-Vi of IOMMU: nee
On-board NIC werkend: ja. Additionele drivers toegevoegd aan ESXi voor de Atheros AR8151
Verbruik: 50W idle

#	Product	Prijs	Subtotaal
2	Western Digital Caviar Green WD15EADS, 1.5TB	€ 105,-	€ 210,-
1	Fractal Design Core 1000	€ 32,95	€ 32,95
1	Scythe Big Shuriken	€ 30,-	€ 30,-
1	AMD Athlon II X3 415e Boxed	€ 75,-	€ 75,-
1	be quiet! System Power S6 300W	€ 26,95	€ 26,95
1	Crucial m4 CT256M4SSD2 256GB	€ 184,90	€ 184,90
2	Kingston ValueRAM KVR1333D3N9/4G	€ 19,90	€ 39,80
1	Asrock 890GM Pro3 R2.0	€ 80,-	€ 80,-
Bekijk collectie Importeer producten		Totaal	€ 679.60

Op basis van een Xeon (moet nog geindexeerd worden)

De setup van FireDrunk
VT-D: ja
On-board NIC werkend: onbekend, ik ga er van uit van wel
Verbruik: 60W spindown, 90W spinup, 150W full load

#	Product	Prijs	Subtotaal
1	Tyan S5502 (S1156) KVM-Over-IP	--	--
1	LSI LSI SAS3081E-R-SGL	€ 186,90	€ 186,90
1	Intel Xeon X3430 Boxed	€ 159,90	€ 159,90
4	Samsung EcoGreen F4EG HD204UI, 2TB	€ 58,46	€ 233,84
4	Western Digital Caviar GreenPower WD20EARS, 2TB	€ 59,60	€ 238,40
1	be quiet! Pure Power L7 300W	€ 35,50	€ 35,50
1	Kingston ValueRAM KVR1333D3E9SK2/4G	€ 28,81	€ 28,81
1	Kingston ValueRAM KVR1333D3E9SK2/8G	€ 66,53	€ 66,53
Bekijk collectie Importeer producten		Totaal	€ 949,88

VT-D: ja
On-board NIC werkend: onbekend, ik ga er van uit van wel
Verbruik: 65W idle, max 120W onder load

#	Product	Prijs	Subtotaal
1	LSI LSI SAS3041E-R-SGL	€ 131,90	€ 131,90
1	Intel Xeon X3440	€ 184,-	€ 184,-
4	Samsung EcoGreen F2 EG HD154UI, 1.5TB	€ 47,25	€ 189,-
1	Seagate Momentus 5400.6 ST9160314AS, 160GB SATA-300, 8MB, 5400rpm	€ 31,90	€ 31,90
1	Seagate Momentus 7200.2 ST980813AS, 80GB SATA-150, 8MB, 7200rpm	€ 29,95	€ 29,95
1	Western Digital AV-25 WD5000BUDT, 500GB SATA-300, 32MB, 5400rpm	€ 48,90	€ 48,90
1	Antec Earthwatts EA-380D Green	€ 42,38	€ 42,38
1	Kingston ValueRAM KVR1333D3D4R9SK2/8GI	€ 100,-	€ 100,-
1	Kingston ValueRAM KVR1333D3D8R9SK2/4GI	€ 58,80	€ 58,80
1	Supermicro X8SIL-F	€ 161,99	€ 161,99
Bekijk collectie Importeer producten		Totaal	€ 978,82

De setup van Microkid op basis van Xeon D-1541.

VT-D: ja
SR-IOV: ja
On-board NIC werkend: ja, het hele bobo werkt in 1x
Verbruik: 26W idle, max 47W onder load

#	Product	Prijs	Subtotaal
1	Supermicro X10SDV-F (Bulk pack)	€ 923,81	€ 923,81
1	Antec ISK 110 Vesa	€ 81,-	€ 81,-
1	Transcend MTS400 64GB	€ 33,83	€ 33,83
2	Samsung M393A4K40BB1-CRC	€ 155,50	€ 311,-
1	Samsung 850 EVO 1TB	€ 302	€ 302
1	Promilatech Ultra Sleek Vortex 14	€ 20	€ 20
Bekijk collectie Importeer producten		Totaal	€ 1.637,81

Nextron in "Zuinige ESXi Server"
Ultimation in "Zuinige ESXi Server"
Nextron in "Zuinige ESXi Server"

Faq

V:

Hej, ik heb Intel VT-d capable hardware, maar toch werkt het niet!

A:

Er zijn een aantal moederbordfabrikanten die hoewel het chipset op een moederbord VT-d ondersteunt, ze de ondersteuning ervan niet in het BIOS stoppen. Gigabyte heeft nog wel eens in 'achterafschappen' een VT-d capable BIOS liggen. Beste is om even op internet te kijken voor dat je een moederbord koopt, of er ook daadwerkelijk BIOS opties zijn voor VT-d

V:

Kan je harde schijven laten downspinnen met ESXi?

A:

Ja, dat kan gewoon. Zie hiervoor ook FireDrunk in "Zuinige ESXi Server"
Bijkomende informatie i.v.m. het downspinnen via RDM kan je, met dank aan neographikal, hier vinden.

[ Voor 255% gewijzigd door Microkid op 24-07-2016 19:01 ]

[FireDrunk]

sloth schreef op woensdag 20 april 2011 @ 19:30:
Er zijn me nog wat onduidelijkheden over VT-D, ESXi het MSI H55M-E33 bordje en het 'hacken' van ESXi met een aangepaste driver om de onboard NIC te kunnen gebruiken.

Ik heb geen ervaring met ESXi, het is allemaal nieuw voor me en het is allemaal vrij verwarrend als newbie dus hierbij alvast mijn excuses voor de minder intelligente vragen.

Begrijp ik het volgende goed?

ESXi laat toe, in combinatie met VT-D en VT-X om verschillende VM's naast elkaar te runnen met (zo goed als) native performance t.o.v. een dedicated machine.
De i3 ondersteunt wel VT-X, maar geen VT-D waardoor je geen I/O devices zoals raidcontrollers 1:1 kan doorgeven aan je guests. Je kan deze wel doorgeven maar dat kost je dan extra CPU cycles doordat deze geemuleerd moeten worden.
Voor raidcontrollers lijkt me dit geen ideale situatie, maar voor een wifi nic of webcam maakt dit niet veel uit toch?

Verder kan onboard nic van de MSI H55M-E33, de Realtek 8111DL dus met de hack die HyperBart gaat beschrijven in een blogpost wel met ESXi gebruikt worden, zonder enige beperkingen?
Er komt nog een dual pci-e Intel netwerkkaart in de build dus gigabit performance is geen vereiste, wel had ik graag ondersteuning voor VLAN's, QoS, en dergelijke gehad.

In grote lijnen klopt je verhaal, maar er zitten een paar dingen niet helemaal correct in samengevat.
VT-x is de Hardwarematige variant van virtualisatie, het zorgt ervoor dat VM's je CPU *direct* aan kunne spreken, zonder tussenkomst van ESX. Het enige wat er gebeurt, is dat af en toe ESX de baas word van je CPU om deze vervolgens weer te verdelen aan een andere VM. Als je dus 1 VM op een systeem draait heb je 99.999% van de performance omdat maar heel af en toe ESX ertussen komt om te zeggen dat je VM weer vrolijk verder mag gaan.

Bij I/O ligt dit anders omdat je niet wil dat VM's om en om een Harddisk gebruiken, want dan kunnen ze bij elkaars data. Vmware heeft hiervoor het VMFS principe bedacht... Je maakt een vDisk aan voor een VM op een disk die met VMFS geformatteerd is (zie VMFS als NTFS voor ESX). Deze vDisk is (bijna altijd) van 1 VM en hij mag daarmee doen en laten wat hij wil. Maar omdat IN het OS een I/O onstaat als een schrijfactie naar een fysieke sector zal deze altijd vertaald moeten worden door ESX naar een logische sector in de VMDK file op je disk met VMFS. Dit kost natuurlijk tijd en moeite. Omdat dat niet altijd wenselijk is, is er de mogelijkheid om een disk semi-direct aan een VM te geven. Dit betekend dat 1 VM *alle* rechten op het device heeft. Er hoeft dus GEEN vertaalslag meer gemaakt te worden van fysieke sector naar logische sector omdat deze gelijk zijn. Maar in dit stadium zit de ESX kernel nog wel tussen het OS van de VM en de disk om het request te routeren. RDM kost wel aanzienlijk minder CPU/tijd dan VMFS en zit ongeveer op 95-99% van de performance die je zou hebben als je de disk direct zou aanspreken.

Omdat sommige hardware nog gevoeliger is, en vanwege bepaalde 'ownership' verhalen van PCI-Express, is er VT-d uitgevonden. Dit betekend dat je niet alleen een disk aan een VM kan geven, maar een heel device. Denk aan USB poorten, PCI-Express poorten, maar ook Videokaarten, geluidskaarten of whatever.

Dit process is helemaal niet nieuw, in mainframes kon dit al veel langer, maar het is nu pas naar de massa uitgelekt.

Even kort op een rijtje:

Voor hardwarematige virtualisatie heb je VT-x of AMD-V nodig, anders word de virtualisatie op software niveau geregeld en dat is traag.

Voor RDM (Raw Device Mapping) heb je niets anders nodig dan ESX(i). Er is geen speciale hardware voor nodig, je kan (zolang je disk door ESX herkend word) elke disk direct aan een VM geven.

VOor hardwarematige device passthrough heb je VT-d of AMD IOMMU nodig. Dit is een feature die zowel in je CPU, je Chipset als ook in je BIOS (misschien wel het belangrijkste onderdeel) moet zitten om hem te gebruiken. Dit zorgt ervoor dat een device direct aan een VM gegeven kan worden en dat de VM deze met 99% performance kan gebruiken.

Wat jij zegt over die CPU cycles is dus niet waar. Een i3 kan via RDM met 99% performance disks van een ondersteunde controller aan VM's geven. Hij kan niet een device aan een VM geven.

RDM kost maar weinig CPU, ik heb hier thuis met RDM >400MB/s geklokt op een software RAID0 met amper CPU gebruik

[Domba]

Dit betekend dat je niet alleen een disk aan een VM kan geven, maar een heel device. Denk aan USB poorten, PCI-Express poorten, maar ook Videokaarten, geluidskaarten of whatever.

Interessant,met welke VM is dat je een heel device als PCI en/of PCI-expres toewijzen kan en niet alleen de functie?
Want ik ben juist opzoek naar een VM die overweg kan met een video capter card in PCI of PCI-e.

[Tsurany]

Wat bedoel je met 'welke vm'? Een vm is niks meer dan een virtuele machine, je hypervisor moet die mogelijkheid bieden en het os binnen je vm moet de drivers hebben, thats it.

[FireDrunk]

Precies, je kan gewoon zo'n USB hokkiewokkie capture ding kopen en die aan een VM geven en de drivers van het device in de VM installeren en gaan met die banaan

[Paul]

Tsurany schreef op donderdag 21 april 2011 @ 07:30:

FireDrunk schreef op donderdag 21 april 2011 @ 07:44:

Veel mensen die net met virtualisatie beginnen noemen een guest / VM een server, en de hypervisor de VM, daar valt gezien de vraagstelling best doorheen te prikken ("Dus, dan kun je 7 servers op die ene VM-dinges draaien?")

De vraag is dus: Welke hypervisor ondersteunt dat toewijzen van een device?

[FireDrunk]

ESX(i) en Xen ondersteunen en supporten het. Ik dacht dat KVM en QEMU er ook mee bezig waren, maar concrete verhalen heb ik nog niet gezien. Microsoft (Hyper-V) ondersteund het nog helemaal niet.

[Tsurany]

Paul Nieuwkamp schreef op donderdag 21 april 2011 @ 08:39:
[...]


[...]
Veel mensen die net met virtualisatie beginnen noemen een guest / VM een server, en de hypervisor de VM, daar valt gezien de vraagstelling best doorheen te prikken ("Dus, dan kun je 7 servers op die ene VM-dinges draaien?")

De vraag is dus: Welke hypervisor ondersteunt dat toewijzen van een device?

Dat vermoeden had ik al, vandaar dat ik het wat toelicht. Maar wel handig duidelijkheid te hebben

[sloth]

FireDrunk schreef op woensdag 20 april 2011 @ 20:10:
[...]
verhaal

Dus als ik alles nogmaals samenvat en alles goed begrijp..

-VT-X op zowel mobo als CPU: check. Hierdoor kunnen de guests rechtstreeks aan de processor waardoor je haast niets aan performance t.o.v. een dedicated systeem inboet.
-VMFS, een eigen filesystem 'container' van VM is nodig om een scheiding tussen data van verschillende guests te maken, en dit kost je performance. Om dit te vermijden kan je RDM toepassen waarbij je een volledige harde schijf aan een guest geeft, en dan zit je aan 95-99% van de native snelheid.
-VT-D is helaas niet ingebakken in de i3 dus heb je geen hardwarematige device passtrough ondersteuning op de setup die ik in gedachten had. Je kan echter wel als je de drivers in een guest laadt een device toewijzen aan een VM, alleen gaat dit dan dus ten koste van de snelheid net doordat je geen VT-D ondersteuning hebt.
Als dit niet om erg snelle raidcontrollers met veel I/O gaat lijkt me dit niet zo'n issue, toch? Een wifi pci nic (802.11 a/b/g dus max 54mbit) om maar wat te noemen zal een i3 niet stressed laten lopen lijkt me.

Heel erg bedankt voor je uitleg!
Als bovenstaande klopt en ik wat opheldering krijg over de onboard nic van dat MSI mobo heb ik m'n keuze gemaakt

[FireDrunk]

De eerste 2 punten kloppen helemaal, die laaste niet.
Je kan op een i3 setup dus echt geen enkel device aan een VM geven. Ook niet ten koste van CPU.
Dit komt omdat het simpelweg hardwaretechnisch niet mogelijk is.

Een WiFi PCI(e) kaartje in ESX zal dus nooit werken...

[ Voor 11% gewijzigd door FireDrunk op 21-04-2011 12:51 ]

[HyperBart]

sloth schreef op donderdag 21 april 2011 @ 12:44:
[...]
Als bovenstaande klopt en ik wat opheldering krijg over de onboard nic van dat MSI mobo heb ik m'n keuze gemaakt

Die NIC onboard werkt, getuige mijn ESXi thuis... Dus dat argument is ook beantwoord...

[Domba]

De vraag is dus: Welke hypervisor ondersteunt dat toewijzen van een device?

Sorry dit was inderdaad wat ik bedoelde met VM, want voor zoneminder met captercard heb ik nog geen enkele positieve reactie gevonden, maar wel in combinatie met USB en IP.

Alleen met IP dien ik niet alleen mobo/proc te vervangen, maar alles in 1 klap en vergelijkbare IP camera's van wat ik nu heb zijn niet bepaald goedkoop en verder heb ik voor de gewenste/gebruikte resolutie, alleen maar één oplossing met 2 aparte NIC's gezien met VMware server 2.0, waarmee ik op een totaal van 4 zou komen.

[sloth]

FireDrunk schreef op donderdag 21 april 2011 @ 12:47:
De eerste 2 punten kloppen helemaal, die laaste niet.
Je kan op een i3 setup dus echt geen enkel device aan een VM geven. Ook niet ten koste van CPU.
Dit komt omdat het simpelweg hardwaretechnisch niet mogelijk is.

Een WiFi PCI(e) kaartje in ESX zal dus nooit werken...

Dus je zal net doordat er geen VT-D ondersteuning is nooit extra USB / PCI(e) / .. hardware kunnen gebruiken i.c.m. ESXi?
Bummer..

HyperBart schreef op donderdag 21 april 2011 @ 14:34:
[...]

Die NIC onboard werkt, getuige mijn ESXi thuis... Dus dat argument is ook beantwoord...

Ik loop vast wat op je blogpost / tutorial vooruit, maar om bovenstaande ook beter te begrijpen een vraagje over de werking hiervan:

Wat je eigenlijk doet is de Realtek driver van de onboard nic embedden in ESXi, waardoor hij dus wel herkent wordt en je guest VM's deze met alle functies (VLAN, WoL, (R)STP, multicast verkeer..) kunnen gebruiken?
Het is dus een bestaande driver, geen nieuw ontwikkelt ding in alpha stage o.i.d?
Er zijn wat meldingen dat de NIC er opeens uit klapt, daar heb jij geen last van?

Excuses dat ik hier zo over doorga maar ik heb 3 werkende netwerkpoorten nodig en stabiliteit van de onboard (als WAN uplink) is érg belangrijk.
Als het niet stabiel werkt met de Realtek 8111DL kan ik beter naar een ander mobo zoeken.

Zou je trouwens dezelfde 'truc' niet voor andere apparatuur (printer / WiFi nic / ..) kunnen gebruiken waardoor je het gemis van VT-D van de i3 uitsluit?
Het zou relaxt zijn deze build ook als printserver en AP te gebruiken, vandaar de vragen.

[FireDrunk]

sloth schreef op donderdag 21 april 2011 @ 15:43:
Dus je zal net doordat er geen VT-D ondersteuning is nooit extra USB / PCI(e) / .. hardware kunnen gebruiken i.c.m. ESXi?
Bummer..

Excuus, ik heb USB over het hoofd gezien USB is wat dat betreft een uitzondering. VMware kan op een i3 wel USB redirecten naar een VM PCIe kan (vanwege DMA access) niet.

[HyperBart]

sloth schreef op donderdag 21 april 2011 @ 15:43:
[...]


Dus je zal net doordat er geen VT-D ondersteuning is nooit extra USB / PCI(e) / .. hardware kunnen gebruiken i.c.m. ESXi?
Bummer..


[...]


Ik loop vast wat op je blogpost / tutorial vooruit, maar om bovenstaande ook beter te begrijpen een vraagje over de werking hiervan:

Wat je eigenlijk doet is de Realtek driver van de onboard nic embedden in ESXi, waardoor hij dus wel herkent wordt en je guest VM's deze met alle functies (VLAN, WoL, (R)STP, multicast verkeer..) kunnen gebruiken?
Het is dus een bestaande driver, geen nieuw ontwikkelt ding in alpha stage o.i.d?
Er zijn wat meldingen dat de NIC er opeens uit klapt, daar heb jij geen last van?

Excuses dat ik hier zo over doorga maar ik heb 3 werkende netwerkpoorten nodig en stabiliteit van de onboard (als WAN uplink) is érg belangrijk.
Als het niet stabiel werkt met de Realtek 8111DL kan ik beter naar een ander mobo zoeken.

Zou je trouwens dezelfde 'truc' niet voor andere apparatuur (printer / WiFi nic / ..) kunnen gebruiken waardoor je het gemis van VT-D van de i3 uitsluit?
Het zou relaxt zijn deze build ook als printserver en AP te gebruiken, vandaar de vragen.

Hij werkt stabiel, ik heb er nu al een tijdje mijn KBOT vm op draaien... Ik had er nog een of ander mottig vNIC'je hangen aan die VM en daarom werkt dat niet degelijk. VM aanmaken met een vNIC type VMXNET3 werkt perfect

[TMon]

ik volg dit topic nu al een tijdje, maar een ding is me nog steeds niet duidelijk. Wat houdt nu een VM in en waar kun je het thuis voor gebruiken? Ik heb al wat gegoogled, maar het nut voor thuisgebruik ontgaat me nog.

[Tsurany]

Een VM is een virtuele machine, een soort computer die virtueel is, die dus niet bestaat. Je geeft dus op uit wat voor hardware die virtuele machine moet bestaan en dat wordt dan (virtueel) aangemaakt binnen jou computer. Dat betekent dat je bijvoorbeeld Windows XP virtueel draait binnen een Windows 7 zodat je nog oude programma's op XP kan draaien. Windows XP krijgt dan een virtuele hardeschijf en virtueel geheugen, dit betekent dat Windows XP denkt dat het gewoon normale hardware is waar het op werkt maar feitelijk is het niks anders dan een stukje hardeschijf en een stukje geheugen wat je vanuit jou Windows 7 pc ter beschikking stelt aan de Windows XP machine. Of dat je meerdere besturingssystemen afgezonderd van elkaar draait op dezelfde machine zodat je niet meerdere pc's hoeft aan te hebben staan.
Voor de meeste thuisgebruikers is het onnodig, echter hier zijn mensen die het of leuk vinden er mee te spelen of die hun thuisserver voor meerdere taken willen gebruiken. Zo kan je dan Ubuntu gebruiken voor een webserver terwijl je Windows Home Server of Amahi voor je backups en filesharing gebruikt.

Ik zelf heb een OpenVPN VM draaien, dit zorgt er voor dat ik zelf geen enkele moeite hoef te doen om OpenVPN draaiend te krijgen aangezien ik gewoon een standaard VM van internet binnenpluk en die wat RAM geheugen geef en een plekje op de hardeschijf om z'n ding te doen.

[ Voor 22% gewijzigd door Tsurany op 21-04-2011 16:24 ]

[26779]

FireDrunk schreef op woensdag 20 april 2011 @ 20:10:
[...]


-knip verhaal knip-

Even kort op een rijtje:

Voor hardwarematige virtualisatie heb je VT-x of AMD-V nodig, anders word de virtualisatie op software niveau geregeld en dat is traag.

Voor RDM (Raw Device Mapping) heb je niets anders nodig dan ESX(i). Er is geen speciale hardware voor nodig, je kan (zolang je disk door ESX herkend word) elke disk direct aan een VM geven.

VOor hardwarematige device passthrough heb je VT-d of AMD IOMMU nodig. Dit is een feature die zowel in je CPU, je Chipset als ook in je BIOS (misschien wel het belangrijkste onderdeel) moet zitten om hem te gebruiken. Dit zorgt ervoor dat een device direct aan een VM gegeven kan worden en dat de VM deze met 99% performance kan gebruiken.

Wat jij zegt over die CPU cycles is dus niet waar. Een i3 kan via RDM met 99% performance disks van een ondersteunde controller aan VM's geven. Hij kan niet een device aan een VM geven.

RDM kost maar weinig CPU, ik heb hier thuis met RDM >400MB/s geklokt op een software RAID0 met amper CPU gebruik

Het betekend dus dat je voor het algemeen gebruik van een device of poort geen VT-d nodig hebt en is VT-x voldoende? Alleen als je een device of poort dedicated aan een VM wilt toewijzen heb je wel VT-d nodig?.....
Als dit het geval is dan denk ik dat het voor huis tuin en keuken gebruik (of juist voor gebruik in omgevingen waar devices en poorten voor alle VM's beschikbaar moeten zijn) niet onover komelijk is om alleen VT-x te hebben en geen VT-d...

[ Voor 39% gewijzigd door 26779 op 21-04-2011 17:44 ]

[FireDrunk]

26779 schreef op donderdag 21 april 2011 @ 17:43:
[...]

Het betekend dus dat je voor het algemeen gebruik van een device of poort geen VT-d nodig hebt en is VT-x voldoende? Alleen als je een device of poort dedicated aan een VM wilt toewijzen heb je wel VT-d nodig?.....
Als dit het geval is dan denk ik dat het voor huis tuin en keuken gebruik (of juist voor gebruik in omgevingen waar devices en poorten voor alle VM's beschikbaar moeten zijn) niet onover komelijk is om alleen VT-x te hebben en geen VT-d...

Ik theorie heb je gelijk, je ESX(i) machine kan in principe gewoon bij alle hardware (het is namelijk gewoon een Operating System wat hardware kan aanspreken). Maar dat wil niet impliceren dat VM's daar ook bij kunnen. ESX moet namelijk de vertaal slag kunnen maken van hardwarematige I/O (Data van en naar het device) naar logische I/O (Data van en naar de VM). Bij USB betekend dit niets anders dan de datastroom die in en uit de USB controller komt doorsturen naar een VM (of zelf gebruiken).

Device als een USB webcam of iets kan je best aan een VM geven. Dit komt omdat USB zich van nature makkelijk laat redirecten (omdat het een serieel protocol is).

Een device als een PCI(express) TV kaart kan niet zomaar geredirect worden. Dit komt omdat in een 'normaal' Operating System de kaart een stukje geheugen toegewezen krijgt waar hij ZELF data in mag schrijven. Denk bijvoorbeeld aan het ontvangen van TV signaal. In het geval van USB zal het USB device gewoon de beeldinformatie over de USB verbinding naar de controller sturen, deze kan er dan mee doen wat hij wil. ESX kijkt dan in de USB controller of er data beschikbaar is van dat device, en stuurt dat door naar de desbetreffende VM.

Bij PCI werkt dit heel anders. Het device ontvangt data, en zet dit in het 'echte' geheugen van je PC. Daarna word er een Interrupt opgegooid, waardoor het OS weet, "Hej, ik moet even data ophalen van blok x tot en met y en die is bestemd voor driver z".

Bij ESX kan dit dus niet zomaar omdat het best eens zo zou kunnen zijn dat het device in het LEGE geheugen van een Virtuele machine zit te rommelen. En dat wil je dus niet hebben! Want stel dat je daarna in je VM (die eigenlijk niets met dat device te maken heeft) die exacte geheugen sector uit zou lezen, zou je de data van de PCI kaart te pakken hebben!

Dat werkt dus niet, tenzij je een soort van 'constraints' opgeeft. Daar komt VT-d om de hoek kijken.
De IOMMU (Input Output Memory Management Unit) zorgt ervoor dat bij het 'activeren' van DMA (Direct Memory Access) er geheugen word toegewezen wat ook echt bij de VM (of host os) hoort.

Hierdoor kan een vm veilig gebruik maken van het device zonder dat je bang hoeft te zijn dat de data onveilig in het geheugen komt.

Je kan I/O dus ook echt NIET softwarematig virtualiseren. Vergelijk het met het niet gebruiken van DMA. Vroege wilde IDE controllers nog wel eens zonder drivers in PIO mode gaan draaien. Dan zag je benchmarks van 5MB/s transferrate en 100% CPU load op disks die normaal 50MB/s deden en 1% CPU load verstookten.

Als je bedenkt dat een PCIe x1 slot 250MB/s kan verstoken, zou je dus 8 octo cores moeten hebben om een beetje IO routering te kunnen doen

[Domba]

Hoe meer ik google des te meer verschillende VM platforms zie ik voorbij komen en hoe meer ik het idee krijg verder verwijdert te raken van een zuinige server.

Het wordt me niet duidelijk als ik
2 schijven in raid 1(met apart webserver en zoneminder )
4 schijven 2TB in raid 5 voor fileserver gebruik

Kunnen de raid 5 schijven dan downspinnen omdat die maar voor 1 VM gast gebruik?
(gemiddelde gebruik per week is ca 19,8 uur)
En kan ik de volledig 5,5TiB gebruiken of is veelal 2TB schijfruimte per VM gast die ik her en der tegenkom gewoon het maximum?

Wat zijn tegenwoordig nu de gemiddelde schrijf/lees snelheid met raid1 en 5 als je met hypervisors aan de slag gaat?
Met googlen kom ik natuurlijk veel meer minder vlotte systemen tegen dan waar alles soepel bij loopt

Zoneminder is mijn belangrijkste serverfunctie
8xSAA7134 = 640x480 24 bit kleur gem. 2-10 fps ==> 14-70 MB/s die weggeschreven dient te worden.
Dient dan via 8 USB's te lopen omdat PCI-e nog niet gaat met een hypervisor en IP camera's hebben de zelfde resolutie of een beetje meer.
Nu heb ik al verschillende servers gezien met een toch goede hdpham van 90MB/s of meer, maar met ESX uiteindelijk maar 20-45 MB/s voor de raid, waarbij lezen soms nog minder is dan schrijven.
Waar het kan wordt dan een BBWC uit de kast getrokken om alles wat op te krikken naar meer acceptabele waarden.
Niet bepaald iets voor een zuinige server en een consumenten mobo versie.

[hans_lenze]

Domba schreef op vrijdag 22 april 2011 @ 01:33:
Kunnen de raid 5 schijven dan downspinnen omdat die maar voor 1 VM gast gebruik?
(gemiddelde gebruik per week is ca 19,8 uur)
En kan ik de volledig 5,5TiB gebruiken of is veelal 2TB schijfruimte per VM gast die ik her en der tegenkom gewoon het maximum?
[knip]
Wat zijn tegenwoordig nu de gemiddelde schrijf/lees snelheid met raid1 en 5 als je met hypervisors aan de slag gaat?
Met googlen kom ik natuurlijk veel meer minder vlotte systemen tegen dan waar alles soepel bij loopt

Je vraagt eigenlijk: bevat mijn hypervisor de drivers/mogelijkheden om mijn storage controller de opdracht te geven de schijven te downspinnen.

Het antwoord hier op hangt dus af van: de hypervisor die je kiest en de storage controller die je kiest. Ik denk dat je de beste kans hebt met Hyper-V of XenServer. Om de simpele reden dat de meeste drivers wel voor Windows of Linux gemaakt worden. (Ja, ook Hyper-V server 2008 R2 is gratis)

De gemiddelde snelheden van een opslag apparaat hangt af van de bus waarop deze aangesloten is. Mijn SSD haalt in ESXi vrijwel dezelfde doorvoersnelheid als in Windows 7. Een softraid RAID 5 opstelling (Windows Server 2008 disk manager) van een drietal virtuele harde schijven heeft een performance om van te huilen. Zelfs als de virtuele harde schijven op de SSD worden opgeslagen...

[Anoniem: 134818]

Ik wil niet klagen hoor, ik vind het hardstikke interessant, maar is dit niet meer voor een ESXi topic? Want het zuinige gaat mij een beetje verloren hier .

Edit: Wat ik eigenlijk wil zeggen is, maak anders zon topic!

[ Voor 16% gewijzigd door Anoniem: 134818 op 22-04-2011 09:21 ]

[DrDoo]

Wat ik me overigens afvraag, iedereen heeft het over esx(i) draaien in een zuinige server topic.
Zover ik weet kan esx(i) geen schijven down spinnen etc. Tuurlijk is het leuk, maar gaat dit niet
ten koste van de zuinigheid? En dan vooral, hoeveel scheelt het.

Iemand het verschil wel eens gemeten tussen esx(i) en bijv w2k8/win7.

[Dadona]

Ik liep al eerder tegen het probleem aan dat een kale installatie van ESXi, zonder enige VM, al meer verbruikte dan de Xen(Server). En dat verschil zou nog wel eens groter kunnen worden met Xen als daar de nieuwe kernelopties voor de i3 naartoe komen, maar dat duurt nog wel even. Het verschil met Win7 was helemaal groot (en ook met een standaard Ubuntu/Debian install met de meest recente kernel.)

[DrDoo]

Wil je dan toch VM's draaien kun je wellicht beter gewoon VMware Server draaien.
Maak je zover ik weet toch gebruik van alle power saving features.

Performance zal niet net zo goed zijn als een esx(i) maar voor de meeste zal dit ruim voldoende zijn.

[Dadona]

Zolang je een virtualisatieoplossing kiest die gebruik maakt van een volledige host dan heb je die mogelijkheden gewoon. VMWare Server is een voorbeeld daarvan, maar er zijn nog wel meer van dat soort applicaties.
Ga je meer richting bare metal virtualisatie dan gaat het allemaal lastiger worden. (Ik zie persoonlijk virtualisatie toch echt als een continu verhaal, niet iets is bare metal of niet. Je ziet verschillende interpretaties en kleine accentverschuivingen.) Xen gebruikt een standaard Ubuntu/Debian install, met een custom kernel. XenServer gebruikt een gestripte host waar je nog wel wat in kan hangen, maar dat is een gezeur. En bij ESXi eindig je met iets waar je echt bar weinig aan kunt aanpassen.

Bedenk dat virtualisatie in thuisomgevingen geen must is. Voor velen is het handiger of wat dan ook, maar de echte besparing door fysieke computers uit te zetten speelt wat minder. Het probleem in thuisomgevingen is dat die computers vaak ook totaal verschillende taken hebben (HTPC, NAS, Desktop). Dat maakt virtualiseren is lastiger, zeker omdat je door te virtualiseren dan wel eens voor een hoger verbruik kan zorgen, alleen dan nu vanuit een computer. Bedenk bijvoorbeeld dat een HTPC en een Backupserver combineren ervoor zal zorgen dat je mogelijk met een videokaart of een tvkaart gaat draaien en een extra sloot schijven voor de backups. Daarnaast zeuren we over de inefficientie vanaf de host, die niet genoeg features heeft. Maar maken we door het gebruik van virtualisatie in een thuisomgeving niet zelf een probleem waarvoor we weer een oplossing zoeken? Als je nu kritisch kijkt wanneer wat aanstaat, kan het misschien zijn dat twee losse computers elkaar zouden afwisselen. Backups overdag, HTPC in de avond. Maar die losse computers zouden wel minder verbruik. Daarnaast kan je dan misschien toe met wat minder krachtige hardware bij de backupkant.
Bij de 'echte' servers gaat het meer om meerdere computers die hetzelfde doen. Zeker als het gaat om servers die vooral CPU taken verrichten en relatief weinig storage hebben is virtualisatie een uitkomst, je kunt dan gaan schalen (servers aan en uitdoen, afhankelijk van de belasting van de server), middels live migration. Dan is het 'beetje' verlies aan efficientie van ESXi of XenServer opeens niets meer vergeleken met (meerdere) servers die anders zouden aanstaan.

[Anoniem: 303530]

offtopic:
Staat hij zo wel in het juiste forum? Maak maak een TR aan.

[FireDrunk]

Ik kan me volledig vinden in het verhaal van Dadona. Virtualisatie is echt een bewuste keuze omdat je zeker weet dat je het 'nodig' hebt. Niet een leuke feature voor erbij. Virtualisatie heeft namelijk zijn prijs, en 1 van de hoogste is dat je niet elk device klakkeloos kunt gebruiken.

Over de I/O Performance heb ik al het een en ander uitgelegd, maar het verhaal dat je in VMWare Server maar 20MB/s haalt en daarbuiten 90MB/s heeft vooral te maken met de manier van testen. VMware ESX is daar zeker beter in, omdat de virtualisatielaag van ESX een Type 1 Hypervisor is, en vmware server een Type 2. (Lees wikipedia over het verschil). ESX is gewoon veel beter in I/O dan VMWare Server.

Als jij het belangrijk vind om 8 USB devices te kunnen capturen, wat weerhoudt je ervan om het te proberen met ESX? Je hoeft niet in 1 keer een keuze te maken... Test het uit, en je weet het snel genoeg

[Domba]

Er waren een aantal bijdragen die mij triggerde om ook wat meer naar de mogelijkheden van virtualisatie te kijken en welke randvoorwaarden voor hardware daar tegenwoordig aan vast zitten

raven22 schreef op maandag 18 april 2011 @ 20:00:
.....uiteindelijk is het de dh67cf met de i3 2100 en 2x 4gb 1333 ram (alles via vraag en aanbod ) geworden, samen met een samsung 7200 toeren 2,5 inch harddisk en een picopsu 160xt met 120 watt voeding
Nog geen tweaks in de bios dus het grafische deel van de cpu staat nog aan, met alleen ubuntu server erop 25 watt idle..................Proxmox installeert goed en ook dan met 2 vm's ongeveer 25 watt idle......................

Als ook dat in de lopend topic BBG Thuisserver van mei 2011, mijn oog viel op

Het kloppend hart en omliggende onderdelen vormen een basis voor een energiezuinig thuisservertje met mogelijkheden voor klein huis-tuin-en-keuken storage en een VMware machine

en dat zoiets ook mogelijk zou zijn met energiezuinige AMD Athlon II X2 240E en i3-2100T
dit riep om eens naar virtualisatie te kijken als het zo eenvoudig zou kunnen met de juiste keuze aan hardware.
Want compartimenterings mogelijkheden met verschillende VM's is het een stuk makkelijker (tenminste die indruk heb ik)
Vrijwel elke CPU van nu heeft een bak meer rekenkracht aan boord dan mijn oude C7-D

Ik zou dan misschien een VPN kunnen eindigen op het systeem die open kan blijven staan, die met VNC/RDP lokaal weer op kan pikken, wat nu niet kan.

Want zowel zoneminder als de webserver (een verzameling van simpele webpagina's die mijn index/post-it zijn voor veel service manuels in pdf) wil ik niet public op I-net hebben, maar wel bij kunnen op elk moment.
Via de encrypted remote tunnel kan ik de machines volgen/ besturen/herprogrameren/resetten en pas bij echte brokken hoef ik in de auto te stappen.

Switchen met lokale remote (VNC/RDP) kan in 2 seconde en blokkeert dan niet mijn laptop/computer wat nu het geval is. Het is de wet van murphy dat zo'n belletje altijd komt op een moment als het niet lukt om binnen 5-10 minuten het machinecontrole scherm voor je neus te hebben en de zoneminder-server draait 24/7 naast een paar andere voordelen als, geen bijwerkingen meer van van wat op de PC/laptop en Win 7 nog verder gebeurt, geen last meer van de robot-arm 30/100 km verderop met topsnelheid naar links of rechts schiet omdat je de controle midden in een handeling overneemt.

Mijn doel is om met zoneminder onder de 50W in gebruik uit te komen, mijn laatste spare C7 PC2500 zit nu op 43Watt

Belangrijk is dat ik een data-retentie heb van een dag of 7 heb en met 6xTB (RAID1 en RAID5) kom ik aardig in de buurt en als je de raid 5 kunt down spinnen scheelt dat bijna 20 Watt t.o.v. 5 schijven 24/7 te laten draaien

De RAID 5 in de zelfde PC heb je gewoon nodig, want de 2TB RAID 1 is maar goed voor ca 35 uur data retentie.

Als jij het belangrijk vind om 8 USB devices te kunnen capturen, wat weerhoudt je ervan om het te proberen met ESX?

Ik vindt die USB capter dingen helemaal niet handig omdat deze meer energieverbruik geven, maar zou een tussen oplossing kunnen zijn om niet 1 klap alle 540TVL camera's te hoeven vervangen door IP camera's
Want voor zover ik gevonden heb kan op dit moment nog geen enkele virtueel software platform overweg met een PCI/PCI-e video captercard en bij verschillende staan ook nog de nodige hints bij USB support

FireDrunk schreef op donderdag 21 april 2011 @ 12:47:
.......Je kan op een i3 setup dus echt geen enkel device aan een VM geven..........Een WiFi PCI(e) kaartje in ESX zal dus nooit werken...

Ik heb de indruk dat de hardware ondersteuning voor mijn geval te kort schiet voor virtualisatie zolang het niet met 2-4 Nic's kan en het niet past bij een zuinige server, iets in het verbruikgebied van een Msi 785gm-e65 (is uit pricewatch) en 240e.

[FireDrunk]

Nee dan houdt het simpelweg gewoon op.

[Domba]

Voor deze vervanging voor deze ronde wel, eerst ééntje bouwen en als die goed loopt een maand later nog één als spare.

Want dit servertje is minder hobby eerder een noodzakelijk kwaad, maar erg genoeg net zo handig als een slot op de voordeur.

Als er dan weer tijd is de volgende PC er, waar een stuk meer aan gehobbyd kan worden
Het besluit was eigenlijk al gevallen, dual boot PC (windows/linux) weer splitsen in 2 aparte PC's met KVM.

Maar na deze glip van hypervisors die ik nu gezien heb, moet ik zeker nog eens kijken,

Waarschijnlijk is het weer aan de rand, want de hoofdtaak van de PC's is grafisch CAD CAM maar niet op workstation niveau, Alibre PE 3D loopt prima op een desktop.

[sloth]

Naar aanleiding van Freeaqingme in "Het grote Asterisk topic - Deel 2" een vraag over ESXi en CPU management.

Asterisk, of beter, VOIP heeft een hekel aan delay:

quote: Asterisk, the future of telephony 2nd edition

In terms of its resource requirements, Asterisk’s needs are similar to those of an embedded, real-time application. This is due in large part to its need to have priority access to the processor and system buses. It is, therefore, imperative that any functions on the system not directly related to the call-processing tasks of Asterisk be run at a low priority, if at all. On smaller systems and hobby systems, this might not be as much of an issue. However, on high-capacity systems, performance shortcomings will manifest as audio quality problems for users, often experienced as echo, static, and the like. The symptoms will resemble those experienced on a cell phone when going out of range.

Kan je ESXi zo configureren dat je een VM prioriteit op de andere geeft, of beter nog, realtime kan laten draaien om zo bovenstaande problemen op te lossen?

Ik heb er de Resource Management Guide en Configuation Guide op nageslagen en wat gegoogled maar ik kon niet meteen een antwoord vinden op wat ik zoek..

[squaddie]

Realtime kan alleen direct op de hardware niet via hypervisors, omdat realtime applicaties vaak afhankelijk zijn van de klokgenerator en niet zozeer daadwerkelijk gebruik van de processor. Alleen als de scheduler van de hypervisor een VM toegang tot de processor geeft "leeft" de VM anders is de vm "bevroren", dit zorgt ervoor dat een seconde in een VM niet altijd een echte seconde hoeft te zijn.

Je kan in ESX wel prioriteiten instellen maar dit gaat pas effect hebben als er onvoldoende processor of geheugen beschikbaar is om de vraag de voldoen. Op dat moment gaat de scheduler prioriteiten in acht nemen bij het bepalen wie op welk moment toegang krijgt tot de processor of geheugen.

[FireDrunk]

Klopt niet helemaal, je kan ook CPU resources reserveren voor een VM in ESX (vanaf versie 4.x).
Tegenwoordig kun je in veel moederborden de HPET (High Precision Event Timer) aanzetten, en volgens mij kan ESX daar ook gewoon gebruik van maken. En CPU tijd is in ESX met VT-x /AMD-V extensie WEL realtime ookal zit er een hypervisor tussen. Een vm heeft echt directe access naar de CPU.

[aceke]

HyperBart schreef op donderdag 21 april 2011 @ 14:34:
[...]

Die NIC onboard werkt, getuige mijn ESXi thuis... Dus dat argument is ook beantwoord...

u blog al klaar?

[HyperBart]

om uW ( ) post te beantwoorden: neen, die staat voor morgen op de planning

[aceke]

HyperBart schreef op zondag 24 april 2011 @ 18:20:
om uW ( ) post te beantwoorden: neen, die staat voor morgen op de planning

hehe
btw ondersteund u mobo vt-d want ik wil een i5 2400 dewelke wel vt-d ondersteund maar ik lees niks in de handleiding van H67MA-E45 of deze vt-d ondersteund ook op google vind ik niet duidelijk antwoord

dit zou gewoon een questie van bios ondersteuning moeten zijn

dus staat die optie ergens bij u in de bios?

[MadMike261]

Persoonlijk heb ik een i5 2400 icm een intel Q67OW bordje.
Zodra ik eindelijk mn PCIe intel gigabit kaartje krijg zal ik laten weten of het werkt

Hopelijk krijg ik deze dinsdag of woensdag.

[HyperBart]

aceke schreef op zondag 24 april 2011 @ 18:30:
[...]

hehe
btw ondersteund u mobo vt-d want ik wil een i5 2400 dewelke wel vt-d ondersteund maar ik lees niks in de handleiding van H67MA-E45 of deze vt-d ondersteund ook op google vind ik niet duidelijk antwoord

dit zou gewoon een questie van bios ondersteuning moeten zijn

dus staat die optie ergens bij u in de bios?

VT-D meen ik inderdaad tegengekomen te zijn

Give me some time en ik kijk het na morgen...

[ Voor 4% gewijzigd door HyperBart op 25-04-2011 01:21 ]

[squaddie]

FireDrunk schreef op zondag 24 april 2011 @ 12:38:
Klopt niet helemaal, je kan ook CPU resources reserveren voor een VM in ESX (vanaf versie 4.x).
Tegenwoordig kun je in veel moederborden de HPET (High Precision Event Timer) aanzetten, en volgens mij kan ESX daar ook gewoon gebruik van maken. En CPU tijd is in ESX met VT-x /AMD-V extensie WEL realtime ookal zit er een hypervisor tussen. Een vm heeft echt directe access naar de CPU.

Maar uitsluitend als de scheduler dit toestaat en dat nu net het heikele punt geen enkele hypervisor kan garanderen dat een vm altijd toegang heeft tot een processor. Sterker nog die cpu reservering is helemaal geen harde reservering in ESX. Als voorbeeld nemen we jouw processor, dat is in ESX een totaal van 12.800 mhz. Hiervan wordt 3200 mhz gereserveerd voor je realtime vm zodat een cpu-core volledig is toegewezen, deze vm echter gebruikt er maar 500 mhz van. Op een bepaald moment vragen de overige 10.000 mhz aan de scheduler dat is 400 mhz te veel, echter de scheduler ziet dat de realtime vm die gereserveerde mhz niet gebruikt en zal ze toewijzen aan de andere vms. Aangezien een processor in de basis maar een ding tegelijk kan zal de realtime vm tijdens de afhandeling van 400 mhz geen toegang hebben tot de processor en is deze gepauzeerd en dus niet realtime.

Zoals gezegd alleen in situaties waarin de vraag het aanbod overstijgt zal de scheduler de reservingen en shares in acht nemen. Zelfde situatie, opnieuw vragen de overige vms 10.000 mhz. Echter nu wil de realtime vm 3200 mhz gebruiken, dan zal de scheduler 3200 mhz toewijzen aan de realtime vm en 9600 aan de overige vms.

[odelay]

MadMike261 schreef op zondag 24 april 2011 @ 23:44:
Persoonlijk heb ik een i5 2400 icm een intel Q67OW bordje.
Zodra ik eindelijk mn PCIe intel gigabit kaartje krijg zal ik laten weten of het werkt

Hopelijk krijg ik deze dinsdag of woensdag.

MadMike261, erg nieuwsgierig of vt-d onder esxi werkt met je Q67 en ook naar je verbruik. Ik denk het wel want deze heeft het ook voor elkaar gekregen: http://homeservershow.com...page__p__20140#entry20140

Ik zelf heb tijdje geleden een asrock H67M met een i2400 gekocht met het doel esxi met vt-d ondersteuning te bouwen, maar kreeg het niet voor elkaar ondanks dat ik het in het bios kon activeren. Verder ook niet ook niemand op het internet kunnen vinden die het is gelukt met H67 chipset.

[raymonvdm]

Ik ben deze toch maar even gaan volgen en kom volgens mij tot de conclusie dat de volgende onderdelen geschikt zijn voor een ESXi server

Intel DQ67SW http://www.intel.com/prod...q67sw/dq67sw-overview.htm
I5-2400S 65W http://ark.intel.com/Product.aspx?id=52208

Deze ondersteunen namelijk beide VT-D en VT-X maar met 65W is de processor niet echt zuinig te nomen volgens mij

[Dadona]

Lees eerst eens de volgende secties: TDP en Onderklokbaarheid

Voor het maximale verbruik gaat het om energieverbruik per cpu cycle. Het boeit niet of een processor een hogere TDP heeft, zolang de performance/watt (in full load) maar beter is. Je zult dat of terugzien in een beperktere load terwijl de concurrent op 100% blijft hangen, of dat de computer eerder terugzakt in idle.

(Hoewel niet echt ontopic en de twee geen echt alternatief zijn: i3 vs. atom. De i3 heeft een veel hogere TDP, maar daar komt een veel hogere prestatie voor terug. Waar de atom nog tijden in full load blijft hangen, is de i3 er zo mee klaar. En nu wil het dat de huidige i3s in idle minder verbruiken dan de Atom, door die belachelijke chipset die je bij retail atom moederborden krijgt.)

[ Voor 57% gewijzigd door Dadona op 25-04-2011 13:42 ]

[FireDrunk]

raymonvdm schreef op maandag 25 april 2011 @ 13:29:
Ik ben deze toch maar even gaan volgen en kom volgens mij tot de conclusie dat de volgende onderdelen geschikt zijn voor een ESXi server

Intel DQ67SW http://www.intel.com/prod...q67sw/dq67sw-overview.htm
I5-2400S 65W http://ark.intel.com/Product.aspx?id=52208

Deze ondersteunen namelijk beide VT-D en VT-X maar met 65W is de processor niet echt zuinig te nomen volgens mij

Mooie combo! Kan je een prima ESX setje mee maken denk ik!
Mocht je nog tips willen om je ESX server zuinig te maken:
http://blog.peacon.co.uk/wiki/ESXi_Custom_Power_Management

Die heb ik gebruikt, scheelde 10W

[raymonvdm]

Maar als de TDP niet uitmaakt kan ik dan niet beter kiezen voor een

i5-2400 http://ark.intel.com/Product.aspx?id=53422

[Anoniem: 303530]

Een lager TDP heeft eigenlijk maar 1 voordeel: Er is onder full load minder koeling nodig.

Een i5 kan veel meer gebruiken dan een i3, maar idle en onder lichte load scheelt het zo goed als niets.

[FireDrunk]

Dat is wel een bold statement, de i5 heeft veel meer cache (2x zoveel t.o.v. een i3) en dat verbruikt best wel wat hoor...

[Anoniem: 303530]

Correctie: afhankelijk over welke i3 en i5 je hebt hebt. Als alleen de kloksnelheid verschilt maakt het niets uit. Meer cache of een krachtigere GPU zuipt inderdaad meer stroom.

[FireDrunk]

Jup, je hebt helemaal gelijk! Dat vergat ik nog te vermelden

[MadMike261]

i5 2400(s) is langzaamste model met VT-d op socket 1155 (voorzover ik kon vinden).

Daarnaast valt het met koeling wel mee denk ik...
Draai momenteel 4x scythe 500rpm (2x in, 2x out) icm een scythe ninja 3 (zonder fan) in mijn Fractal Design R3 zo rond de 60 graden C. En dat is na 8+ uurtjes op 100% load door WCG.

Al moet ik wel noteren dat er momenteel 0 HDD in zitten, alleen 1 SSD

Ik zou jullie graag laten weten wat het verbruikt, maar moet alleen nog ff een metertje uitzoeken. Als ik later tijd heb zal ik ff onderzoek doen

[FireDrunk]

Dat hoor ik ook graag!

[HyperBart]

Allright people! Hier dan de beloofde info omtrent het installeren van ESXi op een MSI H55M-E33
Edit: en nu ook in blogpost: The Hyperactive Blog: Zuinig virtualiseren met ESXi

Allereerst wil ik vertellen dat alle info vooral afkomstig is van iNSaNe-oNe, dank aan hem dus voor het geduld wat hij had om het uit te leggen en me er toch op te wijzen dat het allemaal veel simpeler was dan ik had geprobeerd.

Mijn moederbord staat voor zover ik er uit begreep in AHCI-mode voor de storage (belangrijk!)

Stap 1: assembleer alle hardware (duh ) maar vergeet voor de zekerheid geen compatibele NIC te plaatsen... In mijn geval was dat een Intel 1000 MT Desktop Adapter, en daardoor heeft ie tijdens de installatie geen problemen. Zonder die NIC ben ik niet bekend wat de gevolgen zijn van een installatie

Stap 2: gebruik de image van ESXi 4.0 U1 (staat bij de lijst van ESXi's bij de downloads genoteerd als: "ESXi 4.0 Update 1 Installable (CD ISO)"), brand deze naar een CD, boot hier van en installeer op de normale wijze ESXi

(in principe heb je nu al een werkende installatie van ESXi zonder problemen op je bakje staan, weliswaar zonder je onboard NIC werkend, maar je hebt al ESXi...)

Stap 2a: deze stap is optioneel, maar geeft je wel toegang tot de Host Update Utility die je misschien makkelijker vindt om je ESXi te updaten, persoonlijk vond ik de commandline veel makkelijker (je bent Tweaker of niet...) en ik vond het veel "cleaner". Surf naar het IP-adres van je ESXi-bak en download op die pagina de vSphere client, installeer deze en vergeet tijdens het installatieproces het vinkje "Install host update utility" niet aan te duiden...

Stap 3: installeer de vCLI (http://www.vmware.com/support/developer/vcli/)

Stap 4: stel via de console een wachtwoord in (denk aan de juiste toetsenbord-instellingen)

Stap 5: connecteer met behulp van de vSphere Client naar je ESXi-machine en plaats deze in maintenance-mode

Stap 6: update ESXi 4.0 U1 naar ESXi 4.1 U1, dit doe je op basis van het ZIP-pakketje dat je kan downloaden op dezelfde pagina waar je je ISO hebt gedownload, dit ZIP-bestandje staat daar bij het kopje: "ESXi 4.1 Update 1 (upgrade ZIP from ESXi 4.1)". Ik heb mijn ZIP-pakketje in mijn C:\ geplaatst en met de vCLI de update gedaan en dat gaat als volgt:

C:\Program Files\VMware\VMware vSphere CLI\bin>vihostupdate.pl --server 192.168.X.X --install --bundle c:\upgrade-from-esxi4.0-to-4.1-update01-348481.zip
Enter username: root
Enter password:
Please wait patch installation is in progress ...
Maintenance mode is not enabled or could not be determined.The following VIBs re
quire this host to be in maintenance mode: deb_vmware-esx-firmware_4.1.0-1.4.348
481, cross_oem-vmware-esx-drivers-scsi-3w-9xxx_400.2.26.08.036vm40-1OEM, cross_o
em-vmware-esx-drivers-net-vxge_400.2.0.28.21239-1OEM.  Please put the host in ma
intenance mode to proceed.

Tadaaa ik was vergeten maintenance mode te enablen... Snel even gedaan, en wat krijgen we dan:

C:\Program Files\VMware\VMware vSphere CLI\bin>vihostupdate.pl --server 192.168.X.X --install --bundle c:\upgrade-from-esxi4.0-to-4.1-update01-348481.zip
Enter username: root
Enter password:
Please wait patch installation is in progress ...
The update completed successfully, but the system needs to be rebooted for the changes to be effective.

Stap 7: reboot je ESXi-machine

Stap 8: enable Remote Tech Support Mode (remote TSM) via de vSphere client (http://www.virtual-blog.c...support-mode-on-esxi-4-1/ , wij connecteren ipv naar een vCenter naar de ESXi rechtstreeks, voor de rest is alles bijna hetzelfde)

Stap 9: Check Whitebox HCL op VM-Help.com en kijk even bij nummer 1 bij Realtek 8111, in de TS van die thread vind je een attachment (RTL8111_8168_P55_integr_SATA_Ctrl.(AHCI).oem.tgz [187.13 KiB] ), download dit en sla het op als "oem.tgz"

Stap 10: download WinSCP of eender welk ander SCP-capabel programma en maak verbinding via SCP naar het IP-adres van je ESXi-host, browse naar "/bootbank". Hier vind je een bestandje genaamd "oem.tgz", hernoem dit naar "oem.tgz.bak" (dit is gewoon als failsafe om een backupbestandje te hebben). Upload vervolgens het oem.tgz bestand wat je gedownload hebt naar deze "/bootbank"-directory.

Stap 11: reboot je server

Et voilà: men heeft een zuinige ESXi-server met ondersteuning van de onboard Realtek 8111-chipset NIC!

[FireDrunk]

Waarom niet gelijk 4.1 U1 installeren? Is daar geen OEM.tar.gz aanwezig? Die bestaat gewoon bij een versie 4.1 u1 installatie

[ Voor 30% gewijzigd door FireDrunk op 25-04-2011 21:45 ]

[HyperBart]

FireDrunk schreef op maandag 25 april 2011 @ 21:44:
Waarom niet gelijk 4.1 U1 installeren? Is daar geen OEM.tar.gz aanwezig? Die bestaat gewoon bij een versie 4.1 u1 installatie

Omdat die faalt

[FireDrunk]

Wat faalt er?

[HyperBart]

Ik kreeg een foutmelding, iets in de trant van:

"Unable to find the system image to install. This is due to the image not being mounted correctly or the CD-ROM not being supported."

En nog wel wat foutmeldingen. Ik heb er geen aandacht aan besteed en ben gewoon vrolijk door gegaan, het werkt nu netjes, ik heb een heel cleane update gedaan en hij draait als een tiet hier...

[aceke]

kl*te geen driver voor de intel onboard kaart van intel

[HyperBart]

Welk bord had je?

[raymonvdm]

Welke hardware gebruiken jullie nu precies.

Ik dacht het volgende (hoe maak je zo`n lijstje in je post)

1 x Sharkoon Rebel 9 Alu black
1 x Intel DQ67SW
1 x Intel I5-2400
1 x Western Digital Scorpio Black WD5000BEKT, 500GB SATA-300, 16MB, 7200rpm (OS)
4 x Samsung EcoGreen F4 2TB 5400rpm 32MB SATA2
1 x be quiet! Pure Power L7 300W
3 x Cooler Master 4 in 3 drive cage

Met daarom FreeBSD om er een storage van te maken of ESXi met daarin FreeBDS om er een storage van te maken. Ik heb op mn huidige beestje Ubuntu staan met een XP VM op basis van VMware server. Ik wil alleen meer functionaliteit en niet minder. Gaat ESXi voor mij werken dan ? Ik wil die 4 x 2TB gebruiken voor een ZFS filesystemen (Samba) voor mn mediacenter enz.

[FireDrunk]

Voor een NAS met alleen maar ZFS is een i5 wel overkill natuurlijk. Ik snap dat je het nodig hebt voor VT-d maar als je alleen FreeBSD draait kan je met een i3-2100 ook wel toe.

[HyperBart]

Zet ze in een wenslijst of een inventaris en dan "genereer rml", dat copy pasten en huppa!

Om je andere vraag te beantwoorden:

inventaris: Zuinig servertje

#	Product	Prijs	Subtotaal
1	Antec New Solution VSK-2000-EC	€ 38,57	€ 38,57
1	Intel Core i3 540	€ 86,70	€ 86,70
1	be quiet! Pure Power L7 300W	€ 34,30	€ 34,30
1	GeIL Value PLUS GVP38GB1333C9DC	€ 59,90	€ 59,90
1	MSI H55M-E33	€ 63,50	€ 63,50
Bekijk collectie Importeer producten		Totaal	€ 282,97

en een diskje dat ik nog op overschot had

[aceke]

HyperBart schreef op dinsdag 26 april 2011 @ 11:14:
Welk bord had je?

ik heb nu de Intel DQ67OWB3 besteld
deze heeft een intel nic waar nog geen aangepaste drivers voor zijn

[HyperBart]

Gek dat een Intel NIC net niet ondersteund wordt...
Niets op VM-help?

Inruilen met dit: http://www.intel.com/prod...H55TC/DH55TC-overview.htm ?

[ Voor 41% gewijzigd door HyperBart op 26-04-2011 15:41 ]

[FireDrunk]

Welke NIC is het precies?

[aceke]

FireDrunk schreef op dinsdag 26 april 2011 @ 15:41:
Welke NIC is het precies?

82579v
een nieuwe intel nic die nog niet op esx(i) werkt

[FireDrunk]

Je PCI-ID is als het goed is: 8086:1503, er zijn wat truukjes om in je OEM.tgz de pci lijst per driver te wijzigen.
Ik verwacht namelijk dat de 'gewone' intel driver van ESX wel werkt

[HyperBart]

http://www.wildbluesky.com/?p=295

[johnkeates]

Waarom zou je ESXi gaan 'hacken' als je ook Xen of KVM kan gebruiken? kernel virtual machine is dan misschien nog flink in beweging, maar Xen is vrij robuust en krijgt gewoon normale updates. Plus alle hardware werkt tenminste. Of heeft ESXi iets wat die andere niet hebben? Want als je naar snelheid of support kijkt is het niet beter dan de andere.

[HyperBart]

johnkeates schreef op dinsdag 26 april 2011 @ 16:07:
Waarom zou je ESXi gaan 'hacken' als je ook Xen of KVM kan gebruiken? kernel virtual machine is dan misschien nog flink in beweging, maar Xen is vrij robuust en krijgt gewoon normale updates. Plus alle hardware werkt tenminste. Of heeft ESXi iets wat die andere niet hebben? Want als je naar snelheid of support kijkt is het niet beter dan de andere.

Voor mij was het heel simpel: ESXi ondersteunt memory overcommitment, Xen(Server) niet
Xen is geen bare metal hypervisor, KVM ook niet...

Maar! Het ISO'tje komt hier al binnen; in de loop van de week eens testen

[ Voor 6% gewijzigd door HyperBart op 26-04-2011 16:16 ]

[Paul]

HyperBart schreef op dinsdag 26 april 2011 @ 16:15:
Xen is geen bare metal hypervisor

Oh?

[HyperBart]

I stand corrected

[FireDrunk]

Hmm, wat dat betreft is Xen waarschijnlijk zuiniger dan ESX.
ESX is niet getuned om zuinig te zijn, maar om robuust te zijn. Xen kun je wat dat betreft misschien nog wat meer knijpen...

[Workaholic]

raymonvdm schreef op dinsdag 26 april 2011 @ 13:27:
Welke hardware gebruiken jullie nu precies.

Ik dacht het volgende (hoe maak je zo`n lijstje in je post)

1 x Sharkoon Rebel 9 Alu black
1 x Intel DQ67SW
1 x Intel I5-2400
1 x Western Digital Scorpio Black WD5000BEKT, 500GB SATA-300, 16MB, 7200rpm (OS)
4 x Samsung EcoGreen F4 2TB 5400rpm 32MB SATA2
1 x be quiet! Pure Power L7 300W
3 x Cooler Master 4 in 3 drive cage

Met daarom FreeBSD om er een storage van te maken of ESXi met daarin FreeBDS om er een storage van te maken. Ik heb op mn huidige beestje Ubuntu staan met een XP VM op basis van VMware server. Ik wil alleen meer functionaliteit en niet minder. Gaat ESXi voor mij werken dan ? Ik wil die 4 x 2TB gebruiken voor een ZFS filesystemen (Samba) voor mn mediacenter enz.

Een tijd geleden wou ik mijn server eigenlijk wegdoen, maar met de komst van spotweb en het kunnen draaien van je eigen firewall (upc cisco modem is bridge) blijft erg prettig.

Ik draai de laatste versie van esxi/vpshere op de volgende hardware :

MD Athlon II X4 600e Quadcore Energy efficient
8GB DDR2 Memory
Asus M4A785D-M PRO
300GB Velociraptor (primary VM's)
2TB Western Digital (Download & test VM's)
Coolermaster Elite 342
Be Quiet L7 300Watt voeding
2x Intel Pro 1000 GT PCI Nics
1x PCI-e Intel 1000 nic

Bevalt erg goed.. het betreft een ESXi (vpshere 4.1) whitebox. Er draaien 6 VM's op en de load is ongeveer 59watt max. (rond de 40-45 idle) met de vmware energy saving features ingeschakeld.

Ben er nog erg tevreden mee! Performance is ook top. Wil alleen nog een keer een wifi nic installeren zodat de linksys AP eruit kan en dan alles in één machine heb

[ Voor 57% gewijzigd door Workaholic op 26-04-2011 18:45 ]

[sloth]

Workaholic schreef op dinsdag 26 april 2011 @ 18:38:
[...]
Wil alleen nog een keer een wifi nic installeren zodat de linksys AP eruit kan en dan alles in één machine heb

Ondersteunt je hardware VT-D? Als dit niet zo is zal je naar een usb wifi nic moeten zoeken die AP mode ondersteunt en dat is blijkbaar niet zo makkelijk als het lijkt.

Zie hiervoor ook usb wifi adapter met AP ondersteuning.

[ Voor 5% gewijzigd door sloth op 26-04-2011 20:13 ]

[HyperBart]

Workaholic schreef op dinsdag 26 april 2011 @ 18:38:
[...]

Dat bakje ziet er bekend uit
Vertel me eens, wat heb je er op draaien en in welke resource pools en wat zijn je verdelingen van geheugen en resource pools?

[FireDrunk]

Heeft er hier iemand al eens met XenServer gewerkt? Kan je er bij de Xen kernel vanuit gaan dat alle Linux devices die in de normale kernel werken in de Xen kernel ook werken?

Ik vraag me af of het zin heeft om over te stappen naar Xen omdat dan mijn Marvell SAS controller misschien ondersteund word (En dat scheelt weer een LSI HBA á 10W)

[ Voor 6% gewijzigd door FireDrunk op 27-04-2011 09:47 ]

[Dadona]

Ik heb er wel eens mee gewerkt, zowel XenServer als Xen. (Ik neem aan dat je al wist dat die twee verschillend zijn.)
XenServer heeft echt een hele basic install met een sobere kernel. Voor standaard zaken als onderklokken en harde schijven uitschakelen moest ik al gaan rommelen met aanzetten van de installatie van packages uit CentOS en moest ik eerst zorgen dat ik build en andere zaken werkend kreeg.
Xen is een ander beestje, waarbij je een standaard installatie van Debian pakt en de kernel omzet. Of die kernel voldoende mogelijkheden laat voor je SAS controller weet ik niet. Maar ik vermoed dat je met Xen wel de grotere kans hebt dat het gaat werken.

[FireDrunk]

Hmm, nou mijn probleem is een beetje dat het bord wat ik heb (een Tyan) wel VT-d ondersteund, maar de PCIe controller die achter de SAS controller zit ondersteund het nou juist net niet om doorgegeven te worden .
Ondersteuning voor de SAS controller zit in elke moderne linux distro door de mv_sas module die standaard in de linux kernel zit.

Probleem is dat ESX(i) die natuurlijk niet heeft Ik hoopte dat XenServer (ookal is het een hypervisor) toch die standaard modules ondersteunde, maar dat is dus niet zo?

[Dadona]

XenServer vermoedelijk niet, Xen kun je proberen.

[FireDrunk]

Is er iets als een Xen JeOS ofzo wat je van USB kan draaien?

[Dadona]

Ik ken geen versie waarbij je in drie klikken het voor elkaar hebt. Maar je kunt natuurlijk gewoon Debian installeren op een USB stick en dan de kernel aanpassen.

[raven22]

Dadona schreef op woensdag 27 april 2011 @ 10:03:
Ik heb er wel eens mee gewerkt, zowel XenServer als Xen. (Ik neem aan dat je al wist dat die twee verschillend zijn.)
XenServer heeft echt een hele basic install met een sobere kernel. Voor standaard zaken als onderklokken en harde schijven uitschakelen moest ik al gaan rommelen met aanzetten van de installatie van packages uit CentOS en moest ik eerst zorgen dat ik build en andere zaken werkend kreeg.
Xen is een ander beestje, waarbij je een standaard installatie van Debian pakt en de kernel omzet. Of die kernel voldoende mogelijkheden laat voor je SAS controller weet ik niet. Maar ik vermoed dat je met Xen wel de grotere kans hebt dat het gaat werken.

als ik naar de xen website ga kan ik xen hypervisor downloaden, is dat hetzelfde als xen of als xenserver?

[Dadona]

Dat is Xen, Xen is de OpenSource hypervisor. XenServer is van Citrix.

[FireDrunk]

raven22 schreef op woensdag 27 april 2011 @ 11:55:
[...]


als ik naar de xen website ga kan ik xen hypervisor downloaden, is dat hetzelfde als xen of als xenserver?

Xen.org:

The Xen Live CD is actually a Debian Lenny 5.0. Anyone can create their own version of Xen Live CD, since there is available a ISO generator based on the live-helper.

[raymonvdm]

ik heb een lijstje gemaakt helaas zit het moederbord er niet bij in de pricewatch

#	Product	Prijs	Subtotaal
4	Samsung EcoGreen F4EG HD204UI, 2TB	€ 62,-	€ 248,-
1	Western Digital Scorpio Black WD5000BEKT, 500GB SATA-300, 16MB, 7200rpm	€ 53,-	€ 53,-
1	Sharkoon Rebel9 Aluminium	€ 39,95	€ 39,95
1	Intel Core i5 2400	€ 146,91	€ 146,91
3	Cooler Master 4-in-3 Device Module	€ 15,-	€ 45,-
1	be quiet! Pure Power L7 300W	€ 34,30	€ 34,30
2	GeIL Value PLUS GVP38GB1333C9DC	€ 59,90	€ 119,80
Bekijk collectie Importeer producten		Totaal	€ 686,96

[ Voor 5% gewijzigd door raymonvdm op 27-04-2011 13:24 ]

[HyperBart]

Enne geheugen?

[raymonvdm]

HyperBart schreef op woensdag 27 april 2011 @ 12:53:
Enne geheugen?

Daar ben ik nog niet over uit omdat ik de hardware de laatste tijd niet meer kan bijhouden. Ik weet dat ik DDR3 1066/1333 moet hebben. 16GB lijkt me wel voldoende. ECC kan niet want dat ondersteund de processor niet. Wellicht wel weer beter voor ESXi of ZFS ?


http://www.intel.com/prod...q67sw/dq67sw-overview.htm
http://ark.intel.com/Prod...=i5-2400&spec-codes=SR00Q

[HyperBart]

Niet zeveren: zo twee pakketjes bestellen en gaan!
pricewatch: GeIL Value PLUS GVP38GB1333C9DC

[aceke]

raymonvdm schreef op woensdag 27 april 2011 @ 12:09:
ik heb een lijstje gemaakt helaas zit het moederbord er niet bij in de pricewatch

#	Product	Prijs	Subtotaal
4	Samsung EcoGreen F4EG HD204UI, 2TB	€ 62,-	€ 248,-
1	Western Digital Scorpio Black WD5000BEKT, 500GB SATA-300, 16MB, 7200rpm	€ 53,-	€ 53,-
1	Sharkoon Rebel9 Aluminium	€ 39,95	€ 39,95
1	Intel Core i5 2400	€ 146,91	€ 146,91
3	Cooler Master 4-in-3 Device Module	€ 15,-	€ 45,-
1	be quiet! Pure Power L7 300W	€ 34,30	€ 34,30
2	GeIL Value PLUS GVP38GB1333C9DC	€ 59,90	€ 119,80
Bekijk collectie Importeer producten		Totaal	€ 686,96

mobo zit wel in pricewatch zoek gewoon op het typpe nr

[raymonvdm]

reeds gedaan maar toen kwam ik hem niet tegen! Zal straks nog een keer proberen

Ik zoek op de DQ67SW

[ Voor 13% gewijzigd door raymonvdm op 27-04-2011 14:00 ]

[aceke]

pricewatch: Intel Desktop Board DQ67OWB3


pricewatch unsorted: Intel BLKDQ67SWB3 uATX LGA1155 Q67-chipset DDR3-1333 HD Graphics DVI-D+DVI-I+ Display port Raid 0,1,5,10 Bulk

[ Voor 66% gewijzigd door aceke op 27-04-2011 14:31 ]

[HyperBart]

Voor de geïnteresseerden: ik heb zonet VMware tools ook even geïnstalleerd op mijn Ubuntu 10.10:
Bij de VM de optie "Install VMware tools" aanklikken

Daarna in de VM:

sudo apt-get install build-essential

sudo apt-get install linux-headers-`uname -r`

De CD mounten

sudo mkdir /mnt/cdrom
sudo mount /dev/cdrom /mnt/cdrom

De benodigde tar naar /tmp kopiëren en untarren

cp /mnt/cdrom/*.gz /tmp/
tar xvzf /tmp/VMwareTools-8.3.7-341836.tar.gz

VMware tools installeren (heel de tijd op enter drukken, tenzij je andere opties wilt dan de standaardopties)

sudo ./vmware-install.pl

[FireDrunk]

Uhm, waarom niet gewoon open-vm-tools?
Werkt uitstekend hier... Ondersteuning voor pvscsi en vmxnet3 zit al ingebakkenin Ubuntu 10.10. Enige wat je nog nodig hebt is power off dmv esx en dat doet open-vm-tools

[ Voor 3% gewijzigd door FireDrunk op 27-04-2011 16:16 ]

[aceke]

welke software gebruiken jullie voor nas onder esxi?
ik heb hier freenas geprobeert maar haal met 2 schijven in stripe 45write en 35-40 read
dit met 4 cpu's toegewezen en 4gig ram
stripe is met zfs

met win 7 haal ik 100-115 read/write
ik wil nu overstappen op zfs maar die performance is heel laag?

[raymonvdm]

Ik ben ook bezig met een dedicated ZFS servertje totdat ik geld heb om een VT-d machine te bouwen. Ik loop nu nog vast op Samba dus kan nog niet vertellen welke snelheid ik ga halen. Wellicht licht het aan ESXi of aan je disken of iets.


Ik heb hem nu up and running en wanneer ik een 1000mb.bin vanaf mn laptop naar de samba share op ZFS kopieer dan zijn dit de resultaten

naar ZFS toe 15MB/Sec
vanaf ZFS 20.9 MB/Sec

De machine in kwestie is een Xeon 3020 met 4GB ram en 2 x 80GB ZFS Tank

Doe ik hetzelfde naar mn Ubuntu server met single disk dan is dit het resultaat

naar Ubuntu toe 22.5MB/Sec
vanaf Ubuntu 16MB/Sec

Dit is best wel teleurstellend volgens mij voor een gigabit netwerk

Via SCP naar de ZFS Tank

freebsd# scp root@192.168.110.200:/DATA/mce/1000mb.bin /tank/media
root@192.168.110.200's password:
1000mb.bin 100% 1000MB 12.5MB/s 01:20

Via SCP naar de lokale disk op de ZFS Server

freebsd# scp root@192.168.110.200:/DATA/mce/1000mb.bin /home/beheer/
root@192.168.110.200's password:
1000mb.bin 100% 1000MB 20.0MB/s 00:50
freebsd#

Het verschilt wel iets maar nog steeds droevig want dit is volgens mij niet genoeg voor een HD Film. Gebruik ik Filezilla kom ik wel op de 40MB/sec

[ Voor 83% gewijzigd door raymonvdm op 27-04-2011 22:43 ]

[FireDrunk]

scp is gewoon traag... Pak ftp of smb. Dat is veel sneller.

[raymonvdm]

SMB is ook traag hoor daar begon "het probleem"

Ik heb nu op de FreeBSD en de Ubuntu machines Jumbo frames ingeschakeld


freebsd# route change 192.168.110.0 -mtu 9000
root@ubuntu:/DATA/mce# ifconfig eth0 mtu 9000

En zie hier het 1e resultaat

UIT:
freebsd# scp root@192.168.110.200:/DATA/mce/1000mb.bin /home/beheer/
root@192.168.110.200's password:
1000mb.bin 70% 708MB 11.2MB/s 00:25 ETA^CKilled by signal 2.

AAN:
freebsd# scp root@192.168.110.200:/DATA/mce/1000mb.bin /home/beheer/
root@192.168.110.200's password:
1000mb.bin 100% 1000MB 24.4MB/s 00:41

Overigens ondersteund mn switch Jumbo frames

http://www.newegg.com/Pro...aspx?Item=N82E16833105097

[ Voor 6% gewijzigd door raymonvdm op 27-04-2011 23:15 ]

[aceke]

FireDrunk schreef op woensdag 27 april 2011 @ 22:49:
scp is gewoon traag... Pak ftp of smb. Dat is veel sneller.

zijn samba waarden zijn ook heel laag


waarom prijst iedereen zfs terwijl het rete traag is

[raymonvdm]

aceke schreef op woensdag 27 april 2011 @ 22:56:
[...]

zijn samba waarden zijn ook heel laag


waarom prijst iedereen zfs terwijl het rete traag is

Omdat de RAID oplossingen zo goed zouden zijn zeg maar

[aceke]

raymonvdm schreef op woensdag 27 april 2011 @ 22:56:
[...]


Omdat de RAID oplossingen zo goed zouden zijn zeg maar

ja in raid haal ik 40mbyte/sec terwijl ik op dezelfde pc met 1 schijf 80 haal met win 7