Zuinige ESXi Server

[Stefanovic45]

Zenix schreef op dinsdag 17 juli 2012 @ 13:42:
Ben gisteren begonnen met ESXi te configureren etc.
Het viel mij op dat er in dit topic of SSD topic amper benchmarks zijn van een SSD op ESXi.

Dus ik heb een benchmark gedaan van de Samsung 830 256GB op een Windows Server 2008 R2 VM

De benchmark van mijn Crucial m4 256GB is niet echt om over naar huis te schrijven:



Maar deze benmark is ook gedaan vanaf een XP bak die ik al eens van mijn gewone HDD naar de SSD heb verplaatst. De ssd is wel aangesloten op sata 600, maar hij komt nog niet eens in de buurt van sata 300 Ik ga binnenkort wel eens kijken of ik de snelheid nog wat kan opvoeren... De toegewezen ruimte voor de VM zit ook zo goed als vol.

Volgens mij ben ik achter de oorzaak van mijn probleem:

StefanvanGelder schreef op donderdag 07 juni 2012 @ 20:56:
Hoe zit het bij jullie met latency's van de datastores? Ik heb het idee dat mijn VM's vaak blijven 'hangen' terwijl er niks aan de hand is... In die perioden zie ik wel dat mijn datastore een hoge access tijd heeft terwijl er dan qua data niks wordt weggeschreven... Mijn schijf is wel een 5400 rpm schijfje; een Western Digital Caviar Green WD15EADS

[afbeelding]

De schijven worden gewoon te warm in mijn HTPC kast... Die Recom RC-MC1 heeft echt belachelijk slechte airflow. Ik heb de setup op mijn test bench draaiende gehad, geen latency problemen. Ook kwamen er geen fouten naar voren in HDTune. In HDTune vielen de hoge temperaturen direct op, 45 graden terwijl op mijn gemakje uit de kast had gehaald en in mijn HDD dock heb geplaatst. Bij de herinstallatie heb ik de airflow nog proberen te verbeteren, maar helaas... Had niet verwacht dat 5400 RPM schijven zonder airflow gewoon te warm worden.

Weet ik direct weer wat mijn eerste upgrade gaat zijn binnenkort!

[ Voor 44% gewijzigd door Stefanovic45 op 17-07-2012 18:31 ]

[Zenix]

StefanvanGelder schreef op dinsdag 17 juli 2012 @ 18:06:
[...]


De benchmark van mijn Crucial m4 256GB is niet echt om over naar huis te schrijven:

[afbeelding]

Maar deze benmark is ook gedaan vanaf een XP bak die ik al eens van mijn gewone HDD naar de SSD heb verplaatst. De ssd is wel aangesloten op sata 600, maar hij komt nog niet eens in de buurt van sata 300 Ik ga binnenkort wel eens kijken of ik de snelheid nog wat kan opvoeren... De toegewezen ruimte voor de VM zit ook zo goed als vol.

De benchmark die ik heb gedraaid is een geconverteerde 2008 R2 die eerst op een hdd draaide de afgelopen 2 jaar. Misschien moet je eens kijken naar vmware converter heb je wel optimze layout gedaan etc bij disk opties? Heb overigens 20GB vrijgehouden op de SSD omdat hij natuurlijk geen trim heeft en zo blijft hij goed performen.

Ik heb nu al een dag mijn schijven aangesloten via RDM met Paravirtual controller maar ik kan geen SMART data uitlezen. Iemand enig idee hoe dat komt en heeft dat met de controller te maken?

[Stefanovic45]

Zenix schreef op dinsdag 17 juli 2012 @ 18:31:
[...]


De benchmark die ik heb gedraaid is een geconverteerde 2008 R2 die eerst op een hdd draaide de afgelopen 2 jaar. Misschien moet je eens kijken naar vmware converter heb je wel optimze layout gedaan etc bij disk opties? Heb overigens 20GB vrijgehouden op de SSD omdat hij natuurlijk geen trim heeft en zo blijft hij goed performen.

Nee joh, ik heb hem binnen de vsphere client gewoon gemoved Ik heb overigens nog wel 150GB vrij op de ssd dus dat zal het probleem niet zijn Ik ben inmiddels wel een Win7 machine aan het installeren.

[Verwijderd]

Zenix schreef op dinsdag 17 juli 2012 @ 18:31:
[...]
Heb overigens 20GB vrijgehouden op de SSD omdat hij natuurlijk geen trim heeft en zo blijft hij goed performen.

Daar ben ik al een tijdje benieuwd naar, want volgens mij is dat alleen maar uitstel van 'executie'. Want als je SSD (op die 20 GB na) vol zit, zal ESXi bij het schrijven van nieuwe data, eerst die 20 GB lege ruimte volschrijven alvorens te beginnen aan de eerder gedelete ruimte op de rest van de SSD (want geen trim). Dus zit je korte/enige tijd later toch alsnog met hetzelfde 'probleem'?

[Zenix]

Verwijderd schreef op dinsdag 17 juli 2012 @ 18:59:
[...]


Daar ben ik al een tijdje benieuwd naar, want volgens mij is dat alleen maar uitstel van 'executie'. Want als je SSD (op die 20 GB na) vol zit, zal ESXi bij het schrijven van nieuwe data, eerst die 20 GB lege ruimte volschrijven alvorens te beginnen aan de eerder gedelete ruimte op de rest van de SSD (want geen trim). Dus zit je korte/enige tijd later toch alsnog met hetzelfde 'probleem'?

De SSD heeft garbage collection dat is niet hetzelfde als TRIM maar zou zijn werk moeten doen. Die 20GB marge heb ik genomen bij formateren naar VMFS. En als die minder gaat performen heb je het wel over een jaar denk ik of langer, en als dat zo is dan de SSD er even uithalen een secure erase en dan kan die er weer tegen aan.

[Goudduif]

Pantagruel schreef op dinsdag 17 juli 2012 @ 12:00:
[...]


Even voor de duidelijkheid, je hebt hem ook als PCI device in je VM NAS geinstalleerd? enkel sec doorsteken is niet voldoende om de controller bruikbaar te maken.

Ja dat had ik wel gedaan, maar zodra ik de controler in mijn BIOS op AHCI zet ziet hij nog maar een controler, en heb ik dus geen mogelijkheid om mijn SDD te koppelen,

Als ik het zo overzie zit er niets anders op om een extra controler te plaatsen, nu de vraag welke PCIe werkt er goed samen met ESXi

[FireDrunk]

Mja, dat denk ik ook. Wil je stabiel en goed supported: Ga voor een LSI2008 based controller.
Wil je het iets goedkoper kan je nog voor de iets oudere LSI1068 gaan.

Nóg goedkoper wil je niet.

[magic_japie]

Mannen van het goeie leven

Momenteel heb ik een HTPC staan, maar deze is qua hardware specs enigszins achterhaald.
Mijn installatie is een Windows 7 64 bit OS met daarop VMware workstation 7.x. In Vmware draai ik een 4-tal vm's met o.a. Windows SBS 2003 R2, freenas en nog 2 andere servers voor logging en wat Cisco probeerselen.

Nu is mijn interesse, naast mijn primaire Cisco werkzaamheden wat verder gegroeid naar Microsoft 2008 server en Vmware.
Mijn hardware kan geen ESXi 3,5, 4 of hoger aan, dus hieraan moet gesleuteld worden.

Eén belangrijke vraag, waarop ik het echte antwoord niet kan terug vinden:
Kan ik onder ESX4 of hoger en het liefst Vsphere 5 free, een Windows 7 64 bit werkstation installeren, waarmee ik via HDMI deze kan laten verbinden met mijn TV, zodat ik films etc kan kijken? Passthrough?
Dit werkstation zal ik dan ook gebruiken als download machine.
Anders heeft voor mij extra aankopen weinig zin en zal ik bij de huidige opzet moeten blijven, tenzij er andere opties mogelijk zijn.

Ik ben al op zoek naar geschikte hardware met VT-d, VT-x, vPRO etc. Inlezen in de huidige materie kost me al een berg tijd, zeker omdat ik niet dagelijks met deze tak van sport bezig ben.
Ik zag al wat leuke processoren met een max TDP van 45 W (liefst lager) en moederbordjes met minimaal 16GB mem, dus dat zal het probleem niet worden.
Aangezien de PC toch vaak idle staat, is zuinigheid wel iets waar ik redelijk rekening mee ga houden. Snelheid van processor is minder van belang, lezen en schrijven van harde schijven wel.
Een SSD-schijf voor Vsphere & VM's en de datastore grotere 7200 toeren schijven met 1 en 2 TB lijkt mij een beste optie?
Natuurlijk neem ik een aparte RAID controller voor raid 5 of 10 voor de belangrijke privé data.

De overige virtuele servers blijven gelijk zoals ze nu zijn, alleen zal freenas gaan verdwijnen en ik een lokale store wil nemen zodat ik op mijn laptop alle shares kan benaderen.
Wellicht dat de SBS server 2003 naar 2008 of 2011 SBS getild gaat worden in de toekomst.

De huidige schijven en Intel MT NIC blijf ik behouden.

[Pantagruel]

FireDrunk schreef op dinsdag 17 juli 2012 @ 20:32:
Mja, dat denk ik ook. Wil je stabiel en goed supported: Ga voor een LSI2008 based controller.
Wil je het iets goedkoper kan je nog voor de iets oudere LSI1068 gaan.

Nóg goedkoper wil je niet.

Bevestigd, IT geflashde IBM M1015 was probleemloos door te steken naar de VM en ZFSguru importeerde zonder mekkeren de aanwezige pool (X9SCM-F moederbord voor de duidelijkheid).
Wel wat hw.pci opties zetten anders resulteert het in een eindeloze wachtende mpt2 driver lus (zie deze link).

[ Voor 16% gewijzigd door Pantagruel op 18-07-2012 00:11 ]

[Goudduif]

FireDrunk schreef op dinsdag 17 juli 2012 @ 20:32:
Mja, dat denk ik ook. Wil je stabiel en goed supported: Ga voor een LSI2008 based controller.
Wil je het iets goedkoper kan je nog voor de iets oudere LSI1068 gaan.

Nóg goedkoper wil je niet.

Als ik het goed hebt, is dit een hardware matige Raid controller, voor wat betreft het creëren van een zuinige server natuurlijk wel mooi, maar als ik in ESXi een ZFS NAS wil plaatsen, dan is dit toch niet de juiste controller?

Dan vraag ik mij af, kan ik niet beter een goedkope controller plaatsen, met een kleine SSD. Zodat ik daar mijn NAS VM op kan instaleren. Zodat ik mijn onboard SATA connectors allemaal aan mijn NAS toewijst.

Of denk ik nu te moeilijk, en kan ik net zo goed mijn schijven via RDP aan mijn NAS toe wijzen? Dit is officieel wel niet ondersteund word, maar via de vmkfstools -r eenvoudig te realiseren. Dan blijft ik nog wel met de vraag zitten of de hardisken dan nog spin down gaan, en de smart tools ook werken?

Het moet tenslotte toch een zuinige server blijven.

[HyperBart]

magic_japie schreef op dinsdag 17 juli 2012 @ 22:21:
Eén belangrijke vraag, waarop ik het echte antwoord niet kan terug vinden:
Kan ik onder ESX4 of hoger en het liefst Vsphere 5 free, een Windows 7 64 bit werkstation installeren, waarmee ik via HDMI deze kan laten verbinden met mijn TV, zodat ik films etc kan kijken? Passthrough?

Ja, dat kan, door via VT-d je grafische kaart 1:1 door te geven aan een VM. MAAR! Je gaat wel heel hard je best moeten doen om een setup te vinden die dat kan, er zijn er enkele, en ik heb voor een collega een setup die hij naar alle tevredenheid draait met zo 2 (!) VM's met grafische kaarten er aan gemapt.

Het probleem is dat niet ieder moederbord + grafische kaart het doormappen fijn vindt .

[HyperBart]

Goudduif schreef op woensdag 18 juli 2012 @ 06:52:
[...]


Als ik het goed hebt, is dit een hardware matige Raid controller, voor wat betreft het creëren van een zuinige server natuurlijk wel mooi, maar als ik in ESXi een ZFS NAS wil plaatsen, dan is dit toch niet de juiste controller?

Euh... Net wel, een aparte controller kunnen doorgeven aan een ZFS VM is net het beste...

Dan vraag ik mij af, kan ik niet beter een goedkope controller plaatsen, met een kleine SSD. Zodat ik daar mijn NAS VM op kan instaleren. Zodat ik mijn onboard SATA connectors allemaal aan mijn NAS toewijst.

Ja, of je nu je onboard SATA chipset doorgeeft aan de VM of een insteekkaartje, ligt maar net aan wat het beste ondersteund is...

Of denk ik nu te moeilijk, en kan ik net zo goed mijn schijven via RDP aan mijn NAS toe wijzen? Dit is officieel wel niet ondersteund word, maar via de vmkfstools -r eenvoudig te realiseren. Dan blijft ik nog wel met de vraag zitten of de hardisken dan nog spin down gaan, en de smart tools ook werken?

Euuh? Remote Desktop Protocol?
[quote]

[Pantagruel]

HyperBart schreef op woensdag 18 juli 2012 @ 08:34:

Goudduif schreef op woensdag 18 juli 2012 @ 06:52:
[...]


Als ik het goed hebt, is dit een hardware matige Raid controller, voor wat betreft het creëren van een zuinige server natuurlijk wel mooi, maar als ik in ESXi een ZFS NAS wil plaatsen, dan is dit toch niet de juiste controller?

Euh... Net wel, een aparte controller kunnen doorgeven aan een ZFS VM is net het beste...

SAS controllers als de M1015 en de LSI 9211-8i zijn inderdaad hardware RAID controllers (ze doen RAID 0,1 en 10), voordeel is wel dat er IT mode firmware beschikbaar is en je daarmee deze relatief goedkope controller in een 'domme' goed ondersteunde SATA controller veranderd. ZFS kan t beste overweg met een normale SATA controller (txt en uitleg van hoe wat en waarom is in t ZFS topic te vinden),

Dan vraag ik mij af, kan ik niet beter een goedkope controller plaatsen, met een kleine SSD. Zodat ik daar mijn NAS VM op kan instaleren. Zodat ik mijn onboard SATA connectors allemaal aan mijn NAS toewijst.

Ja, of je nu je onboard SATA chipset doorgeeft aan de VM of een insteekkaartje, ligt maar net aan wat het beste ondersteund is...

Is inderdaad een mogelijkheid, moet die goedkope SATA wel willen werken mbt ESXi en je VM O, Google is je vriend.

Of denk ik nu te moeilijk, en kan ik net zo goed mijn schijven via RDP aan mijn NAS toe wijzen? Dit is officieel wel niet ondersteund word, maar via de vmkfstools -r eenvoudig te realiseren. Dan blijft ik nog wel met de vraag zitten of de hardisken dan nog spin down gaan, en de smart tools ook werken?

Euuh? Remote Desktop Protocol?

RDM

Geen idee of spin down werkt en SMART data is uit te lezen, ff kijken.

[Goudduif]

HyperBart schreef op woensdag 18 juli 2012 @ 08:34:
[...]

Euuh? Remote Desktop Protocol?
[quote]

Ja, Ja, en jij wist niet dat ik daar Raw Device Mapping mee bedoelde?

Als ik dit via de vmkfstools -r methode doe, verlies ik dan veel performance?
En werkt de smart functi dan nog wel?

Als ik namelijk weer een extra kaart gaat gebruiken gaat volgens mij ook het verbruik weer omhoog!

[NIK0]

performance en zuinig is pas haalbaar als we 2TB Ssd krijgen voor 70 euro tot die tijd is het behelpen :-)
ik had met mijn machine met een i5 en een dualnic + sata kaart een idle verbruik van 45watt valt wel mee vond ik.

[Pantagruel]

Goudduif schreef op woensdag 18 juli 2012 @ 09:43:
[...]


Ja, Ja, en jij wist niet dat ik daar Raw Device Mapping mee bedoelde?

Als ik dit via de vmkfstools -r methode doe, verlies ik dan veel performance?

Waarschijnlijk een fractie, de WD 400 GB SATA disk die ik via RDM heb doorgegeven doet in de quick bench van ZFSguru tussen de 75 en de 50 MB/sec.

ZFSguru benchmark van de ZFS pool bestaande uit 1 RDM disk en 4 disks aan een passthrough controller:

En werkt de smart functi dan nog wel?

Ja, schaamteloze plug van t ZFS topic

Als ik namelijk weer een extra kaart gaat gebruiken gaat volgens mij ook het verbruik weer omhoog!

Yep, een M1015 bijv. gebruikt vlgs de datasheet zon ±9W

[ Voor 10% gewijzigd door Pantagruel op 18-07-2012 11:33 . Reden: benchmark ]

[Zenix]

Pantagruel schreef op woensdag 18 juli 2012 @ 11:13:
[...]

Ja, schaamteloze plug van t ZFS topic

Hoe heb jij smart aan de praat gekregen? Want het werkt bij mij niet
Gebruik een paravirtual controller in combinatie met mijn RDM schijven.

[Kavaa]

Gebruik server 2008 als nas voor me data in een vm maar kan ook geen smart doen.
8 disken doorgegeven via RDM

[Pantagruel]

Zenix schreef op woensdag 18 juli 2012 @ 11:26:
[...]


Hoe heb jij smart aan de praat gekregen? Want het werkt bij mij niet
Gebruik een paravirtual controller in combinatie met mijn RDM schijven.

Niks speciaals gedaan, werkte vanuit de 'doos'. Wellicht ten overvloede maar de gebruikte hardware is ESXi 'proof' (X9SCM-F, Xeon i3), VT-d werkt dus.

[magic_japie]

HyperBart schreef op woensdag 18 juli 2012 @ 08:31:
[...]

Ja, dat kan, door via VT-d je grafische kaart 1:1 door te geven aan een VM. MAAR! Je gaat wel heel hard je best moeten doen om een setup te vinden die dat kan, er zijn er enkele, en ik heb voor een collega een setup die hij naar alle tevredenheid draait met zo 2 (!) VM's met grafische kaarten er aan gemapt.

Het probleem is dat niet ieder moederbord + grafische kaart het doormappen fijn vindt .

Heb jij een voorbeeld van geschikte hardware? Of aanwijzingen waarnaar ik moet zoeken mbt eisen?

[Zenix]

Mijn ESXi bak is ook klaar
wenslijst: sandybridgeserver

vSphere:


APC Smart-UPS 750VA



Je kan zien aan de load hoeveel hij ongeveer gebruikt aangezien de UPS 500W kan leveren zit hij ongeveer rond de 50W met de UPS erbij.

VM's

• 2008 R2, 2vCPU, 4GB ( downloadbak, en 3x2TB aangesloten via RDM )
• Game, 2vCPU, 4GB ( 10 wolfenstein enemy territory servers, 2 CoD4 en Teamspeak 3 server(s) met 512 slots )
• vCenter 1vCPU, 3GB ( monitoring,scheduled tasks etc )
• OpenVPN, 1vCPU, 256MB
• VDR(VMware data recovery ) 1vCPU, 4GB ( gaat alleen in de nacht aan voor backups )

De performance is prima en de i3 2100 heeft er totaal geen moeite mee, savonds zitten er zo n 30~50 mensen op mijn gameservers en teamspeak 3 servers.
Op dit moment is er maar 1 NIC aangesloten maar ik ga mijn onboard realtek ook binnenkort gebruiken want ga via een PVC buis die hier ligt naast deze kamer een kabel nog aanleggen en hem door de muur doen want 1 NIC is eigenlijk te weinig. Server hangt aan een Cisco SG200-08 switch en daarvoor een Asus N66U router op een Glasvezel 100/100Mb verbinding.

[ Voor 4% gewijzigd door Zenix op 18-07-2012 21:08 ]

[HyperBart]

Of kijk gewoon bij Energy Usage?

[Zenix]

HyperBart schreef op woensdag 18 juli 2012 @ 21:11:
Of kijk gewoon bij Energy Usage?

Kan ik nog niet zoveel mee aangezien die nog maar kort aan staat.
Maar volgens Energy Usage heeft die 1.75 kWh gebruikt sinds gisteren.

Trouwens mijn UPS sluit de ESXi host ook prima af als er nog maar 10min runtime over is.
Daarvoor heb ik deze tutorial gevolgd http://www.pjb.cc/?p=34 en dat werkt perfect.
Enigste wat ik heb veranderd is bij plink root@ip ipv esxihost en gebruik powerchute inplaats van apcupsd.

[ Voor 32% gewijzigd door Zenix op 18-07-2012 21:49 ]

[Kavaa]

Zenix schreef op woensdag 18 juli 2012 @ 21:40:
[...]


Kan ik nog niet zoveel mee aangezien die nog maar kort aan staat.
Maar volgens Energy Usage heeft die 1.75 kWh gebruikt sinds gisteren.

Trouwens mijn UPS sluit de ESXi host ook prima af als er nog maar 10min runtime over is.
Daarvoor heb ik deze tutorial gevolgd http://www.pjb.cc/?p=34 en dat werkt perfect.
Enigste wat ik heb veranderd is bij plink root@ip ipv esxihost en gebruik powerchute inplaats van apcupsd.

Hie heb je die powerchute zo aan het werk gekregen heb zelf een back ups 1500 maar heb alleen de powerchute pro aan het werk gekregen en die aan een windows 7 gehangen dev bakje en die wordt na 8 min na stroom uitval afgesloten maar de esxi bak dus niet... Terwijl hij makkelijk 30 min zonder stroom kan..

[Zenix]

djkavaa schreef op woensdag 18 juli 2012 @ 21:52:
[...]


Hie heb je die powerchute zo aan het werk gekregen heb zelf een back ups 1500 maar heb alleen de powerchute pro aan het werk gekregen en die aan een windows 7 gehangen dev bakje en die wordt na 8 min na stroom uitval afgesloten maar de esxi bak dus niet... Terwijl hij makkelijk 30 min zonder stroom kan..

Heb je hetzelfde script gebruikt en die op de datastore gezet zoals in die tutorial staat? Ook het script handmatig getest? Ik heb die powerchute aan de praat gekregen omdat het een Smart-UPS en dus business editie kan gebruiken. Zie hier mijn instellingen in powerchute http://hyperion-gaming.net/files/esxi/ups2.png
De .cmd file die start mijn eigen bat file op @START "" "C:\putty\shutdown.bat" zo is dat ook aangegeven door APC.

[ Voor 3% gewijzigd door Zenix op 18-07-2012 22:31 ]

[Kavaa]

Nee heb er verder nog niks mee gedaan als alleen aan windows 7 gehangen die van mij is ook een smart als het goed is.

Hierbij een link van me ups http://www.apc.com/resour..._sku=BR1500LCD&tab=models

Heb er verder eerlijk gezegd nog geen aandacht aan besteed.
Maarr ik neem aan dat jij er dan een Nic kaart in hebt zitten.

[Zenix]

djkavaa schreef op woensdag 18 juli 2012 @ 22:56:
Nee heb er verder nog niks mee gedaan als alleen aan windows 7 gehangen die van mij is ook een smart als het goed is.

Hierbij een link van me ups http://www.apc.com/resour..._sku=BR1500LCD&tab=models

Heb er verder eerlijk gezegd nog geen aandacht aan besteed.
Maarr ik neem aan dat jij er dan een Nic kaart in hebt zitten.

Nee, gewoon via USB gegeven aan de VM.
Hier komt het kort op neer

1. Download powershutdown.sh http://www.blasterspike.i...-usb-ups-monitoring-tool/ pas hem aan volgens dezelfde tutorial zodat er een logfile komt op de datastore.
2. Upload script met datastore browser
3. Zorg dat de powershutdown.sh goeie rechten heeft, login via SSH met putty en connect naar ESXi server ga naar de dir waar script staat bijv cd /vmfs/volumes/datastore/ups en doe chmod +x powershutdown.sh
4. Zorg dat je plink hebt ( zit bij putty )
5. Maak een .bat file in Windows en zet dit erin "C:\Putty\plink.exe" root@ipadress -pw wachtwoord "nohup ./vmfs/volumes/datastore/ups/powershutdown.sh &" exit /b 99
6. Plink maakt dan een connectie via SSH naar de ESXi host en draait het script waardoor je server netjes wordt afgesloten.
7. Stel in bij APC Powerchute of apcupsd als je nog 10min runtime remaining hebt bat file gedraaid wordt.
Als de personal editie dat niet ondersteund gratis apcupsd gebruiken werkt net zo goed.

Voor de duidelijkheid een Back-UPS is geen Smart-UPS dit is die van mij http://www.apc.com/resour...ndex.cfm?base_sku=sua750i
Grootste verschil zit dat een Smart-UPS een mooie Sinusgolf geeft en een Back-UPS Stapsgewijze benadering naar een sinusgolf. Een mooie sinusgolf is een stuk beter voor de voeding, sommige voedingen werken ook niet goed met stapsgewijze benadering naar een sinusgolf en het is sowieso niet verstandig om dan te lang op de batterij te draaien dat is de grootste reden dat ik perse een Smart-UPS wou. Komt er op neer dat Back-UPS consumenten product is en de Smart-UPS een server product.

[ Voor 30% gewijzigd door Zenix op 18-07-2012 23:42 ]

[Kavaa]

Ik kon deze goedkoop krijgen vandaarik zit nu nog in ibiza maar ik ga er even mee spelen bedankt

[Sven_Vdb]

Het is misschien een domme vraag. Maar hoe gebruiken de meeste hier hun raid controller.
Ik zou graag ter beveiliging van mijn data ( buiten backup ) in mijn toekomstige ESXI server, mijn HDD's in raid draaien.

Je kan de raid controller doorgeven aan een host? Maar dan kan je de HDD's enkel gebruiken in die host. Dit is ook niet echt handig. Als je verschillende host gaat draaien
Kan je de HDD's in raid ook doorgeven aan je ESXI server zelf. En dat je daarop gewoon je host kan plaatsen?
Of wordt het normaal op nog een andere manier toegepast?

[Microkid]

Normaliter maak je met je raid controller en disks een raid set, waarop je de VMFS volumes aanmaakt. Daarop zet je VM's en VMDK bestanden, dus ook eventuele grote VMDK's voor fileservers.
Het doorgeven van een raid controller zal je in zakelijke omgevingen amper tegenkomen, dat is iets dat je voornamelijk in homebrew whitebox omgevingen thuiskomt (en ik begrijp zelf nog steeds niet waarom. Maak gewoon gebruik van de onderliggende raid hardwaren en VMFS, dat werkt prima).

[sloth]

sloth schreef op maandag 16 juli 2012 @ 16:17:
Hoe maken jullie backups van je guests?

Op dit moment heb ik een datastore op een oude hdd staan die ik niet meer vertrouw.
Daarom maak ik geregeld een backup van de guests met Veeam backup free edition.

Is het echt slechts een kwestie van een nieuwe disk te plaatsen, deze als datastore beschikbaar maken en vervolgens je gebackupte vm's te restoren? Heeft iemand hier ervaring mee?

Niemand?

[Sven_Vdb]

Microkid schreef op donderdag 19 juli 2012 @ 08:10:
Normaliter maak je met je raid controller en disks een raid set, waarop je de VMFS volumes aanmaakt. Daarop zet je VM's en VMDK bestanden, dus ook eventuele grote VMDK's voor fileservers.
Het doorgeven van een raid controller zal je in zakelijke omgevingen amper tegenkomen, dat is iets dat je voornamelijk in homebrew whitebox omgevingen thuiskomt (en ik begrijp zelf nog steeds niet waarom. Maak gewoon gebruik van de onderliggende raid hardwaren en VMFS, dat werkt prima).

Dus als ik het goed begrijp. Ik heb mijn raid controller en een paar 3 TB schijven om in RAID 5 of 6 te draaien.
Na de volledige configuratie op te zetten en ESXI op een USB stick te "installeren". Dan kan ik de RAID configureren in ESXI server? Of op een andere plaats
Wanneer dit gedaan is heb ik eigenlijk 1 VOLUME waarop ik dan mijn hosts kan installeren?

Ik begrijp ook niet waarom mensen dit maar aan 1 host zouden willen doorgeven. Loop je volgens mij toch snel aan tegen schijfruimte te veel in de ene host, en in andere host mss te weinig.

Als je 1 VOLUME hebt, kan je er voor zorgen dat je grote van de schijf gewoon mee kan stijgen.

[HyperBart]

Die RAID config je vaak in een apart BIOS voor het booten, daar kan je dan bepalen welke RAID sets je aan maakt enz...

ESXi (op voorwaarde dat de controller wordt ondersteund) ziet dat inderdaad dan als één LUN waarop je dan datastore kan aanmaken, op die datastore komen dan weer je VMDK's die je aan VM's hangt...

Waarom sommige mensen (waaronder ik) in specifieke gevallen een controller doorgeven aan een VM is omdat we ZFS gebruiken, ZFS heeft graag directe volledige toegang tot disks omdat het een heel robuust mechanisme wat vanaf het begin is opgezet om heel veilig te zijn... Maar daarvoor moet ie wel zo direct mogelijk met zijn disks kunnen praten... Steek er 2 SSD's bij en je hebt ongelooflijke grote performance-winsten... Wij presenteren dan die storage terug aan onze ESXi via de vNIC en we kunnen dan weer verder...

Aangezien de meesten van ons toch maar één ESXi-host hebben staan vervalt de eis van het feit dat de storage voor alle hosts (waarbij aantal hosts > 1) moet zijn...

[ Voor 9% gewijzigd door HyperBart op 19-07-2012 10:24 ]

[Sven_Vdb]

HyperBart schreef op donderdag 19 juli 2012 @ 10:23:
Die RAID config je vaak in een apart BIOS voor het booten, daar kan je dan bepalen welke RAID sets je aan maakt enz...

ESXi (op voorwaarde dat de controller wordt ondersteund) ziet dat inderdaad dan als één LUN waarop je dan datastore kan aanmaken, op die datastore komen dan weer je VMDK's die je aan VM's hangt...

Waarom sommige mensen (waaronder ik) in specifieke gevallen een controller doorgeven aan een VM is omdat we ZFS gebruiken, ZFS heeft graag directe volledige toegang tot disks omdat het een heel robuust mechanisme wat vanaf het begin is opgezet om heel veilig te zijn... Maar daarvoor moet ie wel zo direct mogelijk met zijn disks kunnen praten... Steek er 2 SSD's bij en je hebt ongelooflijke grote performance-winsten... Wij presenteren dan die storage terug aan onze ESXi via de vNIC en we kunnen dan weer verder...

Aangezien de meesten van ons toch maar één ESXi-host hebben staan vervalt de eis van het feit dat de storage voor alle hosts (waarbij aantal hosts > 1) moet zijn...

Wat bedoel je juist met je laatste zin? Die is me niet helemaal duidelijk.

Welke raid controller zou je dan aanraden? adaptec, highpoint, lsi, .. ?
Heb nog nooit met raid controllers gewerkt, dus kan ook niet vergelijken. Alleen lees ik wel dat adaptec betere kwaliteit is dan highpoint. Of sla ik de bal hier mis?

[synoniem]

sloth schreef op donderdag 19 juli 2012 @ 08:27:
[...]


Niemand?

Niet helemaal hetzelfde maar ik heb een stel gebackupte VM's met behulp van VMware Standalone Converter verhuist naar een nieuwe server (van 4.1 naar 5.0) en dat werkte prima dus ik zou niet weten waarom dat in jouw geval niet zou kunnen.

[Kavaa]

Misschien omdat die maar een server heeft?

[ppl]

HyperBart schreef op donderdag 19 juli 2012 @ 10:23:
Waarom sommige mensen (waaronder ik) in specifieke gevallen een controller doorgeven aan een VM is omdat we ZFS gebruiken, ZFS heeft graag directe volledige toegang tot disks omdat het een heel robuust mechanisme wat vanaf het begin is opgezet om heel veilig te zijn... Maar daarvoor moet ie wel zo direct mogelijk met zijn disks kunnen praten... Steek er 2 SSD's bij en je hebt ongelooflijke grote performance-winsten... Wij presenteren dan die storage terug aan onze ESXi via de vNIC en we kunnen dan weer verder...

Dan zou ik weer geen RAID controller gebruiken maar een doodnormale SATA/SAS controller want het hele RAID gebeuren wil je dan graag helemaal door ZFS zelf laten afhandelen (daar is dat filesystem ook goed in).

Dit zou ook prima kunnen in het bedrijfsleven omdat je hiermee directe aanspraak van de hardware hebt wat beter voor bijv. de performance is plus dat je in geval van ZFS ook over alle features kunt beschikken. Het komt alleen niet zo veel in het bedrijfsleven voor omdat men dan al snel een dedicated fileserver hiervoor zullen inrichten of alles compleet via een vm doen (je kunt het op diverse manieren doen). Dit soort setups zie je vaker bij de hobbyisten omdat dit een goede prijs-performance verhouding heeft. Je hebt maar 1 machine nodig en je hebt de beste performance.

Wat echter niet helemaal verstandig is en wat velen hier toch doen is een fileserver/NAS via ESXi opzetten en deze weer terug presenteren aan ESXi als dataopslag voor de virtuele machines (en bijbehorende virtuele disks). Als er iets mis gaat heb je een aardige klus om alles weer werkend te krijgen omdat het dan ook echt goed stuk gaat. Je kunt dan beter een NAS van bijv. Synology aanschaffen en dat gebruiken (met VAAI aan heb je weer wat performancewinst bij het verplaatsen van data omdat je dit nu direct op de NAS laat doen ipv via de ESXi host).

Edit: misschien handig om uit te leggen wat ik met mijn ESXi doos van plan ben, wellicht dat het wat meer duidelijkheid verschaft waarom een aparte controller handig kan zijn:
- ESXi draait hier vanaf een microsd kaartje die in een usb adaptertje zit (het kan prima, performance is ook prima en aangezien het hier toch lag weg te stoffen...).
- De datastore voor de vm's staat op een Samsung 830 512GB ssd vanwege de snelheid (latency, iops).
- De datastore voor dingen als de iso files staat op een 80GB laptopschijfje die ik nog had liggen; iso files op ssd neemt alleen maar ruimte in beslag, je hebt er verder weinig voordeel aan.

Dat laatste geldt ook voor een fileserver/NAS. Die ssd is leuk maar de data is groot en heeft niet zoveel baat bij een ssd dus gewone schijven it is. Die kan ik weliswaar naast de rest doen, daar een datastore van maken en daar alleen de vmdk van de fileserver/NAS opzetten maar dat heeft een aantal nadelen. Ik gebruik dat ESXi hoofdzakelijk om te prutsen, als homelab dus, en 1 van de dingen waarmee ik graag wil prutsen is ZFS. Dan wil je juist direct de hardware aanspreken dus ga ik voor het doorgeven van een SATA controller aan een vm. De performance zal dan beter zijn dan wanneer je met dingen als VMDK's en RDM gaat werken. De reden om voor ZFS te gaan is vrij simpel: het fs biedt enorm veel mogelijkheden voor veilige dataopslag (als in integriteit; data raakt niet corrupt; dus niet als in het hebben van een backup!) en uitbreiden van je opslag. Zo'n uitbreidingsmogelijkheid is bijv. het gebruik van een ssd om de performance op te krikken. Dit is iets wat je niet kunt doen met VMFS (het filesystem wat door ESXi wordt gebruikt).

Waarom dan niet een aparte machine? Zie topic title Het gaat om een zuinige ESXi server en die zuinigheid wil ik eigenlijk verder doortrekken. Ik heb dan liever 1 machine die optimaal wordt ingezet voor diverse taken en dat is nou juist wat ESXi toelaat. Ik heb dadelijk 1 fysieke server die heel mijn homelab omvat en bijgevolg dus ook maar het energieverbruik van die ene fysieke server.

[ Voor 42% gewijzigd door ppl op 19-07-2012 13:46 ]

[HyperBart]

ppl schreef op donderdag 19 juli 2012 @ 13:09:
[...]

Dan zou ik weer geen RAID controller gebruiken maar een doodnormale SATA/SAS controller want het hele RAID gebeuren wil je dan graag helemaal door ZFS zelf laten afhandelen (daar is dat filesystem ook goed in).

Ik heb toch ook alleen maar gesproken over een controller, geen RAID-controller? Ik weet dat het lompe SATA/SAS adapters moeten zijn, maar je springt iets te snel vooruit :

ZFS heeft graag directe volledige toegang tot disks omdat het een heel robuust mechanisme wat vanaf het begin is opgezet om heel veilig te zijn... Maar daarvoor moet ie wel zo direct mogelijk met zijn disks kunnen praten...

Dit zou ook prima kunnen in het bedrijfsleven omdat je hiermee directe aanspraak van de hardware hebt wat beter voor bijv. de performance is plus dat je in geval van ZFS ook over alle features kunt beschikken. Het komt alleen niet zo veel in het bedrijfsleven voor omdat men dan al snel een dedicated fileserver hiervoor zullen inrichten of alles compleet via een vm doen (je kunt het op diverse manieren doen). Dit soort setups zie je vaker bij de hobbyisten omdat dit een goede prijs-performance verhouding heeft. Je hebt maar 1 machine nodig en je hebt de beste performance.

Wat ik dus zei...

Wat echter niet helemaal verstandig is en wat velen hier toch doen is een fileserver/NAS via ESXi opzetten en deze weer terug presenteren aan ESXi als dataopslag voor de virtuele machines (en bijbehorende virtuele disks). Als er iets mis gaat heb je een aardige klus om alles weer werkend te krijgen omdat het dan ook echt goed stuk gaat. Je kunt dan beter een NAS van bijv. Synology aanschaffen en dat gebruiken (met VAAI aan heb je weer wat performancewinst bij het verplaatsen van data omdat je dit nu direct op de NAS laat doen ipv via de ESXi host).

Is dat zo ingewikkeld? : Als iets kapot gaat is het bij mij niet meer werk dan mijn ZFS-VM backup op een ESXi te restoren, controller te passtroughen, disken er aan en ik heb weer al mijn VM's? Je hebt gewoon SAN in a box...

sloth schreef op donderdag 19 juli 2012 @ 08:27:
[...]


Niemand?

Veeam of VMware DRE of GhettoVCB backup...

[ Voor 9% gewijzigd door HyperBart op 19-07-2012 13:33 ]

[ppl]

HyperBart schreef op donderdag 19 juli 2012 @ 13:28:
[...]

Ik heb toch ook alleen maar gesproken over een controller, geen RAID-controller? Ik weet dat het lompe SATA/SAS adapters moeten zijn, maar je springt iets te snel vooruit :

Ik zag dat RAID controller diverse malen werd genoemd en het verhaal daar initieel over ging dus vandaar Ik weet dat er een aantal controllers zijn die het goed doen met passthrough. Als je daar zekerheid in wilt en zo'n RAID controller valt onder de controllers die het goed doen met passthrough dan zou ik ook eerder zoiets gebruiken. Maar zolang dat niet nodig is...

Is dat zo ingewikkeld? : Als iets kapot gaat is het bij mij niet meer werk dan mijn ZFS-VM backup op een ESXi te restoren, controller te passtroughen, disken er aan en ik heb weer al mijn VM's? Je hebt gewoon SAN in a box...

Ja, vooral als problemen vaag zijn, zie dan maar iets te achterhalen. Met name wanneer je afhankelijkheden hebt omdat je bepaalde features van ESXi benut (autostart bijv.). Vaak is dan domweg alles opnieuw installeren en koppelen de oplossing maar dat is niet iets waar je snel aan denkt als er bepaalde nasty problemen zijn (stabiliteit, performance, dat soort dingen). Je oplossing is het oude bekende DOS/Windows-grapje wanneer het weer kuren vertoonde: format c: Wel effectief though

[HyperBart]

ppl schreef op donderdag 19 juli 2012 @ 13:51:
[...]
Ja, vooral als problemen vaag zijn, zie dan maar iets te achterhalen. Met name wanneer je afhankelijkheden hebt omdat je bepaalde features van ESXi benut (autostart bijv.). Vaak is dan domweg alles opnieuw installeren en koppelen de oplossing maar dat is niet iets waar je snel aan denkt als er bepaalde nasty problemen zijn (stabiliteit, performance, dat soort dingen). Je oplossing is het oude bekende DOS/Windows-grapje wanneer het weer kuren vertoonde: format c: Wel effectief though

Ik snap je punt, maar bij thuis omgevingen maakt dat imho geen fuck uit, dat een klant een RCA wilt hebben van een probleem: prima. Maar als ik er thuis echt niet uit geraak en ik weet dat er ergens een foutje in mijn "design" is geslopen dan is het een reïnstall... Autostart werkt of werkt niet, dat is niet echt iets waar dingen in de weg kunnen gaan zitten. Performance op je storage laag kan je gaan troubleshooten via je VM OF ESXi OF vCenterof een combinatie tussen 2 of meer...

Plus ESXi is net nog iets sneller gereinstalled dan Windows

[ppl]

Dat kan maar vergeet niet dat jij niet de enige op deze planeet bent. Een ander heeft een ander technisch niveau en geraakt er wellicht niet zo makkelijk uit of heeft geen zin om heel de dag te zoeken.

Wat ik met autostart bedoelde is dat je dat kunt gebruiken om bepaalde vm's in een bepaalde volgorde direct beschikbaar te hebben. Als je daar een bepaalde afhankelijkheid van maakt (en dat is nogal eenvoudig te doen omdat het een hele gemakkelijke en fijne feature is) heeft dat wel bepaalde gevolgen. Vm's waar je afhankelijk van bent en niet opstarten omdat je storage eruit ligt is 1 ding, als je dan ook nog eens zo'n vm weer gebruikt voor authenticatie wordt het al helemaal een drama. Dan kom je nergens meer in.

vCenter is iets wat behoorlijk wat duiten kost. Lijkt mij sterk dat velen hier dat gebruiken. De vSphere Client is eerder hetgeen wat men zal gebruiken en daar kun je een stuk minder mee. Maar ook dat bedoelde ik niet met performance. Als je performance problemen hebt kan het door bepaalde combinaties gebeuren, iets waar men vaak niet bij stilstaat en daardoor ook niet onderzoekt. Ja en dan ben je je het apelazarus aan het zoeken.

Als er 1 ding is die je altijd moet doen: houdt dingen zo simpel mogelijk en ga er niet allerlei lagen bovenop leggen. Het kan problemen veroorzaken en bij vage dingen kun je je echt het apelazarus zoeken. Het is alleen maar werkverschaffing. Pas de complexiteit toe die echt zinnig is en waar je niet zonder kunt maar als het niet nodig is: doe maar niet. Ben je echter net als mij destructief aangelegd en nieuwsgierig wat er gebeurd als je de meest idiote setups creëert dan moet je dit soort dingen nou juist wel doen

[Stefanovic45]

StefanvanGelder schreef op dinsdag 17 juli 2012 @ 18:06:
[...]


De benchmark van mijn Crucial m4 256GB is niet echt om over naar huis te schrijven:

[afbeelding]

Maar deze benmark is ook gedaan vanaf een XP bak die ik al eens van mijn gewone HDD naar de SSD heb verplaatst. De ssd is wel aangesloten op sata 600, maar hij komt nog niet eens in de buurt van sata 300 Ik ga binnenkort wel eens kijken of ik de snelheid nog wat kan opvoeren... De toegewezen ruimte voor de VM zit ook zo goed als vol.

Een verse installatie van Windows 7 benchmarkt toch een stuk beter



Read zou beter mogen, maar ik ben er al wel tevreden over!

[ Voor 3% gewijzigd door Stefanovic45 op 19-07-2012 19:51 ]

[FireDrunk]

IN een VM? Dan heb je niets te klagen volgens mij!
Ik neem aan via de Paravirtual controller?

[Phasis]

Ik kreeg vandaag een USB 2.0 PCI-e x1 kaartje binnen:
StarTech.com interfaceadapter: 5-poort PCI Express USB 2.0 Adapter-kaart

Vervolgens deze via Passthrough aangeboden aan m'n Ubuntu Minimal 12.04 VM

code:

lspci -v

03:00.1 USB controller: NEC Corporation USB (rev 43) (prog-if 10 [OHCI])
        Subsystem: NEC Corporation Hama USB 2.0 CardBus
        Physical Slot: 160
        Flags: bus master, medium devsel, latency 64, IRQ 19
        Memory at d2403000 (32-bit, non-prefetchable) [size=4K]
        Capabilities: <access denied>
        Kernel driver in use: ohci_hcd

03:00.2 USB controller: NEC Corporation USB 2.0 (rev 04) (prog-if 20 [EHCI])
        Subsystem: NEC Corporation USB 2.0
        Physical Slot: 160
        Flags: medium devsel, IRQ 16
        Memory at d2400000 (32-bit, non-prefetchable) [size=256]
        Capabilities: <access denied>

Ik zie ook access denied, dat lijkt me ook niet helemaal in orde.

Als ik nu een USB 2.0 apparaat aansluit, dan wordt deze gezien als een USB 1.1

Heeft iemand enig idee waarom deze card niet gewoon netjes als USB 2.0 gezien word?
Als ik namelijk m'n onboard usb 2.0 controller via passthrough aanbied en m'n usb apparaat er aan koppel is deze gewoon netjes 2.0

[ Voor 6% gewijzigd door Phasis op 19-07-2012 20:38 ]

[ppl]

Al eens gekeken hoe het zit met de support van dit kaartje wat passthrough in ESXi betreft? Dat wil soms nog wel eens wat problemen opleveren.

[Phasis]

ppl schreef op donderdag 19 juli 2012 @ 20:56:
Al eens gekeken hoe het zit met de support van dit kaartje wat passthrough in ESXi betreft? Dat wil soms nog wel eens wat problemen opleveren.

Ja via google vind ik helemaal niks.
Was überhaupt al zoeken naar een pci-e kaartje met 4 usb poorten.

[Sven_Vdb]

Sven_Vdb schreef op donderdag 19 juli 2012 @ 10:32:
[...]


Wat bedoel je juist met je laatste zin? Die is me niet helemaal duidelijk.

Welke raid controller zou je dan aanraden? adaptec, highpoint, lsi, .. ?
Heb nog nooit met raid controllers gewerkt, dus kan ook niet vergelijken. Alleen lees ik wel dat adaptec betere kwaliteit is dan highpoint. Of sla ik de bal hier mis?

Iemand die hierop een antwoord heeft?

[Microkid]

Sven_Vdb schreef op vrijdag 20 juli 2012 @ 07:01:
[...]
Welke raid controller zou je dan aanraden? adaptec, highpoint, lsi, .. ?
Iemand die hierop een antwoord heeft?

Highpoint is meer een merk voor consumenten, Adaptec kom je ook vaak in professionele servers tegen.
Dit uit zich ook in de VMware HCL: Highpoint heeft geen gecertificeerde I/O controllers, Adaptec daarentegen een hele lijst.
Zie ook http://www.vmware.com/res...rch.php?deviceCategory=io

Dus, als je een Adaptec controller neemt is de kans vrij aannemelijk dat het gaat werken, t.o.v,. Highpoint.

[ Voor 7% gewijzigd door Microkid op 20-07-2012 09:38 ]

[Stefanovic45]

FireDrunk schreef op donderdag 19 juli 2012 @ 20:05:
IN een VM? Dan heb je niets te klagen volgens mij!
Ik neem aan via de Paravirtual controller?

In een VM inderdaad. Paravirtual controller? ESXi ziet direct mijn AMD southbridge.

[FireDrunk]

Oh, dat is nog sneller

[Phasis]

Ok ik ben erachter dat het een ESXi probleem is.
Ubuntu 12.04 Minimal ESXi VM

code:

lspci -v
03:00.0 USB controller: NEC Corporation USB (rev 43) (prog-if 10 [OHCI])
    Subsystem: NEC Corporation Hama USB 2.0 CardBus
    Physical Slot: 160
    Flags: bus master, medium devsel, latency 64, IRQ 18
    Memory at d2402000 (32-bit, non-prefetchable) [size=4K]
    Capabilities: <access denied>
    Kernel driver in use: ohci_hcd

03:00.1 USB controller: NEC Corporation USB (rev 43) (prog-if 10 [OHCI])
    Subsystem: NEC Corporation Hama USB 2.0 CardBus
    Physical Slot: 160
    Flags: bus master, medium devsel, latency 64, IRQ 19
    Memory at d2403000 (32-bit, non-prefetchable) [size=4K]
    Capabilities: <access denied>
    Kernel driver in use: ohci_hcd

03:00.2 USB controller: NEC Corporation USB 2.0 (rev 04) (prog-if 20 [EHCI])
    Subsystem: NEC Corporation USB 2.0
    Physical Slot: 160
    Flags: medium devsel, IRQ 16
    Memory at d2400000 (32-bit, non-prefetchable) [size=256]
    Capabilities: <access denied>

Iets wat me hier opvalt is dat 03:00.2 daar staat niet bij 'kernel driver in use: ohci_hcd'.

code:

/opt/bin/mediaclient -e
**** List of Media Hardware Devices ****
device 0: [Sundtek MediaTV Pro (USB 1.1)]...

Ubuntu 12.04 Minimal

code:

lspci -v
04:00.0 USB controller: NEC Corporation USB (rev 43) (prog-if 10 [OHCI])
        Subsystem: NEC Corporation Hama USB 2.0 CardBus
        Flags: bus master, medium devsel, latency 64, IRQ 16
        Memory at fb4ff000 (32-bit, non-prefetchable) [size=4K]
        Capabilities: <access denied>
        Kernel driver in use: ohci_hcd

04:00.1 USB controller: NEC Corporation USB (rev 43) (prog-if 10 [OHCI])
        Subsystem: NEC Corporation Hama USB 2.0 CardBus
        Flags: bus master, medium devsel, latency 64, IRQ 17
        Memory at fb4fe000 (32-bit, non-prefetchable) [size=4K]
        Capabilities: <access denied>
        Kernel driver in use: ohci_hcd

04:00.2 USB controller: NEC Corporation USB 2.0 (rev 04) (prog-if 20 [EHCI])
        Subsystem: NEC Corporation USB 2.0
        Flags: bus master, medium devsel, latency 64, IRQ 18
        Memory at fb4fdc00 (32-bit, non-prefetchable) [size=256]
        Capabilities: <access denied>
        Kernel driver in use: ehci_hcd

Ik zie nog wel staat OHCI bij 04:00.0 en 04:00.1

Ook m'n usb tv tuner ziet deze netjes als usb 2.0

code:

/opt/bin/mediaclient -e
**** List of Media Hardware Devices ****
device 0: [Sundtek MediaTV Pro (USB 2.0)]...

[Phasis]

Voor degene die tegen hetzelfde aanlopen en niet verder komen even een update.

ESXi staat er weer op met een Ubuntu 12.04 VM
Rechtermuisklik op VM > Edit settings
Klik op add...
Add USB Controller
Klik weer op add...
Add USB Device
Vink vmotion support aan.

Als ik op deze wijze USB Devices aan me VM koppel worden ze wel gezien als USB 2.0

code:

device 0: [Sundtek MediaTV Pro (USB 2.0)]
device 1: [Sundtek MediaTV Pro (USB 2.0)]

[Microkid]

Goed. Vanmiddag m'n nieuwe ESXi server in elkaar gezet. En hij werkt prima

Opties in ESXi:
Alles doet het: video, netwerk, sata schijven (3.5" harddisk en een SSD), VMDirecthPath (vt-d), zelfs Intel Speedstep is in te stellen in de Power Management Settings. Je hebt keuze uit "High performance", "Balanced", "Low Power" en "Custom".
De netwerkkaart wordt herkend als een Realtek 8168 (ook al is het in werkelijkheid een 8111F). Ook USB passthrough werkt, een VM kan mijn APC Back-ups netjes zien en monitoren.

Geheugen
In de bios moest ik alleen het geheugen even op 1600 zetten, standaard werd het als 1333 herkend, Maar aangezien ik een 3e generatie Ivy Bridge CPU heb en 1600 geheugen, moest dit natuurlijk op 1600. Wel zo prettig, want het is tenslotte weer 20% sneller dan 1333.

Verbruik
idle zo'n 45W (power management op "Balanced"), en er zit nog een APC Back-Ups tussen, dus netto denk ik zo'n 40W. M'n vorige systeem gebruikte zo'n 65W, de UPS kon daar 29 minuten mee vooruit. Met dit systeem geeft de UPS 43 minuten aan. Ofwel bijna 50% langer. Met 15 actieve VM's en 16GB actief geheugen zo'n 45W.

Verbruik bij andere instellingen:
- High Performance : 55W
- Balanced : 45W
- Low Power : 44W

Aangezien meeste VM's redelijk idle zijn klopt het wel dat het verschil tussen balanced en low niet groot is. Mogelijk ga je pas verschil zien als je meer VM's hebt die flink wat resources gebruiken.

Temperaturen
Weinig over te zeggen, aangezien je ze niet uit kan lezen in ESXi. In de Bios, toen de machine idle was met de cores op 3,4Ghz, schommelden de temperaturen rond de 30 graden, met de fans op silent.

Geluid
Verder is de server erg stil. Ik heb de fan instellingen in de bios op Silent gezet, en de Scythe Mugen 3 hoor je sowieso al amper. De CPU-fan en chassis-fan draaien op ong 700 toeren. Samen met een voeding met een stille 12cm fan en stille Papst 12cm chassis-fan maakt dat je de server amper hoort als de kast dicht is.

Tips
Zorg dat je ESXi helemaal up-to-date is, versie 768111, zodat de Realtek herkend wordt. In oudere versies schijnt dit een issue te zijn. En doe een firmware update van je mobo voordat je begint, in de laatste F6 firmware zitten wat extra opties.

Specs
Voor de geinteresseerden: Het belangrijkste is natuurlijk het moederbord, dat werkt prima. Naar gelang je eigen eisen en wensen kan je er bijv een andere CPU en minder geheugen in zetten.

Specs van de complete set: inventaris: ESXi 5.0 Server

#	Product	Prijs	Subtotaal
1	Scythe Mugen 3 Rev. B	€ 34,95	€ 34,95
1	Intel Core i7 3770 Boxed	€ 265,-	€ 265,-
1	Corsair Vengeance CML32GX3M4A1600C10	€ 197,75	€ 197,75
1	Gigabyte GA-B75M-D3H	€ 72,40	€ 72,40
Bekijk collectie Importeer producten		Totaal	€ 570,10

[ Voor 33% gewijzigd door Microkid op 25-07-2012 07:38 ]

[magic_japie]

Mircrokid,

werkt met deze hardware HDMI passthrough naar een VM?
Ofwel kun jij een VM laten weergeven op je TV via HDMI?

Ik lees namelijk goede reviews over dit mobo.

[Microkid]

magic_japie schreef op vrijdag 20 juli 2012 @ 18:16:
Mircrokid,

werkt met deze hardware HDMI passthrough naar een VM?
Ofwel kun jij een VM laten weergeven op je TV via HDMI?

Ik lees namelijk goede reviews over dit mobo.

Geen idee. Ik kan dat niet testen. VT-d werkt wel, dus mogelijk zou het moeten werken.

[Sven_Vdb]

Microkid schreef op vrijdag 20 juli 2012 @ 09:23:
[...]

Highpoint is meer een merk voor consumenten, Adaptec kom je ook vaak in professionele servers tegen.
Dit uit zich ook in de VMware HCL: Highpoint heeft geen gecertificeerde I/O controllers, Adaptec daarentegen een hele lijst.
Zie ook http://www.vmware.com/res...rch.php?deviceCategory=io

Dus, als je een Adaptec controller neemt is de kans vrij aannemelijk dat het gaat werken, t.o.v,. Highpoint.

Hmm had mij precies een beetje vergist van naam
Het waren de raid controllers van areca. Maar blijkbaar zijn deze al minder geschikt voor esxi volgens de HCL lijst van vmware.

[ppl]

Microkid schreef op vrijdag 20 juli 2012 @ 17:19:
Temperaturen
Weinig over te zeggen, aangezien je ze niet uit kan lezen in ESXi. In de Bios, toen de machine idle was met de cores op 3,4Ghz, schommelden de temperaturen rond de 30 graden, met de fans op silent.

Hmmm, ik kan dat wel met mijn ESXi doos. Heb een Supermicro X9SCM-F met een E3-1260L trouwens. Helaas valt er weinig aan temp af te lezen, alleen de system board temp die op 34 graden zit. Nou maakt dat toch weinig uit want het moederbordje heeft een nogal rare temperatuurweergave van alleen "low", "medium" en "high". Bizarre keuze van Supermicro voor iets wat een server bordje zou moeten zijn. Ik vraag me af wat ESXi zelf dan eigenlijk aan temps kan uitlezen.

[K4F]

ppl schreef op zaterdag 21 juli 2012 @ 00:57:
[...]

Hmmm, ik kan dat wel met mijn ESXi doos. Heb een Supermicro X9SCM-F met een E3-1260L trouwens. Helaas valt er weinig aan temp af te lezen, alleen de system board temp die op 34 graden zit. Nou maakt dat toch weinig uit want het moederbordje heeft een nogal rare temperatuurweergave van alleen "low", "medium" en "high". Bizarre keuze van Supermicro voor iets wat een server bordje zou moeten zijn. Ik vraag me af wat ESXi zelf dan eigenlijk aan temps kan uitlezen.

Doorgaans kan je via ipmi de temperaturen wel 'exact' uitlezen. in esxi met cim.

[Microkid]

Update. Nu alles weer werkt ben ik eens gaan kijken wat nu sneller is. Ik heb de keuze uit:
- HDD (lokale Western Digital RE4 disk in de ESXi server)
- iSCSi (via Synology DS1010+ NAS)
- NFS (via Synology DS1010+ NAS)
- SSD (lokale OCZ Vertex 2E 60GB SSD in de ESXi server).

Test
Om dit te testen heb ik een Windows 7 VM genomen en deze op elk van de 4 storages gezet. Toen HD Tune Pro en Crystal Disk Mark gedraaid. De resultaten zijn in onderstaande grafiek te zien. (let op: 1900x2600 pixels).



Resultaten:
- HDD: sequential aardig snel, random niet vooruit te branden, zeer lage IOPS
- iSCSI: Consistente snelheid, random erg snel, aardige IOPS
- NFS: zeer hoge 4K random performance, random erg snel, goede IOPS
- SSD: zeer hoge lees snelheden, bedroevend lage schrijf snelheid, waanzinnig hoge IOPS

Conclusie:
Sequentieel dataverkeer kom je bij VM's natuurlijk nauwelijks tegen. Het meeste zal random zijn. Daar heb ik dus de nadruk op gelegd. Sata is gewoon bedroevend langzaam, zeker met random IO. Die kunnen we dus afschrijven. Om de een of andere reden is SSD wel erg snel met lezen, maar niet met schrijven. iSCSI en NFS ontlopen elkaar niet veel qua snelheid, maar NFS levert wel meer IOPS op random IO. Bij de storage op de NAS merk je duidelijk de impact van de 3GB cache geheugen die ik in de NAS heb zitten.

Verdere actie
Aangezien ik iSCSI niet zo fijn vind (je reserveert een stuk van je NAS als LUN waar je verder niet meer bij kan) ga ik alle VM's verplaatsen naar NFS. Op de Synology kan je een share gewoon NFS toegang geven en ook gewoon nog via je Windows PC benaderen voor backups e.d. Dit is dus veel flexibeler dan iSCSI. De lokale Sata disk gaat er dan uit, deze is gewoon te langzaam (en dit scheelt weer 5W vermogen ). Bijkomend voordeel: de lokale harddisk is slechts 1 enkele harddisk, de Synology is Raid-5. Dus mocht er een disk defect raken dan ben ik niet meteen al mijn VM's kwijt.
Bijkomend voordeel is dat de ESXi server soepeler gaat werken. Ik merkte nog wel eens dat de server hij zware disk acties wel eens wat minder wilde reageren. Blijkbaar kost het hele HDD verhaal best veel cpu of IO power. NFS loopt via het netwerk en belast dus niet de CPU.
En als Synology nu zo aardig zou zijn om de aangekondige VAAI in DSM 4.1 ook beschikbaar te stellen op de DS1010, DS1210, DS1512 enz zou het nog mooier zijn

[ Voor 19% gewijzigd door Microkid op 21-07-2012 20:09 ]

[HyperBart]

Microkid schreef op zaterdag 21 juli 2012 @ 14:15:
Update. Nu alles weer werkt ben ik eens gaan kijken wat nu sneller is. Ik heb de keuze uit:
- Sata (lokale Western Digital RE4 disk in de ESXi server)
- iSCSi (via Synology DS1010+ NAS)
- NFS (via Synology DS1010+ NAS)
- SSD (lokale OCZ Vertex 2E 60GB SSD in de ESXi server).

Test
Om dit te testen heb ik een Windows 7 VM genomen en deze op elk van de 4 storages gezet. Toen HD Tune Pro en Crystal Disk Mark gedraaid. De resultaten zijn in onderstaande grafiek te zien. (let op: 1900x2600 pixels).

[afbeelding]

Resultaten:
- Sata: sequential aardig snel, random niet vooruit te branden, zeer lage IOPS
- iSCSI: Consistente snelheid, random erg snel, aardige IOPS
- NFS: zeer hoge 4K random performance, random erg snel, goede IOPS
- SSD: zeer hoge lees snelheden, bedroevend lage schrijf snelheid, waanzinnig hoge IOPS


Conclusie:
Sequentieel dataverkeer kom je bij VM's natuurlijk nauwelijks tegen. Het meeste zal random zijn. Daar heb ik dus de nadruk op gelegd. Sata is gewoon bedroevend langzaam, zeker met random IO. Die kunnen we dus afschrijven. Om de een of andere reden is SSD wel erg snel met lezen, maar niet met schrijven. iSCSI en NFS ontlopen elkaar niet veel qua snelheid, maar NFS levert wel meer IOPS op random IO. Bij de storage op de NAS merk je duidelijk de impact van de 3GB cache geheugen die ik in de NAS heb zitten.

Je begrijpt toch dat je testresultaten gigantisch scheef en appelen-met-peren-vergelijken zijn wat betreft vergelijken SATA en alle targets (NFS/iSCSI) die op je NAS staan ? Je vergelijkt één SATA disk met meerdere SATA-disks die in een NAS zitten en waarop je je targets hebt gezet...(?) Lijkt me redelijk logisch dat die NAS dan die ene zielige SATA disk outperformed... Zowel op throughput als IOPS...

Microkid schreef op vrijdag 20 juli 2012 @ 18:19:
[...]

Geen idee. Ik kan dat niet testen. VT-d werkt wel, dus mogelijk zou het moeten werken.

magic_japie schreef op vrijdag 20 juli 2012 @ 18:16:
Mircrokid,

werkt met deze hardware HDMI passthrough naar een VM?
Ofwel kun jij een VM laten weergeven op je TV via HDMI?

Ik lees namelijk goede reviews over dit mobo.

Heren, nogmaals, pas hier HEEL goed mee op, VT-d is absoluut GEEN garantie op werkende gepasstroughe'de grafische kaarten, zoek specifiek op het model van moederbord als dit een harde eis is, er zijn enkele ervaringen uitgewisseld op Hardwareforum en VMware communities. Bezie het als een leuke extra als je een set met andere eisen gaat samenstellen, maar zet je hoop er niet op...

[ Voor 19% gewijzigd door HyperBart op 21-07-2012 16:13 ]

[Microkid]

HyperBart schreef op zaterdag 21 juli 2012 @ 16:05:
[...]
Je begrijpt toch dat je testresultaten gigantisch scheef en appelen-met-peren-vergelijken zijn wat betreft vergelijken SATA en alle targets (NFS/iSCSI) die op je NAS staan? Je vergelijkt een SATA disk met meerdere SATA-disks die in een NAS zitten? Lijkt me redelijk logisch dat die NAS dan die ene zielige SATA disk outperformed... Zowel op troughput als IOPS...

I know . Ik heb me nooit zo druk gemaakt om de storage en throughput. Maar nu ik een nieuw systeem heb gebouwd en een NAS heb staan wilde ik het gewoon eens goed uitzoeken. En ik wilde jullie er info mee geven dat een enkele disk dus weinig zoden aan de dijk zet (tenzij je slechts een klein aantal VM's draait). Ik draai er >20 dus gaat een enkele disk niet meer werken,

[Sleepie]

Microkid schreef op zaterdag 21 juli 2012 @ 16:15:
I know . Ik heb me nooit zo druk gemaakt om de storage en throughput. Maar nu ik een nieuw systeem heb gebouwd en een NAS heb staan wilde ik het gewoon eens goed uitzoeken. En ik wilde jullie er info mee geven dat een enkele disk dus weinig zoden aan de dijk zet (tenzij je slechts een klein aantal VM's draait). Ik draai er >20 dus gaat een enkele disk niet meer werken,

Ik wil mijn huidige Hyper-V server (die naast een ZFSGuru NAS machine staat) om gaan zetten naar ESX, omdat dat toch wat meer mogelijkheden heeft imo.

Nu twijfel ik al een tijdje hoe ik dat ga doen:
- Optie 1: De huidige Hyper-V server blijft bestaan en ik store mijn VMs op de NAS machine
- Optie 2: De huidige Hyper-V machine verdwijnt, ik zet ESX op de NAS machine en virtualiseer de ZFSGuru installatie en biedt dan weer storage aan aan ESX

Nu lees je veel over de tweede optie, op die manier hebben velen op tweakers iets gebouwd
De vraag die ik bij de eerste optie eigenlijk heb is simpelweg hoe groot nu eigenlijk de belasting op je netwerk is in een dergelijke remote-storage oplossing voor ESX. Ik kan daar maar heel weinig over vinden.

Aangezien jij zo'n oplossing hebt, kun jij me misschien wat meer vertellen hierover?

[Dr Pro]

Weet iemand misschien wat er aan de hand is?

Mijn ESXi installatie wilt niet automatisch booten.
Ik heb nu verschillende dingen geprobeerd, zelfs nieuw moederbord, maar het wil maar niet lukken.

Allereerst mijn hardware.
Moederbord oud: Intel Desktop Board DH61WWB3

Nieuw:

#	Product	Prijs	Subtotaal
1	Intel Pentium G840	€ 67,-	€ 67,-
1	be quiet! Pure Power L7 300W	€ 33,95	€ 33,95
1	Transcend 8GB DDR3 Dual/Triple Channel Kit	€ 36,45	€ 36,45
1	Intel Desktop Board DB65AL	€ 82,05	€ 82,05
Bekijk collectie Importeer producten		Totaal	€ 219,45

Nieuw bord heeft als voordeel 4 DDR banken + extra PCI-e 4x slot, waar nu een Intel Gigabit ET Quad Port Server adapter in zit.

ESXi installeer ik via USB drive.

Ik heb ESXi al geprobeerd te installeren op HDD (een 250GB WB Black 2,5") en op een USB stick (No-Name 2GB), echter krijg ik het niet voor elkaar om de ESXi installatie automatisch te laten starten.
Als ik 'F10' (boot menu) druk en ik kies handmatig voor de stick of disk, boot ESXi wel door.

Ik heb alle BIOS settings al doorgenomen, boot priority staat goed (USB disk eerst). Ook heeft Intel een setting waardoor hij eerst van USB gaat proberen te booten en dan pas de rest, ook die staat aan.
Alsnog lukt het niet om ESXi automatisch te laten booten.

De hardware zelf werkt wel allemaal, als ik Windows Server 2008 R2 direct installeer boot hij wel netjes door.

Heeft een van jullie nog ideeen? Ik weet niet meer waar ik het moet zoeken...

[FireDrunk]

Wat gebeurt er precies als hij het NIET doet? Krijg je een knipperende cursor? of gaat hij proberen van het netwerk op te starten?

[Kavaa]

ESXi als eens opnieuw gedownload?

[redfoxert]

Welke ESX versie heb je? Al eens geprobeert te installeren naar USB stick via VMware Workstation? Nieuw VM aanmaken, booten van de ISO en installeren naar de USB stick die je koppelt aan je VM. Zo werkt het bij mij altijd prima.

[Dr Pro]

FireDrunk schreef op zaterdag 21 juli 2012 @ 17:07:
Wat gebeurt er precies als hij het NIET doet? Krijg je een knipperende cursor? of gaat hij proberen van het netwerk op te starten?

Wat hij doet is aangeven dat er geen bootmedia is.
Lijkt dus heel erg op een foute BIOS setting ergens, maar ik kom er maar niet achter waar.

Nieuwe ESXi ISO maakt niets uit, dit is al de derde.
Ook 'terug' naar 4.1 werkt niet.

[FireDrunk]

Heb je alle USB sticks eruit als je probeert van de geinstalleerde disk te booten?

Beste troubleshooting manier:
Reset je BIOS, verwijder ALLE randapparatuur behalve je toetsenbord.
Pak een lege disk (en dan bedoel ik *echt* leeg)
Installeer ESXi. En reboot.

Als het goed is is na je BIOS reset, de bootvolgorde Floppy->CD->HD, dat zou dus moeten werken.

[Dr Pro]

FireDrunk schreef op zaterdag 21 juli 2012 @ 17:16:
Heb je alle USB sticks eruit als je probeert van de geinstalleerde disk te booten?

Beste troubleshooting manier:
Reset je BIOS, verwijder ALLE randapparatuur behalve je toetsenbord.
Pak een lege disk (en dan bedoel ik *echt* leeg)
Installeer ESXi. En reboot.

Als het goed is is na je BIOS reset, de bootvolgorde Floppy->CD->HD, dat zou dus moeten werken.

Al geprobeerd
In de eerste instantie wilde ik ESXi installeren op een 16GB SSD die ik nog over had, dus inderdaad precies gedaan zoals je hierboven beschrijft, maar ook dan niet...
Ik snap er werkelijk waar niets van...

edit:
Dit zijn mijn BIOS instel mogelijkheden:
http://www.intel.com/supp.../desktop/sb/CS-020304.htm

[ Voor 7% gewijzigd door Dr Pro op 21-07-2012 17:47 ]

[FireDrunk]

Klinkt wel heel erg vreemd.. BIOS al eens opnieuw geflashed? Misschien is er iets corrupt...

[Dr Pro]

FireDrunk schreef op zaterdag 21 juli 2012 @ 17:47:
Klinkt wel heel erg vreemd.. BIOS al eens opnieuw geflashed? Misschien is er iets corrupt...

Dat kan ik nog eens proberen.
Wat ik ondertussen ook geprobeerd heb is SATA settings op IDE zetten ipv AHCI, maar dat helpt ook niet
We gereinstalled uiteraard na de setting aangepast te hebben.

[Microkid]

Dr Pro schreef op zaterdag 21 juli 2012 @ 17:04:
Weet iemand misschien wat er aan de hand is?
Heeft een van jullie nog ideeen? Ik weet niet meer waar ik het moet zoeken...

Dat exacte probleem had ik met mijn vorige Intel mobo ook (DQ45CB). Met ESXi 4.1 werkte het prima, met ESXi 5.0 niet. Oorzaak: ESXi maakt een GPT partitietabel aan en daar kan het Intel mobo niet van booten, tenminste niet zonder handmatig ingrijpen (F10 drukken). Blijkbaar is de EFI implementatie van Intel nog niet 100%. Ik heb dit aan Intel gemaild en ze zouden er naar kijken, maar er is nooit een nieuwe bios gekomen.
Mogelijke oplossing: ESXi installeren op een harddisk, of, (dat heb ik ergens gelezen), eerst ESXi 4.0 op je USB stick installeren, want dan heb je een normale MBR partitietabel, en dan upgraden naar 5.0.

[ppl]

K4F schreef op zaterdag 21 juli 2012 @ 01:16:
Doorgaans kan je via ipmi de temperaturen wel 'exact' uitlezen. in esxi met cim.

Dat schijnt bij dit moederbord nogal een hele moeilijke klus te zijn want via IPMI rapporteert hij het namelijk als "low", "medium" en "high" terug. Ik heb al wel ergens gehoord/gelezen dat het iemand via Linux is gelukt om er een exacte temp uit te krijgen. Daar wilde ik nog wel eens een keer naar kijken maar dat heeft een lage prioriteit.

Microkid schreef op zaterdag 21 juli 2012 @ 14:15:
Update. Nu alles weer werkt ben ik eens gaan kijken wat nu sneller is. Ik heb de keuze uit:
- Sata (lokale Western Digital RE4 disk in de ESXi server)
- iSCSi (via Synology DS1010+ NAS)
- NFS (via Synology DS1010+ NAS)
- SSD (lokale OCZ Vertex 2E 60GB SSD in de ESXi server).

Verander alsjeblieft dat sata in hdd want die ssd hangt ook aan de sata waarbij sata er hier verder ook niks mee te maken lijkt te hebben omdat je puur de hdd test. Dat sata staat nu gewoon heel erg raar.

Je uitslag is wel enigszins voorspelbaar als je kijkt naar de specifieke eigenschappen van een hdd, ssd, nfs en iscsi maar het is wel fijn dat we daar nu ook eens wat cijfers van zien qua gebruik als datastore voor de vm's. Misschien dat dit in de TS gezet kan worden (bijv. middels een linkje). Wat op zich ook nog wel leuk is om naar te kijken is de betrouwbaarheid van bijv. nfs vs iscsi. Ik weet dat ze hier op tweakers.net nog wel eens tegen moeilijkheden met beiden zijn aangelopen en toen voor 1 van de 2 hebben gekozen omdat het betrouwbaarder werkte. Je ziet vaak dat dit nfs blijkt te zijn maar daarentegen is het weer iscsi die veel ingezet wordt bij SAN omgevingen en het daar erg goed doet.

Hoeveel Watt is je totale setup (ESXi + storage) eigenlijk?

Sleepie schreef op zaterdag 21 juli 2012 @ 16:22:
De vraag die ik bij de eerste optie eigenlijk heb is simpelweg hoe groot nu eigenlijk de belasting op je netwerk is in een dergelijke remote-storage oplossing voor ESX. Ik kan daar maar heel weinig over vinden.

Er is iemand die de nieuwe firmware van zijn Synology NAS aan een test heeft onderworpen omdat de nieuwe firmware VAAI ondersteund. Hij wil de daar bekijken wat nou het verschil in load en netwerkverkeer zou zijn in geval van VAAI aan vs VAAI uit. Lijkt mij in dit geval wel een aardig artikel om eens door te nemen: Wow! Synology Released DSM 4.1 Beta w/ vSphere VAAI Support!. Bottomline in dat artikel: VAAI wil je erg graag omdat je dit in bepaalde gevallen enorm veel netwerkverkeer kan schelen. Komt omdat dingen dan lokaal worden afgehandeld ipv via de ESXi host.

Btw, let wel op de namen die je gebruikt want ESX is een heel ander product dan ESXi en bestaat inmiddels niet meer. Als je zoekt naar bepaalde problemen/howto's kan dit je op het verkeerde been zetten en kunnen dingen niet werken.

[Microkid]

Inzake VAAI:

The second caveat…and a big one to me…is that VAAI is only enabled on the xs series NAS units. Those of us that use the smaller units in our lab are out of luck. To be honest I’m unhappy with this. I’d really like to see it working on the 5 and 8-bay units, even if it’s unsupported.

Ik zou dan ook graag zien dat Synology VAAI ook voor de kleinere DS systemen gaat bieden, ook al is het niet supported. Voor mijn omgeving zou het vermoedelijk nog steeds prima werken, ook al valt het niet onder de VMware specs.
Wellicht kunnen we het straks wel hacken, wie weet is het gewoon een ini file die je aan moet passen

[ Voor 8% gewijzigd door Microkid op 21-07-2012 20:14 ]

[HyperBart]

Dr Pro schreef op zaterdag 21 juli 2012 @ 17:04:
Weet iemand misschien wat er aan de hand is?

Mijn ESXi installatie wilt niet automatisch booten.
Ik heb nu verschillende dingen geprobeerd, zelfs nieuw moederbord, maar het wil maar niet lukken.

Allereerst mijn hardware.
Moederbord oud: Intel Desktop Board DH61WWB3

Nieuw:

#	Product	Prijs	Subtotaal
1	Intel Pentium G840	€ 67,-	€ 67,-
1	be quiet! Pure Power L7 300W	€ 33,95	€ 33,95
1	Transcend 8GB DDR3 Dual/Triple Channel Kit	€ 36,45	€ 36,45
1	Intel Desktop Board DB65AL	€ 82,05	€ 82,05
Bekijk collectie Importeer producten		Totaal	€ 219,45

Nieuw bord heeft als voordeel 4 DDR banken + extra PCI-e 4x slot, waar nu een Intel Gigabit ET Quad Port Server adapter in zit.

ESXi installeer ik via USB drive.

Ik heb ESXi al geprobeerd te installeren op HDD (een 250GB WB Black 2,5") en op een USB stick (No-Name 2GB), echter krijg ik het niet voor elkaar om de ESXi installatie automatisch te laten starten.
Als ik 'F10' (boot menu) druk en ik kies handmatig voor de stick of disk, boot ESXi wel door.

Ik heb alle BIOS settings al doorgenomen, boot priority staat goed (USB disk eerst). Ook heeft Intel een setting waardoor hij eerst van USB gaat proberen te booten en dan pas de rest, ook die staat aan.
Alsnog lukt het niet om ESXi automatisch te laten booten.

De hardware zelf werkt wel allemaal, als ik Windows Server 2008 R2 direct installeer boot hij wel netjes door.

Heeft een van jullie nog ideeen? Ik weet niet meer waar ik het moet zoeken...

Ik herinner me ergens (en ik vond dat bijzonder goor) dat je wel ergens kan instellen van "ok, boot van alle HDD's van USB eerst) maar dat je dan ook nog eens ergens anders moest aanduiden "boot van mijn HDD's". Heb je dat nagekeken?

Dus ik moest ergens eens instellen:

HDD Boot Order:
USB
HDD1
HDD2

en dan op een andere plaats:

Boot Order General (ofzoiets, ik verzin maar wat, maar het moet duidelijk zijn):
Optical
Network
HDD

Kijk eens of dat bij jou het geval is...?

[FireDrunk]

Je probleem zit hem inderdaad waarschijnlijk in het feit dat je bord niet van GPT kan booten.
Dat is op te lossen door eerst 4.1 te installeren op een lege disk, en daarna te upgraden naar 5 en de optie Preserve VMFS aan te vinken. Dan blijft het geheel een MBR systeem.

[ Voor 48% gewijzigd door FireDrunk op 21-07-2012 21:01 ]

[abusimbal]

Vandaag eindelijk mijn server klaar.

Lian Li PC-V354B kast
Asrock Z77 Extreme4-M moerderbord
Intel Core i7 3770 Boxed CPU
Corsair Dominator CMP32GX3M4X1600C10 32GB RAM
Areca ARC-1882i SAS RAID controller
2x Crucial m4 CT512M4SSD2 512GB SSD
Cooler Master Silent Pro M2 520W PSU
HP NC360T PCI-E 2port network adaptor (412648-B21)
HP v165w 16GB USB stick

ESXi geinstalleerd, dan patch van 12/7 geinstalleerd en daarna driver van Areca.


Zal Areca vragen waarom mijn 1882i als een 1880i herkend word. Logischerwijs omdat er nog geen nieuwe driver is.

Vt-d werkt. Althans heb het kunnen enablen in de BIOS en ESXi zegt dat ik kan instellen.
Ook word de Crucial SSD als een non-SSD herkend.

[ Voor 3% gewijzigd door abusimbal op 21-07-2012 21:11 ]

[ppl]

Microkid schreef op zaterdag 21 juli 2012 @ 20:14:
Inzake VAAI:

[...]

Ik zou dan ook graag zien dat Synology VAAI ook voor de kleinere DS systemen gaat bieden, ook al is het niet supported. Voor mijn omgeving zou het vermoedelijk nog steeds prima werken, ook al valt het niet onder de VMware specs.
Wellicht kunnen we het straks wel hacken, wie weet is het gewoon een ini file die je aan moet passen

Das een goeie inderdaad. Ik denk dat ze het op een aantal modellen uit hebben geschakeld om 2 redenen: ze zijn niet snel genoeg (als in de cpu en hoeveelheid geheugen) en marketingtechnisch (als in, dit is een onderscheidende feature waardoor men juist voor dit model zal gaan). Uiteindelijk stelt het allemaal niet zo heel erg voor want je laat bepaalde zaken gewoon direct door de NAS afhandelen ipv het nog eens via de ESXi host te laten verlopen. Dat is wat niet alleen minder netwerkverkeer oplevert maar ook een betere performance.

[Dr Pro]

Microkid schreef op zaterdag 21 juli 2012 @ 19:06:
[...]

Dat exacte probleem had ik met mijn vorige Intel mobo ook (DQ45CB). Met ESXi 4.1 werkte het prima, met ESXi 5.0 niet. Oorzaak: ESXi maakt een GPT partitietabel aan en daar kan het Intel mobo niet van booten, tenminste niet zonder handmatig ingrijpen (F10 drukken). Blijkbaar is de EFI implementatie van Intel nog niet 100%. Ik heb dit aan Intel gemaild en ze zouden er naar kijken, maar er is nooit een nieuwe bios gekomen.
Mogelijke oplossing: ESXi installeren op een harddisk, of, (dat heb ik ergens gelezen), eerst ESXi 4.0 op je USB stick installeren, want dan heb je een normale MBR partitietabel, en dan upgraden naar 5.0.

Bedankt voor de info!!
Ik ga dat morgen eens proberen.
Wel stom dat dit niet ergens op het net te vinden is (of ik heb weer eens de verkeerde zoektermen gebruikt...)
Maar bedankt!!
Ik laat morgen wel even weten of het gelukt is.

[Sven_Vdb]

Heb nu volgende Raid controller gevonden --> Adaptec RAID 5805
Hebben hier mensen ervaring met deze controller? En dan vooral , wat vinden jullie ervan?

[FireDrunk]

Ik ga er maar even vanuit dat je die uitgezocht hebt omdat je die voor ESXi zelf wil gebruiken, en dus zonder VT-d?

Dan is het een prima controller, wel zou ik er een BBWC (Battery Backed Write Cache) module bij kopen, dat maakt het geheel nog weer wat veiliger (en sneller).

(dan heb ik het dus over de AFM600, Adaptec Battery Module 800 of 800T)

[Microkid]

Nog een update: het blijkt dat de onboard Realtek 8111F (herkend als 8168) geen jumbo frames ondersteunt in ESXi. Als ik dit probeer in te stellen in de vSwitch krijg ik een foutmelding. Ik had nog een Intel Pro//1000 PT liggen en deze erin gezet, deze doet wel jumbo frames. Ik heb zowel de Synology NAS als ESXi nu op MTU 9000 staan. Het resultaat is dat netwerkverkeer naar de NAS nu 106MB/sec rapporteerd volgens ESXi, dus volledige Gbit snelheid. Yeah

edit: net de Intel Pro/1000 PT vervangen door een dual port Intel Pro/1000PT. Daarna 2 aparte vswitches gemaakt, 1 voor de VMkernel poort (vmkernel, management, iSCSI, NFS enz) en 1 vswitch voor VM Network. Connectie naar de NAS gaat nu zelfs op 110898 KBps/sec volgens de vSphere Client

[ Voor 23% gewijzigd door Microkid op 25-07-2012 07:39 ]

[FireDrunk]

Mooie snelheden! Is dat via NFS?

[Sven_Vdb]

FireDrunk schreef op zondag 22 juli 2012 @ 10:51:
Ik ga er maar even vanuit dat je die uitgezocht hebt omdat je die voor ESXi zelf wil gebruiken, en dus zonder VT-d?

Dan is het een prima controller, wel zou ik er een BBWC (Battery Backed Write Cache) module bij kopen, dat maakt het geheel nog weer wat veiliger (en sneller).

(dan heb ik het dus over de AFM600, Adaptec Battery Module 800 of 800T)

Wat bedoel je juist met zonder VT-D?

Ik wil deze via de bios gaan configureren. En daarop alle hosts plaatsen. Esxi installeren op een usb stick.
Dus niet doorgeven aan 1 enkele host op de esxi server.

Wat is het grote voordeel van die BBWC? Niet dat mijn esxi server een of andere productie server is ofzo.

[Microkid]

FireDrunk schreef op zondag 22 juli 2012 @ 11:38:
Mooie snelheden! Is dat via NFS?

Yep.

[FireDrunk]

Sven_Vdb schreef op zondag 22 juli 2012 @ 11:52:
[...]


Wat bedoel je juist met zonder VT-D?

Ik wil deze via de bios gaan configureren. En daarop alle hosts plaatsen. Esxi installeren op een usb stick.
Dus niet doorgeven aan 1 enkele host op de esxi server.

Wat is het grote voordeel van die BBWC? Niet dat mijn esxi server een of andere productie server is ofzo.

Precies wat je zegt. Je kan de controller doorgeven aan een VM via VT-d, als je dat doet, hoeft de controller niet supported te zijn in ESXi, maar je zegt zelf al dat je al je hosts erop wil plaatsen, dan heb je dus geen VT-d nodig. Voordeel hiervan is juist dat je een controller kan kiezen die in je guest OS supported is, en dus niet supported hoeft te zijn onder ESXi.

Voordeel van die BBWC is dat je veilig Write Back caching aan kan zetten, wat de snelheid erg ten goede komt. Nou kan je het vast ook wel aanzetten zonder dat battery pack, maar dan heb je het risico dat je VM's corrupt raken bij stroom failure. Juist bij veel random IO (zoals veel VM's samen genereren) is de kans redelijk aanwezig dat bij power failure 1 van de VM's stuk is. (of op zijn minst een flinke disk check moet doen.)

[Dr Pro]

Microkid schreef op zaterdag 21 juli 2012 @ 19:06:
[...]

Dat exacte probleem had ik met mijn vorige Intel mobo ook (DQ45CB). Met ESXi 4.1 werkte het prima, met ESXi 5.0 niet. Oorzaak: ESXi maakt een GPT partitietabel aan en daar kan het Intel mobo niet van booten, tenminste niet zonder handmatig ingrijpen (F10 drukken). Blijkbaar is de EFI implementatie van Intel nog niet 100%. Ik heb dit aan Intel gemaild en ze zouden er naar kijken, maar er is nooit een nieuwe bios gekomen.
Mogelijke oplossing: ESXi installeren op een harddisk, of, (dat heb ik ergens gelezen), eerst ESXi 4.0 op je USB stick installeren, want dan heb je een normale MBR partitietabel, en dan upgraden naar 5.0.

Dit was het inderdaad!!
Bedankt, ik kan weer vooruit!!

[Nextron]

FireDrunk schreef op zondag 22 juli 2012 @ 12:08:
Je kan de controller doorgeven aan een VM via VT-d, als je dat doet, hoeft de controller niet supported te zijn in ESXi

Toen ik mijn goedkope 2-poorts SATA-controller in mijn server zette werden HDD's in de bios gewoon herkend. ESXi ondersteunde de controller alleen niet en kwam ook niet in de passthrough-lijst te staan.

[abusimbal]

abusimbal schreef op zaterdag 21 juli 2012 @ 21:11:

Zal Areca vragen waarom mijn 1882i als een 1880i herkend word. Logischerwijs omdat er nog geen nieuwe driver is.

Vt-d werkt. Althans heb het kunnen enablen in de BIOS en ESXi zegt dat ik kan instellen.
Ook word de Crucial SSD als een non-SSD herkend.

Hierbij het antwoord van Areca.
1. it is normal that ARC1882 recognzied as ARC1880 in the system because two cards have same device ID.

2. no matter how you configred controller, all connected drives after hardware raid card will reported as a logic device which will not be a SSD device.

[Marmotje]

Ondertussen onderstaand setje draaien. VT-D werkt en alle onderdelen werken out-of-the-box.

Kan van mijn zwager wel een energiemeter lenen, maar die is even op vakantie dus daarover later meer..

#	Product	Prijs	Subtotaal
1	Kingston DataTraveler G3 4GB Zwart	€ 3,92	€ 3,92
1	Hitachi Deskstar 5K3000, 2TB	€ 118,50	€ 118,50
1	Western Digital Caviar Green WD10EADS, 1TB	€ 0,-	€ 0,-
1	Antec Performance One P183	€ 125,50	€ 125,50
1	Intel Core i5 3550 Boxed	€ 182,95	€ 182,95
1	Corsair Builder CX430	€ 0,-	€ 0,-
1	Samsung 830 series 128GB	€ 94,99	€ 94,99
1	Corsair Vengeance CML16GX3M2A1600C10	€ 101,50	€ 101,50
1	MSI B75MA-P45	€ 58,95	€ 58,95
Bekijk collectie Importeer producten		Totaal	€ 686,31

[DDX]

Iemand al ervaring wat de xeon e5's kwa powerusage doen ?
En dan vooral idle aangezien mijn cpu dat merendeel van de dag is.

Heb nu een xeon L5420, maar die clockt niet echt omlaag (minimaal 2ghz van de 2.5ghz) en bespaart 0,0 stroom idle tov van een X3353.
(50W tdp vs 80W tdp)
Naar tdp kijken heeft dus geen nut, en kan nergens minimale power usage vinden.

Eigenlijk altijd lastig om uit te vinden wat een server minimaal gaat verbruiken.
(Heb nu een Dell T300, die volgens ups op 112W idle verbruik zit.)

[ Voor 17% gewijzigd door DDX op 24-07-2012 22:08 ]

[- peter -]

Ik weet niet of dit hier terecht kan, maar ik heb de volgende vraag over ESXi en VT-D.

Ik heb op mijn huidige moederbord: Aus P5E VM-DO met C2D E8400 VT-X en VT-D enabled.
ESXi 5 installeert prima (op usb), en herkent ook netwerkkaart. VT-D wordt ook herkend, echter bij de settings van de passthrough devices staan maar een aantal devices genoemd, HD Audio, PCI wirelesskaart en IDE controller.
Nu mist de onboard SATA controller, en die wilde ik nu juist gebruiken om door te geven aan mijn freeNAS VM.

Mijn vraag is dan ook tweeledig:
- Klopt het dat dit komt doordat mijn moederbord dat blijkbaar niet ondersteund?
- Heeft iemand ervaring met een moederbord voor C2D dat wel de onboard sata controller via VT-D kan doorgeven? Dan moet ik namelijk van moederbord maar gaan wisselen.

[Microkid]

Ik heb het al eerder aangegeven, maar bij deze nogmaals:
VMDirecthPath is experimenteel in ESXi 5. Het kan werken, het kan niet werken. Er zijn slechts een paar certified devices die officieel door VMware met VMDirecthPath worden ondersteund. Juist omdat het zo complex is om een device in real-time door te geven naar een VM. Als er dus devices niet weergegeven worden, of je krijgt fouten (bijv. bij storage systemen) is het handiger om VMDirectPath gewoon te vergeten. Ik heb het zelf een keer geprobeerd met een Dell Perc raid kaart, maar dat was geen succes omdat het niet volledig stabiel bleek te zijn.

Each virtual machine can connect to up to two passthrough devices, which include certain networking and
storage PCI devices. Supported devices include the Intel 82598 10 Gigabit Ethernet controller and Broadcom 57710 and 57711 10 Gigabit Ethernet controllers. VMDirectPath is experimentally supported for storage I/O devices with QLogic QLA25xx 8Gb Fibre Channel, Emulex LPe12000 8Gb Fibre Channel, and LSI 3442e‐R and 3801e (1068 chip based) 3Gb SAS adapters. Search the Hardware Compatibility Guide at
http://www.vmware.com/resources/compatibility/search.php for the current list of supported devices.

Zie ook http://communities.vmware.com/docs/DOC-11089

[ Voor 9% gewijzigd door Microkid op 25-07-2012 07:33 ]

[jadjong]

Dat document gaat over 4.1, in versie 5 kan je 6/8 devices per VM linken. Succesverhalen hangen erg af van de gebruikte chipset. Het blijft nogsteeds een beetje knutselen.

[Nextron]

- peter - schreef op dinsdag 24 juli 2012 @ 22:11:
Nu mist de onboard SATA controller, en die wilde ik nu juist gebruiken om door te geven aan mijn freeNAS VM.

En als antwoord op je derde, niet-gestelde vraag: Je kan VM's niet opslaan op USB. Dus wanneer je de controller werkend krijgt met passthrough heb je geen datastore om Freenas van te booten.

[FireDrunk]

Succesverhalen hangen ook erg af van het apparaat zelf. Mijn 10Gb adapters willen niet werken onder FreeBSD omdat ze verplicht MSI/MSI-X nodig hebben. En FreeBSD kent geen MSI/MSI-X in een virtual machine (dat is een beetje stuk lijkt het). Dus kan je zo'n gecertificeerde 10Gb adapter wel doorgeven, maar onder FreeBSD werkt hij toch echt niet.

[asing]

Even een vreemde ervaring van mij. Ik ben naar aanleiding van een post hierboven eens aan de slag gegaan met een usb stickje en een vm. Ik heb een Windows XP vm gepakt, en hier een usb controller aan gehangen in de settings. Vervolgens heb ik een usb stick in de server gestoken en die werd netjes herkend door vmware waarna ik hem kon koppelen aan mijn vm in de settings. Ik heb dit geprobeerd en het werd zichtbaar. Verder heb ik niet in de vm gekeken. So far so good.

Of er een verband is weet ik niet, maar mijn esx host begon behoorlijk moeilijk te doen. Het eerste wat opviel was dat na het starten van de vSphere client deze lang deed voor het scannen van het netwerk, datastore, cpu load en mem load. Ik vond dat gek maar lette er verder niet zo op.

In mijn 2 fedora vms heb ik een cd speler gedefinieerd. Deze heb ik laten verwijzen naar het bestand linux.iso voor de installatie van de tools. Deze was ineens niet meer benaderbaar. Als ik een shell opende om naar die map te gaan liep de shell vast. Uiteindeijk besloten om de vms dan maar een andere iso te voeren en te herstarten. Dat ging niet goed, machines wilden niet stoppen en starten. Uiteindelijk de hele host herstart en toen was het weer in orde.

[ppl]

FireDrunk schreef op woensdag 25 juli 2012 @ 12:32:
Succesverhalen hangen ook erg af van het apparaat zelf. Mijn 10Gb adapters willen niet werken onder FreeBSD omdat ze verplicht MSI/MSI-X nodig hebben. En FreeBSD kent geen MSI/MSI-X in een virtual machine (dat is een beetje stuk lijkt het). Dus kan je zo'n gecertificeerde 10Gb adapter wel doorgeven, maar onder FreeBSD werkt hij toch echt niet.

Met andere woorden: succesverhalen hangen af van de ondersteunen van het apparaat door het OS dus niet zozeer van het apparaat zelf. Dat is nogal een open deur intrappen aangezien dit altijd al gold. Leuk dat stukje hardware maar als je OS er niets mee weet te beginnen dan houdt het gewoon op ongeacht of het nou direct op hardware draait of dat het in een vm draait. Bij ESXi zul je alleen met een extra factor rekening moeten gaan houden: hoe goed werkt het stukje hardware met passthrough in ESXi? Dat hoef je dan weer niet bij een gewone fysieke machine.

[FireDrunk]

Deels heb je gelijk, maar zelfs daarvoor geld weer.

Mijn Intel AF DA 10Gb adapters zijn officieel ondersteund onder ESXi *EN* gecertificeerd voor VMDirectPath.
FreeBSD is officieel ondersteund onder ESXi.
En mijn 10Gb adapters zijn ook nog eens ondersteund onder FreeBSD.

Je zou dus haast moeten zeggen, het zou met FreeBSD moeten werken, maar dat is dus niet zo.

[- peter -]

Nextron schreef op woensdag 25 juli 2012 @ 10:48:
[...]
En als antwoord op je derde, niet-gestelde vraag: Je kan VM's niet opslaan op USB. Dus wanneer je de controller werkend krijgt met passthrough heb je geen datastore om Freenas van te booten.

Haha, ja daar kwam ik ook achter. Maar ik had bedacht om een oude IDE harddisk te gebruiken als vmstore voor de freenas. Die kan ik namelijk wel via andere controller aansluiten.

Nouja, hoe dan ook, toch maar op zoek naar ander mobo.