Zuinige ESXi Server

[Paul]

TheMartian schreef op dinsdag 08 maart 2016 @ 21:49:
En ik denk dat ik uit die twee zal moeten kiezen, maar is dat wel zwaar genoeg?

Ruim Je zit in een thuis-situatie, en je kunt daar erg veel VM's op draaien voordat de CPU het zwaar krijgt. Als je Plex wil draaien en veel gaat transcoden dan kan dat anders worden, maar verder vraagt zo'n speeltuintje niet zoveel CPU De e3-1230 is trouwens een heel stuk goedkoper (12% t.o.v. de 1245, 25% t.o.v. de 1270) maar amper langzamerminder snel (3% en 5.5% respectievelijk).

Xeon dan heb je ECC (en vt-D) support, dat is nodig voor stabiliteit en passthrough

VT-d zit ook op de (normale) i5, ECC inderdaad niet. Als je er geen productie op draait is ECC ook helemaal niet zo per se nodig

Ik las ergens dat als je ZFS wil gaan gebruiken (ik lees daar goede dingen over) je ook nog een SSD als caching moet 'rekenen' die dan samen met de 4 HDD's de bak met storage moet vormen voor de NAS-functie.

Dat hangt er van af, als read-cache valt dat tegen, als write-cache (waarbij "cache" eigenlijk de verkeerde naam is) heeft het alleen zin als je veel sync writes hebt. Ik leeg hier dat je de VM's op een aparte disk (SSD of HDD maakt hiervoor niet uit) wil draaien, en dus je NAS niet aan VMware aan wil bieden als datastore. ESXi behandelt alle writes als sync writes, en zonder SLOG (SSD) wordt dat (op een HDD-pool) traag. Omdat dit hier niet speelt heb je daar ook geen last van, en hoef je het dus niet op te lossen.

Het kan wel, en zeker als je nog een SSD hebt slingeren (Intel 320 an 40 GB bijvoorbeeld, SSD refreshen / TRIM'men / leeg maken en dan SLOG instellen van 2 GB en de rest niet gebruiken) kan het zeker geen kwaad (zoals bij alles zit ook hier een kanttekening: bij stroomuitval wil je een SSD die de write afmaakt in plaats van een journaal terug spoelt), maar nodig is het in dit geval zeker niet.

Wel moet je zorgen dat je een moederbord hebt met twee controllers (of je moet een extra controller plaatsen) want die controller hangt wordt met alles wat er aan hangt via VT-D aan je ZFS-VM doorgegeven. Als aan die controller ook de schijf met je VM's hangt dan kun je niks meer

Intel Xeon E3 1274 v5, die lijkt mij krachtig genoeg, [..] loopt het dan niet te snel vast?

Ik heb een soortgelijke processor in mijn NAS, en die trekt:
- ZFS VM
- - PLEX
- - Nieuwsgroepen downloaden
- - Torrents downloaden
- - OwnCloud
- - Crashplan backups van de NAS (aanrader! Voor $ 5 per maand alles veilig, of $ 12,50 voor 10 computers)
- - CouchPotato
- - SickBeard
- 3x Minecraft server met veel mods
- Space Engineers Server
- 7 Days to Die Server
- vCenter Server
- Windows Server met AD
- Exchange
- SQL Server

tegelijkertijd op zijn sloffen. Nu is "tegelijkertijd" een beetje overtrokken, want het is een thuissituatie en hoewel die games wel open staan richting het internet (of eigenlijk, richting de IP-adressen van wat vrienden) wordt het nooit allemaal tegelijkertijd gebruikt

Dus om specifiek op de vragen in te gaan:
1. Kan zeker, en wordt in de hobby-sfeer ook vaak toegepast. Professioneel spelen er andere zaken mee, daar is aanschaf en stroom ondergeschikt aan beheer en support.
2. De Z170 chipsets en i219 netwerkkaart gaven in het begin (schijnbaar, ik heb zelf geen ESXi geprobeerd op mijn Skylake-systeem) problemen, dat is schijnbaar in ESXi 6.0 Update 1 opgelost voor de chipset, voor de netwerkkaart schijn je ESXi 6.0 with patch ESXi600-201601001 (Build 3380124) released in January 2016 nodig te hebben.
3. Dit kan zeker, wel is het voor de betrouwbaarheid het beste om een SATA- of SAS-controller door te geven aan je ZFS-VM in plaats van VMDK's of local RDM's te gebruiken. Hele harde cijfers zijn er geloof ik niet helemaal maar 'iedereen' doet het zo en dat gaat over het algemeen gewoon goed.
4. ZFS gebruikt RAM als read cache, in dat opzicht wil het op zich veel geheugen, echter, een typische thuis-NAS heeft een behoorlijk sequentieel toegangspatroon, en 4 GB (maar liever 8, meer als je in FreeNAS ook nog plugins gaat gebruiken, zoals OwnCloud of Crashplan, omdat die zelf ook RAM nodig hebben) is genoeg.
Omdat je ook de nodige VM's wil draaien zou ik voor 64 GB gaan. Het scheelt ~200 ten opzichte van 32 GB, en als je alleen Linux VM's opzet zal het wel gaan, maar met een paar Windows-VM's erbij wordt dat al snel krap, zeker als je met SQL Server of Exchange wilt gaan proberen. Wat je eventueel kunt doen is er 32 GB (2x16) in zetten en het eerst even aankijken, of zoonlief bij laten dragen in de vorm van nog 2x 16 GB. Als ik echter het budget zie dan moet die 64 GB er wel in passen
5. Alle CPU's van dezelfde familie gebruiken idle ongeveer evenveel stroom, en hoe harder ze moeten werken hoe meer stroom. Een thuis-NAS is (zelfs wanneer je het als probeer-lab inzet) over het algemeen toch erg veel idle Hooguit dat een 'server'-moederbord meer stroom gebruikt dan een kaal moederbord voor een office-PC, maar dat komt dan door de extra SAS- of SATA-controllers en zaken als IPMI.
6. Tja, iedere case waar je 4 schijven en een SSD in kwijt kunt moet wel voldoen Qua koeling is er ook niet zo heel veel nodig, ik zou een intake-fan op de harddisks laten blazen maar verder zijn de CPU-koeler en de fan in de voeding wel genoeg. Pas als je er zware videokaarten of nog veel meer schijven in zet wordt het een ander verhaal.
Qua voeding loop ik een beetje achter geloof ik, er zijn anderen die daar een veel beter antwoord op kunnen geven
7. Mijn server gebruikt (mede, of waarschijnlijk vooral door het server-moederbord) ongeveer 64 Watt met alleen FreeNAS, met VMware erbij gebruikt het meer. Dat is wel met VMware 5.0 (don't ask ), ik verwacht dat 6.0 het beter doet Skylake en een niet al te ingewikkeld moederbord zou daar onder moeten zitten Sowieso heb ik er 8 DIMM's in zitten die zich totaal niet bekommeren om het stroomverbruik dus alleen door het aantal zou je al 6W lager moeten zitten en met zuiniger DIMM's (DDR4 unbuffered vs DDR3 Registered) zou zomaar nog eens 3W kunnen schelen.

[TheMartian]

Paul, dank je wel. Super dat je even de tijd hebt genomen. Zo te horen zit ik in de goede richting met mijn plannen.

Ik ga nu eens nadenken over de te componenten om een op te gaan bouwen. Naast processor, geheugen en bobo wordt de keuze voor de controller nog wel een belangrijke denk ik. Ik zal voorlopig niet verder gaan dan 4HDD's én 2 SSD's, waarvan 1 SSD voor de ESXi server zal worden gebruikt, en de M.2 SSD (in elk geval) gebruikt zal worden voor de boot van ESXi. Als ik de overblijvende SSD (als cache) en de 4HDD's via passthrough aan een VM wil koppelen voor m'n NAS dan moeten die op een controller met 5 SATA poorten (zal dus 6 of 8 poorten worden)? Als ik ZFS ga gebruiken zal dat op een controller kunnen zonder RAID levels, alleen JBOD begrijp ik. De vraag die ik hierbij heb is; wat is een goede controller? Ik lees veel over LSI, dat wordt goed ondersteund door vSphere. Tips zijn welkom, ik ben op dat vlak blanco, behoudens wat ik lees.

De SSD('s) voor de ESXi server kunnen gewoon via de mbo-onboard controller toch?

Zodra ik een shoppinglijstje heb, zal ik hem langs laten komen.

[Corteztm3]

VMware ESXi laat zich ook gewoon installeren op een USB stick, mogelijk dat je dan je M.2 zou kunnen gebruiken voor de opslag van je VM's?

[FireDrunk]

Voordeel van installeren op een SSD is dat je logs persistent zijn. By default als je installeert op een USB stick heb je geen Swap en geen persistent logs.

Persoonlijk denk ik dat Paul erg hoog in zet. 64GB ram is super cool, maar voor een paar test VM's is dat wel extreem... Je kan MySQL bijvoorbeeld prima draaien met 512MB RAM. Dan piept of kraakt er helemaal niets. Het is helemaal niet nodig om direct elke Database server 4 of 8GB RAM te geven...

My 2 cents:

Ik heb een paar vragen over mijn idee/plan:
1. Is het een goed idee om NAS met virtualisatie-server te combineren? Ik heb de indruk dat het kan, en als het kan waarom niet? NAS heeft niet zoveel om het lijf. Draai nu al jaren om een QNAP met een Atom 1.8Ghz, en is meer dan prima.

Er is geen directe reden om het niet te doen, alleen moet je goed opletten wat je koopt als je dingen als ZFS wil gaan gebruiken. Als je een 'gewone' windows server wil, met daarop een 'gewoon' NTFS volume, en niets met RAID wil doen ofzo, kan het allemaal prima. Wil je Hardware RAID5/6 doen onder ESXi heb je een gesupportte controller nodig. Wil je ZFS gaan doen, heb je VT-d en een (door ZFS) gesuportte HBA nodig.

2. Ik las ergens dat Skylake Xeon v5 nog niet ondersteund wordt door ESXi 6.0, of toch wel in update 1?

Check de VMWare HCL, dan weet je het zeker.
EDIT: omdat ik niet de beroerdste ben:
https://www.vmware.com/re...&productid=37803&vcl=true

De Dell T130 is voorzien van een E3-1230v5 (een SkyLake CPU) en die is officieel supported vanaf ESXI 6.0U1.

3. Kan ZFS wel samen met ESXi?

Ja.

Of zijn er betere oplossingen?

Dat ligt aan je eisen.

Deze vraag vind ik nu nog minder spannend, want dat kan later ook nog wel uitgevogeld worden.

Pas daar dus mee op, want als je nu hardware koopt die incompatible is met ZFS icm ESXi zit je met de gebakken peren

Maar als er nu al ideeën zijn, welkom!
4. 16, 32 of 64Gb? Ik schat het laatste, ook omdat als ik ZFS wil gaan gebruiken dat veel RAM vraagt.

ZFS vraagt niet perse veel RAM, het werkt beter met veel RAM, maar verplicht is het zeer zeker niet. Als jij zegt dat de snelheid van een QNAP al jaren voldoende is, is een ZFS server met 4-8GB geheugen ook prima. Die is waarschijnlijk nog sneller ook...

5. Is de Xeon E3 1200 v5 serie wel zuinig? Ik lees dat hij nagenoeg gelijk is aan de i% Skylake (op hyperthreading na), en zou iets zuiniger zijn?

Idle scheelt het allemaal niks. Alle moderne CPU's van Intel (Haswell, Broadwell, Skylake, Celeron's, i3, i5, i7's en Xeon's) doen allemaal sub 3W idle (mits je de power saving features aan zet uiteraard).

Het verschil zit hem vooral in het moederbord. Xeon's worden vaak gecombineerd met Supermicro borden, die vaak voorzien zijn van IPMI controllers (out of band management) welke best wat stroom lusten. Bovendien is SuperMicro van nature niet het meest zuinige merk. Daar zitten grotere verschillen dan in de verschillende CPU's.

6. Ideeën over een goede case? Goede voeding? Ik vindt de Chenbro-cases wel mooi. Voeding moet 80+ efficiency hebben.

Fractal Design maakt hele stille cases als dat belangrijk voor je is. Maar een case is vooral persoonlijke voorkeur. Ik heb zelf een Fractal Design Define XL 3.0.

7. Weet niet zeker of dit de plaats is om mijn vragen te stellen, dus is er een betere plaats (ik ben niet persé op zoek naar het allerzuinigst, maar in idle state hoop ik toch wel max. 40Watt te verbruiken, liever minder) dan hoor ik dat ook graag.

Denk dat dat wel haalbaar is met je disken in spindown, maar met draaiende disken wordt het denk ik krapjes, maar misschien net haalbaar. Skylake icm zuinige schijven moet dit in ieder geval wel halen. (Los van of je een i5 of een Xeon neemt.)

Veel vragen... ben benieuwd, hoor graag van jullie!

Astu

[ Voor 3% gewijzigd door FireDrunk op 09-03-2016 09:46 ]

[Paul]

FireDrunk schreef op woensdag 09 maart 2016 @ 09:43:
Je kan MySQL bijvoorbeeld prima draaien met 512MB RAM. Dan piept of kraakt er helemaal niets.

Dat zeg ik Ja, je kunt MySQL ook onder Windows installeren, dat klopt, maar Open Source software gaat vaak soepeler met weinig RAM om dan Windows (-applicaties).

Check de VMWare HCL, dan weet je het zeker.

Op zich heb je daar gelijk in, als het wel op de HCL staat dan weet je inderdaad zeker dat het werkt. Als het er niet op staat wil dat echter niet zeggen dat het niet werkt.

TheMartian schreef op woensdag 09 maart 2016 @ 09:15:
M.2 SSD gebruikt zal worden voor de boot van ESXi

De resterende ruimte wordt door ESXi als datastore aangemerkt, ls je M.2 SSD groot genoeg is dan kun je daar dus al je VM's op kwijt

Een NVME-SSD is een stukje duurder dan een SATA-SSD (ook als beide een M.2-aansluiting hebben) maar als je moederbord (zoals de meesten) maar één controller on board heeft kan de meerprijs voor NVME wel eens lager zijn dan een extra controller (en stroomverbruik). Als je moederbord geen M.2-slot heeft kun je nog iets als een https://www.alternate.nl/...ge.html?articleId=1174651 overwegen (voor NVME-SSD's).

Als ik ZFS ga gebruiken zal dat op een controller kunnen zonder RAID levels, alleen JBOD begrijp ik.

Niet helemaal, JBOD is een modus van een RAID-controller om schijven door te geven. Eigenlijk wil je een HBA, die helemaal niks doet met de schijven. Misschien lijkt het verschil wat subtiel, maar het grote verschil is HBA versus RAID-controller. Ook bij JBOD zit de RAID-controller tussen de schijf en het OS.

De vraag die ik hierbij heb is; wat is een goede controller? Ik lees veel over LSI, dat wordt goed ondersteund door vSphere.

Als je de controller doorgeeft via VT-d maakt de support van vSphere niet meer uit omdat die dat hele apparaat niet meer ziet. Het OS van je ZFS-VM moet het daarentegen wel ondersteunen

[FireDrunk]

Paul schreef op woensdag 09 maart 2016 @ 10:39:
[...]
Op zich heb je daar gelijk in, als het wel op de HCL staat dan weet je inderdaad zeker dat het werkt. Als het er niet op staat wil dat echter niet zeggen dat het niet werkt.
[...]

Je hebt helemaal gelijk, alleen als het gaat om CPU's ben ik toch wat huiverig. ESXi is kieskeurig als het gaat om CPU Instructies. Je krijgt echt keihard een PSOD als de CPU niet ondersteund is (al eens gehad met een Opteron, daar waren hele series niet ondersteund.) Gelukkig komt het tegenwoordig steeds minder voor.

VMWare HCL's moet je vooral gebruiken om CPU's, HBA's, Chipsets en Netwerkkaarten te controleren. Je moet zeker niet kijken op Moederbord type.

In het geval van hierboven, je moet dus *eerst* een patch installeren voordat je ESXi kan draaien (6.0U1a volgens mij).

Je kan dus niet installeren met een oudere installer. Dus wel even opletten

[TheMartian]

Paul, FireDrunk,

Dit zou mijn boodschappenlijstje zijn, maar daar heb ik toch nog wel een paar vragen over.

Ik wil qua basis gaan voor de nieuwe Xeon (Skylake) architectuur (met ECC), maar ik merk dat het vinden van mobo dat al leverbaar (nog) lastig is, nog erg nieuw blijkbaar. Ik kom dan uit op de Gigabyte X150M-Pro ECC met Intel C232 chipset. Ik kan niet ontdekken of die chipset ESXi supported is op de HCL. Weten jullie dit? Hebben jullie een manier om dat te checken? Beter idee bij mobo dat leverbaar is!? Is mobo met C236 chipset slimmere keuze?

Op de data-storage loop ik vast op de Host Bus Adapter. Ik moet een simpele (geen RAID) PCI-kaart hebben die (minimaal) 4 (liever 6) poorten SATA III (6Gb/s) ondersteund (begrijp ik) om zo de HDD's als ZFS-set via passthrough door te kunnen geven aan een VM straks. Maar omdat ik helemaal niet snap welke HBA ESXi compatibel is loop ik hier vast, weet ook niet goed hoe ik dat op moet zoeken in de HCL (complex mechanisme). Hebben jullie een goed voorstel?

De ESXi basis:
Intel Xeon E3-1245 v5, socket 1151 processor (vt-D én ECC)
Gigabyte X150M-Pro ECC (Micro ATX), Intel C232 chipset (vt-D én ECC)
Kingston ValueRAM 64 GB DDR4-2133 Quad-Kit (ECC, KVR21R15D4K4/64I)

Boot en VM storage:
Samsung 950 Pro, 256 GB SSD (M.2, MZ-V5P512BW)
Samsung 850 Pro, 512 GB SSD (MZ-7KE1T0BW)

Data Storage (NAS):
HBA ???
4 stuks Western Digital Red, 4 TB (WD40EFRX)

Case en voeding:
Enermax EPM500AWT Platimax, 500 Watt voeding (ATX)
Fractal Design Node 804 (Micro ATX board, ATX voeding)

Hoor graag!

[nagasy]

TheMartian schreef op vrijdag 11 maart 2016 @ 09:16:
Paul, FireDrunk,

Dit zou mijn boodschappenlijstje zijn, maar daar heb ik toch nog wel een paar vragen over.

Ik wil qua basis gaan voor de nieuwe Xeon (Skylake) architectuur (met ECC), maar ik merk dat het vinden van mobo dat al leverbaar (nog) lastig is, nog erg nieuw blijkbaar. Ik kom dan uit op de Gigabyte X150M-Pro ECC met Intel C232 chipset. Ik kan niet ontdekken of die chipset ESXi supported is op de HCL. Weten jullie dit? Hebben jullie een manier om dat te checken? Beter idee bij mobo dat leverbaar is!? Is mobo met C236 chipset slimmere keuze?

Op de data-storage loop ik vast op de Host Bus Adapter. Ik moet een simpele (geen RAID) PCI-kaart hebben die (minimaal) 4 (liever 6) poorten SATA III (6Gb/s) ondersteund (begrijp ik) om zo de HDD's als ZFS-set via passthrough door te kunnen geven aan een VM straks. Maar omdat ik helemaal niet snap welke HBA ESXi compatibel is loop ik hier vast, weet ook niet goed hoe ik dat op moet zoeken in de HCL (complex mechanisme). Hebben jullie een goed voorstel?

De ESXi basis:
Intel Xeon E3-1245 v5, socket 1151 processor (vt-D én ECC)
Gigabyte X150M-Pro ECC (Micro ATX), Intel C232 chipset (vt-D én ECC)
Kingston ValueRAM 64 GB DDR4-2133 Quad-Kit (ECC, KVR21R15D4K4/64I)

Boot en VM storage:
Samsung 950 Pro, 256 GB SSD (M.2, MZ-V5P512BW)
Samsung 850 Pro, 512 GB SSD (MZ-7KE1T0BW)

Data Storage (NAS):
HBA ???
4 stuks Western Digital Red, 4 TB (WD40EFRX)

Case en voeding:
Enermax EPM500AWT Platimax, 500 Watt voeding (ATX)
Fractal Design Node 804 (Micro ATX board, ATX voeding)

Hoor graag!

Je kan kijken voor een moederbord met twee controllers.

Bvb de http://www.supermicro.com...n/C236_C232/X11SSL-CF.cfm
Maar die zijn wel prijzig

[TheMartian]

nagasy schreef op vrijdag 11 maart 2016 @ 09:29:
[...]

Je kan kijken voor een moederbord met twee controllers.

Bvb de http://www.supermicro.com...n/C236_C232/X11SSL-CF.cfm
Maar die zijn wel prijzig

@nagasy: Dank voor de tip! Je bedoelt denk ik dat ik dan de onboard LSI controller kan gebruiken voor het NAS deel? Ik las ergen, en kan me het ook wel voorstellen gezien alle features van dit board, dat het niet bepaald energiezuinige mobo's zijn. Kan je daar iets over zeggen?

[nagasy]

TheMartian schreef op vrijdag 11 maart 2016 @ 09:47:
[...]


@nagasy: Dank voor de tip! Je bedoelt denk ik dat ik dan de onboard LSI controller kan gebruiken voor het NAS deel? Ik las ergen, en kan me het ook wel voorstellen gezien alle features van dit board, dat het niet bepaald energiezuinige mobo's zijn. Kan je daar iets over zeggen?

Daar doelde ik inderdaad op.
Maar voor het prijsverschil met jouw opgegeven moederbord vind je beter een losse HBA die je kan doorgeven aan je virtuele NAS.

Van lossen controllers ken ik niet zoveel. De laatste 3-4 pagina's eens doorlezen in dit topic kan helpen.
De M1015 is alvast heel populair (door deze naar IT mode te flashen).

Met het moederbord heb ik geen ervaring. Gewoon eens gezocht op hun site voor een 1151 socket moederbord met 2 sas controllers.
Mogelijk zijn er nog andere fabrikanten dan Supermicro.

Het was meer als tip bedoeld voor je build. Maar verschoot zelf van de prijs

[FireDrunk]

@TheMartian, Consumenten moederborden zijn nooit ondersteund door ESXi dus je zal die Gigabyte niet zo snel vinden op de HCL. Dat chipset zit wel in een aantal Dell Servers volgens mij, kijk eens onder de Dell T130 bijvoorbeeld, die is uitgerust met het broertje van de C232, een C236. Die chipsets zijn hetzelfde alleen wat andere RAID functionaliteit.

Qua controllers ben ik er ook een beetje uit. Er zijn op eBay relatief goedkope controllers te vinden van Dell (H200) en IBM (M1015, M1115). HP heeft niet echt een OEM HBA die je goedkoop kan inslaan.

Er zijn een aantal Marvell based "budget" achtige controllers langs gekomen in dit topic, daar zou je ook nog eens naar kunnen kijken.

_{Mocht je er echt niet uit komen, heb ik er eventueel bij nood nog wel een controller liggen die je tweedehands kan overnemen}

[ Voor 9% gewijzigd door FireDrunk op 11-03-2016 10:42 ]

[Jahaa!]

TheMartian schreef op vrijdag 11 maart 2016 @ 09:16:
Paul, FireDrunk,

Dit zou mijn boodschappenlijstje zijn, maar daar heb ik toch nog wel een paar vragen over.

Ik wil qua basis gaan voor de nieuwe Xeon (Skylake) architectuur (met ECC), maar ik merk dat het vinden

....

Interessant! Ik zit een beetje in het zelfde schuitje/fase.

Ik wil een vergelijkbare server bouwen met vergelijkbare VM's:
- ZFSGure
- Linux met PLEX, transmission en crashplan
- Win10 met o.a Homeseer.

Paul schreef op woensdag 09 maart 2016 @ 10:39:

De resterende ruimte wordt door ESXi als datastore aangemerkt, ls je M.2 SSD groot genoeg is dan kun je daar dus al je VM's op kwijt

Een NVME-SSD is een stukje duurder dan een SATA-SSD (ook als beide een M.2-aansluiting hebben) maar als je moederbord (zoals de meesten) maar één controller on board heeft kan de meerprijs voor NVME wel eens lager zijn dan een extra controller (en stroomverbruik). Als je moederbord geen M.2-slot heeft kun je nog iets als een https://www.alternate.nl/...ge.html?articleId=1174651 overwegen (voor NVME-SSD's).

Begrijp ik hier goed uit dat wanneer je een NVME-SSD gebruikt om je VM's op te zetten (en een ESXI boot partitie) je de hele onboard SATA controller (HBA) kan doorgeven aan de ZFS-VM? De NVME-SSD dus eigenlijk de 2de HBA (of eerste hoe je het bekijkt) is en je dus geen extra HBA (M1015) nodig hebt?

Is het wenselijk om de ESXI-boot en de VM's op een zelfde schijf te hebben staan of kan je in dat geval beter een USB-boot stick gebruiken voor ESXI?

TheMartian schreef op vrijdag 11 maart 2016 @ 09:16:


Case en voeding:
Enermax EPM500AWT Platimax, 500 Watt voeding (ATX)
Fractal Design Node 804 (Micro ATX board, ATX voeding)

Hoor graag!

Is de Platimax, 500Watt voeding niet rijkelijk overdreven en kan je niet beter een Seasonic 360Watt gebruiken?

FireDrunk schreef op woensdag 09 maart 2016 @ 09:43:

Idle scheelt het allemaal niks. Alle moderne CPU's van Intel (Haswell, Broadwell, Skylake, Celeron's, i3, i5, i7's en Xeon's) doen allemaal sub 3W idle (mits je de power saving features aan zet uiteraard).

Het verschil zit hem vooral in het moederbord. Xeon's worden vaak gecombineerd met Supermicro borden, die vaak voorzien zijn van IPMI controllers (out of band management) welke best wat stroom lusten. Bovendien is SuperMicro van nature niet het meest zuinige merk. Daar zitten grotere verschillen dan in de verschillende CPU's.

Ik zat zelf te denken aan een E3-1240Lv5 of 1260Lv5 omdat die zuiniger zouden zijn? Ik lees alleen ook dat je beter een non-L variant kan nemen omdat deze sneller klaar is en hij dus sneller in idle kan wat netto zuiniger is. Klopt dit een beetje of is een L-variant ook in idle zuiniger?

Ik dacht ook voor een Supermicro bordje te gaan (wegens server-grade/betrouwbaar). Voor thuis gebruik en efficiëntie-technisch gezien kan je beter gaan voor bijv. een Asrock?

Een hele andere vergelijkbare mogelijkheid zou een Xeon D-152x kunnen zijn. Deze heeft een vergelijkbare prijs en vergelijkbare specs. Is deze, met meer cores maar een lager clocksnelheid, meer of minder geschikt voor eerder genoemde VM's?

Ik blijf hem volgen .

[dannybeuker]

TheMartian schreef op vrijdag 11 maart 2016 @ 09:16:

Gigabyte X150M-Pro ECC (Micro ATX), Intel C232 chipset (vt-D én ECC)

Waar heb je gezien dat dit mobo/chipset VT-d ondersteund? Ik heb namelijk ook gekeken naar het C232 chipset, maar hier staat iets anders:
http://ark.intel.com/products/90578/Intel-GL82C232-PCH
Intel® Virtualization Technology for Directed I/O (VT-d) ‡ No

Ik zie het op de Gigabyte ook nergens staan.

[TheMartian]

dannybeuker schreef op vrijdag 11 maart 2016 @ 11:00:
[...]

Waar heb je gezien dat dit mobo/chipset VT-d ondersteund? Ik heb namelijk ook gekeken naar het C232 chipset, maar hier staat iets anders:
http://ark.intel.com/products/90578/Intel-GL82C232-PCH
Intel® Virtualization Technology for Directed I/O (VT-d) ‡ No

Ik zie het op de Gigabyte ook nergens staan.

In de manual!

[FireDrunk]

Jahaa! schreef op vrijdag 11 maart 2016 @ 10:52:
Begrijp ik hier goed uit dat wanneer je een NVME-SSD gebruikt om je VM's op te zetten (en een ESXI boot partitie) je de hele onboard SATA controller (HBA) kan doorgeven aan de ZFS-VM? De NVME-SSD dus eigenlijk de 2de HBA (of eerste hoe je het bekijkt) is en je dus geen extra HBA (M1015) nodig hebt?

Zo had ik er eigenlijk niet over nagedacht, maar dat verwacht ik wel. NVME is *puur* PCIe en bevat geen enkel HBA/SATA of controller component (je OS praat via PCI-Express direct met de SSD).

Bedenk wel, dat ESXi zeer waarschijnlijk niet kan booten van NVME.

Ik verwacht ook dat je gewoon de onboard controller door kan geven (mits je moederbord het pikt, soms willen ze dat niet), zonder dat je SSD geraakt wordt.

Is het wenselijk om de ESXI-boot en de VM's op een zelfde schijf te hebben staan of kan je in dat geval beter een USB-boot stick gebruiken voor ESXI?

Dat maakt weinig uit. Ik heb zelf een 32GB SSD in al mijn nodes zitten, dan heb je automatisch Swap en Logging lokaal op disk/ssd ipv in memory.

[...]
Ik zat zelf te denken aan een E3-1240Lv5 of 1260Lv5 omdat die zuiniger zouden zijn? Ik lees alleen ook dat je beter een non-L variant kan nemen omdat deze sneller klaar is en hij dus sneller in idle kan wat netto zuiniger is. Klopt dit een beetje of is een L-variant ook in idle zuiniger?

Een -L, -T of -S variant van een CPU is eigenlijk alleen maar interresant voor systemen die beperkte koeling hebben. Niet voor efficiëntie redenen.

Ik dacht ook voor een Supermicro bordje te gaan (wegens server-grade/betrouwbaar). Voor thuis gebruik en efficiëntie-technisch gezien kan je beter gaan voor bijv. een Asrock?

Supermicro en ASRock's server lijn ontlopen elkaar niet zo ver. Supermicro is wat meer gevestigde orde in dat segment, maar ik zou niet zeggen dat ze pertinent beter of slechter zijn dan ASRock.

Een hele andere vergelijkbare mogelijkheid zou een Xeon D-152x kunnen zijn. Deze heeft een vergelijkbare prijs en vergelijkbare specs. Is deze, met meer cores maar een lager clocksnelheid, meer of minder geschikt voor eerder genoemde VM's?

Ik blijf hem volgen .

Xeon-D is wel een heel ander platform, dat is eigenlijk gemaakt voor kleine krachtige machines met 10Gb Ethernet en/of een sloot disks.

Niet een goedkoop, wel leuk

[dannybeuker]

TheMartian schreef op vrijdag 11 maart 2016 @ 11:08:
[...]


In de manual!

Ah ja ik zie het idd. Apart dat de Intel sheet niet leidend is. Ik was in de veronderstelling dat dit chipset VT-d helemaal niet ondersteunde dan.
Dit maakt de zoektocht dan nog wat complexer.

[Jahaa!]

FireDrunk schreef op vrijdag 11 maart 2016 @ 11:13:
[...]

Zo had ik er eigenlijk niet over nagedacht, maar dat verwacht ik wel. NVME is *puur* PCIe en bevat geen enkel HBA/SATA of controller component (je OS praat via PCI-Express direct met de SSD).

Bedenk wel, dat ESXi zeer waarschijnlijk niet kan booten van NVME.

Ik verwacht ook dat je gewoon de onboard controller door kan geven (mits je moederbord het pikt, soms willen ze dat niet), zonder dat je SSD geraakt wordt.

Dat klinkt interessant en scheelt weer een extra controller a 5-10watt.
Is er een manier om dit vooraf uit te zoeken te testen? Ik denk dat een winkel er niet blij van gaat worden als ik meerdere borden bestel en N-1 terug stuur.

Nadeel van deze opstelling is dat je de VM disk niet in RAID1 kan uitvoeren als je dit zou willen.

Dat maakt weinig uit. Ik heb zelf een 32GB SSD in al mijn nodes zitten, dan heb je automatisch Swap en Logging lokaal op disk/ssd ipv in memory.

[...]

Een -L, -T of -S variant van een CPU is eigenlijk alleen maar interresant voor systemen die beperkte koeling hebben. Niet voor efficiëntie redenen.

Gewoon lekker de normale kiezen dus.

Supermicro en ASRock's server lijn ontlopen elkaar niet zo ver. Supermicro is wat meer gevestigde orde in dat segment, maar ik zou niet zeggen dat ze pertinent beter of slechter zijn dan ASRock.

Waar moet ik op letten als ik een relatief zuinig bord zoek zonder de MUX-look-a-like uit te gaan hangen en het bord leeg te solderen?

Xeon-D is wel een heel ander platform, dat is eigenlijk gemaakt voor kleine krachtige machines met 10Gb Ethernet en/of een sloot disks.

Niet een goedkoop, wel leuk

De D1521 is ongeveer even duur als een E3-12xx + Mobo. Ik begrijp dat de Xeon D vooral voor multi core taken erg handig is. Ik kan alleen niet goed inschatten of de eerder genoemde VM's (ZFS, PLEX) hier goed gebruik van maken. De E3-12xxv5 lijken in ieder geval een hogere Passmark te hebben dan de D-1521. Wat weer goed is voor transcode (PLEX). Qua verbruik wint de Xeon D dan weer maar ik vraag me af of dit in idle veel verschilt, iemand?

[FireDrunk]

Jahaa! schreef op vrijdag 11 maart 2016 @ 11:40:
[...]


Dat klinkt interessant en scheelt weer een extra controller a 5-10watt.
Is er een manier om dit vooraf uit te zoeken te testen?

Ik durf niet te zeggen of ESXi überhaupt NVME ondersteund, ik dacht van wel, maar dat is misschien even handig om te googlen.

Verder:

Ik denk dat je te moeilijk in de marge zit. Het verschil zal misschien 10W zijn tussen het zuinigste en het 'onzuinigste' bord (binnen de types die je al noemde).

Ik zou me daar niet te druk over maken Koop gewoon waar jij blij van wordt.

[ Voor 44% gewijzigd door FireDrunk op 11-03-2016 12:06 ]

[TheMartian]

nagasy tipte my richting het SuperMicro X11SSL-CF board, omdat daar een dubbele SAS/SATA controller opzit. Eén via de chipset, één via de onboard LSI 3008 controller. Die laatste zou ik middels een passthrough kunnen doorzetten naar NAS-VM. Dat kan best interessant zijn, want een aparte HBA (M1015) kost ook iets van 215 extra. Maar ik wil mijn NAS op ZFS gaan baseren, en daarmee loop ik aan tegen IT-mode. Ik wist niet of je zo'n onboard chip ook naar IT mode kan flashen. Ik lees daar wel iets over in dit blog. Naar mijn smaak beland ik dan wel in de diepe krochten van de mogelijkheden. Maar het schijnt dus te kunnen.

Over boot vanaf NVMe lees deze site.

[|sWORDs|]

NVMe is geen probleem (ook booten niet), supported en ik doe het zelf ook.
Flashen van IT mode met onboard SAS gaat ook prima, maar meestal alleen via UEFI flash.

[ Voor 28% gewijzigd door |sWORDs| op 11-03-2016 14:04 ]

[FireDrunk]

Ah, dat is wel goed nieuws! Dan is NVMe inderdaad een leuke boost voor je ESXi machine

[nagasy]

FireDrunk schreef op vrijdag 11 maart 2016 @ 14:48:
Ah, dat is wel goed nieuws! Dan is NVMe inderdaad een leuke boost voor je ESXi machine

Zowel boost als kostenbesparing.
Je hebt, als ik het goed begrijp, geen extra sas controller nodig als je pci passthrough wil doen.
Je kan dus al (iets) besparen op het moederbord en de kosten voor een 2e SAS controller kan je vervangen voor je NVMe (Samsung 950 PRO 256 GB is +/- €200).

Ga ik zeker overwegen als ik mijn server in elkaar steek.

[FireDrunk]

Dat is zelfs goed te doen als je moederbord geen boot from NVME ondersteund. Je kan gewoon een USB stick gebruiken om ESXi van te booten, en een M.2 to PCIe Adapter kopen voor de SSD.

Dan kan je je VM's (inclusief logs en swap) gewoon op de SSD zetten maar ESXi zelf start keurig van USB

[Paul]

TheMartian schreef op vrijdag 11 maart 2016 @ 09:16:
De ESXi basis:
Intel Xeon E3-1245 v5, socket 1151 processor (vt-D én ECC)
Gigabyte X150M-Pro ECC (Micro ATX), Intel C232 chipset (vt-D én ECC)
Kingston ValueRAM 64 GB DDR4-2133 Quad-Kit (ECC, KVR21R15D4K4/64I)

Met die CPU / moederbord moet je unbuffered geheugen gebruiken, je hebt nu registered
Pricewatch: DDR 4, unbuffered ECC, modulegrootte >= 16 GB

Boot en VM storage:
Samsung 950 Pro, 256 GB SSD (M.2, MZ-V5P512BW)
Samsung 850 Pro, 512 GB SSD (MZ-7KE1T0BW)

Waarom zo'n hele dure SSD alleen maar om ESXi op te zetten? Daar kunnen ook VM's op geïnstalleerd worden, scheelt je een SATA-SSD en een SATA- of SAS-controller

[TheMartian]

Paul,

Ik zal nog eens naar het geheugen kijken. Maar ondertussen door de tip van nagasy denk ik dat ik misschien wel voor het SuperMicro X11SSL-CF mobo zal gaan. En ja, de NVMe M.2 SSD alleen gebruiken als boot-device is inderdaad zonde, daar zullen vast ook VM's op gaan landen. Wie weet start ik eerst wel met alleen de 950 Pro.

ALL-IN-ONE: ESXi-NAS [Skylake architectuur]

De basis wordt dan:
Intel Xeon E3 1245 v5 [ECC, vt-D]
SuperMicro X11SSL-CF [ECC, vt-D, microATX]
----LSI 3008 controller flashen naar IT-mode i.v.m. NAS gebaseerd op ZFS
Kingston ValueRAM 64 GB DDR4-2133 Quad-Kit [ECC, KVR21R15D4K4/64I]

Boot & Storage:
Samsung 950 Pro, 256 GB SSD [M.2, NVMe, MZ-V5P512BW]

Case & voeding:
Fractal Design Node 804 [microATX]
Enermax Platimax EPM500AWT [ATX]

Data storage (NAS):
4 stuks WD Red WD40EFRX [4TB]

E.e.a. zal moeten draaien onder vSphere 6 update 1.

[Paul]

Socket 1151 processoren (ongeacht het moederbord) doen alleen maar unbuffered geheugen, voor registered heb je socket 2011 nodig (bij Intel)

[|sWORDs|]

nagasy schreef op vrijdag 11 maart 2016 @ 15:00:
[...]

Zowel boost als kostenbesparing.
Je hebt, als ik het goed begrijp, geen extra sas controller nodig als je pci passthrough wil doen.
Je kan dus al (iets) besparen op het moederbord en de kosten voor een 2e SAS controller kan je vervangen voor je NVMe (Samsung 950 PRO 256 GB is +/- €200).

Ga ik zeker overwegen als ik mijn server in elkaar steek.

Dat is iets wat ik bij al mijn borden niet voor elkaar gekregen heb, het doorgeven van de Intel SATA controller, ik heb wat posts gevonden van mensen die het wel werkend gekregen hebben (vaak door de modus van de controller aan te passen), maar bij al mijn borden werkt dat echt niet.

[TheMartian]

Paul, Thx. Da's wel balen, dat geheugen heb ik al beschikbaar. Afijn, ik zal iets anders moeten kopen.

[TheMartian]

sWORDs, dat is dan duidelijk. Ik ga gewoon voor mbo met enkele controller, met aparte M1015 controller.

[Paul]

pricewatch: Intel Xeon E5-1620 v3 Boxed op een pricewatch: Supermicro X10SRH-CF ? Je moederbord kost iets meer maar je hoeft geen nieuw geheugen te kopen

Let ook op welk Supermicro-bord je koopt, de variant met een SAS-controller heeft over het algemeen geen M2 slot, omdat die PCIe-lanes al gebruikt worden door de SAS-controller Wel kun je uiteraard een simpel PCIe-insteekkaartje kopen wat niks meer doet dan de form factor omzetten: pricewatch: Asus Hyper M.2 X4 PCI-E Mini Card (er zijn goedkopere maar deze kreeg ik snel gevonden in de PW ).

Alternatief is een goedkoper Supermicro bord zonder SAS-controller en er zelf een van eBay halen

[Jahaa!]

|sWORDs| schreef op zaterdag 12 maart 2016 @ 13:15:
[...]

Dat is iets wat ik bij al mijn borden niet voor elkaar gekregen heb, het doorgeven van de Intel SATA controller, ik heb wat posts gevonden van mensen die het wel werkend gekregen hebben (vaak door de modus van de controller aan te passen), maar bij al mijn borden werkt dat echt niet.

Ik dacht uit de start post gelezen te hebben dat dit wel kon wanneer je een goedkoop sata kaartje gebruikt voor de datastore/je VM schijf:

sloth schreef op woensdag 20 april 2011 @ 19:30:

ESXi

Doorgeven van de onboard HBA

Goedkoper is het om een cheap-ass HBA te kopen, die je gebruikt om de datastore aan te hangen. Je kunt dan de onboard HBA doorgeven aan je guest en gebruiken voor ZFS. Het probleem hierbij is wel dat er niet zo heel veel SATA-kaartjes zijn die door ESXi ondersteund worden. Enkele dingen die wel en niet werken:

Werkt:

• HBAs op basis van sil3112 (eBay!)
• HBAs op basis van sil3114 (hetzelfde als sil3112, maar met 4 ipv 2 SATA-poorten) (eBay!)

Of begrijp ik je nu verkeerd ?

Als je in plaats van boven genoemde Sata HBA een NVME SSD gebruikt voor de VM-installaties dan zou je verwachten dat je de onboard (intel) sata controller door kunt geven aan je ZFS-VM?

Dit heeft als voordeel dat je geen (supermicro) bord met 2 HBA's hoeft te kiezen of een PCI-e slot hoeft op te offeren voor een losse HBA. Daarnast is dit iets makkelijker (je hoeft niet naar IT te flashen) en zal dit (iets) zuiniger zijn lijkt me?

is er iemand die dit kan testen/ bevestigen?

[FireDrunk]

Er was al iemand die een werkende NVME SSD onder ESXi had. Als je dan nog iemand vindt die dat combineert met een Intel Onboard HBA in passthrough

[|sWORDs|]

Jahaa! schreef op dinsdag 15 maart 2016 @ 08:17:
[...]


Ik dacht uit de start post gelezen te hebben dat dit wel kon wanneer je een goedkoop sata kaartje gebruikt voor de datastore/je VM schijf:


[...]


Of begrijp ik je nu verkeerd ?

Als je in plaats van boven genoemde Sata HBA een NVME SSD gebruikt voor de VM-installaties dan zou je verwachten dat je de onboard (intel) sata controller door kunt geven aan je ZFS-VM?

Dit heeft als voordeel dat je geen (supermicro) bord met 2 HBA's hoeft te kiezen of een PCI-e slot hoeft op te offeren voor een losse HBA. Daarnast is dit iets makkelijker (je hoeft niet naar IT te flashen) en zal dit (iets) zuiniger zijn lijkt me?

is er iemand die dit kan testen/ bevestigen?

Hier werkt dat dus niet. Getest met Supermicro X10SLH-F, Supermicro X10DRH-iT, Asus Z10PE-D16 WS (Ook niet via RocketRAID firmware). Niet met NVMe als boot, maar ook niet met USB als boot.
Een van de mensen die het wel aan de praat had deed het via SATA op IDE modus zetten, dat vond ik zo crappy dat ik het niet geprobeerd heb, sommige anderen moesten 'm op RAID zetten, maar dat werkte ook niet.

Selecteerbaar in GUI:

code:

ID,Status,Vendor Name,Device Name,ESX Name
0000:80:01.0,Not Configurable,Intel Corporation,Xeon E5 v3/Core i7 PCI Express Root Port 1,
                 0000:81:00.0,Unavailable,Intel Corporation,NVM-Express PCIe SSD,
0000:80:02.0,Not Configurable,Intel Corporation,Xeon E5 v3/Core i7 PCI Express Root Port 2,
                 0000:82:00.0,Unavailable,Intel Corporation,NVM-Express PCIe SSD,
0000:00:03.2,Not Configurable,Intel Corporation,Xeon E5 v3/Core i7 PCI Express Root Port 3,
                 0000:05:00.0,Unavailable,Intel Corporation,Ethernet Controller 10 Gigabit X540-AT2,vmnic0
                 0000:05:00.1,Unavailable,Intel Corporation,Ethernet Controller 10 Gigabit X540-AT2,vmnic1
0000:00:02.2,Not Configurable,Intel Corporation,Xeon E5 v3/Core i7 PCI Express Root Port 2,
                 0000:03:00.0,Available,LSI Logic / Symbios Logic,LSI2008,
0000:00:1D.0,Unavailable,Intel Corporation,C610/X99 series chipset USB Enhanced Host Controller #1,
0000:80:03.0,Not Configurable,Intel Corporation,Xeon E5 v3/Core i7 PCI Express Root Port 3,
                 0000:83:00.0,Not Configurable,"PLX Technology, Inc.","PEX 8747 48-Lane, 5-Port PCI Express Gen 3 (8.0 GT/s) Switch",
                                  0000:84:08.0,Not Configurable,"PLX Technology, Inc.","PEX 8747 48-Lane, 5-Port PCI Express Gen 3 (8.0 GT/s) Switch",
                                                   0000:85:00.0,Unavailable,NVIDIA Corporation,NVIDIAGRID K2,
                                  0000:84:10.0,Not Configurable,"PLX Technology, Inc.","PEX 8747 48-Lane, 5-Port PCI Express Gen 3 (8.0 GT/s) Switch",
                                                   0000:86:00.0,Unavailable,NVIDIA Corporation,NVIDIAGRID K2,
0000:00:02.0,Not Configurable,Intel Corporation,Xeon E5 v3/Core i7 PCI Express Root Port 2,
                 0000:02:00.0,Unavailable,Samsung Electronics Co Ltd,<class> Non-Volatile memory controller,
0000:00:1A.0,Available,Intel Corporation,C610/X99 series chipset USB Enhanced Host Controller #2,
0000:00:1C.4,Not Configurable,Intel Corporation,C610/X99 series chipset PCI Express Root Port #5,
                 0000:08:00.0,Not Configurable,"ASPEED Technology, Inc.",AST1150 PCI-to-PCI Bridge,
                                  0000:09:00.0,Unavailable,"ASPEED Technology, Inc.",ASPEED Graphics Family,

code:

lspci
0000:00:11.4 Mass storage controller: Intel Corporation Wellsburg AHCI Controller [vmhba0]
0000:00:1f.2 Mass storage controller: Intel Corporation Wellsburg AHCI Controller [vmhba1]

[ Voor 53% gewijzigd door |sWORDs| op 15-03-2016 10:17 ]

[nagasy]

Bedankt voor het testen.
Spijtig nieuws.
Theoretisch gezien best interessant naar zuinigheid en serverkosten.
Wie weet brengt esxi (ooit) een driver uit om dit te ondersteunen.

[|sWORDs|]

Heeft niets met ESXi drivers te maken. Bios/chipset geeft gewoon aan dat passthrough niet mogelijk is of AHCI is gefilterd. En ik heb het niet opnieuw getest, ik laat alleen zien dat het niet kan.

Misschien dat bij andere borden (oudere chipsets?) het gewoon anders is. Wat misschien nog mogelijk is (schijnt te werken voor Lynx Point):

code:

Activate the ssh service in Vsphere Client using the instructions in this link: VMware KB:     Using ESXi Shell in ESXi 5.x
Use Putty or any other terminal program to connect to you Esxi SSH server.
Use vi, for example: vi /etc/vmware/passthru.map
Add these 2 lines at the bottom of the file:
          # INTEL Lynx Point AHCI          8086  8c02  d3d0     false
If you don't now how to use vi, than google for a manual.
run auto-backup.sh
Reboot the Esxi server.
Add the Lynx Pont AHCI to the passtrough devices and reboot the Esxi server again.
All done!

Ik snap alleen niet wat die d3d0 is, de andere zijn de VID en PID.

edit: gevonden:

code:

# passthrough attributes for devices
# file format: vendor-id device-id resetMethod fptShareable
# vendor/device id: xxxx (in hex) (ffff can be used for wildchar match)
# reset methods: flr, d3d0, link, bridge, default
# fptShareable: true/default, false

Ik heb er dus twee met de VID's 8d62 en 8d02.

[ Voor 118% gewijzigd door |sWORDs| op 15-03-2016 10:49 ]

[Jahaa!]

|sWORDs| schreef op dinsdag 15 maart 2016 @ 09:56:
[...]

Hier werkt dat dus niet. Getest met Supermicro X10SLH-F, Supermicro X10DRH-iT, Asus Z10PE-D16 WS (Ook niet via RocketRAID firmware). Niet met NVMe als boot, maar ook niet met USB als boot.
Een van de mensen die het wel aan de praat had deed het via SATA op IDE modus zetten, dat vond ik zo crappy dat ik het niet geprobeerd heb, sommige anderen moesten 'm op RAID zetten, maar dat werkte ook niet.

Selecteerbaar in GUI:

code:

ID,Status,Vendor Name,Device Name,ESX Name
0000:80:01.0,Not Configurable,Intel Corporation,Xeon E5 v3/Core i7 PCI Express Root Port 1,
                 0000:81:00.0,Unavailable,Intel Corporation,NVM-Express PCIe SSD,
0000:80:02.0,Not Configurable,Intel Corporation,Xeon E5 v3/Core i7 PCI Express Root Port 2,
                 0000:82:00.0,Unavailable,Intel Corporation,NVM-Express PCIe SSD,
0000:00:03.2,Not Configurable,Intel Corporation,Xeon E5 v3/Core i7 PCI Express Root Port 3,
                 0000:05:00.0,Unavailable,Intel Corporation,Ethernet Controller 10 Gigabit X540-AT2,vmnic0
                 0000:05:00.1,Unavailable,Intel Corporation,Ethernet Controller 10 Gigabit X540-AT2,vmnic1
0000:00:02.2,Not Configurable,Intel Corporation,Xeon E5 v3/Core i7 PCI Express Root Port 2,
                 0000:03:00.0,Available,LSI Logic / Symbios Logic,LSI2008,
0000:00:1D.0,Unavailable,Intel Corporation,C610/X99 series chipset USB Enhanced Host Controller #1,
0000:80:03.0,Not Configurable,Intel Corporation,Xeon E5 v3/Core i7 PCI Express Root Port 3,
                 0000:83:00.0,Not Configurable,"PLX Technology, Inc.","PEX 8747 48-Lane, 5-Port PCI Express Gen 3 (8.0 GT/s) Switch",
                                  0000:84:08.0,Not Configurable,"PLX Technology, Inc.","PEX 8747 48-Lane, 5-Port PCI Express Gen 3 (8.0 GT/s) Switch",
                                                   0000:85:00.0,Unavailable,NVIDIA Corporation,NVIDIAGRID K2,
                                  0000:84:10.0,Not Configurable,"PLX Technology, Inc.","PEX 8747 48-Lane, 5-Port PCI Express Gen 3 (8.0 GT/s) Switch",
                                                   0000:86:00.0,Unavailable,NVIDIA Corporation,NVIDIAGRID K2,
0000:00:02.0,Not Configurable,Intel Corporation,Xeon E5 v3/Core i7 PCI Express Root Port 2,
                 0000:02:00.0,Unavailable,Samsung Electronics Co Ltd,<class> Non-Volatile memory controller,
0000:00:1A.0,Available,Intel Corporation,C610/X99 series chipset USB Enhanced Host Controller #2,
0000:00:1C.4,Not Configurable,Intel Corporation,C610/X99 series chipset PCI Express Root Port #5,
                 0000:08:00.0,Not Configurable,"ASPEED Technology, Inc.",AST1150 PCI-to-PCI Bridge,
                                  0000:09:00.0,Unavailable,"ASPEED Technology, Inc.",ASPEED Graphics Family,

code:

lspci
0000:00:11.4 Mass storage controller: Intel Corporation Wellsburg AHCI Controller [vmhba0]
0000:00:1f.2 Mass storage controller: Intel Corporation Wellsburg AHCI Controller [vmhba1]

[afbeelding]

[afbeelding]

Dat is inderdaad jammer te horen. Bedankt voor het proberen!!

ik ga is uitzoeken over er andere MB-fabrikanten of chipsets zijn die dit wel kunnen.

[|sWORDs|]

Dat laatste truukje lijkt te kunnen werken:


Ik vraag me dan gelijk af of ik ook één van de twee door kan geven en de andere gewoon gebruiken...

[ Voor 27% gewijzigd door |sWORDs| op 15-03-2016 11:05 ]

[nagasy]

|sWORDs| schreef op dinsdag 15 maart 2016 @ 10:28:

code:

Activate the ssh service in Vsphere Client using the instructions in this link: VMware KB:     Using ESXi Shell in ESXi 5.x
Use Putty or any other terminal program to connect to you Esxi SSH server.
Use vi, for example: vi /etc/vmware/passthru.map
Add these 2 lines at the bottom of the file:
          # INTEL Lynx Point AHCI          8086  8c02  d3d0     false
If you don't now how to use vi, than google for a manual.
run auto-backup.sh
Reboot the Esxi server.
Add the Lynx Pont AHCI to the passtrough devices and reboot the Esxi server again.
All done!

Ik snap alleen niet wat die d3d0 is, de andere zijn de VID en PID.

edit: gevonden:

code:

# passthrough attributes for devices
# file format: vendor-id device-id resetMethod fptShareable
# vendor/device id: xxxx (in hex) (ffff can be used for wildchar match)
# reset methods: flr, d3d0, link, bridge, default
# fptShareable: true/default, false

Ik heb er dus twee met de VID's 8d62 en 8d02.

|sWORDs|,

Additionele informatie over die reset methode

Reset Method
Possible values for the reset method include flr, d3d0, link, bridge, or default.
The default setting is described as follows. If a device supports function level reset (FLR), ESX always uses
FLR. If the device does not support FLR, ESX next defaults to link reset and bus reset in that order. Link reset
and bus reset might prevent some devices from being assigned to different virtual machines, or from being
assigned between the VMkernel and virtual machines. In the absence of FLR, it is possible to use PCI Power
Management capability

http://www.vmware.com/pdf...c_sid_50200000=1458036626

[ Voor 18% gewijzigd door nagasy op 15-03-2016 11:15 ]

[|sWORDs|]

Dat stond er al onder.
Het is inderdaad mogelijk om hem op te knippen in een 4 (8d62) en een 6 (8d02) poorts en maar eentje door te geven naar VM's. Dan heb je dus helemaal geen HBA nodig voor de C610 borden met 10 poorten.

Vier voor ESXi en zes voor VM, maar andersom werkt ook:

code:

# passthrough attributes for devices                                                                                                                                                                         
# file format: vendor-id device-id resetMethod fptShareable                                                                                                                                                  
# vendor/device id: xxxx (in hex) (ffff can be used for wildchar match)                                                                                                                                      
# reset methods: flr, d3d0, link, bridge, default                                                                                                                                                            
# fptShareable: true/default, false                                                                                                                                                                          
                                                                                                                                                                                                             
# Intel 82598 10Gig cards can be reset with d3d0                                                                                                                                                             
8086  10b6  d3d0     default                                                                                                                                                                                 
8086  10c6  d3d0     default                                                                                                                                                                                 
8086  10c7  d3d0     default                                                                                                                                                                                 
8086  10c8  d3d0     default                                                                                                                                                                                 
8086  10dd  d3d0     default                                                                                                                                                                                 
# Broadcom 57710/57711/57712 10Gig cards are not shareable                                                                                                                                                   
14e4  164e  default  false                                                                                                                                                                                   
14e4  164f  default  false                                                                                                                                                                                   
14e4  1650  default  false                                                                                                                                                                                   
14e4  1662  link     false                                                                                                                                                                                   
# Qlogic 8Gb FC card can not be shared                                                                                                                                                                       
1077  2532  default  false                                                                                                                                                                                   
# LSILogic 1068 based SAS controllers                                                                                                                                                                        
1000  0056  d3d0     default                                                                                                                                                                                 
1000  0058  d3d0     default                                                                                                                                                                                 
# NVIDIA                                                                                                                                                                                                     
10de  ffff  bridge   false                                                                                                                                                                                   
# Intel Wellsburg AHCI                                                                                                                                                                                       
8086  8d62  d3d0     false                                                                                                                                                                                   
8086  8d02  d3d0     false

[ Voor 203% gewijzigd door |sWORDs| op 15-03-2016 15:52 ]

[Wasp]

Ik bezit momenteel een HP Proliant Microserver Gen8 met 16 GB geheugen, en draai daar een ZFS pool (4x 3 TB RAID10) op met Proxmox.

Maar ik merk toch dat ik liever VMware ESXi heb als hypervisor, en zodra dat besluit is gevallen mijn microserver ga "downgraden" naar uitsluitend storage, waarschijnlijk met FreeNAS.

Daarnaast wil ik dus een VMware ESXi server hebben. Wat wil ik ermee doen?

- Download VM op debian (Sickrage/SaBNZBD/Transmission/etc)
- Windows 10 client
- Webserver/mailserver VM
- Pruts VM's/tijdelijke dingen

Heb het volgende systeem samengesteld:

#	Product	Prijs	Subtotaal
1	Intel Pentium G4400 Tray	€ 59,10	€ 59,10
1	ASRock B150M Pro4S/D3	€ 67,05	€ 67,05
1	Antec ISK600M	€ 64,90	€ 64,90
2	Kingston ValueRAM KVR13N9K2/16	€ 63,95	€ 127,90
1	be quiet! System Power 7 300W	€ 33,95	€ 33,95
Bekijk collectie Importeer producten		Totaal	€ 352,90

Heb zelf nog een 256 GB SSD die als lokale datastore gaat fungeren. VM backups kunnen dan naar de ZFS pool geschreven worden.

Ik twijfel in deze samenstelling over de processor, ik wil het liefst één die VT-d ondersteunt om in de toekomst bv. een router te kunnen virtualiseren. Dit is de goedkoopste. Deze beschikt alleen over maar 2 cores. Ga ik dat merken denken jullie? Heb verder geen behoefte aan Plex transcoding oid.

Alternatief is deze pricewatch: Intel Core i3-6100 Boxed

Die is echter wel weer 60 euro duurder, enige concrete verschil naast iets andere kloksnelheid is dat deze HT heeft en dus 4 threads.

Is dat het verschil van 60 euro waard?

Verder nog opmerkingen over mijn build?

[RudolfR]

Ik probeer m'n ESXi-host te upgraden van 5.1.0 naar 6.0.1, maar daar slaag ik niet in.

Ik volg deze guide
http://www.v-front.de/201...ga-ultimate-guide-to.html
maar loop vast op de stap voor het updaten naar de drivers voor de Realtek 8168, naar de variant die niet geblacklist is, want ik krijg deze error:

code:

~ # esxcli software vib install -d https://vibsdepot.v-front.de -n net55-r8168
 [DependencyError]
 VIB Realtek_bootbank_net55-r8168_8.039.01-napi requires vmkapi_2_2_0_0, but the requirement cannot be satisfied within the ImageProfile.
 VIB Realtek_bootbank_net55-r8168_8.039.01-napi requires com.vmware.driverAPI-9.2.2.0, but the requirement cannot be satisfied within the ImageProfile.
 Please refer to the log file for more details.

Welke logfile wordt hier bedoeld en waar vind ik die?

Edit: Ah, dit is wss een 5.5 device driver.
http://www.techezone.com/...l-fail-due-to-dependency/


Zijn er betrouwbare mirrors van die Offline-bundles? Heb inmiddels wel een key voor 6, maar die files mag ik niet downloaden van vmware.
Ik zit e.e.a. te proberen met esxi-customizer-ps maar dat lukt niet zonder PowerShell 3.0

[ Voor 4% gewijzigd door RudolfR op 15-03-2016 22:00 ]

[jadjong]

RudolfR schreef op dinsdag 15 maart 2016 @ 20:05:
Ik probeer m'n ESXi-host te upgraden van 5.1.0 naar 6.0.1, maar daar slaag ik niet in.

Ik volg deze guide
http://www.v-front.de/201...ga-ultimate-guide-to.html
maar loop vast op de stap voor het updaten naar de drivers voor de Realtek 8168, naar de variant die niet geblacklist is, want ik krijg deze error:

code:

~ # esxcli software vib install -d https://vibsdepot.v-front.de -n net55-r8168
 [DependencyError]
 VIB Realtek_bootbank_net55-r8168_8.039.01-napi requires vmkapi_2_2_0_0, but the requirement cannot be satisfied within the ImageProfile.
 VIB Realtek_bootbank_net55-r8168_8.039.01-napi requires com.vmware.driverAPI-9.2.2.0, but the requirement cannot be satisfied within the ImageProfile.
 Please refer to the log file for more details.

Welke logfile wordt hier bedoeld en waar vind ik die?

Edit: Ah, dit is wss een 5.5 device driver.
http://www.techezone.com/...l-fail-due-to-dependency/


Zijn er betrouwbare mirrors van die Offline-bundles? Heb inmiddels wel een key voor 6, maar die files mag ik niet downloaden van vmware.
Ik zit e.e.a. te proberen met esxi-customizer-ps maar dat lukt niet zonder PowerShell 3.0

Wat ik heb gedaan:
ESX 6.0.01.iets downloaden
De juiste vibs downloaden
VM aanmaken in VMWare Workstation en een fysieke USB-stick toevoegen als schijf.
Vervolgens installeer je ESX en de losse VIB vanuit Workstation
USB-stick uit laptop, in server, en opstarten maar.

Op deze manier heb je altijd een werkende netwerkverbinding omdat de virtual nic van Workstation het gewoon doet.
VIB's vanaf vibdepot.v-front.de

[RudolfR]

Thnx, dat is wel een mooie oplossing, dan blijft m'n huidige installatie intact...

Heb nu een offline bundle gemaakt voor 5.5 met drivers voor de R8168 m.b.v.:
.\ESXi-Customizer-PS-v2.4.ps1 -v55 -load net-r8168 -ozip

Die kan ik installeren en upgraden naar 5.5

Vervolgens kan ik (misschien overbodig) de offline bundle installeren die ik gemaakt heb met:
esxcli software vib install -d https://vibsdepot.v-front.de -n net55-r8168

En vervolgens een upgrade van 5.5 naar 6.0 met de offline bundle uit:
.\ESXi-Customizer-PS-v2.4.ps1 -v60 -vft -load net55-r8168 -ozip

Nog even kijken hoe ik het ga aanpakken.

[FireDrunk]

Ik heb volgens mij gewoon een ESXi6 bundle gehad voor die driver... Zal eens kijken of ik die nog ergens heb.

[RudolfR]

Dat zou fijn zijn (denk ik), ik snap alleen niet zo goed hoe het mij zou kunnen helpen, want eerst upgraden naar 6.0 en dan via SSH die driver nog installeren gaat niet werken, er zit geen andere netwerkkaart in.

[|sWORDs|]

|sWORDs| schreef op dinsdag 15 maart 2016 @ 11:14:
Het is inderdaad mogelijk om hem op te knippen in een 4 (8d62) en een 6 (8d02) poorts en maar eentje door te geven naar VM's. Dan heb je dus helemaal geen HBA nodig voor de C610 borden met 10 poorten.

En ik heb net de grote test gedaan. LSI eruit en alles over naar de 6 poorten van de 1e Intel controller welke via passthrough naar XPenology gaat. Werkt perfect.

[FireDrunk]

RudolfR schreef op woensdag 16 maart 2016 @ 19:38:
Dat zou fijn zijn (denk ik), ik snap alleen niet zo goed hoe het mij zou kunnen helpen, want eerst upgraden naar 6.0 en dan via SSH die driver nog installeren gaat niet werken, er zit geen andere netwerkkaart in.

Je kan met ESXi Customizer een nieuwe ISO maken waar de bundle ingebakken zit.

[|sWORDs|]

De host client is geen fling meer in ESXi 6.0.0 update 2:

[prekz]

|sWORDs| schreef op donderdag 17 maart 2016 @ 10:51:
[...]

En ik heb net de grote test gedaan. LSI eruit en alles over naar de 6 poorten van de 1e Intel controller welke via passthrough naar XPenology gaat. Werkt perfect.

sWORDs is het mogelijk dat je hiervan een korte handleiding maakt

Door alle post heen heb ik even geen overzicht meer

[|sWORDs|]

1. Login op de ssh console:
   
   
   code:
   

   esxcli storage core adapter list
   HBA Name  Driver      Link State  UID           Capabilities  Description                                                                     
   --------  ----------  ----------  ------------  ------------  --------------------------------------------------------------------------------
   vmhba0    ahci        link-n/a    sata.vmhba0                 (0000:00:11.4) Intel Corporation Wellsburg AHCI Controller                      
   vmhba2    nvme        link-n/a    pscsi.vmhba2                (0000:02:00.0) Samsung Electronics Co Ltd <class> Non-Volatile memory controller
   vmhba3    intel-nvme  link-n/a    pscsi.vmhba3                (0000:82:00.0) Intel Corporation NVM-Express PCIe SSD                           
   vmhba4    intel-nvme  link-n/a    pscsi.vmhba4                (0000:81:00.0) Intel Corporation NVM-Express PCIe SSD                           
   vmhba32   ahci        link-n/a    sata.vmhba32                (0000:00:11.4) Intel Corporation Wellsburg AHCI Controller                      
   vmhba33   ahci        link-n/a    sata.vmhba33                (0000:00:11.4) Intel Corporation Wellsburg AHCI Controller                      
   vmhba34   ahci        link-n/a    sata.vmhba34                (0000:00:11.4) Intel Corporation Wellsburg AHCI Controller

   
   Hier zie je de poorten van de Intel en de PCI ID (0000:00:11.4), dit zijn er normaal twee, maar ik heb de 6 poorts al doorgegeven.
2. code:
   

   lspci -n |grep 0000:00:11.4
   0000:00:11.4 Class 0106: 8086:8d62 [vmhba0]

   
   Hier zie je jouw PID (8d62)
3. Dan zet je die onderin /etc/vmware/passthru.map.
   
   code:
   

    8086  [PID]  d3d0     false

   
   
   Hele file bij mij:
   
   code:
   

   # passthrough attributes for devices                                                                                                                                                                         
   # file format: vendor-id device-id resetMethod fptShareable                                                                                                                                                  
   # vendor/device id: xxxx (in hex) (ffff can be used for wildchar match)                                                                                                                                      
   # reset methods: flr, d3d0, link, bridge, default                                                                                                                                                            
   # fptShareable: true/default, false                                                                                                                                                                          
                                                                                                                                                                                                                
   # Intel 82598 10Gig cards can be reset with d3d0                                                                                                                                                             
   8086  10b6  d3d0     default                                                                                                                                                                                 
   8086  10c6  d3d0     default                                                                                                                                                                                 
   8086  10c7  d3d0     default                                                                                                                                                                                 
   8086  10c8  d3d0     default                                                                                                                                                                                 
   8086  10dd  d3d0     default                                                                                                                                                                                 
   # Broadcom 57710/57711/57712 10Gig cards are not shareable                                                                                                                                                   
   14e4  164e  default  false                                                                                                                                                                                   
   14e4  164f  default  false                                                                                                                                                                                   
   14e4  1650  default  false                                                                                                                                                                                   
   14e4  1662  link     false                                                                                                                                                                                   
   # Qlogic 8Gb FC card can not be shared                                                                                                                                                                       
   1077  2532  default  false                                                                                                                                                                                   
   # LSILogic 1068 based SAS controllers                                                                                                                                                                        
   1000  0056  d3d0     default                                                                                                                                                                                 
   1000  0058  d3d0     default                                                                                                                                                                                 
   # NVIDIA                                                                                                                                                                                                     
   10de  ffff  bridge   false                                                                                                                                                                                   
   # Intel Wellsburg AHCI                                                                                                                                                                                       
   8086  8d62  d3d0     false                                                                                                                                                                                   
   8086  8d02  d3d0     false

4. En reboot, daarna kun je hem gewoon in passthrough zetten (indien er geen datastore op in gebruik is/het jouw bootdevice bevat):
   
5. Nog een reboot en je kunt m doorgeven aan een VM en niet vergeten om op die VM reserve all memory te doen:
   
   
   
   
   

[ Voor 67% gewijzigd door |sWORDs| op 17-03-2016 15:30 ]

[nagasy]

Swords,

Ga je de setup behouden met de bovenstaande instellingen?
Interessant om misschien na te gaan wat het verschil in verbruik is en hoe stabiel het draait op die manier.

Nogmaals dank voor het (leuke?) test- en uitzoekwerk

[|sWORDs|]

Denk het wel, heb ik weer ruimte voor twee extra NVMe drives. Ik heb geen stroommeter behalve de hele woning, dus het verschil zul je moeten doen met de metingen van anderen voor een LSI. (7-15Watt).
Maar als je mijn huidige setup ziet dan weet je dat het sowieso niet zuinig meer is, maar toch denk ik dat het nog steeds zuiniger is dan 4 lichtere servers.

[ Voor 89% gewijzigd door |sWORDs| op 17-03-2016 15:48 ]

[renedis]

Nice finding sWORDs Doet mij toch weer twijfelen om van Ubuntu KVM over te stappen naar ESXi.

[hans_lenze]

|sWORDs| schreef op donderdag 17 maart 2016 @ 13:38:
De host client is geen fling meer in ESXi 6.0.0 update 2:
[afbeelding]

Zelfs support voor vSphere Hypervisor (aka gratis ESXi).
Geen idee of er dan nog knopjes uit staan maar ik zou niet weten waarom dat het geval zou zijn

[dujour]

Misschien dat iemand mij hier even kan helpen, ik heb mijn systeem binnen gekregen met de volgende specs:

#	Product	Prijs	Subtotaal
1	Intel Core i3-6100T Boxed	€ 125,95	€ 125,95
1	ASRock B150M Pro4S	€ 73,50	€ 73,50
1	BitFenix Neos Wit/Blauw	€ 34,95	€ 34,95
1	Kingston HyperX Fury HX421C14FBK2/16	€ 67,95	€ 67,95
1	be quiet! System Power 7 300W	€ 33,95	€ 33,95
Bekijk collectie Importeer producten		Totaal	€ 336,30

Nu heb ik ESXi erop geïnstalleerd en het systeem gebruikt continue 50 % cpu.
Dit komt door het helper process, met esxtop krijg ik de volgende stats:

ID GID NAME NWLD %USED %RUN %SYS %WAIT %VMWAIT %RDY %IDLE %OVRLP %CSTP %MLMTD %SWPWT
9 9 helper 163 94.19 99.34 0.01 16205.95 - 0.08 0.00 0.06 0.00 0.00 0.00

In de /var/log/vmkernel.log krijg ik de volgende errors

ACPI Error: [PGRT] Namespace lookup failure, AE_NOT_FOUND2016-03-19T19:38:49.982Z cpu2:32796) (20120215/psargs-464)
ACPI Error: Method parse/execution failed [\_GPE._L6F] (Node 0x43005ccba730), AE_NOT_FOUND2016-03-19T19:38:49.982Z cpu2:32796) (20120215/psparse-632)
ACPI Exception: AE_NOT_FOUND, while evaluating GPE method [_L6F]2016-03-19T19:38:49.982Z cpu2:32796) (20120215/evgpe-680)

Dit is een bug met de skylake processoren mbt. acpi voor wat ik heb gelezen en onder linux kun je in de kernel acpi uitzetten.
Onder ESX kun je zover ik weet alleen max performance zetten onder power options.

In de bios heb ik ACPI al een keer uitgezet etc. maar biedt geen solaas.
Ik heb de nieuwste bios geïnstalleerd en ook getest met een oudere versie.

Ik heb het geprobeerd met ESXi 5.5 en 6.0 beide laatste releases.


Iemand nog idee hoe dit kan oplossen?

PS. Ik heb al een case ingediend bij Asrock

[qwyrp2]

Ik ben al een tijdje dit forum aan het lezen en wil binnenkort een echt goede ESXI-server gaan bouwen. Ik wil echter eerst wat meer vertrouwd raken met ESXi en heb nog een ZOTAC ZBOX ID18 liggen.

• Intel Celeron 1007U
• 8 gb intern geheugen
• 250 gb harde schijf

Het zal (vast) niet erg snel zijn maar kan iemand mij vertellen of ik dar ESXi op kan draaien om eens wat te oefenen?

[kakanox]

qwyrp2 schreef op zaterdag 19 maart 2016 @ 23:47:
Ik ben al een tijdje dit forum aan het lezen en wil binnenkort een echt goede ESXI-server gaan bouwen. Ik wil echter eerst wat meer vertrouwd raken met ESXi en heb nog een ZOTAC ZBOX ID18 liggen.

• Intel Celeron 1007U
• 8 gb intern geheugen
• 250 gb harde schijf

Het zal (vast) niet erg snel zijn maar kan iemand mij vertellen of ik dar ESXi op kan draaien om eens wat te oefenen?

Je hebt geen VT-d dus schijven etc. direct doorgeven wordt 'm niet. Wel VT-x. Gaat draaien en redelijk werken maar snel wordt 't niet nee, met zo'n zuinige dualcore.

[FireDrunk]

dujour schreef op zaterdag 19 maart 2016 @ 19:50:
Misschien dat iemand mij hier even kan helpen, ik heb mijn systeem binnen gekregen met de volgende specs:

#	Product	Prijs	Subtotaal
1	Intel Core i3-6100T Boxed	€ 125,95	€ 125,95
1	ASRock B150M Pro4S	€ 73,50	€ 73,50
1	BitFenix Neos Wit/Blauw	€ 34,95	€ 34,95
1	Kingston HyperX Fury HX421C14FBK2/16	€ 67,95	€ 67,95
1	be quiet! System Power 7 300W	€ 33,95	€ 33,95
Bekijk collectie Importeer producten		Totaal	€ 336,30

Nu heb ik ESXi erop geïnstalleerd en het systeem gebruikt continue 50 % cpu.
Dit komt door het helper process, met esxtop krijg ik de volgende stats:

ID GID NAME NWLD %USED %RUN %SYS %WAIT %VMWAIT %RDY %IDLE %OVRLP %CSTP %MLMTD %SWPWT
9 9 helper 163 94.19 99.34 0.01 16205.95 - 0.08 0.00 0.06 0.00 0.00 0.00

In de /var/log/vmkernel.log krijg ik de volgende errors

ACPI Error: [PGRT] Namespace lookup failure, AE_NOT_FOUND2016-03-19T19:38:49.982Z cpu2:32796) (20120215/psargs-464)
ACPI Error: Method parse/execution failed [\_GPE._L6F] (Node 0x43005ccba730), AE_NOT_FOUND2016-03-19T19:38:49.982Z cpu2:32796) (20120215/psparse-632)
ACPI Exception: AE_NOT_FOUND, while evaluating GPE method [_L6F]2016-03-19T19:38:49.982Z cpu2:32796) (20120215/evgpe-680)

Dit is een bug met de skylake processoren mbt. acpi voor wat ik heb gelezen en onder linux kun je in de kernel acpi uitzetten.
Onder ESX kun je zover ik weet alleen max performance zetten onder power options.

In de bios heb ik ACPI al een keer uitgezet etc. maar biedt geen solaas.
Ik heb de nieuwste bios geïnstalleerd en ook getest met een oudere versie.

Ik heb het geprobeerd met ESXi 5.5 en 6.0 beide laatste releases.


Iemand nog idee hoe dit kan oplossen?

PS. Ik heb al een case ingediend bij Asrock

Legacy boot al eens geprobeerd ipv UEFI?

[dujour]

FireDrunk schreef op zondag 20 maart 2016 @ 14:18:
[...]

Legacy boot al eens geprobeerd ipv UEFI?

Legacy boot staat aan.

[FireDrunk]

Switch voor de grap eens naar UEFI.

[Nerve]

Paul schreef op dinsdag 08 maart 2016 @ 23:03:

[...]
Ik heb een soortgelijke processor in mijn NAS, en die trekt:
- ZFS VM
- - PLEX
- - Nieuwsgroepen downloaden
- - Torrents downloaden
- - OwnCloud
- - Crashplan backups van de NAS (aanrader! Voor $ 5 per maand alles veilig, of $ 12,50 voor 10 computers)
- - CouchPotato
- - SickBeard
- 3x Minecraft server met veel mods
- Space Engineers Server
- 7 Days to Die Server
- vCenter Server
- Windows Server met AD
- Exchange
- SQL Server

tegelijkertijd op zijn sloffen. Nu is "tegelijkertijd" een beetje overtrokken, want het is een thuissituatie en hoewel die games wel open staan richting het internet (of eigenlijk, richting de IP-adressen van wat vrienden) wordt het nooit allemaal tegelijkertijd gebruikt

Mooie machine Paul. Zoek zelf een machine samen te stellen die een gelijkaardige load aankan, dus fileserver (of NAS) functionaliteit, een windows server, db server en nog wat nader ongedefineerde VM's. Met ZFS ga ik me niet bezighouden. Wil vooral inzetten op flexibiliteit en toekomstgericht zijn. Graag een beetje stil, zuinigheid is meegenomen maar hoeft niet tot de laatste Watt geoptimaliseerd te zijn. Dacht twee SSDs (mogelijk RAID 1) en tot 4 harde schijven te installeren. 32Gb RAM installeren, mogelijkheid tot 64 meegenomen (wss overkill). Esxi booten van USB stick of van SSD, VM's zelf ook op de SSD's. Iemand een voorzet voorzet een Skylake build ? Volg deze thread al enkele weken maar zie door het hardware bos de bomen niet meer, althans, wil vooral incompatibiliteiten vermijden.

[Deveon]

kakanox schreef op zondag 20 maart 2016 @ 01:21:
[...]
Je hebt geen VT-d dus schijven etc. direct doorgeven wordt 'm niet. Wel VT-x. Gaat draaien en redelijk werken maar snel wordt 't niet nee, met zo'n zuinige dualcore.

RDM kan wel en als het om 1 disk gaat kan je net zo goed vSphere daar direct de datastore op laten wegschrijven. VT-d is eigenlijk alleen nodig als je ZFS virtueel met goeie performance wilt draaien.

[Paul]

Nerve schreef op maandag 21 maart 2016 @ 12:11:
Iemand een voorzet voorzet een Skylake build?

De afhankelijkheden die ZFS creëert heb je niet als je geen ZFS gebruikt (duh... : P ) dus dat maakt het simpeler, aan de andere kant legt RAID onder ESXi dan weer andere dingen op

Die 4 harde schijven, wilde je die ook in RAID? Welke NAS-software wil je inzetten?

[Pantagruel]

dujour schreef op zaterdag 19 maart 2016 @ 19:50:
Misschien dat iemand mij hier even kan helpen, ik heb mijn systeem binnen gekregen met de volgende specs:

#	Product	Prijs	Subtotaal
1	Intel Core i3-6100T Boxed	€ 125,95	€ 125,95
1	ASRock B150M Pro4S	€ 73,50	€ 73,50
1	BitFenix Neos Wit/Blauw	€ 34,95	€ 34,95
1	Kingston HyperX Fury HX421C14FBK2/16	€ 67,95	€ 67,95
1	be quiet! System Power 7 300W	€ 33,95	€ 33,95
Bekijk collectie Importeer producten		Totaal	€ 336,30

Nu heb ik ESXi erop geïnstalleerd en het systeem gebruikt continue 50 % cpu.
Dit komt door het helper process, met esxtop krijg ik de volgende stats:

ID GID NAME NWLD %USED %RUN %SYS %WAIT %VMWAIT %RDY %IDLE %OVRLP %CSTP %MLMTD %SWPWT
9 9 helper 163 94.19 99.34 0.01 16205.95 - 0.08 0.00 0.06 0.00 0.00 0.00

In de /var/log/vmkernel.log krijg ik de volgende errors

ACPI Error: [PGRT] Namespace lookup failure, AE_NOT_FOUND2016-03-19T19:38:49.982Z cpu2:32796) (20120215/psargs-464)
ACPI Error: Method parse/execution failed [\_GPE._L6F] (Node 0x43005ccba730), AE_NOT_FOUND2016-03-19T19:38:49.982Z cpu2:32796) (20120215/psparse-632)
ACPI Exception: AE_NOT_FOUND, while evaluating GPE method [_L6F]2016-03-19T19:38:49.982Z cpu2:32796) (20120215/evgpe-680)

Dit is een bug met de skylake processoren mbt. acpi voor wat ik heb gelezen en onder linux kun je in de kernel acpi uitzetten.
Onder ESX kun je zover ik weet alleen max performance zetten onder power options.

In de bios heb ik ACPI al een keer uitgezet etc. maar biedt geen solaas.
Ik heb de nieuwste bios geïnstalleerd en ook getest met een oudere versie.

Ik heb het geprobeerd met ESXi 5.5 en 6.0 beide laatste releases.


Iemand nog idee hoe dit kan oplossen?

PS. Ik heb al een case ingediend bij Asrock

FireDrunk schreef op zondag 20 maart 2016 @ 16:57:
Switch voor de grap eens naar UEFI.

Als ik me goed herinner heeft de Asrock B150m onder Linux problemen met ACPI, mogelijk ivm brakke implementatie. Ik moet de duitse C't even raadplegen voor de zekerheid. Zij hadden dit energie zuinige bordje getest en liepen tgen ACPI problemen aan. Als t daadwerkelijk daar aan ligt dan is t ACPI gezeur verklaard.

[dujour]

Pantagruel schreef op maandag 21 maart 2016 @ 13:41:
[...]


[...]


Als ik me goed herinner heeft de Asrock B150m onder Linux problemen met ACPI, mogelijk ivm brakke implementatie. Ik moet de duitse C't even raadplegen voor de zekerheid. Zij hadden dit energie zuinige bordje getest en liepen tgen ACPI problemen aan. Als t daadwerkelijk daar aan ligt dan is t ACPI gezeur verklaard.

Thanks, als je dat zou willen doen.

Asrock gaat het even in Taiwan navragen mbt. de volgende bios update.
Update: Nieuwe bios versie heeft het euvel helaas niet opgelost.

[ Voor 4% gewijzigd door dujour op 21-03-2016 19:54 ]

[Nerve]

Paul schreef op maandag 21 maart 2016 @ 13:33:
[...]
De afhankelijkheden die ZFS creëert heb je niet als je geen ZFS gebruikt (duh... : P ) dus dat maakt het simpeler, aan de andere kant legt RAID onder ESXi dan weer andere dingen op

Die 4 harde schijven, wilde je die ook in RAID? Welke NAS-software wil je inzetten?

Uit het RAID verhaal ben ik nog niet uit, maar mogelijk wel ja. Vermoedelijk zet ik m'n synology in als backup en hoeft dit dus niet. Ik wil hoofdzakelijk een controller om write-back te garanderen mocht ik die db server aan het werk willen zetten. Dacht niet direct NAS software te gebruiken, een netwerkshare om mijn muzieklibrary beschikbaar te maken voor mijn SONOS volstaat. Eventueel later nog PLEX.

Ik denk dat mijn grootste dilemma gaat liggen tussen een full fledged SuperMicro moederbord met een XEON CPU en dus ECC geheugen en anderzijds iets meer consumer minded met een i5/i7 I guess ?

[Pantagruel]

dujour schreef op maandag 21 maart 2016 @ 13:45:
[...]


Thanks, als je dat zou willen doen.

Asrock gaat het even in Taiwan navragen mbt. de volgende bios update.
Update: Nieuwe bios versie heeft het euvel helaas niet opgelost.

C'T zegt het volgende:

'' Onder Linux konden we geen zinnige tests doorvoeren, dit omdat de B150M-HDS (van Asrock) onder zowel Fedora 23 als ook Ubuntu 15.10 voortdurend ACPI fouten gaf. Hadden we de tests niet onderbroken dan was de OS SSD volgelopen met de error-log(s). Vermoedelijk is een fout in de ACPI tabel (programmeer fout), aanwezig in het BIOS, hier de grondslag voor. De fout is te omzeilen door de kernel optie "acpi=off" te zetten maar hiermee gaan ook elementaire energie managment functies als het herstarten van het systeem verloren '

Dus het probleem zit vlgs C'T in een mogelijke fout in de ACPI tabel. IMHO ligt de bal dus bij Asrock om dit met een BIOS update op te lossen.

[FireDrunk]

Wel erg, erg slordig dit Dat is voor mij een flinke streep door de goede reputatie van ASRock...

[dujour]

Pantagruel schreef op maandag 21 maart 2016 @ 20:07:
[...]


C'T zegt het volgende:

'' Onder Linux konden we geen zinnige tests doorvoeren, dit omdat de B150M-HDS (van Asrock) onder zowel Fedora 23 als ook Ubuntu 15.10 voortdurend ACPI fouten gaf. Hadden we de tests niet onderbroken dan was de OS SSD volgelopen met de error-log(s). Vermoedelijk is een fout in de ACPI tabel (programmeer fout), aanwezig in het BIOS, hier de grondslag voor. De fout is te omzeilen door de kernel optie "acpi=off" te zetten maar hiermee gaan ook elementaire energie managment functies als het herstarten van het systeem verloren '

Dus het probleem zit vlgs C'T in een mogelijke fout in de ACPI tabel. IMHO ligt de bal dus bij Asrock om dit met een BIOS update op te lossen.

Dank je voor het nazoeken.
Ik heb Asrock support nogmaals gevraagd naar ACPI te kijken.
Eens kijken wat daar verder uitkomt.

[|sWORDs|]

Iemand enig idee waarom RSA performance van een Xeon bijna 4x beter is dan een Pentium (beide hebben AES-ni)?

Onderaan de pagina:
http://linuxbenchmarking.com/?clear-linux-daily-tracker

[FireDrunk]

Omdat AES-NI afhankelijk is van meerdere factoren? Onder andere cache en single core snelheid zijn zwaarwegende factoren, en laat een Xeon nou net 2,5x zoveel cache hebben.

[prekz]

|sWORDs| schreef op donderdag 17 maart 2016 @ 15:00:

1. Login op de ssh console:
   
   
   code:
   

   esxcli storage core adapter list
   HBA Name  Driver      Link State  UID           Capabilities  Description                                                                     
   --------  ----------  ----------  ------------  ------------  --------------------------------------------------------------------------------
   vmhba0    ahci        link-n/a    sata.vmhba0                 (0000:00:11.4) Intel Corporation Wellsburg AHCI Controller                      
   vmhba2    nvme        link-n/a    pscsi.vmhba2                (0000:02:00.0) Samsung Electronics Co Ltd <class> Non-Volatile memory controller
   vmhba3    intel-nvme  link-n/a    pscsi.vmhba3                (0000:82:00.0) Intel Corporation NVM-Express PCIe SSD                           
   vmhba4    intel-nvme  link-n/a    pscsi.vmhba4                (0000:81:00.0) Intel Corporation NVM-Express PCIe SSD                           
   vmhba32   ahci        link-n/a    sata.vmhba32                (0000:00:11.4) Intel Corporation Wellsburg AHCI Controller                      
   vmhba33   ahci        link-n/a    sata.vmhba33                (0000:00:11.4) Intel Corporation Wellsburg AHCI Controller                      
   vmhba34   ahci        link-n/a    sata.vmhba34                (0000:00:11.4) Intel Corporation Wellsburg AHCI Controller

   
   Hier zie je de poorten van de Intel en de PCI ID (0000:00:11.4), dit zijn er normaal twee, maar ik heb de 6 poorts al doorgegeven.
2. code:
   

   lspci -n |grep 0000:00:11.4
   0000:00:11.4 Class 0106: 8086:8d62 [vmhba0]

   
   Hier zie je jouw PID (8d62)
3. Dan zet je die onderin /etc/vmware/passthru.map.
   
   code:
   

    8086  [PID]  d3d0     false

   
   
   Hele file bij mij:
   
   code:
   

   # passthrough attributes for devices                                                                                                                                                                         
   # file format: vendor-id device-id resetMethod fptShareable                                                                                                                                                  
   # vendor/device id: xxxx (in hex) (ffff can be used for wildchar match)                                                                                                                                      
   # reset methods: flr, d3d0, link, bridge, default                                                                                                                                                            
   # fptShareable: true/default, false                                                                                                                                                                          
                                                                                                                                                                                                                
   # Intel 82598 10Gig cards can be reset with d3d0                                                                                                                                                             
   8086  10b6  d3d0     default                                                                                                                                                                                 
   8086  10c6  d3d0     default                                                                                                                                                                                 
   8086  10c7  d3d0     default                                                                                                                                                                                 
   8086  10c8  d3d0     default                                                                                                                                                                                 
   8086  10dd  d3d0     default                                                                                                                                                                                 
   # Broadcom 57710/57711/57712 10Gig cards are not shareable                                                                                                                                                   
   14e4  164e  default  false                                                                                                                                                                                   
   14e4  164f  default  false                                                                                                                                                                                   
   14e4  1650  default  false                                                                                                                                                                                   
   14e4  1662  link     false                                                                                                                                                                                   
   # Qlogic 8Gb FC card can not be shared                                                                                                                                                                       
   1077  2532  default  false                                                                                                                                                                                   
   # LSILogic 1068 based SAS controllers                                                                                                                                                                        
   1000  0056  d3d0     default                                                                                                                                                                                 
   1000  0058  d3d0     default                                                                                                                                                                                 
   # NVIDIA                                                                                                                                                                                                     
   10de  ffff  bridge   false                                                                                                                                                                                   
   # Intel Wellsburg AHCI                                                                                                                                                                                       
   8086  8d62  d3d0     false                                                                                                                                                                                   
   8086  8d02  d3d0     false

4. En reboot, daarna kun je hem gewoon in passthrough zetten (indien er geen datastore op in gebruik is/het jouw bootdevice bevat):
   [afbeelding]
5. Nog een reboot en je kunt m doorgeven aan een VM en niet vergeten om op die VM reserve all memory te doen:
   [afbeelding]
   
   [afbeelding]
   
   [afbeelding]

Bedankt voor de heldere uitleg. Weet jij of dit werkt op elk intel chipset die 2 controllers heeft (dus één NVM controller en een sata controller?)

Natuurlijk moet je processor VT-D ondersteunen maar zijn er nog meer zaken waar ik op moet letten?
En hoe zit het met raid functionaliteit, ik weet dat je software raid kan toepassen maar is dit goed genoeg (ingeval van raid5) mocht er een disk uit vallen dat hij dan netjes alles regelen?

Deze vragen stel ik omdat ik in dit geval van mijn NAS (synology) en ESX bak (nuc) eindelijk af kan en deze ook tegelijk kan uitbereiden (meer ram geheugen).

[|sWORDs|]

In theorie werkt het met elke controller chip die VT-d support heeft en zou je ook gewoon vanaf USB kunnen booten (of andere controller, het hoeft dus zeker geen NVMe te zijn).

Maar de CPU moet VT-d support hebben, de chipset, controller en bios.

Alle functionaliteit van de controller werkt gewoon, als je dus een echte hardware RAID controller doorgeeft dan zal dat gewoon werken. In het geval van Intel chipsets (RST, etc) zal dit niet werken, aangezien dit BIOS software is. Maar dan maakt het dus ook niet uit, als het toch software RAID is kun je het net zo goed vanuit het OS doen (zolang je er niet van boot, of in elk geval niet de bootloader van start).

[ Voor 45% gewijzigd door |sWORDs| op 22-03-2016 14:02 ]

[prekz]

Oke ik zal binnenkort eens een wensenlijstje posten. Kijken of deze dan voldoet aan de eisen zoals hierboven beschreven.

EDIT:
Ik ga het eerst eens testen op mijn NUC. Met het commando esxcli storage core adapter list zie ik namelijk het volgende:

code: filename

 vmhba0    ahci         link-n/a    sata.vmhba0                 (0000:00:1f.2) Intel Corporation Lynx Point SATA Controller
vmhba32   usb-storage  link-n/a    usb.vmhba32                 () USB
vmhba33   ahci         link-n/a    sata.vmhba33                (0000:00:1f.2) Intel Corporation Lynx Point SATA Controller
vmhba34   ahci         link-n/a    sata.vmhba34                (0000:00:1f.2) Intel Corporation Lynx Point SATA Controller
vmhba35   ahci         link-n/a    sata.vmhba35                (0000:00:1f.2) Intel Corporation Lynx Point SATA Controller

Het is een intel nuc met 4010u processor die dus VT-D heeft. Aangezien ik hierbij de USB controller zie zou ik die als opstart disk moeten gebruiken om vervolgens de SSD die ik heb te passthrougen in een VM.

[ Voor 80% gewijzigd door prekz op 22-03-2016 14:07 ]

[|sWORDs|]

Met de meeste systemen moet het wel lukken, hoe nieuwer hoe beter (hoe groter de kans), als je maar bij Atom based CPU's weg blijft. Voor oudere systemen is het Nehalem+, maar hoe ouder hoe meer borden het niet of niet goed in de bios hebben zitten. Qua AHCI controller bij Intel lukt het in elk geval met:
Lynx Point (Haswell)
Wellsburg (X99/C612, Ivy/Haswell EP)

En ik denk dat Greenlow/Skylake geen probleem mag zijn (daar heb je in elk geval veel CPU keuze met VT-d).

prekz schreef op dinsdag 22 maart 2016 @ 14:00:
Het is een intel nuc met 4010u processor die dus VT-D heeft. Aangezien ik hierbij de USB controller zie zou ik die als opstart disk moeten gebruiken om vervolgens de SSD die ik heb te passthrougen in een VM.

Dat zou moeten werken indien de bios op orde is (en de bios-en van NUCs laten best vaak een steekje vallen helaas).

code:

lspci
00:00.0 Host bridge: Intel Corporation Haswell-ULT DRAM Controller (rev 09)
00:02.0 VGA compatible controller: Intel Corporation Haswell-ULT Integrated Graphics Controller (rev 09)
00:03.0 Audio device: Intel Corporation Haswell-ULT HD Audio Controller (rev 09)
00:14.0 USB controller: Intel Corporation 8 Series USB xHCI HC (rev 04)
00:16.0 Communication controller: Intel Corporation 8 Series HECI #0 (rev 04)
00:19.0 Ethernet controller: Intel Corporation Ethernet Connection I218-V (rev 04)
00:1b.0 Audio device: Intel Corporation 8 Series HD Audio Controller (rev 04)
00:1c.0 PCI bridge: Intel Corporation 8 Series PCI Express Root Port 1 (rev e4)
00:1c.3 PCI bridge: Intel Corporation 8 Series PCI Express Root Port 4 (rev e4)
00:1d.0 USB controller: Intel Corporation 8 Series USB EHCI #1 (rev 04)
00:1f.0 ISA bridge: Intel Corporation 8 Series LPC Controller (rev 04)
00:1f.2 SATA controller: Intel Corporation 8 Series SATA Controller 1 [AHCI mode] (rev 04)
00:1f.3 SMBus: Intel Corporation 8 Series SMBus Controller (rev 04)

Zo te zien heeft ie ook 2 USB controllers, dan zou je zelfs daar er ook één kunnen doorgeven en één als boot gebruiken.

[ Voor 72% gewijzigd door |sWORDs| op 22-03-2016 14:28 ]

[OsiriS.nl]

Zijn er hier nog meer mensen met een supermicro moederbord en en probleem met shutdownen van de host? Restart werkt wel goed.

Ik heb esxi geüpdate naar 6.0 U2 en ipmi en bios zijn ook up to date..

Heeft iemand hier al een werkende oplossing voor?

[|sWORDs|]

OsiriS.nl schreef op dinsdag 22 maart 2016 @ 22:26:
Zijn er hier nog meer mensen met een supermicro moederbord en en probleem met shutdownen van de host? Restart werkt wel goed.

Ik heb esxi geüpdate naar 6.0 U2 en ipmi en bios zijn ook up to date..

Heeft iemand hier al een werkende oplossing voor?

|sWORDs| schreef op dinsdag 02 februari 2016 @ 10:31:
[...]

Ik heb er ook last van met een X10DRH-iT en ben blijkbaar niet de enige. Als ik hem uit wil doen doe ik een reboot en zodra de bios komt zet ik m uit met de powerknop (niet ideaal).


[...]

Blijft hier allemaal hetzelfde, alleen reboot werkt.

|sWORDs| schreef op dinsdag 02 februari 2016 @ 11:30:

code:

/sbin/shutdown.sh && reboot

werkt prima.

code:

/sbin/shutdown.sh && poweroff

zet de VM's netjes uit en stop de services, maar er volgt gewoon geen power off. Geen dump file aanwezig na handmatige reset.

|sWORDs| schreef op zondag 21 februari 2016 @ 14:21:
[...]

Om gek van te worden, vandaag ESXi clean install (ESXi 6.0 Update 1b, VMware-VMvisor-Installer-201601001-3380124.x86_64.iso) naar disk gedaan, BIOS update (1.1->2.0), IPMI update (2.14->3.26), controller update (P19->P20), IPMI module uit (noipmiEnabled), BIOS restore optimal, Legacy boot->EFI boot, alle Power Management settings combi's...
Niets helpt om shutdown werkend te krijgen, zelfs niet zonder dat er ook maar iets in ESXi (passthrough, settings, etc) aangepast is.

Ja dus en geen fix, meerdere bios en ESXi (inmiddels update 2) versies al last van.

[ Voor 25% gewijzigd door |sWORDs| op 23-03-2016 08:22 ]

[OsiriS.nl]

Oow oké, niks werkt dus.
Had gehoopt op een workaround..
Voornamelijk om bij een spanningsuitval alles netjes uit te schakelen.
Dan nog maar even wachten....

[ Voor 11% gewijzigd door OsiriS.nl op 23-03-2016 13:08 ]

[Wasp]

Wasp schreef op dinsdag 15 maart 2016 @ 16:16:
Ik bezit momenteel een HP Proliant Microserver Gen8 met 16 GB geheugen, en draai daar een ZFS pool (4x 3 TB RAID10) op met Proxmox.

Maar ik merk toch dat ik liever VMware ESXi heb als hypervisor, en zodra dat besluit is gevallen mijn microserver ga "downgraden" naar uitsluitend storage, waarschijnlijk met FreeNAS.

Daarnaast wil ik dus een VMware ESXi server hebben. Wat wil ik ermee doen?

- Download VM op debian (Sickrage/SaBNZBD/Transmission/etc)
- Windows 10 client
- Webserver/mailserver VM
- Pruts VM's/tijdelijke dingen

Heb het volgende systeem samengesteld:

#	Product	Prijs	Subtotaal
1	Intel Pentium G4400 Tray	€ 59,10	€ 59,10
1	ASRock B150M Pro4S/D3	€ 67,05	€ 67,05
1	Antec ISK600M	€ 64,90	€ 64,90
2	Kingston ValueRAM KVR13N9K2/16	€ 63,95	€ 127,90
1	be quiet! System Power 7 300W	€ 33,95	€ 33,95
Bekijk collectie Importeer producten		Totaal	€ 352,90

Heb zelf nog een 256 GB SSD die als lokale datastore gaat fungeren. VM backups kunnen dan naar de ZFS pool geschreven worden.

Ik twijfel in deze samenstelling over de processor, ik wil het liefst één die VT-d ondersteunt om in de toekomst bv. een router te kunnen virtualiseren. Dit is de goedkoopste. Deze beschikt alleen over maar 2 cores. Ga ik dat merken denken jullie? Heb verder geen behoefte aan Plex transcoding oid.

Alternatief is deze pricewatch: Intel Core i3-6100 Boxed

Die is echter wel weer 60 euro duurder, enige concrete verschil naast iets andere kloksnelheid is dat deze HT heeft en dus 4 threads.

Is dat het verschil van 60 euro waard?

Verder nog opmerkingen over mijn build?

Heb mezelf even schaamteloos gequote. Inmiddels ben ik tot iets andere inzichten gekomen en heb nu het volgende samengesteld.

#	Product	Prijs	Subtotaal
1	Intel Core i3-6100T Boxed	€ 125,-	€ 125,-
1	ASRock B150M Pro4S/D3	€ 66,40	€ 66,40
1	Antec ISK600M	€ 63,95	€ 63,95
1	Intel Gigabit CT Desktop Adapter	€ 24,86	€ 24,86
2	Kingston ValueRAM KVR13N9K2/16	€ 62,95	€ 125,90
1	Seasonic G-series 360 watt	€ 59,95	€ 59,95
Bekijk collectie Importeer producten		Totaal	€ 466,06

Toch gekozen dus voor de wat snellere i3. En een betere (zuinigere) voeding.

Rest mij nog wel een vraag over ESXi en het ondersteunen van de on-board Intel I219V NIC.

Volgens internet wordt deze ondersteund in 5.5 U3, echter kan ik nergens de gratis versie daarvan downloaden? Daarom voor nu voor de zekerheid maar een Intel kaartje erbij.

Kan iemand anders nog eens een helder licht schijnen over deze build? Zie ik dingen over het hoofd?

[vinnie_ki]

Wasp schreef op woensdag 23 maart 2016 @ 13:42:
[...]

Volgens internet wordt deze ondersteund in 5.5 U3, echter kan ik nergens de gratis versie daarvan downloaden? Daarom voor nu voor de zekerheid maar een Intel kaartje erbij.

Kwestie van registreren bij VMware en een gratis sleutel voor Esxi 5.5 aanvragen. Daarna downloaden via:
https://my.vmware.com/web...&productId=353&rPId=10584

[FireDrunk]

Of gewoon de 5.5 driver in 6.0 installeren?

http://www.v-front.de/201...es-support-for-intel.html

And another final note: With the methods above you add a driver that was built for ESXi 5.5 to an ESXi 6.0 system. This works well, because ESXi 6.0 is still compatible with 5.x drivers.

[|sWORDs|]

Die zit ook gewoon in 6.0 u1b en hoger.

[dujour]

Wasp schreef op woensdag 23 maart 2016 @ 13:42:
[...]


Heb mezelf even schaamteloos gequote. Inmiddels ben ik tot iets andere inzichten gekomen en heb nu het volgende samengesteld.

#	Product	Prijs	Subtotaal
1	Intel Core i3-6100T Boxed	€ 125,-	€ 125,-
1	ASRock B150M Pro4S/D3	€ 66,40	€ 66,40
1	Antec ISK600M	€ 63,95	€ 63,95
1	Intel Gigabit CT Desktop Adapter	€ 24,86	€ 24,86
2	Kingston ValueRAM KVR13N9K2/16	€ 62,95	€ 125,90
1	Seasonic G-series 360 watt	€ 59,95	€ 59,95
Bekijk collectie Importeer producten		Totaal	€ 466,06

Toch gekozen dus voor de wat snellere i3. En een betere (zuinigere) voeding.

Rest mij nog wel een vraag over ESXi en het ondersteunen van de on-board Intel I219V NIC.

Volgens internet wordt deze ondersteund in 5.5 U3, echter kan ik nergens de gratis versie daarvan downloaden? Daarom voor nu voor de zekerheid maar een Intel kaartje erbij.

Kan iemand anders nog eens een helder licht schijnen over deze build? Zie ik dingen over het hoofd?

Linux wordt officieel niet ondersteund.
Ook werkt op dit moment ACPI niet met dit moederboard,

Ik heb dezelfde build en hier wordt 1 core continue gebruikt door een process in ESX.
Zie de post van mij een stukje terug.

[FireDrunk]

|sWORDs| schreef op woensdag 23 maart 2016 @ 16:40:
Die zit ook gewoon in 6.0 u1b en hoger.

Nog beter

[Wasp]

dujour schreef op donderdag 24 maart 2016 @ 15:17:
[...]


Linux wordt officieel niet ondersteund.
Ook werkt op dit moment ACPI niet met dit moederboard,

Ik heb dezelfde build en hier wordt 1 core continue gebruikt door een process in ESX.
Zie de post van mij een stukje terug.

Bedankt voor je reactie! Als ik het goed begrijp echt expliciet een probleem met Skylake ASRock moederborden? (In ieder geval het type wat jij hebt)

Mede hierom heb ik weer wat aanpassingen gedaan in de wenslijst. Toch weer de niet-T variant van de CPU, ander moederbord (Gigabyte met VT-d ondersteuning volgens de handleiding) en omdat dit bord DDR4 ondersteunt dus ook DDR4 geheugen.

#	Product	Prijs	Subtotaal
1	Intel Core i3-6100 Boxed	€ 118,95	€ 118,95
1	Gigabyte GA-B150M-DS3P	€ 88,-	€ 88,-
1	Antec ISK600M	€ 63,95	€ 63,95
2	Crucial CT2K8G4DFD8213	€ 57,50	€ 115,-
1	Seasonic G-series 360 watt	€ 59,95	€ 59,95
Bekijk collectie Importeer producten		Totaal	€ 445,85

[dujour]

Wasp schreef op vrijdag 25 maart 2016 @ 12:59:
[...]

Bedankt voor je reactie! Als ik het goed begrijp echt expliciet een probleem met Skylake ASRock moederborden? (In ieder geval het type wat jij hebt)

Mede hierom heb ik weer wat aanpassingen gedaan in de wenslijst. Toch weer de niet-T variant van de CPU, ander moederbord (Gigabyte met VT-d ondersteuning volgens de handleiding) en omdat dit bord DDR4 ondersteunt dus ook DDR4 geheugen.

#	Product	Prijs	Subtotaal
1	Intel Core i3-6100 Boxed	€ 118,95	€ 118,95
1	Gigabyte GA-B150M-DS3P	€ 88,-	€ 88,-
1	Antec ISK600M	€ 63,95	€ 63,95
2	Crucial CT2K8G4DFD8213	€ 57,50	€ 115,-
1	Seasonic G-series 360 watt	€ 59,95	€ 59,95
Bekijk collectie Importeer producten		Totaal	€ 445,85

Ik heb het probleem gezien bij de 170 en 150 variant van asrock.

[|sWORDs|]

Ik heb om eens met deduplication en compression te kunnen spelen een single node VSAN (6.2) gemaakt.
En ik kan niet anders zeggen dan dat de besparing enorm is:
13 Windows 2012 R2 VM's (normaal 312GB aan thin disks, 780GB thick) in 50,5GB.

[ Voor 9% gewijzigd door |sWORDs| op 27-03-2016 13:17 ]

[renedis]

|sWORDs| schreef op donderdag 17 maart 2016 @ 15:00:

1. Login op de ssh console:
   
   
   code:
   

   esxcli storage core adapter list
   HBA Name  Driver      Link State  UID           Capabilities  Description                                                                     
   --------  ----------  ----------  ------------  ------------  --------------------------------------------------------------------------------
   vmhba0    ahci        link-n/a    sata.vmhba0                 (0000:00:11.4) Intel Corporation Wellsburg AHCI Controller                      
   vmhba2    nvme        link-n/a    pscsi.vmhba2                (0000:02:00.0) Samsung Electronics Co Ltd <class> Non-Volatile memory controller
   vmhba3    intel-nvme  link-n/a    pscsi.vmhba3                (0000:82:00.0) Intel Corporation NVM-Express PCIe SSD                           
   vmhba4    intel-nvme  link-n/a    pscsi.vmhba4                (0000:81:00.0) Intel Corporation NVM-Express PCIe SSD                           
   vmhba32   ahci        link-n/a    sata.vmhba32                (0000:00:11.4) Intel Corporation Wellsburg AHCI Controller                      
   vmhba33   ahci        link-n/a    sata.vmhba33                (0000:00:11.4) Intel Corporation Wellsburg AHCI Controller                      
   vmhba34   ahci        link-n/a    sata.vmhba34                (0000:00:11.4) Intel Corporation Wellsburg AHCI Controller

   
   Hier zie je de poorten van de Intel en de PCI ID (0000:00:11.4), dit zijn er normaal twee, maar ik heb de 6 poorts al doorgegeven.
2. code:
   

   lspci -n |grep 0000:00:11.4
   0000:00:11.4 Class 0106: 8086:8d62 [vmhba0]

   
   Hier zie je jouw PID (8d62)
3. Dan zet je die onderin /etc/vmware/passthru.map.
   
   code:
   

    8086  [PID]  d3d0     false

   
   
   Hele file bij mij:
   
   code:
   

   # passthrough attributes for devices                                                                                                                                                                         
   # file format: vendor-id device-id resetMethod fptShareable                                                                                                                                                  
   # vendor/device id: xxxx (in hex) (ffff can be used for wildchar match)                                                                                                                                      
   # reset methods: flr, d3d0, link, bridge, default                                                                                                                                                            
   # fptShareable: true/default, false                                                                                                                                                                          
                                                                                                                                                                                                                
   # Intel 82598 10Gig cards can be reset with d3d0                                                                                                                                                             
   8086  10b6  d3d0     default                                                                                                                                                                                 
   8086  10c6  d3d0     default                                                                                                                                                                                 
   8086  10c7  d3d0     default                                                                                                                                                                                 
   8086  10c8  d3d0     default                                                                                                                                                                                 
   8086  10dd  d3d0     default                                                                                                                                                                                 
   # Broadcom 57710/57711/57712 10Gig cards are not shareable                                                                                                                                                   
   14e4  164e  default  false                                                                                                                                                                                   
   14e4  164f  default  false                                                                                                                                                                                   
   14e4  1650  default  false                                                                                                                                                                                   
   14e4  1662  link     false                                                                                                                                                                                   
   # Qlogic 8Gb FC card can not be shared                                                                                                                                                                       
   1077  2532  default  false                                                                                                                                                                                   
   # LSILogic 1068 based SAS controllers                                                                                                                                                                        
   1000  0056  d3d0     default                                                                                                                                                                                 
   1000  0058  d3d0     default                                                                                                                                                                                 
   # NVIDIA                                                                                                                                                                                                     
   10de  ffff  bridge   false                                                                                                                                                                                   
   # Intel Wellsburg AHCI                                                                                                                                                                                       
   8086  8d62  d3d0     false                                                                                                                                                                                   
   8086  8d02  d3d0     false

4. En reboot, daarna kun je hem gewoon in passthrough zetten (indien er geen datastore op in gebruik is/het jouw bootdevice bevat):
   [afbeelding]
5. Nog een reboot en je kunt m doorgeven aan een VM en niet vergeten om op die VM reserve all memory te doen:
   [afbeelding]
   
   [afbeelding]
   
   [afbeelding]

Vandaag de proef op de som genomen en weer een ESXi USB er bij gepakt.

Gelijk gekeken naar deze optie en met succes uit kunnen voeren op mijn Skylake (1235Lv5) setup.
Het was nog eens erg simpel ook!



Nu nog een NVMe SSD gaan kopen in plaats van een mSata SSD

[|sWORDs|]

En weer een blije klant.

[Zerobase]

Merk je nog iets van performance degradatie?

Heb begrepen dat de 'hot' data (wat gecached staat op SSD) niet ge-deduped wordt, maar pas als het naar de 'normale' storage toe gaat. Compressie gebeurt ook alleen op die normale storage, niet op de cache.

|sWORDs| schreef op zondag 27 maart 2016 @ 13:13:
Ik heb om eens met deduplication en compression te kunnen spelen een single node VSAN (6.2) gemaakt.
En ik kan niet anders zeggen dan dat de besparing enorm is:
13 Windows 2012 R2 VM's (normaal 312GB aan thin disks, 780GB thick) in 50,5GB.

[|sWORDs|]

Performance is beter dan zonder compression. Waarschijnlijk hogere CPU belasting, maar dat heb ik niet bekeken. Bij mij is het all flash, dus alleen write cache. Dedupe kan trouwens ook alleen bij all flash.

[Yarisken]

Wasp schreef op vrijdag 25 maart 2016 @ 12:59:
[...]

Bedankt voor je reactie! Als ik het goed begrijp echt expliciet een probleem met Skylake ASRock moederborden? (In ieder geval het type wat jij hebt)

Mede hierom heb ik weer wat aanpassingen gedaan in de wenslijst. Toch weer de niet-T variant van de CPU, ander moederbord (Gigabyte met VT-d ondersteuning volgens de handleiding) en omdat dit bord DDR4 ondersteunt dus ook DDR4 geheugen.

#	Product	Prijs	Subtotaal
1	Intel Core i3-6100 Boxed	€ 118,95	€ 118,95
1	Gigabyte GA-B150M-DS3P	€ 88,-	€ 88,-
1	Antec ISK600M	€ 63,95	€ 63,95
2	Crucial CT2K8G4DFD8213	€ 57,50	€ 115,-
1	Seasonic G-series 360 watt	€ 59,95	€ 59,95
Bekijk collectie Importeer producten		Totaal	€ 445,85

Hoe zuinig is deze config ? Ben aan het kijken naar een intel nuc met een i3.

[UltraSub]

Verdomme.. Mijn zinnen gezet op een NUC6i5SYH met 32GB ram en 500GB SSD. Bijna de knoop doorgehakt, kom ik er net achter dat de 6th gen NUC's geen vPro en dus geen AMT hebben. Dat is wel een domper. Is bedoeld ter vervanging van mijn huidige ESXi (Asus P6T WS Pro met i7-920) die ~ 100W gemiddeld verstookt, zonder disks.

Omdat het plan was de server nu in de meterkast te gaan draaien in plaats van de huidige die op zolder staat, is het wel erg handig om een remote oplossing te hebben zodat headless gedraaid kan worden. Op zolder is dat geen probleem, want daar heb ik scherm en toetsenbord in de buurt, dat gaat natuurlijk niet in de meterkast. Opnieuw aan het twijfelen nu, maar ik zie niet echt iets beters, wat net zo snel en stil is en zo'n afmeting heeft.

[|sWORDs|]

Als je ESXi draait gaat het prima zonder, eenmalig installeren, auto power on bij stroom herstel en de rest lukt wel via de host client en ssh.
De vPro modellen worden minder vaak vervangen omdat ze langer leverbaar moeten blijven voor bedrijven.

[UltraSub]

|sWORDs| schreef op zondag 27 maart 2016 @ 20:40:
Als je ESXi draait gaat het prima zonder, eenmalig installeren, auto power on bij stroom herstel en de rest lukt wel via de host client en ssh.
De vPro modellen worden minder vaak vervangen omdat ze langer leverbaar moeten blijven voor bedrijven.

Het gaat ook prima, maar ik heb toch wel wat zaken gehad die echt niet zonder console konden. En ik draai al VMware als server sinds GSX, zowel prive als in grote omgevingen, dus heb de nodige ervaring met stabiliteit. Stabiel is het zeer zeker en inderdaad, je hebt het maar zelden nodig. Maar het is gewoon irritant als op laatste moment blijkt dat iets niet gaat werken zoals bedacht. Ik nam aan (jaja, though shall not assume) dat het er gewoon op zou zitten omdat de Gen 5 het ook heeft. Ik vind het raar dat geen enkel model het heeft in Gen 6.

[|sWORDs|]

De vPro's slaan vaak 1 a 2 versies over...

[UltraSub]

CPU wise zou ik het best af kunnen met een Gen 5, maar ja, ik moet echt 32GB ram hebben. Heb gezien dat er resultaten zijn geboekt met 32GB in een Gen 5, maar eens gekeken, en die ram combo kost me meer dan 32GB in een Gen 6 en dan nog risico dat je problemen krijgt

[tebe]

De laatste paar pagina's hebben me erg warm gemaakt voor een upgrade. Vooral het opsplitsen en doorgeven van de onboard SATA is fantastisch nieuws.
|sWORDs|

Nu zit ik nog met een dedicated nas met 13 disken (AMD athlon x2 systeempje) en een dual xeon e5620 esxi bak.

Dat kan dus een pak zuiniger. volgende lijstje heb ik op het oog om alles samen te voegen.

#	Product	Prijs	Subtotaal
1	Intel Core i3-6100 Boxed	€ 118,95	€ 118,95
1	LSI SAS3081E-R-SGL	€ 0	€ 0
2	Samsung M391A2K43BB1	€ 94,-	€ 188,-
1	Supermicro X11SSH-LN4F	€ 267,05	€ 267,05
Bekijk collectie Importeer producten		Totaal	€ 574,00

Ik prefereer ECC en ik hoop dat het supermicro bordje mij toelaat om 6 SATA poorten door te geven en er 2 te behouden voor de hypervisor. Samen met mijn SAS controller, heb ik dan 14 poorten om door te geven aan de storage vm.
Wordt mijn oudere controller eigenlijk nog ondersteund in esxi 6.0?

Mocht het niet lukken om de sata poorten op te splitsen in 2+6, kan ik nog een m2 nvme ssd plaatsen voor de hypervisor.

Voor de cpu was ik eerst aan het denken aan een E3-1230v5, maar de i3 moet krachtig genoeg zijn om mijn vm's te draaien.

[prekz]

Wat voor harddisks heb je? Met besparing in gedachten kan je daar waarschijnlijk ook veel winst behalen.

[tebe]

2TB WD greens en samsungs. Maar budget voor nieuwe heb ik nog niet.