Problemen Vsphere 4.1 passthrough van Raid Controller

[Question Mark]

Situatie:

HP DL380 G8 Server
VSphere 4.1 volledig gepatched - Standard Editition
2 Raid controllers:

• 1x P420i met 2 interne disken met daarop een local datastore
• 1x P421 met daaraan gekoppeld een DAS met ~ 27 TB bruto diskspace

Op deze host draait een VM waar véél data opgeslagen gaat worden (Windows 2008 R2). Vanwege de beperking van VSphere kan echter geen VMDK/RDM/LUN groter dan ~2TB toegewezen worden. Tuurlijk kan ik hier omheen werken door meerdere disken binnen Windows aan elkaar te knopen, maar ik vind dat geen mooie oplossing.

Wat ik wil doen is de P421 Raid Controller middels passthrough aan de VM geven (middels deze procedure). Instellingen staan juist in de bios. Als ik een Fysieke nic aanwijs voor Passtrough en deze toeken aan de VM werkt dit. Windows ziet keurig een nieuwe nic.

Als ik echter de Raid Controller middels passthrough aan de VM koppel boot Windows niet meer. De melding in de Vsphere logfiles is: "PCIpassthru 004:00.0 tried to access vector number 32, but only 31 supported".

Als ik controleer hoeveel vectors "vrij" zijn op de host blijkt dit echter genoeg te zijn:

code:

# vsish -e ls /hardware/interrupts/vectorList/ |wc -l
48

Het lijkt dus een beperking te zijn van de VM, en niet van de host. En dat klopt ook wel, getuige: http://kb.vmware.com/self...playKC&externalId=2032981

ESXi supports a maximum of 31 vectors per PCI device. If you add Intel Ethernet Server Adapter X520-SR2 (ixgbe) or Intel Ethernet Server Adapter X540-SR2 network cards as Direct I/O PCI devices to virtual machines with Windows 2008 and later guests, you cannot power on the virtual machines. When you start the virtual machine, Windows accesses all the message signaled interrupts (MSI/MSIX). When a device requests to support more than 31 interrupt vectors, the virtual machine stops responding and the vmware.log file reports an out of MSI-X vectors message.

Dit schijnt op te lossen te zijn, door het limiteren van het aantal vectors wat "exposed" wordt aan de vm.

code:

pciPassthru0.maxMSIXvectors = 31

Bovenstaande regel helpt echter niet. De error blijft, en de VM boot niet.

Een tweede optie is om IOAPIC als passthrough mode in te stellen ipv MSI-X vecors.

code:

pciPassthru0.msiEnabled = false

Ook dit werkt echter niet. De derde oplossing is om binnen de Windows driver MSI-X te disablen. Probleem (volgens mij) is alleen dat er nog geen driver binnen Windows bestaat.

Zijn er mensen die hier ervaring mee hebben, of een alternatieve optie hebben om alsnog de storage op een nette manier zichtbaar te maken aan het OS?

Edit:

Ik heb de HP driver bekeken en in de inf-file staat letterlijk het volgende:

;Max number of MSI or MSI-X vectors a driver can manage from one device.
;Used to limit the number of vectors to fewer than those requested by the controller.

HKR, "Interrupt Management\MessageSignaledInterruptProperties", "MessageNumberLimit", %REG_DWORD%, 0x0000001

Oftewel driver installeren, en bovenstaande regkey aanpassen. Probleem is nu dat de driver niet wil installeren. De HP setup weigert te draaien: hardware not present and/or wrong firmare".

Rechtermuisknop op de inf-file en kiezen voor "install" werkt ook niet: "The INF File You selected does not support this method of installation". Ik zal eens kijken of ik de inf-file wat kan ombouwen...

[ Voor 11% gewijzigd door Question Mark op 08-02-2013 15:15 ]

[bigfoot1942]

niet echt een antwoord, maar kan je ESX niet updaten? ben je namelijk van je 2TB beperking af (en eigenlijk wil je geen RDM's gebruiken, in mijn ervaring is dat alleen maar lastig (maar ja ik doe dan ook vaker migraties e.d.))

[Question Mark]

Volgens mij gaat dat niet helpen. Volgens de Max configuration guide van Vsphere 5 mag de datastore bij VMFS5 wel 64 TB worden, maar de grootte van een VMDK is nog steeds ~2 TB.

[bigfoot1942]

Heb je inderdaad gelijk mee, mijn cursus is al weer even weggezakt.
Je kan er dan nog wel een RDM (phys. comp mode max 64 TB) van maken, t is dan toch 1 stapje virtueler dan een passthrough raid controller?

[ Voor 10% gewijzigd door bigfoot1942 op 08-02-2013 22:18 ]

[Question Mark]

mjah... Heb ik ook aan zitten denken. Het is officieel alleen niet mogelijk icm met local storage (wat een DAS is. en vanuit die optiek ook niet supported.

Middels vmkfstools is het wel werkend te krijgen, dat wel...

Upgrade naar een nieuwe VSphere versie staat nog geplanned voor dit jaar. Wellicht een optie om VCenter en enkel deze host "naar voren te trekken", maar dan blijf ik een beetje in mijn maag zitten dat het niet supported is....

Andere optie is om de VM maar niet te virtualiseren....

[Equator]

Is er een reden (bijvoorbeeld de performance) om de data niet op een NAS share te zetten en vanuit de VM via CIFS/NFS te koppelen?
Een VMDK met zulke grote hoeveelheden data lijkt me niet handig. (back-up/snapshot/vmotion)

[bigfoot1942]

Question Mark schreef op vrijdag 08 februari 2013 @ 22:49:
mjah... Heb ik ook aan zitten denken. Het is officieel alleen niet mogelijk icm met local storage (wat een DAS is. en vanuit die optiek ook niet supported.

Middels vmkfstools is het wel werkend te krijgen, dat wel...

Upgrade naar een nieuwe VSphere versie staat nog geplanned voor dit jaar. Wellicht een optie om VCenter en enkel deze host "naar voren te trekken", maar dan blijf ik een beetje in mijn maag zitten dat het niet supported is....

Andere optie is om de VM maar niet te virtualiseren....

Is een das per definitie local storage? Je kan meerdere servers aan een das knopen en dan is het per definitie shared storage. Ik zal eens op zoek naar officiële documentatie dat dit niet supported zou zijn, vind t erg bijzonder klinken dat t wel supported is als je meerdere hosts aan je das hebt hangen en niet bij een enkele...

edit: uit de KB:

Symptoms

I am unable to add a local storage Logical Unit as an RDM to a virtual machine on VMware ESX/ESXi. Is this supported?

Resolution

This behaviour is by design. It is mandatory that RDM candidates or devices support SCSI Inquiry VPD page code 0x83 to be used for RDMs. In other words, the device must export a global serial number for ESX to uniquely identify the device for use as an RDM.

This is capability generally not possible or included on local controllers and their attached storage, although some controllers may have an implementation for this. As this cannot be guaranteed across all supported platforms, local storage RDMs are not supported and by default filtered or disabled as RDM candidates on VMware ESX Server. The RDM Filter can be disabled under such conditions.

Dus.. je hebt inderdaad gelijk dat dit niet supported is.
Aan de andere kant zit je inderdaad wel een beetje met een houtje touwtje setup (qua hardware dan), waardoor je opties veel kleiner worden als je alles supported wilt houden. 'Local storage' en passthrough SCSI geven aan dat je geen HA mogelijkheden hoeft te hebben.

Je hebt dus de volgende opties:

1. meerdere VMDK's van 2TB
voordeel: supported door vmWare
nadeel: hoog hobbybob gehalte, data moeilijk te recoveren bij crash anders dan via backup.

2. RDM
voordeel: data staat rauw op storage, kan waarschijnlijk weer teruggehaald worden na crash
nadeel: niet supported door vmWare

3. Niet virtualiseren
voordeel: data staat rauw op storage, kan waarschijnlijk weer teruggehaald worden na crash
voordeel: supported door Microsoft
nadeel: server resources kunnen verder niet gebruikt worden

Wellicht is optie 3 dan de meest logische? desnoods kan je met hyper-v ook wat VM's draaien. Hoewel je niet erg blij zal worden van een mixed environment, maar aangezien HA geen vereiste is neem ik aan dat dit niet om business-critical machines gaat, een testvm op hyper-v is niet zo heel spannend...

Ben benieuwd of je zelf nog andere mogelijkheden en/of voor- en nadelen ziet...

[ Voor 55% gewijzigd door bigfoot1942 op 09-02-2013 12:12 ]

[Question Mark]

Equator schreef op zaterdag 09 februari 2013 @ 09:33:
Is er een reden (bijvoorbeeld de performance) om de data niet op een NAS share te zetten en vanuit de VM via CIFS/NFS te koppelen?

Deze host wordt gebruikt voor disaster en/of backup doeleinden (of beter gezegd, de vm die hierop gehost wordt). Vanuit die optiek wil ik liever de oplossing zo simpel mogelijk houden en zo min mogelijk afhankelijkheden met andere systemen hebben.

Een VMDK met zulke grote hoeveelheden data lijkt me niet handig. (back-up/snapshot/vmotion)

Eens, dus vandaar de voorkeur voor passthrough van de Raid controller. Dit zou ook gewoon moeten kunnen. Succesverhalen genoeg op internet, alleen lijkt het lastig te zijn met HP controllers.

[Question Mark]

En opgelost...

Ik heb de host ge-upgrade naar Vsphere 5.1 met het idee om toch maar een physical RDM toe te kennen (unsupported, I know...). Na de upgrade toch nog even passthrough getest.... en gewoon werken...

Overigens was de regel:

code:

pciPassthru0.maxMSIXvectors = 31

wel nodig om eea werkend te krijgen. Het OS van de VM ziet nu keurig een "Smart Array Controller", en de daaraan gekoppelde logical disk van 10 TB.

[bigfoot1942]

super, ik denk dat dit wellicht de beste uitkomst is, up2date en alles werkt, op de meest logische manier.