vraag over nvidia grid k1 en HP dl380 gen 9 server

[itlee]

in opdracht van een klant zoek ik me een slag in de rondte, de klant wil een 380gen9, en een grid k1 kaart.
los van het feit dat er allerlei verschillende vendors grid k1 kaarten aanbieden vraag ik me af?

- wat heb ik allemaal extra nodig in zo n dl380gen9 server?
of is t
- deksel op, kaart erin, en gaan?
- zijn er nog meer zaken waar ik op moet letten?


1x moet de eerste keer zijn, dus heb ik jullie hulp nodig.

(ik heb al veel online zitten zoeken, hardware comp.list, staat alles op, maar er staat niks over hoe je de combinatie moet inbouwen.)

[Equator]

Nou kan ik me niet voorstellen dat de klant heeft gevraagd om "Een HP DL380 Gen 9 met een Grid K1 kaart". Als dat wel zo is, dan had je wat door moeten vragen om te achterhalen wat de klant er nu mee wil gaan doen.

Bijvoorbeeld het OS of hypervisor die gebruikt gaat worden bepaalt onder andere het type wat ondersteund wordt. Kijk naar de juiste firmware versies van kaart en DL380.

Hier vind je in ieder geval wat informatie: http://www8.hp.com/h20195/v2/getpdf.aspx/c04123180.pdf?ver=9

De kaart inbouwen lijkt in ieder geval vrij normaal, maar er moet het e.e.a aangepast worden lijkt het:

NOTE: The GRID K1 and K2 speed by default are PCIe Gen 3. However, on ProLiant
DL380 Gen9 and DL380p Gen8 servers, those cards run at PCIe Gen 2.

En:

quote: http://h20195.www2.hp.com...spx/c04346247.pdf?ver=1.0

HP NVIDIA GRID K1 Quad GPU PCIe Graphics Accelerator
NOTE: This GPU enablement kit includes 2 Heatsinks and 6 cables to enable double wide
GPUs to be supported.
NOTE: Is supported in all chassis with either increased or Max cooling settings
NOTE: The Primary GPU riser (719076-B21) is required to support this in slot1
NOTE: The secondary GPU riser (719073-B21) is required to support this in slot2 (2nd
processor required).
NOTE: For doublewide GPU support you are required to have at least 1x1400W Power
Supply (720620-B21), per card.

[ Voor 29% gewijzigd door Equator op 15-12-2015 14:18 ]

[Paul]

Wat zegt je leverancier? Wat zeggen de quickspecs? Wat geeft de HP OCS aan?

Je kunt bij HP niet direct bestellen dus je moet sowieso via een leverancier zoals i3 groep of Spare-IT

[ Voor 42% gewijzigd door Paul op 15-12-2015 14:15 ]

[itlee]

thnx heren voor de update. hier kan ik wat mee en heb bij leveranciers wel zaken op gevraagd, maar is tegenstrijdig. daarnaast willen leveranciers ook wel is zaken aanbrengen die niet noodzakelijk zijn.

@equitor, top links...die had ik zelf nog niet gevonden...blij mee.!


edit: omdat er veel K1 kaarten te koop zijn, kan je bijv. een K1 dell kaart in een HP gebruiken? of die van PNY?


dat scheelt een bak geld tov een HP branded K1 kaart.

[ Voor 25% gewijzigd door itlee op 15-12-2015 16:30 ]

[Rolfie]

itlee schreef op dinsdag 15 december 2015 @ 15:59:
thnx heren voor de update. hier kan ik wat mee en heb bij leveranciers wel zaken op gevraagd, maar is tegenstrijdig. daarnaast willen leveranciers ook wel is zaken aanbrengen die niet noodzakelijk zijn.

@equitor, top links...die had ik zelf nog niet gevonden...blij mee.!

edit: omdat er veel K1 kaarten te koop zijn, kan je bijv. een K1 dell kaart in een HP gebruiken? of die van PNY?

dat scheelt een bak geld tov een HP branded K1 kaart.

Het kan werken, maar kan ook voor een hoop problemen zorgen. In een server wil je meestal geen problemen. Wat kost het als die kaart bijvoorbeeld te warm wordt in de server en je server valt uit?
Wat zijn dan de kosten daarvan als men dan niet kan werken?

[itlee]

@rolfie, ik snap je punt, maar ik heb alle specificaties wat ik kon vinden en vergeleken..100% identiek.
enige waar ik niet op zit te wachten is dat HP 1 of andere ge*le sensor heeft bedacht waardoor je geleuter krijgt.

ik heb dit al meegemaakt met NIET HP ssd's en een Gen8 proliant, geen temp sensor, ILO over de zeik door t ontbreken, en zette inderdaad de server uit.

maar als je niks probeert wordt t ook niks...de pin pas trekken en blind HP, dell, MS, google of alle ultra giganten spekken is makkelijk. slimme zaken combineren lijkt mij beter...en werkt t ....dan top, is het een voldongen feit dan is het maar zo...

maar mijn vraag is werkt t? of heeft iemand inhoudelijke ervaring met GRID kaarten...?

[Question Mark]

itlee schreef op dinsdag 15 december 2015 @ 15:59:
edit: omdat er veel K1 kaarten te koop zijn, kan je bijv. een K1 dell kaart in een HP gebruiken? of die van PNY?


dat scheelt een bak geld tov een HP branded K1 kaart.

Da's toch niet jouw probleem? Jij levert een supported configuratie, dus met de HP branded kaart. Dat die klant daar dik voor moet betalen is zijn probleem... Dan moeten zijn eisen en wensen maar anders geformuleerd gaan worden.

itlee schreef op dinsdag 15 december 2015 @ 18:21:
maar mijn vraag is werkt t? of heeft iemand inhoudelijke ervaring met GRID kaarten...?

Wat moet er precies opgeleverd worden? HP DL3890G9 met een HP Grid kaart gaat hardwarematig werken. Alle andere combinaties zijn simpelweg twijfelachtig en gaan geheid een issue opleveren als je ooit support nodig hebt.

Of de software die klant wil gaan gebruiken er mee samenwerkt kunnen we niet voor je beantwoorden aangezien je daar niks over verteld...

[Equator]

itlee schreef op dinsdag 15 december 2015 @ 15:59:
@equitor, top links...die had ik zelf nog niet gevonden...blij mee.!

Blij dat je er wat mee kon..

[itlee]

Question Mark schreef op dinsdag 15 december 2015 @ 18:28:
[...]

Of de software die klant wil gaan gebruiken er mee samenwerkt kunnen we niet voor je beantwoorden aangezien je daar niks over verteld...

vmware horizon view 6.2.
windows 10 virtuele desktops.
10gbit ethernet, connected naar synology xs+ serie, met ssd cache. lokaal in de server geen disken. sd card om vmware te booten.

[Question Mark]

Prima, dan kun je uit gaan zoeken of die combinatie ook ondersteund wordt. Dat hoeven wij niet voor je te doen.

Verder ben ik even benieuwd wat jij nu precies op moet gaan leveren. Alleen de hardware, of ook een werkende view implementatie.

[itlee]

Question Mark schreef op woensdag 16 december 2015 @ 09:25: of ook een werkende view implementatie.

een werkende view implementatie.

[Question Mark]

View werkt ook wel zonder die Grid kaart... GRID kaarten worden in VIEW implementaties gebruikt voor het acceleren van 3D applicaties zoals AutoCAD. Om dat goed werkend te krijgen is alleen wel noodzakelijk dat vooraf nu precies duidelijk is wat er opgeleverd moet worden. Dat heb ik nu nog steeds niet van je gehoord...

NVIDIA GRID™ VGPU™ DEPLOYMENT GUIDE FOR VMWARE HORIZON 6.1

To be successful, we highly recommend you start with evaluation plan consisting of all
of the following:

Listed business drivers and goals
List of all user groups, their workloads and applications
Current end-user experience measurements and analysis
ROI/density goals

Let verder even op dat één K1 kaart ongeveer vier users kan hosten.

[BFS]

Een enkele GRID K1 kaart kan potentieel meer users hosten dan 4.. En GRID is bij lange na niet meer voor CAD/CAM only.

[itlee]

update voor t topic, server is binnen, alle HP specs volgens documentatie gevolgd. ik heb een supermicro kaart besteld, aansluitingen zijn hetzelfde (pins) en de nvidia driver is er maar 1. dus ik ga deze gewoon installeren. lukt t niet. kaart retour. lukt t wel...heb ik geld voor de klant bespaart.

ik zal t topic updaten.

[Rolfie]

itlee schreef op woensdag 30 december 2015 @ 22:16:
update voor t topic, server is binnen, alle HP specs volgens documentatie gevolgd. ik heb een supermicro kaart besteld, aansluitingen zijn hetzelfde (pins) en de nvidia driver is er maar 1. dus ik ga deze gewoon installeren. lukt t niet. kaart retour. lukt t wel...heb ik geld voor de klant bespaart.

Op de korte termijn misschien wel. Maar op de lange termijn... Als het toch niet stabiel draait kost het veel meer.

Wat is trouwens het prijs verschil?
Voor mij zou het namelijk wel een hoop moeten uitmaken om in een server not supported hardware te plaatsen. Zeker als de server productie draait, en een aantal mensen er op moeten werken, en ik het advies heb gegeven. Maar dat is mijn mening .

ik zal t topic updaten.

Altijd goed en interessant :-)

[itlee]

update; t project is uitdagend te noemen. kaart ingebouwd, past prima, voedingsstekker eraan, kaart actief.
na wat zoeken kwam ik er achter dat ik een oude nvidia driver had. toen een paar foutmeldingen, PCI passthrough not licensed, lijkt erop dat je met een essentials plus licentie niet kan gebruiken. (staat nergens beschreven trouwens,...maar dat terzijde)

na installatie van een verse driver, en de machine is tijdelijke license gezet, zie ik en de kaart, en vmware zegt/vind dat alles goed is, ik kan pci device ook toekennen aan (in dit geval) een windows 8.1 client, zichtbaar in device manager, maar na installatie van de nvdia Grid driver in de windows 8.1 client is na de reboot alleen paars scherm zichtbaar....

vandaag maar uitzoeken waarom dat is...(t was al laat gisteravond).

Dus HP server, Supermicro combinatie werkt vmware technisch prima....nu de koppeling in windows voor elkaar maken.

[ Voor 13% gewijzigd door itlee op 06-01-2016 11:23 ]

[Question Mark]

Voor NNVIDIA GRID vGPU heb je Enterprise plus nodig....

https://www.vmware.com/products/vsphere/compare

Die supermicro kaart staat wel op de VMWare HCL?

[ Voor 19% gewijzigd door Question Mark op 06-01-2016 11:18 ]

[itlee]

@question mark, supermicro is 100 % door vmware / nvidia approved.... ik ben zelfs gebeld door nvidia om dingen te overleggen... (voordat ik die kaart kocht).

er staat op de kaart zelf ook nergens een sticker van supermicro of iets dergelijks....alle kaarten zien er identiek uit.


thnx voor t licentie ding... had ik nog niet gezien.

[jadjong]

Doe je PCI-passtrough van de complete fysieke kaart naar een enkele vm? (dat is wat ik opmaak uit de laaste post)

[Rolfie]

Misschien heb je hier iets aan?

NVIDIA GRID™ VGPU™ DEPLOYMENT GUIDE FOR VMWARE HORIZON 6.1

[itlee]

@jadjong, in de vmware vertel je add passthrough pci device, en dan kan je alleen maar je nvidia grid kaart selecteren. en dan t bijpassend profiel q120 is 512 mb geheugen en q180 is dan 4gb vid kaart geheugen. (je heb ook nog q140 en q160. (1024/2048).

ik heb ook nog een "keiharde"passthrough geprobeerd, maar dan deed mn commando nvidia-smi het niet meer. (oftewel je kaart wordt dan niet meer geladen).

@rolfie, thnx, die had ik al helemaal doorgespit...maar das heel globaal....

@iedereen; weer een stap verder, als je de nvidia driver in je vm hebt geinstalleerd en je reboot kan je de vm niet meer overnemen met Vsphere client of de vsphere webclient. (vond ik ergens in de kleine letters)

je moet je horizon client starten en daarin de sessie totstand brengen, t 'porten' van je pcoip naar je hardware nvdia kaart wordt dat tot stand gebracht.

bij de q120 kreeg ik beeld bij 1 scherm...bij q180 (max geheugen) krijg ik nu beeld op 3 monitoren PCOIP protocol. youtube performance offloaden zie ik wel op de grid-k1 kaart maar ik ben nog niet tevreden over de vloeiendheid op 1080p bijv. je kan 31 watt per GPU verstoken (4x 31 watt en wat overhead is 130watt totaal).

gemiddelde load 1 client op 1 gpu 19 watt.

ik heb ook even een game geprobeerd en dat gaat wel maar niet vloeiend (in dit geval was het Live for speed (race game). de applicatie geeft in beeld 100fps...maar die krijg ik nooit door...t lijkt wel 25fps...dus ik moet nog even kijken hoe dat precies werkt.

ik voel ook geen verschil in standaard desktop werk, site openen, beetje rond klikken in windows 8.1 ...

voorlopige conclusie, hp en andere brands nvdia grid kaarten kan je gewoon mixen. nu alleen nog optimaliseren en verder testen...

[Uberprutser]

itlee schreef op woensdag 06 januari 2016 @ 13:32:
voorlopige conclusie, hp en andere brands nvdia grid kaarten kan je gewoon mixen. nu alleen nog optimaliseren en verder testen...

Helemaal mee eens, maar als jij hardware problemen krijgt en een report naar HP moet sturen dan wordt je non-HP hardware standaard als boosdoener bestempeld.
Ook in de carepack staat/(stond) een verwijzing naar het gebruik maken van non-HP componenten waardoor de ondersteuning kwam te vervallen.

[Question Mark]

itlee schreef op woensdag 06 januari 2016 @ 13:32:
ik voel ook geen verschil in standaard desktop werk, site openen, beetje rond klikken in windows 8.1 ...

Maar wat wil de klant nu? Voor wat simpel desktop werk heb je ook helemaal geen grid oplossingen nodig...

Ga nu eerst dat eens inventariseren...

Leuk topic trouwens, thx voor het (blijven) updaten.

[itlee]

update;
verschillende templates aangemaakt, windows 8.1 en windows 10.
gaan morgen testen met autodesk enz.

de ervaring leert:
tussen profiel k120 (512mb geheugen) en K180 (4gb geheugen) 1 GPU geen verschil in framerate op 3d.

(ff gekke zijstap) Unreal tournament getest, maakt niks uit in FPS (veel of weinig mem) t is niet echt geschikt voor dit soort werk... een keer voor een lanparty gewoon 10 clients uitrollen en dan iedereen lekker gamen...met een biertje na werktijd

OpenGL Aquarium getest op windows 10 en windows 8. beide draaien rond de 67fps maar de VMware horizon gebruikt maakt van FRL (Frame Rate Limiter) en dit terug schaalt naar 30fps max.

FRL kan je uitzetten op de VM zelf bij advanced settings met een parameter.

Zet je deze uit, wordt de ervaring duidelijk beter, nadeel is dat 1 client 80mbit internet verkeer trekt ...als je naar een aqaurium zit te kijken. (anders is het rond de 25mbit).

rondklikken in windows 10 voelt hetzelfde aan met of zonder GRID kaart, wordt duidelijk allemaal op software matige 3d verwerking gedraaid... (matrox G200 kaart onboard op de hp servert).

heb nog een hoop werk te doen, vlans aanmaken tussen de verschillende vm pools en we schijnen nog performance te kunnen tweaken van t PCOIP protocol, waardoor je een betere ervaring krijgt.

GPUburner nog geprobeerd, windows 8 of 10 geen verschil, veel of weinig geheugen geen verschil. wel zit er een verschil in CPU gebruik als je de powersettings op de HP server op static high performance of HP load balanced saving zet.

de CPU's in de VM zelf zie je 50% verminderen als je de HP static gebruikt, stroom verbruik neemt dan ook toe van 190 watt op de server tot 225 watt. (3 server vm's aan en 1 windows 10 vm client) die 3d staat te trekken.

ook heb ik nog contact gehad met nvidia, ik heb ze maar verteld dat HP en supermicro samen gaan en dat het prima draait. zelf hadden ze t nog niet geprobeerd, had ze gezegd als ze willen weten hoe t moet bellen ze maar


oja,...HP adviseert minimaal 1x 1400 watt... tip mijn kant, ze sporen niet,...er zit nu redundant 800 watt in,...en dat ga je met alle goeie wil van de digitale aarde nooit halen. zelfs als mn tdp's / GPU waardes optel (en nog wat moederboarden meuk, enz. kom ik niet verder 450 watt. met 800 watt werkt t ook...scheelt weer 369 eu per voeding.

tot zover mijn bevindingen...

[Question Mark]

itlee schreef op donderdag 07 januari 2016 @ 17:11:
oja,...HP adviseert minimaal 1x 1400 watt... tip mijn kant, ze sporen niet,...

Het verbaast mij echt hoe makkelijk je afstapt van de adviezen/aanbevelingen en eisen van je hardwareleverancier. Tuurlijk, het werkt nu en je hebt een paar honderd euro bespaart voor je opdrachtgever.

Als je straks echter ook maar voor één dingetje ondersteuning van HP nodig hebt acht ik de kans klein dat ze deze config gaan ondersteunen. En dat gaat je vele malen meer kosten dan de paar honderd euro die je nu "bespaard" hebt.

En nogmaals: wat wil de opdrachtgever nu???

Hardstikke leuk dat je aan het stoeien en spelen bent met een deze opstelling, maar welk produkt moet nu straks volgens welke eisen opgeleverd gaan worden?

Ik heb echt het idee dat je vanuit de losse pols steeds maar iets doet, in plaats van vooraf over zaken nagedacht hebt. Als je nu nog moet gaan nadenken over het feit dat je "schijnbaar" nog iets kunt tweaken over PCOIP, dan leid ik daar even uit dat je geen design hebt opgesteld?

Overigens, zowel VMWare als HP adviseren om het powerprofile van een server gewoon op max performance te zetten.

[itlee]

@questionmark, ik begrijp wat je zegt...en ik snap ook wel waarom je denkt, die hobby't maar wat aan.

Laat ik het zo zeggen, ik heb de ruimte gekregen om handig te worden in VDI/Grid, vandaar dat ik de komende periode lekker kan testen/uitproberen. Dit is een tweakers forum en ik deel mijn technische uitprobeersels om de beperkingen van het systeem te begrijpen. Aangezien hier weinig over GRID / NVIDIA te vinden is leek me dat een leuk idee om dat te delen.

en voor business cases, 'wat de opdrachtgever wil', en wel of geen advies van een merk staat hier helemaal los van en voel ik weinig voor om iedereen daar deelgenoot van te maken. "De wij van WC eend adviseren WC eend" snap ik heel goed, maar als ik de ruimte krijg om de technische randen van een product te kunnen testen en dat te delen hier is toch goed? anders reden we allemaal in een vw golf uit 1980...

Het laatste wat ik over een adviezen van vendors wil zeggen is dat ze dekken zich allemaal in met bizarre specificaties, en aan mij als techneut om die adviezen te testen en te begrijpen waarom ze het adviseren. of om te kijken hoe het beter kan met minder middelen of met bestaande zaken het beter te maken.

dus ik wil graag de technische dingen die ik ervaar delen, maar als men dat niet wil ..vind ik het ook goed, gooi dan t topic dicht

[Uberprutser]

Je zit in PNS (professional) dus dan verwacht ik dat het geen knutselproject is.
Vind je updates heel leuk om te volgen maar ik mis het stukje professional hier, eerder iets voor een knutselblog.

[Question Mark]

itlee schreef op vrijdag 08 januari 2016 @ 12:11:
dus ik wil graag de technische dingen die ik ervaar delen, maar als men dat niet wil ..vind ik het ook goed, gooi dan t topic dicht

Even ter verduidelijking, maar ik ben geen moderator in dit forum. Ik reageer hier puur even op persoonlijke titel, gebasseerd op mijn eigen ervaring en kennis in deze materie.

itlee schreef op vrijdag 08 januari 2016 @ 12:11:
Het laatste wat ik over een adviezen van vendors wil zeggen is dat ze dekken zich allemaal in met bizarre specificaties, en aan mij als techneut om die adviezen te testen en te begrijpen waarom ze het adviseren. of om te kijken hoe het beter kan met minder middelen of met bestaande zaken het beter te maken.

Je kunt testen wat je wilt, en je kunt met allemaal testen en onderbouwde rapportage aantonen dat je oplossing helemaal goed werkt, maar ik weet uit de praktijk dat HP dat allemaal gaat negeren. Als een oplossing niet voldoet aan hun HCL, dan krijg je geen support. Simpel...

Voor de rest is het echt een leuk project wat je doet, en ik ben blij dat je de voortgang blijft posten.

[Equator]

itlee schreef op vrijdag 08 januari 2016 @ 12:11:
...dus ik wil graag de technische dingen die ik ervaar delen, maar als men dat niet wil ..vind ik het ook goed, gooi dan t topic dicht

Nee, het topic mag wat mij betreft open blijven, maar let wel, je bevindt je in Professional Networking & Servers. Wij gaan er dan van uit dat jij fatsoenlijke support wilt kunnen ontvangen. Je krijgt dus het advies om je te houden aan de HCL van HP en VMware en de requirements van HP.

Die 1400 watt die ze adviseren is misschien wel aan de hoge kant, maar een mindere voeding zou ook wel eens te weinig kunnen zijn voor deze kaart.

[Bl@ckbird]

Hoe het met HP zit weet ik niet, maar bij Cisco kan je twee van die NVIDIA GRID kaarten in een server proppen. Die 1400W voeding ga dan dan wel nodig hebben denk ik.. Die 1400W is natuurlijk wel gebaseerd op een worst-case scenario.

[jadjong]

Equator schreef op vrijdag 08 januari 2016 @ 13:20:
[...]


Nee, het topic mag wat mij betreft open blijven, maar let wel, je bevindt je in Professional Networking & Servers. Wij gaan er dan van uit dat jij fatsoenlijke support wilt kunnen ontvangen. Je krijgt dus het advies om je te houden aan de HCL van HP en VMware en de requirements van HP.

Die 1400 watt die ze adviseren is misschien wel aan de hoge kant, maar een mindere voeding zou ook wel eens te weinig kunnen zijn voor deze kaart.

Als de klant op de hoogte is van de knutselpraktijken en de risico's aanvaardt dan is er wat mij betreft niets mis. Ook professioneel kan je lekker tweaken en flink op je bek gaan, iets leren, en het nog een keer proberen. Zolang je jezelf maar niet voor de gek houdt en 99.9% uptime garandeerd.

[satya]

Nice topic. Hier weet ik niet alles van. Ik was blijven plakken bij het gegeven dat je in een vmware cluster een aparte gpu cluster van nvidia kon integreren. Begrijp ik het goed dat ik ook een cluster kan maken van vmware servers met in elke server zo'n GPU?

Ik vind het wel stoer dat je durft te experimenteren en zelf uitzoekt wat er mogelijk is. Naar mijn idee zijn sommige adviezen in de it gewoon verkapte verdien modellen.

[Question Mark]

satya schreef op vrijdag 08 januari 2016 @ 20:24:
Ik vind het wel stoer dat je durft te experimenteren en zelf uitzoekt wat er mogelijk is. Naar mijn idee zijn sommige adviezen in de it gewoon verkapte verdien modellen.

Als een supported oplossing van leverancier X te duur is, dan ga je toch shoppen bij leverancier Y?

Uiteindelijk ligt het uiteraard aan de eisen en wensen van de klant. De gekozen oplossing (met bijbehorend service contract) is hier namelijk rechtstreeks van afhankelijk.

Voor een test of Proof of concept kun je best wat concessies gaan doen mbt supported configuraties, voor een mission-critical produktie omgeving zou ik dit niet doen.

Het punt is ook nog eens dat TS maar beschikt over één enkele server, en dus geen HA vanuit de VMWare infrastructuur kan leveren. Als er nu straks 10 man een dag niet kunnen werken, is die paar honderd euro die TS nu bespaard heeft uiteindelijk duurkoop geweest.

Samengevat: hoe en met welke beschikbaarheid een omgeving opgeleverd moet gaan worden is direct afgeleid van de eisen van de wensen van de klant. Die eisen en wensen verwerk je in een design. TS is nu zonder design aan het bouwen geslagen en het is maar afwachten of de oplossing straks voldoet aan de eisen/wensen van de klant.

[Equator]

Goed, zullen we met zijn allen de discussie omtrent het support stuk laten vallen? De topicstarter is met een leuk project bezig en ik hoop dat hij nog langskomt met nieuwe informatie en tips.

[itlee]

korte update;
na 3 dagen testen, spontaan een "purple screen" tot 2x aan toe in 1 dag.
Keurig netjes HP gebeld, call gelogd, en na opsturen van de logs kreeg ik keurig netjes een artikel retour wat het probleem is.



In dit geval, ondanks de "nvidia kaart" perfect support verkregen zonder op of aanmerkingen van HP.
Het blijkt een bekend probleem te zijn icm het aansturen van PCI devices en het flexibel wisselen van interupt requests. (In esx staat dit uit, terwijl de HP server iets wil wisselen. door een commando toe te passen in vmware ESX, zorg je ervoor dat vmware wel flexibel interrupts mag wisselen/uitdelen. (de Proliant BIOS ondersteunt namelijk wel flexibel interrupts wisselen)

het probleem betrof:
NMI Non Maskable Interrupt error binnen vmware.
http://h20564.www2.hpe.co...4912076&sp4ts.oid=7481826 brengt een mogelijke oplossing.

na reboot van je esx host in de console of putty: esxcli system settings kernel list -o iovDisableIR
hiermee check je of alles op false staat.

het probleem betreft; Proliant Gen8 en Gen9 servers.


voor t geval HP t artikel verplaatst of offline haalt: hebben andere mensen er ook nog wat aan ingeval van HBA/Netwerkkaarten of andere PCIe devices:
SUPPORT COMMUNICATION - CUSTOMER ADVISORY
Document ID: c04912076
Version: 1
Advisory: VMware - HP ProLiant ML/BL/DL Gen8/9 Servers May Experience Purple Screen Of Death (PSOD): LINT1 Motherboard Interrupt
NOTICE: The information in this document, including products and software versions, is current as of the Release Date. This document is subject to change without notice.
Release Date: 2015-12-04
Last Updated: 2015-12-04
DESCRIPTION
Any HP ProLiant ML/BL/DL Gen8 or Gen9-series server running a VMware ESXi 5.1, VMware ESXi 5.5 or VMware ESXi 6.0 host may experience either or both of the following:

Intermittent purple diagnostic screens citing an NMI, Non-Maskable, or LINT1 interrupt similar to:
LINT1 motherboard interrupt. This is a hardware problem: please contact your hardware vendor.

IML entries in the AHS log similar to:
Critical","PCI Bus","Uncorrectable PCI Express Error (Slot X, Bus X, Device 0, Function 0, Error status 0x00100000)

Critical","System Error,"1","Unrecoverable System Error (NMI) has occurred. System Firmware will log additional details in a separate IML entry if possible"


VMware's Knowledge Base document (KB1030265) instructs customers that experience non-responsive hosts and virtual machines, HBAs stop responding, Other PCI-e devices stop responding, Degraded path for an Unknown Device or see an illegal vector error in the vmkernel or messages log to disable interrupt remapping by the vmkernel.


Later in the same KB, VMware states the following:


NOTE: This issue only applies if you see this specific alert in thevmkernel/messageslog files:


ALERT: APIC: 1823: APICID 0x00000000 - ESR = 0x40.


If you do not see this message, you are not experiencing this issue.


If the note is not read, the potential exists that the operation to disable interrupt remapping by the kernel could occur, causing the NMI.

SCOPE
Any ML/BL/DL Proliant Gen8/9 server running a VMware ESXi 5.1, VMware ESXi 5.5 or VMware ESXi 6.0 host.

RESOLUTION
HP ProLiant servers do not have the reported issue with the BIOS as described in the above VMware Knowledge Base article. HP BIOS for ProLiant servers supports vmkernel remapping of PCIe devices without any additional upgrades.

If a PSOD is encountered after following the instructions outlined in the VMware KB listed above, execute the following command to re-enable the vmkernet remap IO for PCIe devices:

# esxcli system settings kernel set --setting=iovDisableIR -v FALSE

NOTE: A reboot is required.

[ Voor 55% gewijzigd door itlee op 12-01-2016 11:34 . Reden: tekst aangevuld ]

[Icepegel]

Bedankt voor de info. Zit hier al een poosje mee te malen. Ga het ook doorgeven/testen.

[ Voor 18% gewijzigd door Icepegel op 05-02-2016 22:14 ]

[itlee]

Graag gedaan, kan nog steeds aangeven dat alles keurig werkt.

De lint1 error is een bios issue. Hp heeft aangegeven dat 1.40 stabiel is en 1.50 niet gebruiken. Komt nog een nieuwere voor .