[Oracle Linux 6.9]NIC blokkeert.

[EXX]

Mijn vraag:

Ik heb een server (Dell Poweredge R200), met daarin een NIC met 4 ethernet poorten in een PCI-E slot. De NICs hebben eth2 t/m 5 (eth0 en eth1 zijn on-board).

Na verloop van tijd blokkeert de NIC.

• Pingen naat de NIC ethernet poorten werkt niet meer.
• De 2 onboard poorten werken wel.
• Reboot lost het probleem op, maar dat is natuurlijk geen echte oplossing.

Is de NIC kapot of is er een ander probleem?

De server draait op Oracle Linux 6.9, 64 bit. Voor de rest draait er geen applicatie momenteel, er staat alleen het OS op.

Van Dell heb ik een admin package erop gezet. Als je dan de esmlog uitleest zie je een PCI-E error. Het oranje LED op de server staat ook te knipperen om aan te geven dat er een fout is opgetreden.

Als ik een eth poort test met ethtool, zie ik dit:

code:

# ethtool -t eth2 offline
Message from syslogd@server at Mar 15 11:03:26 ...
 kernel:do_IRQ: 1.114 No irq handler for vector (irq -1)
The test result is FAIL
The test extra info:
Register test  (offline)         0
Eeprom test    (offline)         0
Interrupt test (offline)         4
Loopback test  (offline)         13
Link test   (on/offline)         0

Info over eth2 (eth3/4/5 zijn hetzelfde):

code:

# ethtool -i eth2
driver: e1000e
version: 3.2.6-k
firmware-version: 5.10-2
bus-info: 0000:04:00.0
supports-statistics: yes
supports-test: yes
supports-eeprom-access: yes
supports-register-dump: yes
supports-priv-flags: no

Toen ik de eth2 probeer down te zetten met ifdown eth2, kwam er bij de eerste poging dit:

code:

Message from syslogd@server at Mar 15 11:05:05 ...
 kernel:do_IRQ: 0.122 No irq handler for vector (irq -1)

ifup eth2 werd wel uitgevoerd, maar geeft geen resultaat: de poort werkt nog steeds niet.

Een service network restart geeft (zoals verwacht) geen resultaat.

Wat kan ik nog proberen?

[Hero of Time]

Check voor firmware updates voor je NIC. Kijk daarna of er een andere kernel module gebruikt kan worden voor die NIC en/of er issues zijn met deze module in deze kernel.

Welke kernel wordt er gebruikt? Ik weet dat bij Oracle Linux 5 er twee 'smaken' zijn. De standaard Red Hat kernel en de Oracle "Unbreakable Enterprise" kernel.

[EXX]

De gebruikte kernel is de Red Hat Compatible kernel:

Linux server 2.6.32-696.el6.x86_64 #1 SMP Wed Mar 22 14:27:19 PDT 2017 x86_64 x86_64 x86_64 GNU/Linux

Firmware updates voor de NIC heb ik nog niet aan gedacht. Dat wordt even de server openmaken om te kijken wat voor een NIC er precies inzit.

[Hero of Time]

Server openmaken? Je hebt een asset tag, daarmee kan je precies zien wat de hardware configuratie is. Daarnaast heb je dmidecode beschikbaar en lshw/lspci. Geeft je ook netjes de informatie die je wilt hebben.

Scheelt je de server uitzetten en tripje naar het datacenter/serverhok.

[Thralas]

EXX schreef op vrijdag 15 maart 2019 @ 11:41:
Wat kan ik nog proberen?

Je kernel log bekijken. Als hardware niet werkt zoals verwacht kan daar zomaar eens een interessante melding staan.

Sterker nog, de eerste krijg je al cadeau van syslogd op je console. Er is meer.

EXX schreef op vrijdag 15 maart 2019 @ 12:00:
De gebruikte kernel is de Red Hat Compatible kernel:

Linux server 2.6.32-696.el6.x86_64 #1 SMP Wed Mar 22 14:27:19 PDT 2017 x86_64 x86_64 x86_64 GNU/Linux

Je draait een kernel van twee jaar oud...

Firmware updates voor de NIC heb ik nog niet aan gedacht. Dat wordt even de server openmaken om te kijken wat voor een NIC er precies inzit.

Éérst je kernel updaten. Daar kan zómaar eens een relevante fix bijzitten. Firmware updates voor NICs zou ik pas daarna overwegen, helemaal bij een Intel NIC.

Type kun je ook gewoon achterhalen met lspci, komt geen schroevendraaier aan te pas.

[EXX]

Helaas, kernel updaten zit er even niet in; ik moet voorlopig op OL 6.9 blijven draaien...

[Thralas]

Right.

De overige tips (kernel logs!) zijn nog steeds handig om na te gaan wat er nu precies migaat. En dan maar hopen dat de conclusie niet is dat je met een up-to-date systeem niet tegen de issues aanloopt.

Welk crapproduct eist dat je een unmaintained OS draait? Ik kan dat soort 'enterprise'-eisen moeilijk rijmen met het feit dat er helemaal geen support van Oracle is voor OL 6.9.

RHEL heeft EUS releases waarbij zélfs een minor version supported is, maar niet voor 6.8-6.10.

Werp ik een blik op de release notes van EL 6.10, dan lijkt dat echt de meest onboeiende feature release ooit - logisch, want EL6 zit allang in de maintenance support only-fase.

Kan me daarmee moeilijk voorstellen dat je iets hebt dat niét draait op 6.10, en wel op 6.9..

[Kees]

Thralas schreef op vrijdag 15 maart 2019 @ 13:23:
[...]


Je draait een kernel van bijna 10 jaar oud...

ftfy, 2.6.32 kwam in december 2009 uit.

[Hero of Time]

Kees schreef op vrijdag 15 maart 2019 @ 18:09:
[...]

ftfy, 2.6.32 kwam in december 2009 uit.

Maar niet de Red Hat smaak ervan. En daar ging het even om.

[Kees]

Hero of Time schreef op vrijdag 15 maart 2019 @ 20:02:
[...]

Maar niet de Red Hat smaak ervan. En daar ging het even om.

Dat is zeggen dat Windows 7 niet een 10 jaar oude basis heeft omdat er nog updates voor uit komen..

Daarnaast is die server ook nog eens minimaal 9 jaar oud (R200 werd verkocht van 2010 tot 2011).

Met een 9 jaar oude server met een 10 jaar oud OS zou mijn eerste ingeving zijn dat de boel dood aan het gaan is en zou ik naar vervanging gaan kijken.

[Hero of Time]

Vervangen voor iets moderners sowieso. Maar je kan niet stellen dat de kernel die hier gebruikt wordt dezelfde stabiliteit en drivers heeft als waar het van afgeleidt is. Zie o.a. de enorme stap in driver versie die bij RH7 heeft plaatsgevonden voor Intel kaarten.

[EXX]

Goed, ik ga eens kijken of ik een test kan draaien met OL 7.2 om te kijken of die versie dit probleem niet vertoont. Kan even duren voor ik dat kan doen, dus wordt vervolgd.

[Hero of Time]

OL 7.2? Dat lijkt mij dan niet zo handig, aangezien Red Hat zelf al op 7.6 zit. Als je naar iets moderners gaat, stap dan naar de huidig ondersteunde versie, niet eentje die alweer ruim 3 jaar oud is.

[EXX]

Jee, ik loop alweer achter zeg. Als ik dan toch met een moderne versie aan de gang mag, is het inderdaad wel zo slim de laatste stabiele release te nemen.

[EXX]

Ok, even een update:

Oracle Linux 7.6 geinstalleerd, maar het wordt er niet beter op. Met de UEK kernel krijg ik crashes en de server voert een reboot uit. Met de Red Hat compatble kernel blokkeert de ethernet kaart nog steeds, maar de server reboot in ieder geval niet.

De desktop (gnome) is met beide kernels nogal traag, maar met de UEK kernel werkt de desktop zelfs niet goed; muisklikken worden bv. niet altijd uitgevoerd, kan vensters niet altijd sluiten etc.

Helaas heb ik de Dell srvadmin package nog niet kunnen installeren (missing libraries, ondanks dat ik alle packages heb aanvinkt bij de installatie). Daar moet ik nog naar kijken.

edit:
Het lijkt me dat de server gewoon te weinig performance heeft voor deze distributie, gezien de problemen met de desktop.

[ Voor 9% gewijzigd door EXX op 03-04-2019 11:05 ]