Solaris netwerk interface issues op 2e controller

[Xandrios]

Hoi,

Ik heb twee Oracle x4170 servers, waarbij een slechts één CPU bevat en de ander twéé. Helaas blijkt het dat, na installatie van Solaris, dat de server met slechts één CPU ook maar één on-board netwerk controller kan gebruiken (En dus slechts 2 van de 4 interfaces beschikbaar zijn).

Om dit op te lossen heb ik disks gewisseld. Het systeem dat initieel was geinstalleerd met één netwerk controller (2 interfaces) is nu actief met het chassis dat twee controllers heeft (4 interfaces).

Het probleem is dat de nieuwe devices in /devices/ niet beschikbaar komen. De controller wordt echter wél gedetecteerd:

code:

# prtdiag
==== On-Board Devices =====================================
X540 10GbE Controller
X540 10GbE Controller
X540 10GbE Controller
X540 10GbE Controller

In /devices/ (en dus ook /dev/) worden interfaces 3 en 4 echter niet toegevoegd. Om dit te forceren heb ik een "touch /reconfigure" gedaan en een reboot. Dit helpt echter niets.

Mijn idee is dat de driver aanwezig is (en werkt) want interface 1 en 2 werken wel.

Dit is een goed werkend systeem:

code:

# prtconf -D | grep ixgb
            pci108e,484d, instance #0 (driver name: ixgbe)
            pci108e,484d, instance #1 (driver name: ixgbe)
            pci108e,484d, instance #2 (driver name: ixgbe)
            pci108e,484d, instance #3 (driver name: ixgbe)

En dit het probleemsysteem. Hoe kan ik "instances" activeren?

code:

# prtconf -D | grep ixgb
            pci108e,484d, instance #0 (driver name: ixgbe)
            pci108e,484d, instance #1 (driver name: ixgbe)
            pci108e,484d (driver name: ixgbe)
            pci108e,484d (driver name: ixgbe)

Heeft iemand hier ervaring met Solaris (10)? Enig idee hoe de interfaces op de 2e controller te activeren zijn?

Thanks

[ Voor 20% gewijzigd door Xandrios op 19-03-2013 13:59 ]

[rico_fxp]

Zie je interfaces als je onderstaande runt ?
# dladm show-dev

Al geprobeerd te plumb-en ?
# ifconfig ixgbe0 plumb
# ifconfig ixgbe1 plumb
# ifconfig ixgbe2 plumb
# ifconfig ixgbe3 plumb

[Xandrios]

Hoi, thanks voor je hulp.

Nee, de interfaces waren hardwarematig niet beschikbaar. 'dladm show-dev' gaf dus slechts 2 van de 4 interfaces weer. Zonder de interfaces daar kun je ze helaas ook niet plumb-en

Uiteindelijk heb ik het probleem gevonden. Een erg smerig probleem met Solaris. Sterker nog, ik zou het bijna een bug noemen: Solaris cached hardware identifiers.

En dat is op zich niet erg, zo lang de cache opnieuw opgebouwd wordt bij een "Reconfigure reboot", waarbij de contents van /devices en /dev wordt aangemaakt. Maar dat gebeurd niet altijd..

Het lijkt er op dat de cache opnieuw ververst wordt bij nieuwe hardware. Blijkbaar wordt de CPU's nooit gecached, dus die doen in die berekening niet mee. Behalve de CPUs is er echter geen hardware aangepast in mijn systeem..

Maar omdat er een CPU is bijgekomen is er wel een stuk hardware bruikbaar geworden, dat voorheen niet bruikbaar was. Dit feit wordt niet gebruikt om de cache opnieuw te berekenen.

Dus, de oplossing is uiteindelijker kinderlijk simpel: De cache leeggooien. Deze files staan in /etc/devices/ en je behoort er volgens Oracle documentatie niet zelf aan te komen. Eigen risico dus. Maar in mijn geval de enige manier om dit probleem te verhelpen..