[Infiniband] IP-over-Infiniband niet werkend te krijgen.

[FireDrunk]

Na een poosje met VM's IP-over-Infiniband geprobeerd te hebben (Zie DIY RAID NAS topic),
heb ik toch maar eens besloten om mijn server van een nieuw os te voorzien.
Na de herinstallatie krijg ik alleen met geen mogelijkheid mijn Infiniband setup meer aan de praat.

De hardware:

Server: CentOS 6.2 (Kernel 2.6.32-220.7.1.el6.x86_64)
Client: Windows 7 x64

Beide uitgerust met een Mellanox MH28XTC Infiniband kaartje en een kabel ertussen.

Wat heb ik gedaan:

Op de Mellanox website de OFED package ISO gedownload en geinstalleerd (RPM's recompilen en daarna installeren). Op mijn server dus.
Op Windows 7 zelfde verhaal, alleen dan de drivers voor Windows 7.

Dit werkte allemaal prima, en ik krijg keurig 2 IPoIB adapters in windows, en ik kan onder Unix ib0 en ib1 aanspreken.

Op mijn server een /etc/sysconfig/network-scripts/ifcfg-ib0 script aangemaakt en daar IP 192.168.2.1 ingezet. (mijn normale LAN is 192.168.1.0).

Op de client bij eigenschappen van het device de modus op Connected gezet en IP op 192.168.2.2 gezet.

Op mijn server OpenSM (Open Subnet Manager) geinstalleerd en gestart.
Even spieken in de logs verteld mij: Subnet UP. Mooi dat werkt.

Daarna het commando ibstat:

[root@NAS ~]# ibstat
CA 'mthca0'
        CA type: MT25208
        Number of ports: 2
        Firmware version: 5.3.0
        Hardware version: a0
        Node GUID: 0x0002c902002200b0
        System image GUID: 0x0002c902002200b3
        Port 1:
                State: Down
                Physical state: Polling
                Rate: 10
                Base lid: 0
                LMC: 0
                SM lid: 0
                Capability mask: 0x02510a68
                Port GUID: 0x0002c902002200b1
                Link layer: InfiniBand
        Port 2:
                State: Active
                Physical state: LinkUp
                Rate: 10
                Base lid: 1
                LMC: 0
                SM lid: 1
                Capability mask: 0x02510a6a
                Port GUID: 0x0002c902002200b2
                Link layer: InfiniBand

Ziet er allemaal goed uit.

Volgende: ibhosts

[root@NAS ~]# ibhosts
Ca      : 0x0002c902002200b4 ports 2 "MT25218 InfiniHostEx Mellanox Technologies"
Ca      : 0x0002c902002200b0 ports 2 "NAS HCA-1"

Ziet er ook keurig uit, de devices zien elkaar over de Infiniband kabel, dat is al heel goed.

Toen: Netwerk herstart (/etc/init.d/network restart) om de ib0 op te brengen.
ifconfig

[root@NAS ~]# ifconfig ib0
ib0       Link encap:InfiniBand  HWaddr 80:00:04:04:FE:80:00:00:00:00:00:00:00:00:00:00:00:00:00:00
          inet addr:192.168.2.1  Bcast:192.168.2.255  Mask:255.255.255.0
          UP BROADCAST RUNNING MULTICAST  MTU:65520  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1024
          RX bytes:0 (0.0 b)  TX bytes:0 (0.0 b)

En toen: Geen IP verbinding, geen Ping, geen ARP. geen niks.
Firewalls zijn op beide machines uit. En ik ben all out of options...

Iemand nog een idee?

[CAPSLOCK2000]

TX bytes:0 (0.0 b)

Dat vind ik vreemd, als er iets verzonden zou zijn zou ik dat geen 0 zijn.

domme ideetjes:
- is de interface echt up
- gebruik je het ip niet dubbel?
- controleer je routetabel

[igmar]

Wat zegt een ifconfig -a ?

[FireDrunk]

CAPSLOCK2000 schreef op woensdag 28 maart 2012 @ 00:49:
[...]

Dat vind ik vreemd, als er iets verzonden zou zijn zou ik dat geen 0 zijn.

domme ideetjes:
- is de interface echt up
- gebruik je het ip niet dubbel?
- controleer je routetabel

'echt' up? De hosts zien elkaar op Infiniband, wat wil je nog meer up zien?

IP is voor zover ik kan zien niet dubbel in gebruik, maar ik zal vanavond eens switchen naar 10.0, misschien dat het helpt.

[root@NAS ~]# route
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
192.168.3.0     *               255.255.255.0   U     0      0        0 virbr1
192.168.2.0     *               255.255.255.0   U     0      0        0 ib0
192.168.1.0     *               255.255.255.0   U     0      0        0 br0
link-local      *               255.255.0.0     U     1004   0        0 ib0
link-local      *               255.255.0.0     U     1006   0        0 br0
default         cravurt02       0.0.0.0         UG    0      0        0 br0

(Ik heb een bridge op eth0 liggen voor VM's onder KVM/Qemu)

ifconfig -a geeft hetzelfde als zonder -a...

[igmar]

Ik wil je interface tellers zien, vandaar de vraag om ifconfig -a. Als je geen verschil ziet heb je geen inactieve interfaces.

[Verwijderd]

mocht je hier wat aan hebben: Infiniband HOWTO (IPoIB)

[ Voor 7% gewijzigd door Verwijderd op 28-03-2012 16:24 ]

[CAPSLOCK2000]

[quote]FireDrunk schreef op woensdag 28 maart 2012 @ 09:43:
[...]


'echt' up? De hosts zien elkaar op Infiniband, wat wil je nog meer up zien?
[quote]
of er ook een 'ifconfig ib0 up' is gedaan.

ifconfig -a geeft hetzelfde als zonder -a...

En hier heb ik het antwoord al: ja, de interface is ook vanuit het oogpunt van de linux-kernel 'up'.

[FireDrunk]

@Jan Gruuthuse

Ik heb alles nog eens nagelopen, maar kan niet echt verschillen vinden met hetgeen ik al gedaan heb.

[igmar]

CAPSLOCK2000 schreef op woensdag 28 maart 2012 @ 20:43:
[quote]FireDrunk schreef op woensdag 28 maart 2012 @ 09:43:
En hier heb ik het antwoord al: ja, de interface is ook vanuit het oogpunt van de linux-kernel 'up'.

ifconfig geeft veel meer info : Ook of er een interrupt in het spel is. En als er wel interrupts zijn, maar /proc/interrupts geeft 0 aan, heb je mogelijk een ACPI probleem. En aangezien de tx teller op nul blijft staan zou me dat niet verbazen.

[FireDrunk]

Ik zie in /proc/interrupts 3 regels die beginnen met ib_mth die best wat interrupts opgooien.

[Verwijderd]

4.7 Check the extended network connectivity
iblinkinfo will show the status and speed of all of the links in the network.
4.8 testing connectivity with ibping

Eventueel Infiniband thuis netwerk bereik verplaatsen buiten 192.168.xxx.xxx naar 172.31.xxx.xxx om eventuele conflicten tussen beide netwerken te vermijden ethernetwerk <> Infiniband
Zie net ook dat in hun voorbeeld dat de netmask 255.255.240.0 anders is dan bij ethernetwerk, niet dat ik weet of dit verband houd.

[FireDrunk]

Ik zal het eens proberen. Ik weet wel dat dat subnetmask niet belangrijk is, het heeft al gewerkt met gewoon 255.255.255.0