[solaris] geavanceerde netwerksetup

[Gertjan]

Op deze veel te warme vrijdag ben ik aan het stoeien met een geavanceerde netwerksetup op Solaris. Ik heb een server met 4 gigabit netwerkpoorten, en een volledig redundant netwerk middels STP. Ik wil de 4 poorten samenvoegen tot 2 poorten van 2 gigabit, en die verbinden met twee switches. Doel: hogere doorvoersnelheid en redundantie, zodat als ofwel een netwerkkaart ofwel een switch uitvalt, alles vrolijk doordraait.

Schematisch ziet dit er als volgt uit:

   ╔════════════╗   ╔════════════╗
   ║  Switch 1  ║   ║  Switch 2  ║
   ╚══╤══════╤══╝   ╚══╤══════╤══╝
      │40  41│         │40  41│
      └───┬──┘         └───┬──┘
          │                │
          └───────┬────────┘
                  │
                  &#9474;aggr2           <-- LACP
             &#9484;&#9472;&#9472;&#9472;&#9472;&#9524;&#9472;&#9472;&#9472;&#9472;&#9488;
             &#9474;aggr0    &#9474;aggr1      <-- Trunks
          &#9484;&#9472;&#9472;&#9524;&#9472;&#9472;&#9488;   &#9484;&#9472;&#9472;&#9524;&#9472;&#9488;
          &#9474;0   1&#9474;   &#9474;2  3&#9474;         <-- Ethernetpoorten e1000g{0,1,2,3}
      &#9556;&#9552;&#9552;&#9552;&#9575;&#9552;&#9552;&#9552;&#9552;&#9552;&#9575;&#9552;&#9552;&#9552;&#9575;&#9552;&#9552;&#9552;&#9552;&#9575;&#9552;&#9552;&#9552;&#9559;
      &#9553;        SERVER        &#9553;
      &#9562;&#9552;&#9552;&#9552;&#9552;&#9552;&#9552;&#9552;&#9552;&#9552;&#9552;&#9552;&#9552;&#9552;&#9552;&#9552;&#9552;&#9552;&#9552;&#9552;&#9552;&#9552;&#9552;&#9565;

Op beide switches zijn poorten 40 en 41 met elkaar getrunked middels LACP. Ik gebruik op Solaris (OpenSolaris 2009.06) dladm om de netwerkpooorten te configureren. In de eerste instantie heb ik dit getest:

root@file5:~# dladm create-aggr -t --link e1000g2 --link e1000g3 --policy=L2 --unicast=00:15:17:ea:48:00 --lacp-mode=active 0
root@file5:~# ifconfig aggr0 plumb
root@file5:~# ifconfig aggr0 dhcp

Dit werkt perfect. Ik heb een interface aggr1 erbij gekregen, die netjes een IP-adres krijgt. Deze is nu echter maar met 1 switch verbonden. Ik wil uiteindelijk 1 interface (van de 4) overhouden. Om te testen of ik een aggregate van twee aggregates kan maken, heb ik het volgende geprobeerd (e1000g0 en e1000g1 kan ik even nog niet gebruiken).

root@file5:~# dladm create-aggr -t --link e1000g2 --policy=L2 0
root@file5:~# dladm create-aggr -t --link e1000g3 --policy=L2 1
root@file5:~# dladm show-link
LINK        CLASS     MTU    STATE    BRIDGE     OVER
e1000g2     phys      1500   up       --         --
e1000g0     phys      1500   up       --         --
e1000g3     phys      1500   up       --         --
e1000g1     phys      1500   up       --         --
aggr0       aggr      1500   up       --         e1000g2
aggr1       aggr      1500   up       --         e1000g3
root@file5:~# dladm show-aggr
LINK            POLICY   ADDRPOLICY           LACPACTIVITY  LACPTIMER   FLAGS
aggr0           L2       auto                 off           short       -----
aggr1           L2       auto                 off           short       -----

Ik heb twee aggregates met beide 1 interface. Als ik deze twee aggregates wil verbinden in 1 nieuwe aggregate die met LACP met de switches communiceert, gaat het echter mis:

root@file5:~# dladm create-aggr -t --link aggr0 --link aggr1 --policy=L2 --lacp-mode=active 2
dladm: create operation failed: invalid argument

Het gaat ongetwijfeld niet goed omdat aggr0 en aggr1 geen ether-links zijn. Kan iemand me een zetje in de goede richting geven hoe dit wel voor elkaar te krijgen is? Moet ik wellicht 1 grote aggr0 maken over alle 4 de interfaces? Hoe verloopt de communicatie met de switches dan?

[Kees]

1 grote aggr over de 4 links. De server neemt dan willekeurig 1 switch als main, en de andere twee poorten zet hij uit. Als de switch of 1 netwerkpoort uitvalt zal hij de andere switch pakken.

Ik had hetzelfde laatst met linux, en nu ook weer met een (open)solaris bak, en je kan inderdaad geen aggr of bond over een bestaande aggr of bond leggen. Nog afgezien van het fait dat je, als je er 1 master maakt, hij pas zal switchen als beide netwerkpoorten plat gaan.

Overigens heb ik het nog net iets anders; namelijk 3 lijnen naar sw 1, en dan 1 lijn naar de backupswitch, zodat je altijd weet welke switch hij in normale omstandigheden pakt, en als de hele switch uitvalt heb ik ook wel genoeg aan 1gbit tot de switch vervangen is.

[Gertjan]

Ah, ik begon daar al naar te neigen. Bedankt voor de tip, ik ga het komende week even proberen! Ik heb een dergelijke setup op Linux nog niet bij de hand gehad, omdat onze Linux-servers maar twee netwerkpoorten hebben, die beide naar een andere switch gaan.
Onze EMC-fileserver is echter vrij letterlijk geconfigureerd volgens mijn schema, en de commando's werkten ook zo. Vandaar dat ik daar wat in bleef hangen.