Recentelijk hebben we op mijn werk een nieuwe virtualisatie setup aangeschaft, waarbij we drie Dell PowerEdge FC640 nodes in een Dell FX2 chassis hebben genomen. De storage oplossing is een Dell EMC SC5020 geworden.
De storage zou via Fiber Channel (over Ethernet) gekoppeld dienen te worden aan de ESX nodes, maar vooralsnog zonder succes. Er is bij VMware en bij Dell vanuit het Pro Deploy team al een ticket aangemaakt, maar een oplossing blijft nog uit. Omdat ik het toch een vrij interessante uitdaging vind wilde ik als long time lurker toch eens hier posten of iemand wellicht een gouden tip heeft.
De huidige situatie is dat twee nodes een verse ESXi 6.7 Update 3 (via de Dell image) installatie gekregen hebben. Daarbij hebben we een 6.7 vCenter Appliance geïnstalleerd op een aparte NFS share.
In de bios van beide nodes hebben we op vmnic0 en vmnic1 via network partitioning FCoE ingeschakeld. Binnen ESX vinden we ook de (offline) hardware adapters die gekoppeld zijn aan deze interfaces:
Wat mij opviel is dat hier data ontbreekt, zoals het VLAN id en de MAC adressen. Een blik in de vmkernel.log gaf al wel de volgende vermeldingen:
Tevens is de firmware van de adapter up-to-date:
Aan de kant van de switches lijkt alles in orde te zijn. Deze switches zijn overigens onderdeel van het chassis en betreffen een FN2210S, welke aan "de buitenkant" 4 poorten hebben. Twee daarvan worden momenteel als uplink naar onze core switches gebruikt en twee zijn dedicated Fiber Channel poorten.
De storage oplossing is op deze twee Fiber Channel poorten aangesloten en is ook zichtbaar, maar hier is al te zien dat de ESX nodes niet naar voren komen:
Intern hebben beide switches 8 poorten, waarvan er telkens 2 gekoppeld zijn aan elke ESX node in het chassis. Per switch hebben we dus voor elke node één poort dedicated voor Fiber Channel / storage verkeer en één poort voor regulier netwerk verkeer. De juiste poorten hebben we via wwn zoning / FCoE mapping geconfigureerd. Hieronder voor de volledigheid (in het kader van liever teveel informatie dan te weinig) even wat snippets van de configuratie:
De desbetreffende interfaces zijn volledig up:
Echter blijven de storage adapters offline. Alhoewel het volgens de documentatie niet nodig zou moeten zijn, hebben we op een gegeven moment wel een vSwitch aangemaakt en daar de interfaces aan gekoppeld met het juiste VLAN ID. Op de switch hebben we binnen dat VLAN een IP geconfigureerd, waarna we prima heen en weer konden pingen. De adapters bleven echter ook toen offline
Tussen de verschillende wijzigingen door hebben we overigens de nodige rescans gedaan op de adapters en soms ook gewoon volledige reboots van de nodes.
Zelf heb ik het idee dat we een (configuratie) stap aan de kant van de ESX nodes missen, maar wellicht is het toch een dingetje op de switches. Concreet hoop ik stiekem op een gouden tip in de juiste richting, want wellicht kijken wij hier gewoon allemaal over iets kleins heen.
De storage zou via Fiber Channel (over Ethernet) gekoppeld dienen te worden aan de ESX nodes, maar vooralsnog zonder succes. Er is bij VMware en bij Dell vanuit het Pro Deploy team al een ticket aangemaakt, maar een oplossing blijft nog uit. Omdat ik het toch een vrij interessante uitdaging vind wilde ik als long time lurker toch eens hier posten of iemand wellicht een gouden tip heeft.
De huidige situatie is dat twee nodes een verse ESXi 6.7 Update 3 (via de Dell image) installatie gekregen hebben. Daarbij hebben we een 6.7 vCenter Appliance geïnstalleerd op een aparte NFS share.
In de bios van beide nodes hebben we op vmnic0 en vmnic1 via network partitioning FCoE ingeschakeld. Binnen ESX vinden we ook de (offline) hardware adapters die gekoppeld zijn aan deze interfaces:
vmhba65 qfle3f link-down fcoe.2000004e01120560:2001004e01120560 () QLogic Corporation FCoE Adapter vmhba67 qfle3f link-down fcoe.2000004e011206db:2001004e011206db () QLogic Corporation FCoE Adapter vmhba65 Source MAC: 00:4e:01:12:05:5e FCF MAC: 00:00:00:00:00:00 VNPort MAC: 00:00:00:00:00:00 Physical NIC: vmnic0 User Priority: 3 VLAN id: 0 VN2VN Mode Enabled: false vmhba67 Source MAC: 00:4e:01:12:05:61 FCF MAC: 00:00:00:00:00:00 VNPort MAC: 00:00:00:00:00:00 Physical NIC: vmnic1 User Priority: 3 VLAN id: 0 VN2VN Mode Enabled: false
Wat mij opviel is dat hier data ontbreekt, zoals het VLAN id en de MAC adressen. Een blik in de vmkernel.log gaf al wel de volgende vermeldingen:
2020-01-29T14:58:05.786Z cpu0:2098106)ql_fcoe:vmhba65:ql_fcoe_parse_disc_resp:616:Info: Unsolicted FIP advertisement from 10:00:68:4f:64:99:85:06-17 VLAN 17 2020-01-29T14:58:07.538Z cpu0:2098106)ql_fcoe:vmhba67:ql_fcoe_parse_disc_resp:616:Info: Unsolicted FIP advertisement from 10:00:68:4f:64:99:83:86-18 VLAN 18
Tevens is de firmware van de adapter up-to-date:
input file: /usr/lib/vmware/vmkmod/qfle3f Version: 1.0.68.0-1OEM.670.0.0.8169922
Aan de kant van de switches lijkt alles in orde te zijn. Deze switches zijn overigens onderdeel van het chassis en betreffen een FN2210S, welke aan "de buitenkant" 4 poorten hebben. Twee daarvan worden momenteel als uplink naar onze core switches gebruikt en twee zijn dedicated Fiber Channel poorten.
De storage oplossing is op deze twee Fiber Channel poorten aangesloten en is ook zichtbaar, maar hier is al te zien dat de ESX nodes niet naar voren komen:
show fc ns switch brief Total number of devices = 4 Intf# Domain FC-ID Enode-WWPN Enode-WWNN Fc 0/9 2 02:09:00 50:00:d3:10:05:a7:6a:05 50:00:d3:10:05:a7:6a:00 Fc 0/9 2 02:09:01 50:00:d3:10:05:a7:6a:2b 50:00:d3:10:05:a7:6a:01 Fc 0/10 2 02:0a:00 50:00:d3:10:05:a7:6a:17 50:00:d3:10:05:a7:6a:00 Fc 0/10 2 02:0a:01 50:00:d3:10:05:a7:6a:2c 50:00:d3:10:05:a7:6a:02
Intern hebben beide switches 8 poorten, waarvan er telkens 2 gekoppeld zijn aan elke ESX node in het chassis. Per switch hebben we dus voor elke node één poort dedicated voor Fiber Channel / storage verkeer en één poort voor regulier netwerk verkeer. De juiste poorten hebben we via wwn zoning / FCoE mapping geconfigureerd. Hieronder voor de volledigheid (in het kader van liever teveel informatie dan te weinig) even wat snippets van de configuratie:
interface TenGigabitEthernet 0/3 description BLADE2-VMNIC1 no ip address mtu 12000 portmode hybrid switchport flowcontrol rx on tx off spanning-tree mstp edge-port bpduguard spanning-tree rstp edge-port bpduguard spanning-tree 0 portfast bpduguard spanning-tree pvst edge-port bpduguard fcoe-map SAN_FABRIC_A2 dcb-map SAN_DCB_MAP_A2 no shutdown ! .. fc zoneset zoneset1 member blade2-vmnic1 member blade3-vmnic1 member physical_ports1 member virtual_ports1 ! fcoe-map SAN_FABRIC_A2 fc-map 0efc02 fabric-id 18 vlan 18 ! fc-fabric active-zoneset zoneset1 ! .. dcb-map FLEXIO_DCB_MAP_PFC_OFF no pfc mode on ! dcb-map SAN_DCB_MAP_A2 priority-group 0 bandwidth 50 pfc off priority-group 1 bandwidth 50 pfc on priority-pgid 0 0 0 1 0 0 0 0 !
De desbetreffende interfaces zijn volledig up:
show interfaces tengigabitethernet 0/3 status Port Description Status Speed Duplex Vlan Te 0/3 BLADE2-VMNI Up 10000 Mbit Full 1,18
Echter blijven de storage adapters offline. Alhoewel het volgens de documentatie niet nodig zou moeten zijn, hebben we op een gegeven moment wel een vSwitch aangemaakt en daar de interfaces aan gekoppeld met het juiste VLAN ID. Op de switch hebben we binnen dat VLAN een IP geconfigureerd, waarna we prima heen en weer konden pingen. De adapters bleven echter ook toen offline
Tussen de verschillende wijzigingen door hebben we overigens de nodige rescans gedaan op de adapters en soms ook gewoon volledige reboots van de nodes.
Zelf heb ik het idee dat we een (configuratie) stap aan de kant van de ESX nodes missen, maar wellicht is het toch een dingetje op de switches. Concreet hoop ik stiekem op een gouden tip in de juiste richting, want wellicht kijken wij hier gewoon allemaal over iets kleins heen.
Burn baby burn
:strip_exif()/u/24090/hekje.gif?f=community)
/u/35508/crop61e6aa7b579e2_cropped.png?f=community)
