FreeNAS 10Gbit - Status: no carrier

[chr1st14n]

Ik draait thuis al enige tijd een esxi server met een freenas server. Ik heb een datastore gekoppeld via een 1Gbit iscsi en dit werkt al enige tijd super. Nu dacht ik dit even heel simpel (en goedkoop) te upgraden naar een 10Gbit verbinding voor tussen de ESXi server en de Freenas.

Na de MTU (9000) gelijk gezet te hebben konden de servers elkaar bereiken. Maar zodra ik wat wil doen via de 10Gbit verbinding lijkt het even te werken en vervolgens lijkt de freenas server zijn verbinding te verliezen (met de nodige fouten in de logs), en dit komt ook zo niet terug. Pas naar meerdere reboots en het verwijderen en opnieuw toevoegen van de adapter werkt het soms even weer. Maar zodra ik er wat overheen wil doen valt de verbinding weer weg en begint het circus weer overnieuw.

Freenas blijft dan aangeven bij "Media Status: No Carrier"


ESXi server
CPU: Intel Xeon E3-1230v2
RAM: 32GB
DISK: niks (esxi draait vanaf usb en de enige datastore is die via iscsi op de nas draait)
NIC: HP NC523SFP (Qlogic QLE3242)

FreeNAS
CPU: Intel Pentium Dual Core G860
RAM: 16GB
DISK: 4x2TB 7200RPM
NIC: HP NC523SFP (Qlogic QLE3242)

Servers zijn rechstreeks op elkaar aangesloten met een DAC kabel (Cisco SFP-H10GB-CU3M), en ja ik weet dat dit niet de 10G vol gaat trekken, maar alles boven de 1G is een leuke verbetering


Nu heb ik ook geprobeerd om de MTU lager te houden door 1500 te gebruiken. Dan lijkt de verbinding wel iets langer te blijven bestaan, maar uiteindelijk gebeurt het zelfde weer.

Ik ben nu al een aantal dagen aan het zoeken en proberen, maar kan nergens iets vinden. Al diverse drivers geprobeerd en de firmware ook al eens veranderd (nieuwer/ouder maakt geen verschil). Het het ook geprobeerd met een windows 10 pc en de freenas, maar ook hier gebeurt het zelfde. De verbinding is er, maar na een paar minuten valt de verbinding weg en komt deze ook niet up. Aan de windows en esxi kant zijn geen fouten te vinden, dus ik denk dat het die server is die er problemen mee heeft.

En via de onboard 1G NIC's van beide apparaten werkt alles super en stabiel, maar zodra ik het wil switchen naar 10G beginnen de problemen.


Volgende regels verschijnen in de logging bij het handmatig willen aanzetten van de adapter als deze is weggevallen.

code:

Jan 27 15:59:52 CDK-NAS ql0: qla_issue_cmd: cmd[0x001b2218] = 0x80000002
Jan 27 15:59:52 CDK-NAS         sig[0x001b2228] = 0xcafe0100
Jan 27 15:59:52 CDK-NAS         arg1[0x001b221c] = 0x00000000
Jan 27 15:59:52 CDK-NAS         arg2[0x001b2220] = 0x00000000
Jan 27 15:59:52 CDK-NAS         arg3[0x001b2224] = 0x00000000
Jan 27 15:59:52 CDK-NAS ql0: qla_issue_cmd: exit (ret = 0xffffffff)
Jan 27 15:59:52 CDK-NAS                  rsp = 0x80000002
Jan 27 15:59:52 CDK-NAS                  arg1 = 0x00000000
Jan 27 15:59:52 CDK-NAS                  arg2 = 0x00000000
Jan 27 15:59:52 CDK-NAS                  arg3 = 0x00000000
Jan 27 15:59:52 CDK-NAS ql0: qla_get_max_rds: Q8_CMD_RD_MAX_RDS_PER_CNTXT failed
Jan 27 15:59:56 CDK-NAS ql0: qla_issue_cmd: cmd[0x001b2218] = 0x80000003
Jan 27 15:59:56 CDK-NAS         sig[0x001b2228] = 0xcafe0100
Jan 27 15:59:56 CDK-NAS         arg1[0x001b221c] = 0x00000000
Jan 27 15:59:56 CDK-NAS         arg2[0x001b2220] = 0x00000000
Jan 27 15:59:56 CDK-NAS         arg3[0x001b2224] = 0x00000000
Jan 27 15:59:56 CDK-NAS ql0: qla_issue_cmd: exit (ret = 0xffffffff)
Jan 27 15:59:56 CDK-NAS                  rsp = 0x80000003
Jan 27 15:59:56 CDK-NAS                  arg1 = 0x00000000
Jan 27 15:59:56 CDK-NAS                  arg2 = 0x00000000
Jan 27 15:59:56 CDK-NAS                  arg3 = 0x00000000
Jan 27 15:59:56 CDK-NAS ql0: qla_get_max_sds: Q8_CMD_RD_MAX_RDS_PER_CNTXT failed
Jan 27 16:00:01 CDK-NAS ql0: qla_issue_cmd: cmd[0x001b2218] = 0x80000004
Jan 27 16:00:01 CDK-NAS         sig[0x001b2228] = 0xcafe0100
Jan 27 16:00:01 CDK-NAS         arg1[0x001b221c] = 0x00000000
Jan 27 16:00:01 CDK-NAS         arg2[0x001b2220] = 0x00000000
Jan 27 16:00:01 CDK-NAS         arg3[0x001b2224] = 0x00000000
Jan 27 16:00:01 CDK-NAS ql0: qla_issue_cmd: exit (ret = 0xffffffff)
Jan 27 16:00:01 CDK-NAS                  rsp = 0x80000004
Jan 27 16:00:01 CDK-NAS                  arg1 = 0x00000000
Jan 27 16:00:01 CDK-NAS                  arg2 = 0x00000000
Jan 27 16:00:01 CDK-NAS                  arg3 = 0x00000000
Jan 27 16:00:01 CDK-NAS ql0: qla_get_max_rules: Q8_CMD_RD_MAX_RULES_PER_CNTXT failed
Jan 27 16:00:05 CDK-NAS ql0: qla_issue_cmd: cmd[0x001b2218] = 0x80000005
Jan 27 16:00:05 CDK-NAS         sig[0x001b2228] = 0xcafe0100
Jan 27 16:00:05 CDK-NAS         arg1[0x001b221c] = 0x00000000
Jan 27 16:00:05 CDK-NAS         arg2[0x001b2220] = 0x00000000
Jan 27 16:00:05 CDK-NAS         arg3[0x001b2224] = 0x00000000
Jan 27 16:00:05 CDK-NAS ql0: qla_issue_cmd: exit (ret = 0xffffffff)
Jan 27 16:00:05 CDK-NAS                  rsp = 0x80000005
Jan 27 16:00:05 CDK-NAS                  arg1 = 0x00000000
Jan 27 16:00:05 CDK-NAS                  arg2 = 0x00000000
Jan 27 16:00:05 CDK-NAS                  arg3 = 0x00000000
Jan 27 16:00:05 CDK-NAS ql0: qla_get_max_rcv_cntxts: Q8_CMD_RD_MAX_RX_CNTXT failed
Jan 27 16:00:10 CDK-NAS ql0: qla_issue_cmd: cmd[0x001b2218] = 0x80000006
Jan 27 16:00:10 CDK-NAS         sig[0x001b2228] = 0xcafe0100
Jan 27 16:00:10 CDK-NAS         arg1[0x001b221c] = 0x00000000
Jan 27 16:00:10 CDK-NAS         arg2[0x001b2220] = 0x00000000
Jan 27 16:00:10 CDK-NAS         arg3[0x001b2224] = 0x00000000
Jan 27 16:00:10 CDK-NAS ql0: qla_issue_cmd: exit (ret = 0xffffffff)
Jan 27 16:00:10 CDK-NAS                  rsp = 0x80000006
Jan 27 16:00:10 CDK-NAS                  arg1 = 0x00000000
Jan 27 16:00:10 CDK-NAS                  arg2 = 0x00000000
Jan 27 16:00:10 CDK-NAS                  arg3 = 0x00000000
Jan 27 16:00:10 CDK-NAS ql0: qla_get_max_tx_cntxts: Q8_CMD_RD_MAX_TX_CNTXT failed
Jan 27 16:00:14 CDK-NAS ql0: qla_issue_cmd: cmd[0x001b2218] = 0x80000018
Jan 27 16:00:14 CDK-NAS         sig[0x001b2228] = 0xcafe0100
Jan 27 16:00:14 CDK-NAS         arg1[0x001b221c] = 0x00000000
Jan 27 16:00:14 CDK-NAS         arg2[0x001b2220] = 0x00000000
Jan 27 16:00:14 CDK-NAS         arg3[0x001b2224] = 0x00000000
Jan 27 16:00:14 CDK-NAS ql0: qla_issue_cmd: exit (ret = 0xffffffff)
Jan 27 16:00:14 CDK-NAS                  rsp = 0x80000018
Jan 27 16:00:14 CDK-NAS                  arg1 = 0x00000000
Jan 27 16:00:14 CDK-NAS                  arg2 = 0x00000000
Jan 27 16:00:14 CDK-NAS                  arg3 = 0x00000000
Jan 27 16:00:14 CDK-NAS ql0: qla_get_max_mtu: Q8_CMD_RD_MAX_MTU failed
Jan 27 16:00:19 CDK-NAS ql0: qla_issue_cmd: cmd[0x001b2218] = 0x80000019
Jan 27 16:00:19 CDK-NAS         sig[0x001b2228] = 0xcafe0100
Jan 27 16:00:19 CDK-NAS         arg1[0x001b221c] = 0x00000000
Jan 27 16:00:19 CDK-NAS         arg2[0x001b2220] = 0x00000000
Jan 27 16:00:19 CDK-NAS         arg3[0x001b2224] = 0x00000000
Jan 27 16:00:19 CDK-NAS ql0: qla_issue_cmd: exit (ret = 0xffffffff)
Jan 27 16:00:19 CDK-NAS                  rsp = 0x80000019
Jan 27 16:00:19 CDK-NAS                  arg1 = 0x00000000
Jan 27 16:00:19 CDK-NAS                  arg2 = 0x00000000
Jan 27 16:00:19 CDK-NAS                  arg3 = 0x00000000
Jan 27 16:00:19 CDK-NAS ql0: qla_get_max_lro: Q8_CMD_RD_MAX_LRO failed
Jan 27 16:00:23 CDK-NAS ql0: qla_issue_cmd: cmd[0x001b2218] = 0x80000016
Jan 27 16:00:23 CDK-NAS         sig[0x001b2228] = 0xcafe0100
Jan 27 16:00:23 CDK-NAS         arg1[0x001b221c] = 0x00000000
Jan 27 16:00:23 CDK-NAS         arg2[0x001b2220] = 0x00000000
Jan 27 16:00:23 CDK-NAS         arg3[0x001b2224] = 0x00000000
Jan 27 16:00:23 CDK-NAS ql0: qla_issue_cmd: exit (ret = 0xffffffff)
Jan 27 16:00:23 CDK-NAS                  rsp = 0x80000016
Jan 27 16:00:23 CDK-NAS                  arg1 = 0x00000000
Jan 27 16:00:23 CDK-NAS                  arg2 = 0x00000000
Jan 27 16:00:23 CDK-NAS                  arg3 = 0x00000000
Jan 27 16:00:23 CDK-NAS ql0: qla_get_flow_control: Q8_CMD_GET_FLOW_CNTRL failed
Jan 27 16:00:27 CDK-NAS ql0: qla_issue_cmd: cmd[0x001b2218] = 0x80000007
Jan 27 16:00:27 CDK-NAS         sig[0x001b2228] = 0xcafe0100
Jan 27 16:00:27 CDK-NAS         arg1[0x001b221c] = 0x00000000
Jan 27 16:00:27 CDK-NAS         arg2[0x001b2220] = 0x075db160
Jan 27 16:00:27 CDK-NAS         arg3[0x001b2224] = 0x00000120
Jan 27 16:00:27 CDK-NAS ql0: qla_issue_cmd: exit (ret = 0xffffffff)
Jan 27 16:00:27 CDK-NAS                  rsp = 0x80000007
Jan 27 16:00:27 CDK-NAS                  arg1 = 0x00000000
Jan 27 16:00:27 CDK-NAS                  arg2 = 0x075db160
Jan 27 16:00:27 CDK-NAS                  arg3 = 0x00000120
Jan 27 16:00:27 CDK-NAS ql0: qla_init_rcv_cntxt: Q8_CMD_CREATE_RX_CNTXT failed
Jan 27 16:00:32 CDK-NAS ql0: qla_issue_cmd: cmd[0x001b2218] = 0x80000012
Jan 27 16:00:32 CDK-NAS         sig[0x001b2228] = 0xcafe0100
Jan 27 16:00:32 CDK-NAS         arg1[0x001b221c] = 0x00000000
Jan 27 16:00:32 CDK-NAS         arg2[0x001b2220] = 0x0000233a
Jan 27 16:00:32 CDK-NAS         arg3[0x001b2224] = 0x00000000
Jan 27 16:00:32 CDK-NAS ql0: qla_issue_cmd: exit (ret = 0xffffffff)
Jan 27 16:00:32 CDK-NAS                  rsp = 0x80000012
Jan 27 16:00:32 CDK-NAS                  arg1 = 0x00000000
Jan 27 16:00:32 CDK-NAS                  arg2 = 0x0000233a
Jan 27 16:00:32 CDK-NAS                  arg3 = 0x00000000
Jan 27 16:00:32 CDK-NAS ql0: qla_set_max_mtu: Q8_CMD_RD_MAX_MTU failed

[ Voor 65% gewijzigd door chr1st14n op 27-01-2020 16:03 ]

[Rolfie]

Gebruik je de laatste HP firmware voor deze kaarten?
Gebruik je in ESX ook de HP drivers?

[chr1st14n]

Rolfie schreef op maandag 27 januari 2020 @ 20:15:
Gebruik je de laatste HP firmware voor deze kaarten?
Gebruik je in ESX ook de HP drivers?

Ik heb verschillende firmware geprobeerd. Zowel oud als nieuw en van hp en van qlogic (staan ook nog ergens verborgen op de site). Maar dit maakte geen verschil.


Maar ik denk dat ik inmiddels de oorzaak ook gevonden heb, namelijk de warmte...

Als de kaart in de ESXi server zit (en ook in mijn pc), dan heeft de kaart nog enige airflow eroverheen. Dit was in de freenas server niet echt het geval (is een acer easystore H340 behuizing met andere hardware). Dit verklaart ook waarom na het starten de kaart soms wel en soms niet werkte, zodra de kaart wat langer aan staat en dus (erg) warm werd lijkt deze uit te vallen / freenas ziet de poorten niet meer..

Voor nu is de tijdelijke oplossing door er even een klein fannetje op het koelblok te schroeven (alleen hierdoor kan de kast niet meer dicht).

[Rolfie]

Kaarten kunnen inderdaad vrij warm worden. In een server is dat normaal geen probleem, maar in andere kasten kan dit inderdaad soms een probleem zijn.

[chr1st14n]

Rolfie schreef op maandag 27 januari 2020 @ 20:42:
Kaarten kunnen inderdaad vrij warm worden. In een server is dat normaal geen probleem, maar in andere kasten kan dit inderdaad soms een probleem zijn.

Ik wist dat ze (heel) warm konden worden, maar ik had niet verwacht dat ze zo warm zouden worden dat ze het hierdoor dus niet zouden doen.