VMware trage iSCSI path failover

[Bigs]

Voor een nieuw vSphere cluster gebruiken wij geen Fibre Channel opslag zoals we gewend zijn maar een QNAP NAS dat via iSCSI wordt benaderd. Op deze NAS (TS-1263U-RP) zijn twee interfaces geconfigureerd voor iSCSI; de 10 Gigabit SFP+ poort en een gigabit koper poort.

Nu leek het mij verstandig om in VMware een fixed path policy te kiezen met het IP van de 10 gigabit poort als preferred path zodat het verkeer in een normale situatie uitsluitend over die poort komt. Indien het IP van de 10 gigabit poort onbereikbaar wordt kunnen de VMware hosts overschakelen naar het IP van de 1 gigabit poort. Dit werkt zoals gepland, alleen duurt het ongeacht de I/O belasting ruim 30 seconden voordat de failover plaats vindt en het 10 gigabit pad als 'dead' wordt gemarkeerd.

Is er een manier om dit te versnellen? Kortere timeouts / vaker pollen van het target? Of kan ik de configuratie beter anders aanpakken (bijvoorbeeld toch round-robin path selection)

[Andre_J]

https://pubs.vmware.com/v...ating_system_timeout.html

https://pubs.vmware.com/v...51-80DD-37F09175E255.html

[Bigs]

Andre_J schreef op dinsdag 24 mei 2016 @ 12:58:
https://pubs.vmware.com/v...ating_system_timeout.html

Dit gaat om een wijziging in het guest OS, het probleem speelt in mijn geval in de host af. Na de path wisseling hebben de (Linux) guests direct weer verbinding.

https://pubs.vmware.com/v...51-80DD-37F09175E255.html

Van APD is geen sprake, er is immers gewoon nog een actief pad voor de storage.

[Andre_J]

Verdorie, dacht het goed te hebben

[DukeBox]

Dan moet je de RecoveryTimeout en NoopTimeout aanpassen in je iscsi initiator advanced settings.
Persoonlijk zou ik het afraden omdat je kans hebt dat er te snel een failover wordt gedaan en daardoor mogelijk een tijdige recovery permanent wordt gemarkeerd als DEAD PATH.

[Bigs]

Bedankt voor de tip, die opties had ik nog niet gezien. De NoopTimeout staat standaard al op het laagst mogelijke (10 seconden). Ik heb de NoopInterval teruggebracht van 15 naar 5 seconden, maar dat lijkt geen verschil te maken helaas.

Vanaf het moment dat ik de switchpoort van het primaire pad uitschakel zie ik het onderstaande in de vmkernel log (eerste bericht is 10 seconden na het uitschakelen):

code:

2016-05-25T07:58:53.590Z cpu18:35601)HBX: 2802: 'dc2-qnap-vsphere': HB at offset 3149824 - Waiting for timed out HB:
2016-05-25T07:58:53.590Z cpu18:35601)  [HB state abcdef02 offset 3149824 gen 47 stampUS 2585694690 uuid 57455158-b2df3f76-c695-0cc47a3a3746 jrnl <FB 8635800> drv 14.61 lockImpl 4]
2016-05-25T07:59:01.654Z cpu20:33429)WARNING: iscsi_vmk: iscsivmk_TaskMgmtIssue: vmhba40:CH:1 T:0 L:0 : Task mgmt "Abort Task" with itt=0xedf09 (refITT=0xedf07) timed out.
2016-05-25T07:59:01.957Z cpu2:38144)ScsiCore: 62: Starting taskmgmt handler world 38144/2
2016-05-25T07:59:08.351Z cpu20:33429)WARNING: iscsi_vmk: iscsivmk_StopConnection: vmhba40:CH:1 T:0 CN:0: iSCSI connection is being marked "OFFLINE" (Event:4)
2016-05-25T07:59:08.351Z cpu20:33429)WARNING: iscsi_vmk: iscsivmk_StopConnection: Sess [ISID: 00023d000002 TARGET: iqn.2004-04.com.qnap:ts-1263u-rp:iscsi.vsphere.f92c1b TPGT: 1 TSIH: 0]
2016-05-25T07:59:08.351Z cpu20:33429)WARNING: iscsi_vmk: iscsivmk_TaskMgmtIssue: vmhba40:CH:1 T:0 L:0 : Task mgmt "Abort Task" with itt=0xedf0b (refITT=0xedf03) timed out.
2016-05-25T07:59:08.351Z cpu18:33440)NMP: nmp_ThrottleLogForDevice:3298: Cmd 0x89 (0x43a5902b6cc0, 32798) to dev "naa.6e843b6c3042d91d2526d4c6fd9609de" on path "vmhba40:C1:T0:L0" Failed: H:0x2 D:0x0 P:0x0 Possible sense data: 0x0 0x0 0x0. Act:EVAL
2016-05-25T07:59:08.351Z cpu18:33440)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.6e843b6c3042d91d2526d4c6fd9609de" state in doubt; requested fast path state update...
2016-05-25T07:59:08.351Z cpu10:32841)NMP: nmp_ThrottleLogForDevice:3298: Cmd 0x88 (0x43a580addd40, 35608) to dev "naa.6e843b6c3042d91d2526d4c6fd9609de" on path "vmhba40:C1:T0:L0" Failed: H:0x8 D:0x0 P:0x0 Possible sense data: 0x0 0x0 0x0. Act:EVAL
2016-05-25T07:59:08.351Z cpu18:33440)ScsiDeviceIO: 2613: Cmd(0x43a5902b6cc0) 0x89, CmdSN 0x61c from world 32798 to dev "naa.6e843b6c3042d91d2526d4c6fd9609de" failed H:0x2 D:0x0 P:0x0 Possible sense data: 0x0 0x0 0x0.
2016-05-25T07:59:08.351Z cpu10:32841)ScsiDeviceIO: 2595: Cmd(0x43a580addd40) 0x88, CmdSN 0xe6 from world 35608 to dev "naa.6e843b6c3042d91d2526d4c6fd9609de" failed H:0x8 D:0x0 P:0x0
2016-05-25T07:59:08.351Z cpu18:33440)NMP: nmp_ThrottleLogForDevice:3298: Cmd 0x2a (0x43a580b04740, 32798) to dev "naa.6e843b6c3042d91d2526d4c6fd9609de" on path "vmhba40:C1:T0:L0" Failed: H:0x2 D:0x0 P:0x0 Possible sense data: 0x0 0x0 0x0. Act:EVAL
2016-05-25T07:59:08.351Z cpu18:33440)ScsiDeviceIO: 2613: Cmd(0x43a580b04740) 0x2a, CmdSN 0x61d from world 32798 to dev "naa.6e843b6c3042d91d2526d4c6fd9609de" failed H:0x2 D:0x0 P:0x0 Possible sense data: 0x0 0x0 0x0.
2016-05-25T07:59:08.351Z cpu10:32841)NMP: nmp_ThrottleLogForDevice:3298: Cmd 0x88 (0x43a590255c00, 35608) to dev "naa.6e843b6c3042d91d2526d4c6fd9609de" on path "vmhba40:C1:T0:L0" Failed: H:0x8 D:0x0 P:0x0 Possible sense data: 0x0 0x0 0x0. Act:EVAL
2016-05-25T07:59:08.351Z cpu10:32841)ScsiDeviceIO: 2595: Cmd(0x43a590255c00) 0x88, CmdSN 0xe7 from world 35608 to dev "naa.6e843b6c3042d91d2526d4c6fd9609de" failed H:0x8 D:0x0 P:0x0
2016-05-25T07:59:08.351Z cpu10:32841)ScsiDeviceIO: 2595: Cmd(0x43a590255900) 0x88, CmdSN 0xe8 from world 35608 to dev "naa.6e843b6c3042d91d2526d4c6fd9609de" failed H:0x8 D:0x0 P:0x0
2016-05-25T07:59:08.351Z cpu4:33124)ScsiCore: 97: Stopping taskMgmt handler world 331241
2016-05-25T07:59:08.453Z cpu10:32841)NMP: nmp_ThrottleLogForDevice:3298: Cmd 0x28 (0x439d80b1c440, 32841) to dev "naa.6e843b6c3042d91d2526d4c6fd9609de" on path "vmhba40:C1:T0:L0" Failed: H:0x2 D:0x0 P:0x0 Possible sense data: 0x0 0x0 0x0. Act:EVAL
2016-05-25T07:59:08.453Z cpu10:32841)ScsiDeviceIO: 2613: Cmd(0x439d80b1c440) 0x28, CmdSN 0x61e from world 32841 to dev "naa.6e843b6c3042d91d2526d4c6fd9609de" failed H:0x2 D:0x0 P:0x0 Possible sense data: 0x0 0x0 0x0.
2016-05-25T07:59:08.597Z cpu10:33344)NMP: nmp_ThrottleLogForDevice:3231: last error status from device naa.6e843b6c3042d91d2526d4c6fd9609de repeated 10 times
2016-05-25T07:59:08.882Z cpu10:33344)NMP: nmp_ThrottleLogForDevice:3231: last error status from device naa.6e843b6c3042d91d2526d4c6fd9609de repeated 20 times
2016-05-25T07:59:08.968Z cpu10:33345)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.6e843b6c3042d91d2526d4c6fd9609de" state in doubt; requested fast path state update...
2016-05-25T07:59:09.455Z cpu10:33344)NMP: nmp_ThrottleLogForDevice:3231: last error status from device naa.6e843b6c3042d91d2526d4c6fd9609de repeated 40 times
2016-05-25T07:59:09.967Z cpu10:33345)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.6e843b6c3042d91d2526d4c6fd9609de" state in doubt; requested fast path state update...
2016-05-25T07:59:10.595Z cpu10:33344)NMP: nmp_ThrottleLogForDevice:3231: last error status from device naa.6e843b6c3042d91d2526d4c6fd9609de repeated 80 times
2016-05-25T07:59:10.967Z cpu10:32792)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.6e843b6c3042d91d2526d4c6fd9609de" state in doubt; requested fast path state update...
2016-05-25T07:59:11.966Z cpu10:33345)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.6e843b6c3042d91d2526d4c6fd9609de" state in doubt; requested fast path state update...
2016-05-25T07:59:12.880Z cpu10:33344)NMP: nmp_ThrottleLogForDevice:3231: last error status from device naa.6e843b6c3042d91d2526d4c6fd9609de repeated 160 times
2016-05-25T07:59:12.966Z cpu10:37898)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.6e843b6c3042d91d2526d4c6fd9609de" state in doubt; requested fast path state update...
2016-05-25T07:59:13.966Z cpu10:32792)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.6e843b6c3042d91d2526d4c6fd9609de" state in doubt; requested fast path state update...
2016-05-25T07:59:14.960Z cpu10:33345)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.6e843b6c3042d91d2526d4c6fd9609de" state in doubt; requested fast path state update...
2016-05-25T07:59:15.966Z cpu10:33345)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.6e843b6c3042d91d2526d4c6fd9609de" state in doubt; requested fast path state update...
2016-05-25T07:59:16.966Z cpu10:33345)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.6e843b6c3042d91d2526d4c6fd9609de" state in doubt; requested fast path state update...
2016-05-25T07:59:17.471Z cpu10:32792)NMP: nmp_ThrottleLogForDevice:3231: last error status from device naa.6e843b6c3042d91d2526d4c6fd9609de repeated 320 times
2016-05-25T07:59:17.958Z cpu10:33345)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.6e843b6c3042d91d2526d4c6fd9609de" state in doubt; requested fast path state update...
2016-05-25T07:59:18.353Z cpu1:32851)vmw_psp_fixed: psp_fixedSelectPathToActivateInt:479: Changing active path from vmhba40:C1:T0:L0 to vmhba40:C0:T0:L0 for device "naa.6e843b6c3042d91d2526d4c6fd9609de".
2016-05-25T07:59:18.359Z cpu2:32841)HBX: 276: 'dc2-qnap-vsphere': HB at offset 3149824 - Reclaimed heartbeat [Timeout]:
2016-05-25T07:59:18.359Z cpu2:32841)  [HB state abcdef02 offset 3149824 gen 47 stampUS 2620403779 uuid 57455158-b2df3f76-c695-0cc47a3a3746 jrnl <FB 8635800> drv 14.61 lockImpl 4]

Op de derde regel van onder wordt het actieve pad pas omgegooid. Het I/O verkeer in de VM komt daarna weer op gang.

[SpamLame]

Als ik http://blogs.vmware.com/v...si-advanced-settings.html goed begrijp is een Noop* setting alleen van toepassing op non active paths tbv het testen van de status van het path.

Als zodanig zijn aanpassing van die parameters nvt voor het versnellen van een path failover aangezien het 1Gbit path op dat moment inactive is en juist active moet worden.

Hmm volgende bevindingen willen niet zeggen dat het niet kan werken zoals jij graag zou willen, maar geeft wel te denken.
- Gegeven QNAP support geen enkel VMware product volgens https://www.qnap.com/i/en.../model.php?II=206&event=3
- Tevens is het QNAP niet te vinden op http://www.vmware.com/res...ch.php?deviceCategory=san en http://www.vmware.com/res...ty/vcl/partnersupport.php
Dus tot zover hebben zowel QNAP als Vmware geen tests (die ik vinden kan) op/voor je device gedaan.

Ik vraag me ook af wat het VMware ready logo nu op de product pagina doet. Volgens het VMware Ready programma zou het logo een subcategory (hier dan storage) moeten aangeven voor het product wat je gebruikt. Ik zie dat specifiek niet aanwezig zijn.

Dat wilt niet zeggen dat het niet kan werken.

[ Voor 57% gewijzigd door SpamLame op 30-05-2016 11:40 ]

[Bigs]

Hmm interessant.. ik ben totaal afgegaan op het vmware ready logo en het feit dat ze VAAI en een vCenter plugin bieden, maar heb niet op de VMware HCL gekeken. Dit specfieke model ontbreekt daar inderdaad. Tijd om navraag te doen bij QNAP.

[DukeBox]

QNAP is daar al eerder voor berispt vanuit VMware, Synology overigens ook maar die hebben hun leven gebeterd. Thecus mag het logo sinds 2010 ook niet meer voeren.

[Bigs]

Volgende keer toch maar weer budget vrijmaken voor een Storwize