Windows Backup doet Netwerk driver Hyper-V host crashen

[ShaneV]

Host machine: Server 2016 met Hyper-V.
Client VM: Server 2012 R2

Situatie: telkens wanneer de Server 2012 R2 machine zijn backup laat lopen, crasht de netwerk driver waarop de virtuele switch mee verbonden zit. De enige oplossing is dan een volledige herstart van de host machine.

Als ik manueel een backup neem, dan gebeurd er niets. De backup wordt genomen via Windows Server Backup naar een iSCSI gekoppelde drive.

Het start met foutmelding: NDIS 10400. "Door de netwerkinterface "Intel(R) 82574L Gigabit Network Connection" is gestart met opnieuw instellen. Tijdens het opnieuw instellen van de hardware wordt de netwerkverbinding heel even onderbroken.
Reden: The network driver detected that its hardware has stopped responding to commands.
Deze netwerkinterface is 1 keer opnieuw ingesteld sinds deze voor het laatst is geïnitialiseerd."

Daarna: Hyper-V-VmSwitch 22: "Media disconnected on NIC /DEVICE/{EDFF4ADF-9755-4147-9C14-60BFEC6DA9C4} (Friendly Name: Intel(R) 82574L Gigabit Network Connection)."

Daarna Hyper-V-VmSwitch 24: "NIC /DEVICE/{EDFF4ADF-9755-4147-9C14-60BFEC6DA9C4} (Friendly Name: Intel(R) 82574L Gigabit Network Connection) is no longer operational."

Daarna: e1iexpress 27: "Intel(R) 82574L Gigabit Network Connection Network link is disconnected."

Hierna komt hij terug op: Hyper-V-VmSwitch 21 "Media connected on NIC /DEVICE/{EDFF4ADF-9755-4147-9C14-60BFEC6DA9C4} (Friendly Name: Intel(R) 82574L Gigabit Network Connection)."

Dan: Hyper-V-VmSwitch 23: "NIC /DEVICE/{EDFF4ADF-9755-4147-9C14-60BFEC6DA9C4} (Friendly Name: Intel(R) 82574L Gigabit Network Connection) is now operational."

Dan: e1iexpress 32: "Intel(R) 82574L Gigabit Network Connection Network link has been established at 1Gbps full duplex."

Dan start de loop terug opnieuw en blijft zo verder gaan tot de server herstart wordt.

De VMswitch heeft geen filters geactiveerd maar wel SR-IOV en de adapter is niet gedeeld. Deze is dus enkel en alleen bruikbaar voor de virtuele switch.

Moederbord is: Supermicro X9SCi-LN4F

[HKLM_]

Nic drivers al eens opnieuw geinstalleerd ?

misschien heb je hier nog wat aan

https://communities.intel.com/thread/46054

[ Voor 49% gewijzigd door HKLM_ op 11-05-2017 15:14 ]

[ShaneV]

Downloader_NL schreef op donderdag 11 mei 2017 @ 15:12:
Nic drivers al eens opnieuw geinstalleerd ?

misschien heb je hier nog wat aan

https://communities.intel.com/thread/46054

jip, ook al uitgevoerd. De adapters verwijderd en opnieuw toegevoegd. Ik snap niet echt wat er verkeerd gaat. Het probleem is alleszins herhaalbaar, dus ik hoop dat dit een bug is in windows.

Het rare is als ik manueel een backup laat nemen met de zelfde instellingen, dat dit wel zonder problemen gaat. Wordt de backup automatisch genomen, dan gaat het mis.

[McWolf82]

Hoe laat start de automatische backup? Lopen er dan wellicht nog andere processen die problemen kunnen veroorzaken? Het is namelijk vreemd dat als je de backup handmatig start alles goed gaat.

[Killah_Priest]

Gebruik je SR-IOV? Zo ja, probeer een vswitch te maken waarop dit uit staat. Zo nee : probeer een vswitch met sr-iov

[Zwelgje]

klinkt als een bekend probleem wat ook eens ben tegengekomen icm het maken van een backup (maar dan via Veeam) https://support.microsoft...-gigabit-network-adapters

gaat hier om broadcom nics maar die intel nics hebben wellicht ook VMQ aanstaan op de interface.

[ShaneV]

Powershell schreef op zaterdag 13 mei 2017 @ 07:13:
klinkt als een bekend probleem wat ook eens ben tegengekomen icm het maken van een backup (maar dan via Veeam) https://support.microsoft...-gigabit-network-adapters

gaat hier om broadcom nics maar die intel nics hebben wellicht ook VMQ aanstaan op de interface.

Zal dat eens aanpassen. Wie weet helpt het. Sedert ik een ongebruikte drive heb verwijderd uit de backup routine, crasht hij niet meer (voorlopig).

[Verwijderd]

Powershell schreef op zaterdag 13 mei 2017 @ 07:13:
klinkt als een bekend probleem wat ook eens ben tegengekomen icm het maken van een backup (maar dan via Veeam) https://support.microsoft...-gigabit-network-adapters

gaat hier om broadcom nics maar die intel nics hebben wellicht ook VMQ aanstaan op de interface.

De VMQ bug heeft echt alleen maar betrekking op Broadcom. Niet op intel.

[ShaneV]

Verwijderd schreef op maandag 15 mei 2017 @ 13:44:
[...]

De VMQ bug heeft echt alleen maar betrekking op Broadcom. Niet op intel.

Recent is de netwerkkaart terug beginnen crashen. Nu al 2 dagen na elkaar telkens bij het nemen van de backup.

Heb geprobeerd de VMQ uit te schakelen maar krijg deze foutmelding:

PS C:\Windows\system32> Set-NetAdapterVmq -Name 'HYPER-V SWITCH' -Enabled $False

Set-NetAdapterVmq : No MSFT_NetAdapterVmqSettingData objects found with property 'Name' equal to 'HYPER-V SWITCH'. Ver
ify the value of the property and retry.
At line:1 char:1
+ Set-NetAdapterVmq -Name 'HYPER-V SWITCH' -Enabled $False
+ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
+ CategoryInfo : ObjectNotFound: (HYPER-V SWITCH:String) [Set-NetAdapterVmq], CimJobException
+ FullyQualifiedErrorId : CmdletizationQuery_NotFound_Name,Set-NetAdapterVmq"

Vermoed dat dit komt omdat de netwerkkaart niet gedeeld is met het OS. Ik vindt de kaart dan ook nergens terug. Dus deze tip kan ik niet proberen.

Vanavond zal ik eens SR-IOV uitschakelen en zien wat het morgen ochtend opgeleverd heeft. Iemand nog andere tips? Ik vermoed dat het ergens met de belasting van de netwerkkaart zal te maken hebben. Mijn laatste optie is de offload opties 1 voor 1 beginnen uitschakelen.

[Verwijderd]

ShaneV schreef op maandag 3 juli 2017 @ 14:29:
[...]


Recent is de netwerkkaart terug beginnen crashen. Nu al 2 dagen na elkaar telkens bij het nemen van de backup.

Heb geprobeerd de VMQ uit te schakelen maar krijg deze foutmelding:

PS C:\Windows\system32> Set-NetAdapterVmq -Name 'HYPER-V SWITCH' -Enabled $False

Set-NetAdapterVmq : No MSFT_NetAdapterVmqSettingData objects found with property 'Name' equal to 'HYPER-V SWITCH'. Ver
ify the value of the property and retry.
At line:1 char:1
+ Set-NetAdapterVmq -Name 'HYPER-V SWITCH' -Enabled $False
+ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
+ CategoryInfo : ObjectNotFound: (HYPER-V SWITCH:String) [Set-NetAdapterVmq], CimJobException
+ FullyQualifiedErrorId : CmdletizationQuery_NotFound_Name,Set-NetAdapterVmq"

Vermoed dat dit komt omdat de netwerkkaart niet gedeeld is met het OS. Ik vindt de kaart dan ook nergens terug. Dus deze tip kan ik niet proberen.

Vanavond zal ik eens SR-IOV uitschakelen en zien wat het morgen ochtend opgeleverd heeft. Iemand nog andere tips? Ik vermoed dat het ergens met de belasting van de netwerkkaart zal te maken hebben. Mijn laatste optie is de offload opties 1 voor 1 beginnen uitschakelen.

Denk dat de naam gewoon verkeerd is. Probeer de naam uit te zoeken met Get-netadaptervmq.

[ShaneV]

Verwijderd schreef op maandag 3 juli 2017 @ 14:54:
[...]
Denk dat de naam gewoon verkeerd is. Probeer de naam uit te zoeken met Get-netadaptervmq.

Dat geeft niets weer:

PS C:\Windows\system32> Get-Netadaptervmq
PS C:\Windows\system32>

De naam is 100% correct. In de int lijst staat hij ook niet.

PS C:\Windows\system32> netsh int ipv4 show int

Idx Met MTU State Name
--- ---------- ---------- ------------ ---------------------------
1 75 4294967295 connected Loopback Pseudo-Interface 1
10 25 1500 connected LOCAL LAN
7 5 1500 disconnected HYPER-V SWITCH 2
5 5 1500 disconnected Ethernet 4

Enkel die dat beheerbaar zijn door het OS kunnen er blijkbaar dingen aan gewijzigd worden. De andere niet. Nu VMQ staat volgens mij niet actief, wat ook zo hoort te zijn standaard bij de 1gbit interfaces. Echter had ik graag dat ene geprobeerd, al denk ik niet dat dit mijn probleem zal oplossen.

[Question Mark]

D'r staat toch dat de adapter "Hyper-V Switch 2" heet, en geen "Hyper-V Switch"?

Edit: lees het net nog een keer... Je mist de adapter "Hyper-V switch"...

ShaneV schreef op maandag 3 juli 2017 @ 14:59:
[...]
Enkel die dat beheerbaar zijn door het OS kunnen er blijkbaar dingen aan gewijzigd worden.

Net even getest op een 2016 Hyper-V server:

code:

Get-NetadapterVMQ

Geeft bij mij keurig alle nic's terug (ook degene die niet geshared zijn met het OS), en de VMQ instellingen van die NIC's. VMQ overigens overal disabled in mijn geval. Zie hieronder de output van de VMQ instellingen van een adapter die onderdeel is van een team die alleen voor VM verkeer gebruikt wordt.

code:

PS C:\Windows\system32> Get-NetAdapterVmq -name vmteam1-nic1 | FL *


ifAlias                                 : VMTeam1-Nic1
InterfaceAlias                          : VMTeam1-Nic1
ifDesc                                  : Intel(R) 82576 Gigabit Dual Port Network Connection #2
Caption                                 : MSFT_NetAdapterVmqSettingData 'Intel(R) 82576 Gigabit Dual Port Network Conne
                                          ction #2'
Description                             : Intel(R) 82576 Gigabit Dual Port Network Connection #2
ElementName                             : Intel(R) 82576 Gigabit Dual Port Network Connection #2
InstanceID                              : {D53EA1DE-AA01-4737-B15F-0A9A26A45C4C}
InterfaceDescription                    : Intel(R) 82576 Gigabit Dual Port Network Connection #2
Name                                    : VMTeam1-Nic1
Source                                  : 2
SystemName                              : <knip>
AnyVlanSupported                        :
BaseProcessorGroup                      : 0
BaseProcessorNumber                     : 0
DynamicProcessorAffinityChangeSupported :
Enabled                                 : False
InterruptVectorCoalescingSupported      :
LookaheadSplitSupported                 : False
MaxLookaheadSplitSize                   : 0
MaxProcessorNumber                      : 63
MaxProcessors                           : 8
MinLookaheadSplitSize                   : 0
NumaNode                                : 65535
NumberOfReceiveQueues                   : 0
NumMacAddressesPerPort                  : 0
NumVlansPerPort                         : 0
TotalNumberOfMacAddresses               : 0
VlanFilteringSupported                  : True
PSComputerName                          :
CimClass                                : ROOT/StandardCimv2:MSFT_NetAdapterVmqSettingData
CimInstanceProperties                   : {Caption, Description, ElementName, InstanceID...}
CimSystemProperties                     : Microsoft.Management.Infrastructure.CimSystemProperties

[ Voor 95% gewijzigd door Question Mark op 03-07-2017 16:18 ]

[ShaneV]

Eergisteren hardware offloading uitgezet op de virtuele machine (bij de netwerkadapter) en SR-IOV uitgezet bij de Vswitch. Eergisteren is de backup goed verlopen. Vanmorgen was het terug prijs. Ben nu uit idee's om te proberen.

[ShaneV]

Overgestapt naar Veam Backup Agent en dat lijkt nu wel goed te gaan. Geen problemen meer gehad. Vingers kruisen