Problemen met 10Gb NIC

[ZatarraNL]

Misschien kan één van jullie mij verder helpen. Ik heb een Proxmox-cluster met 3 nodes (small office gebruik). Alle drie zijn ze verbonden met een 1Gb NIC naar de LAN-switch. Daarnaast heeft elke node een HP 10Gb 2-port 530T Adapter, waarbij beide poorten een Linux-bond zijn. Hiermee zijn de nodes onderling verbonden. Deze NICs zijn de backbone van de Proxmox en Ceph cluster. Bij één van deze nodes geeft deze adapter problemen.

Let op, dit is een PCIe 2.0x8 adapter.

Probleembeschrijving:
- De adapter werkt niet naar behoren.
- Boot gaat buitengewoon traag (zonder de 10Gb gaat alles buitengewoon vlot)
- Met de adapter in het systeem kan ik niet in de bios komen. Dan loopt de PC vast. Ik kan er wel komen als ik eerst de adapter verwijder, aanpassingen in de bios doe, vervolgens de adapter weer toevoeg en opnieuw boot.
- De adapter zat eerst in de chipset PCIE 4.0 16x. Ik had de error "downgraded PCIe". De snelheid is was dan PCIe 2.0x4. De maximale doorvoersnelheid van de NIC's waren 3,5Gb ipv 10Gb (de andere nodes halen wel gewoon bijna 10Gb). Maar het werkte tenminste (alle bovenstaande problemen waren er nog steeds).
- De adapter zit nu in de primaire PCIe 5.0 16x slot. Er staat geen downgraded PCIe meer. Hij is dus connected met PCIe 2.0x8. Alle instellingen lijken te kloppen, maar zowel de NICS als de bond is down.

Wat heb ik al geprobeerd:
- In de bios handmatig de PCIe slots op 8x8 en op PCIe 2.0 zetten.
- Verschillende PCIe slots: verschillende slots geven verschillende problemen. Maar de GPU werkt wel gewoon naar behoren in alle slots.
- Bios upgrade (nu recentste versie 1.11)
- /etc/network/interfaces helemaal opnieuw ingesteld.

Dit is het gebruikte systeem:

#	Category	Product	Prijs	Subtotaal
1	Processors	AMD Ryzen 5 7600X Boxed	€ 249,-	€ 249,-
1	Moederborden	ASRock B650 PG Lightning	€ 209,90	€ 209,90
1	Behuizingen	Inter-Tech 2U 2129-N	€ 115,90	€ 115,90
1	Netwerkadapters	HP Ethernet 10Gb 2-port 530T Adapter	€ 216,84	€ 216,84
1	Processorkoeling	Noctua NH-L9a-AM4	€ 43,05	€ 43,05
1	Ventilatoren	Noctua NF-A8 PWM Bruin, 80mm	€ 16,95	€ 16,95
1	Geheugen intern	Kingston Fury Beast KF560C36BBEK2-32	€ 141,-	€ 141,-
1	Voedingen	Corsair RM550x (2018) (EU-model) Zwart	€ 99,90	€ 99,90
1	Solid state drives	Crucial MX500 2,5" 2TB	€ 147,49	€ 147,49
1	Solid state drives	Samsung 850 EVO 500GB	€ 167,65	€ 167,65
1	Solid state drives	WD Green SN350 240GB	€ 23,03	€ 23,03
1	Externe HDD/SSD behuizingen	Startech.com 4-bay mobile rack backplane voor 2,5 inch SATA-/SAS-schijven Zwart	€ 95,51	€ 95,51
			Totaal	€ 1.526,22

Wat mij verder opvalt is dat de beide NIC's in de andere nodes zonder problemen functioneren. Deze beide nodes zijn voorzien van een Ryzen 5800x en 5600G (dus één oudere generatie).

Mijn belangrijkste vragen:
1. Is dit een compatibility issue? Zo ja, is het oplosbaar?
2. Is de adapter stuk?

[ocf81]

Hoe goed werkt die problematische NIC op een ander moederbord?

[ZatarraNL]

Ik heb gisteren de adapters gewisseld tussen nodes. Het lijkt erop dat de adapter dan gewoon naar behoren werkt. En dat een andere adapter met dit moederbord hetzelfde probleem geeft.

Ik neig toch naar compatibiliteitsproblemen of een stuk moederbord.

[ocf81]

Ik weet het ook niet. Ik heb geen ervaring met B650. Ik hoop voor je dat het niet ligt aan het feit dat PCI2.0 een andere encoding gebruikt.

[ZatarraNL]

ocf81 schreef op maandag 6 maart 2023 @ 15:08:
Ik weet het ook niet. Ik heb geen ervaring met B650. Ik hoop voor je dat het niet ligt aan het feit dat PCI2.0 een andere encoding gebruikt.

OK. Daar was ik niet van op de hoogte. Ik ben van plan een andere intel nic te proberen. Ook die is 2.0x8. Ik ben benieuwd.

[ZatarraNL]

Update:

Ik heb contact gehad met Asrock over het moederbord. Asrock geeft aan dat dit vermoedelijk te maken heeft met de PCIe legacy ondersteuning van de Ryzen 7xxx series. Dat zou ook het trage opstarten verklaren. Ik heb geen ervaring om dit tegen te kunnen spreken.

Wel heb ik de kaart vervangen door een Intel X540-T2. Ook een PCIe2.0x8 kaart. Deze werkt wel direct en naar behoren. Voor mij nu dus opgelost, maar nog geen zekerheid over de oorzaak.

[ocf81]

Bedankt voor de update. Kennelijk dus geen PCI-e 2.0 probleem met encoding, want anders had de nieuwe NIC ook problemen gegeven. Toch raar dat het dan problemen oplevert.