Bekabeling redundant switches

[John245]

Ik heb een HA router en wil in de toekomst ook mijn switches redundant maken. Voor de situatie ga ik uit van 3 switches, maar momenteel zijn er maar twee L2 switches.

Is de bekabeling zoals hieronder juist. Ga ik hiermee een redundant netwerk bereiken of zijn er nog meer componenten en/of kabels nodig.

Het geheel gaat niet op korte termijn gerealiseerd worden, maar iedere keer een kleine toevoeging. Het is echter wel van belang om het aantal Cat kabels te weten aangezien hiervoor gaten in de kelder geboord moeten worden en dit dus in een keer correct moet zijn.

[Hann1BaL]

Er zal vast ergens wel een SPOF blijven zitten, maar in feite hoeft elk apparaat maar in contact te staan met 2 andere apparaten om uitval van een apparaat op te kunnen vangen.

Daarmee is er geen sprake van redundancy, want dan moet je uiteraard per plek 2 switches hebben. Als je namelijk clients aansluit op de switch en die switch valt uit, dan moet er op die plek nog een switch zijn voor redundantie.

De Active router hoeft niet verbonden te worden met alle 3 de switches, want de switches onderling zijn ook al verbonden. Als switch 1 en switch 2 verbonden zijn en switch 3 hangt aan switch 1 en 2 dan zit je qua uitval al goed. Dat geldt dus ook voor de Passive uiteraard.

Je laat elk apparaat nu met elk apparaat verbinden en dat is dus helemaal niet nodig.

Maar wat wil je precies bereiken? Hebben al je apparaten 2 netwerkpoorten zodat die apparaten om kunnen gaan met een switch die omvalt? Zo nee, wat ga je dan bereiken met deze opstelling? Want je zult dan fysiek toch moeten ompluggen.

Je hebt in ieder geval meer kabels getekend dan nodig

[jadjong]

Wil je hardware- of kabel-uitval beveiligen?

[Rolfie]

Je kunt nooit genoeg kabels hebben is mijn ervaring.....Als het kan zou ik er een paar extra trekken.
je kunt bijvoorbeeld zo maar in eens een Management Interface aansluiting hebben als je de firewalls vervangt.

Maar waarom ook niet direct een paar glasvezelkabels, voor de toekomst?

[John245]

Hann1BaL schreef op maandag 9 januari 2023 @ 20:00:
Er zal vast ergens wel een SPOF blijven zitten, maar in feite hoeft elk apparaat maar in contact te staan met 2 andere apparaten om uitval van een apparaat op te kunnen vangen.

Daarmee is er geen sprake van redundancy, want dan moet je uiteraard per plek 2 switches hebben. Als je namelijk clients aansluit op de switch en die switch valt uit, dan moet er op die plek nog een switch zijn voor redundantie.

De Active router hoeft niet verbonden te worden met alle 3 de switches, want de switches onderling zijn ook al verbonden. Als switch 1 en switch 2 verbonden zijn en switch 3 hangt aan switch 1 en 2 dan zit je qua uitval al goed. Dat geldt dus ook voor de Passive uiteraard.

Je laat elk apparaat nu met elk apparaat verbinden en dat is dus helemaal niet nodig.

Maar wat wil je precies bereiken? Hebben al je apparaten 2 netwerkpoorten zodat die apparaten om kunnen gaan met een switch die omvalt? Zo nee, wat ga je dan bereiken met deze opstelling? Want je zult dan fysiek toch moeten ompluggen.

Je hebt in ieder geval meer kabels getekend dan nodig

Aanvullend, de actieve en passieve router staan op 2 verschillende locaties. Ik dacht er aan om de switches op 3 locaties te plaatsen, maar misschien wel versttandiger om deze op 2 locaties te plaatsen.

Niet al mijn apparaten hebben 2 netwerkpoorten. Maar de server heeft wel voldoende netwerkpoorten om dit toe te passen. Een 2e pc heeft ook twee netwerkpoorten. Dit tezamen zorgt er wel voor dat de applicaties op de server wel blijven draaien.

Er zal echter nog steeds een groot deel van de infrastructuur plat gaan als er een switch defect raakt.

Zijn er goedkope opties om een apparaat met 1 ethernet poort aan te sluiten op 2 switches?

Volledige redundantie ga ik nooit bereiken, maar zou fijn zijn als de meest kritische dingen blijven werken tegen acceptabele kosten.

[Rolfie]

John245 schreef op maandag 9 januari 2023 @ 20:17:
Aanvullend, de actieve en passieve router staan op 2 verschillende locaties.

Gebruiken je Firewalls wel dezelfde Internet verbinding? Of gebruik je ook 2 verschillende Internet verbindingen?

Ik dacht er aan om de switches op 3 locaties te plaatsen, maar misschien wel versttandiger om deze op 2 locaties te plaatsen.

Vaak voor redundantie, staan er 2 switches op 1 locatie, met uplinks naar 2 verschillende switches.

Niet al mijn apparaten hebben 2 netwerkpoorten. Maar de server heeft wel voldoende netwerkpoorten om dit toe te passen. Een 2e pc heeft ook twee netwerkpoorten. Dit tezamen zorgt er wel voor dat de applicaties op de server wel blijven draaien.

Je kunt vaak een bound of Team aanmaken met failover mogelijkheid. De meeste OS ondersteunen dit native, of via additionele tooling.

Er zal echter nog steeds een groot deel van de infrastructuur plat gaan als er een switch defect raakt.

belangrijke vraag, hoe belangrijk is dit werkelijk?

Zijn er goedkope opties om een apparaat met 1 ethernet poort aan te sluiten op 2 switches?

2de netwerkkaart aanschaffen.

Volledige redundantie ga ik nooit bereiken, maar zou fijn zijn als de meest kritische dingen blijven werken tegen acceptabele kosten.

Is dit een zakelijke of een privé setup? Ik krijg het gevoel dat dit namelijk een thuissituatie is?

Want hoe complexer de setup, hoe meer kans op admin fouten of vage storingen.

[John245]

Rolfie schreef op maandag 9 januari 2023 @ 20:06:
Je kunt nooit genoeg kabels hebben is mijn ervaring.....Als het kan zou ik er een paar extra trekken.
je kunt bijvoorbeeld zo maar in eens een Management Interface aansluiting hebben als je de firewalls vervangt.

Maar waarom ook niet direct een paar glasvezelkabels, voor de toekomst?

Correct. Ik had er in 2013 4 getrokken, maar dat is veel te weinig. Kan nu bepaalde reduntie niet implementeren omdat ik kabels te kort kom. En aangezien er professioneel geboord moet worden en de oprit open moet wil ik het in 1 keer goed doen.

Geen verstand van glasvezel. Maar bedoel je zoiets: https://www.routershop.nl...-lc-connectoren/pid=79590

Maar lijkt er op dat er 4 vezels zijn maar slechts in connector. Of zie ik dat verkeer?

[John245]

jadjong schreef op maandag 9 januari 2023 @ 20:06:
Wil je hardware- of kabel-uitval beveiligen?

Beide.

[Rolfie]

John245 schreef op maandag 9 januari 2023 @ 20:29:
Correct. Ik had er in 2013 4 getrokken, maar dat is veel te weinig. Kan nu bepaalde reduntie niet implementeren omdat ik kabels te kort kom.

Ik kan met 4 kabels gewoon volledige redundantie halen richting de firewall. Zelfs met 2 kabels kan ik dit nog.

En aangezien er professioneel geboord moet worden en de oprit open moet wil ik het in 1 keer goed doen.

Daarom glasvezel en gewoon zeker voldoende kabels als dit in de kosten niet uitmaakt.

Geen verstand van glasvezel. Maar bedoel je zoiets: https://www.routershop.nl...-lc-connectoren/pid=79590

Maar lijkt er op dat er 4 vezels zijn maar slechts in connector. Of zie ik dat verkeer?

Ik zou mij er even in moeten verdiepen, tijd geleden. Maar vaak zijn er kabels met nog meer ader paren. Maar dit zijn dan ook mogelijkheden als het goed is:

https://www.glasvezelshop...-lt-om3-12v/category/988/

Prefab glasvezelkabel - LC/LC - 10 meter (OM3, 8-voudig, 50/125μm)

Maar overal is er eigenlijk nog steeds een hoop onduidelijk moet ik zeggen, om een echt goed advies te geven.

[John245]

Rolfie schreef op maandag 9 januari 2023 @ 20:26:
[...]

Gebruiken je Firewalls wel dezelfde Internet verbinding? Of gebruik je ook 2 verschillende Internet verbindingen?


[...]


Vaak voor redundantie, staan er 2 switches op 1 locatie, met uplinks naar 2 verschillende switches.


[...]

Je kunt vaak een bound of Team aanmaken met failover mogelijkheid. De meeste OS ondersteunen dit native, of via additionele tooling.


[...]

belangrijke vraag, hoe belangrijk is dit werkelijk?


[...]

2de netwerkkaart aanschaffen.


[...]
Is dit een zakelijke of een privé setup? Ik krijg het gevoel dat dit namelijk een thuissituatie is?

Want hoe complexer de setup, hoe meer kans op admin fouten of vage storingen.

2 verschillende internetverbingen, de backup is 5G.

Het is geen kerncentrale dus als het er niets is is er geen gevaarzetting. Maar het huis is volledig geautomatiseerd en als ik van huis ben en het valt uit wordt mijn vriendin niet vrolijk.

2e netwerkkaart gaat lastig op bijvoorbeeld een Moxa interface. En de server heeft al 8 netwerkpoorten.

Het is een thuisinstallatie. Alle scenarios's worden natuurlijk getest dus de kans op fouten lijkt mij minimaal.

Maar alle goede tips zijn welkom.

[jadjong]

John245 schreef op maandag 9 januari 2023 @ 20:30:
[...]

Beide.

Hardware redundancy is best moeilijk als de clients een enkele interface hebben. Hoe ga je de redundancy in bekabeling uitvoeren? Simpelweg met RSTP of iets van routing en OSPF? Met die laatste moet je dan weer gaan knutselen om broadcast en multicast in goede banen te leiden.

[Bierkameel]

John245 schreef op maandag 9 januari 2023 @ 20:40:
[...]

Maar het huis is volledig geautomatiseerd en als ik van huis ben en het valt uit wordt mijn vriendin niet vrolijk.

Het is een thuisinstallatie. Alle scenarios's worden natuurlijk getest dus de kans op fouten lijkt mij minimaal.

Maar alle goede tips zijn welkom.

Hoe meer je toevoegt hoe meer er fout kan gaan, koop 1 fatsoenlijke Cisco switch en vervang de fans en het ding kan weer 10 jaar mee.
Wij hebben 300+ Cisco's die normaal 10 jaar meegaan en we zien eigenlijk alleen hardware storingen na blikseminslag maar daar heb je met 2 of 3 switches ook problemen mee.

[John245]

jadjong schreef op maandag 9 januari 2023 @ 20:51:
[...]

Hardware redundancy is best moeilijk als de clients een enkele interface hebben. Hoe ga je de redundancy in bekabeling uitvoeren? Simpelweg met RSTP of iets van routing en OSPF? Met die laatste moet je dan weer gaan knutselen om broadcast en multicast in goede banen te leiden.

Ik dacht aan RSTP. Splitsen over meerdere kleinere routers verlaagt natuurlijk wel de impact, aar verhoogt ook de kosten.

[John245]

Bierkameel schreef op maandag 9 januari 2023 @ 20:53:
[...]

Hoe meer je toevoegt hoe meer er fout kan gaan, koop 1 fatsoenlijke Cisco switch en vervang de fans en het ding kan weer 10 jaar mee.
Wij hebben 300+ Cisco's die normaal 10 jaar meegaan en we zien eigenlijk alleen hardware storingen na blikseminslag maar daar heb je met 2 of 3 switches ook problemen mee.

Bliksem inslag is redelijk afgedekt met Type I, Type II en Type III overspanningsbeveiliging.

[John245]

Rolfie schreef op maandag 9 januari 2023 @ 20:37:
[...]

Ik kan met 4 kabels gewoon volledige redundantie halen richting de firewall. Zelfs met 2 kabels kan ik dit nog.


[...]
Daarom glasvezel en gewoon zeker voldoende kabels als dit in de kosten niet uitmaakt.


[...]

Ik zou mij er even in moeten verdiepen, tijd geleden. Maar vaak zijn er kabels met nog meer ader paren. Maar dit zijn dan ook mogelijkheden als het goed is:

https://www.glasvezelshop...-lt-om3-12v/category/988/

Prefab glasvezelkabel - LC/LC - 10 meter (OM3, 8-voudig, 50/125μm)

Maar overal is er eigenlijk nog steeds een hoop onduidelijk moet ik zeggen, om een echt goed advies te geven.

Haal je die 10 Gbps per vezel of als je 8 vezels cobineert. Indien het per vezel is dan is het kosten technisch nterresanter dan Cat.

[moppentappers]

Ik denk dat je in dit soort situaties alleen maar meer risico krijgt met meerdere switches. Ik zou eerder zorgen dat je cold spares hebt, dan loop je ook niet het risico op vage problemen die uiteindelijk voor meer downtime zorgen dan een kapotte switch wat toch vrij zeldzaam is als je goed spul gebruikt.

[John245]

Rolfie schreef op maandag 9 januari 2023 @ 20:37:
[...]

Ik kan met 4 kabels gewoon volledige redundantie halen richting de firewall. Zelfs met 2 kabels kan ik dit nog.


[...]
Daarom glasvezel en gewoon zeker voldoende kabels als dit in de kosten niet uitmaakt.


[...]

Ik zou mij er even in moeten verdiepen, tijd geleden. Maar vaak zijn er kabels met nog meer ader paren. Maar dit zijn dan ook mogelijkheden als het goed is:

https://www.glasvezelshop...-lt-om3-12v/category/988/

Prefab glasvezelkabel - LC/LC - 10 meter (OM3, 8-voudig, 50/125μm)

Maar overal is er eigenlijk nog steeds een hoop onduidelijk moet ik zeggen, om een echt goed advies te geven.

Ik heb ook nog wat kabels nodig voor de redundantie van de NAS en de ISP.

[John245]

moppentappers schreef op maandag 9 januari 2023 @ 21:10:
Ik denk dat je in dit soort situaties alleen maar meer risico krijgt met meerdere switches. Ik zou eerder zorgen dat je cold spares hebt, dan loop je ook niet het risico op vage problemen die uiteindelijk voor meer downtime zorgen dan een kapotte switch wat toch vrij zeldzaam is als je goed spul gebruikt.

Heb in ieder geval voldoende switches nodig om te zorgen dat mijn HA Proxmox cluster niet down gaat.

En ben ook niet van plan om al mijn switches redundant uit te voeren. Maar het is ook niet de bedoeling dat als switch 1 plat gaat alles plat gaat en alles uitvalt.

[BCC]

In het Datacenter is dit vrij standaard met Spanning tree en dan is met bijvoorbeeld cisco tooling ook zo te configureren. Wat heb je nu voor hardware/swtiches/proxies? Met rstp moet het ook wel in elkaar te zetten zijn.

[Voor 20% gewijzigd door BCC op 09-01-2023 21:23]

[John245]

BCC schreef op maandag 9 januari 2023 @ 21:20:
In het Datacenter is dit vrij standaard met Spanning tree en dan is met bijvoorbeeld cisco tooling ook zo te configureren. Wat heb je nu voor hardware/swtiches/proxies? Met rstp moet het ook wel in elkaar te zetten zijn.

Sophos FW/router.

Switches Unifi 24 port POE. Maar die zitten beide vol dus worden in de toekomst vervangen.

[BCC]

Unifi heeft wel support vvoor rstp - https://help.ui.com/hc/en...ng-Spanning-Tree-Protocol

[Rolfie]

John245 schreef op maandag 9 januari 2023 @ 21:07:
[...]

Haal je die 10 Gbps per vezel of als je 8 vezels cobineert. Indien het per vezel is dan is het kosten technisch nterresanter dan Cat.

Glasvezel kan nog sneller aan, mits je switches en SFPs het ondersteunen.

John245 schreef op maandag 9 januari 2023 @ 21:13:
Ik heb ook nog wat kabels nodig voor de redundantie van de NAS en de ISP.

Kan je ook oplossen met switches en VLAN's.

Overal denk ik dat je het alleen maar complexer en storingsgevoeliger maakt met je opzet. KISS is vaak veel eenvoudiger in mijn ervaring. Gewoon juiste kwaliteit apparatuur nemen en eventueel spare hardware beschikbaar houden.

Ik heb zelf ook een grote landhuis waarin ik meerdere ISP's heb inclusief een bepaalde redundantie in de switches / servers. Ervaring leert, KISS is vaak veel gemakkelijker te troubleshooten als er al storingen optreden.

Mijn Cloud Console gaat via de backup internet verbinding en "backup" netwerk infrastructuur het Internet op. RSTP is actief, maar had ik in het verleden vage issues mee, waarmee ESX in de stress schoot.
Mocht er dan iets met de core infrastructuur staan, dan kan ik via de unifi console via Internet en iemand op locatie het netwerk herconfigureren, of RSTP Uplinks weer aanzetten.

Ik heb zoveel mogelijk KISS gebruikt waar ik kon, mede omdat er altijd storingen optreden die je niet verwacht en lastig op afstand vaak te troubleshooten zijn.

[John245]

Rolfie schreef op maandag 9 januari 2023 @ 21:41:
[...]

Glasvezel kan nog sneller aan, mits je switches en SFPs het ondersteunen.


[...]

Kan je ook oplossen met switches en VLAN's.

Overal denk ik dat je het alleen maar complexer en storingsgevoeliger maakt met je opzet. KISS is vaak veel eenvoudiger in mijn ervaring. Gewoon juiste kwaliteit apparatuur nemen en eventueel spare hardware beschikbaar houden.

Ik heb zelf ook een grote landhuis waarin ik meerdere ISP's heb inclusief een bepaalde redundantie in de switches / servers. Ervaring leert, KISS is vaak veel gemakkelijker te troubleshooten als er al storingen optreden.

Mijn Cloud Console gaat via de backup internet verbinding en "backup" netwerk infrastructuur het Internet op. RSTP is actief, maar had ik in het verleden vage issues mee, waarmee ESX in de stress schoot.
Mocht er dan iets met de core infrastructuur staan, dan kan ik via de unifi console via Internet en iemand op locatie het netwerk herconfigureren, of RSTP Uplinks weer aanzetten.

Ik heb zoveel mogelijk KISS gebruikt waar ik kon, mede omdat er altijd storingen optreden die je niet verwacht en lastig op afstand vaak te troubleshooten zijn.

Ik wil het ook niet overcompliceren, maar enige redundantie is noodzakelijk om de core te laten draaien.

Ik ben mij er van bewust dat de HA FW en HA NAS ook via de switch kunnen, maar de fabrikanten adviseren om dat niet te doen (dus daar heb ik mij maar aan gehouden).

[jadjong]

Als je spanning tree gaat gebruiken zou ik het bij een ring houden. FW1>SW1>SW2>SW3>FW2>FW1

[John245]

jadjong schreef op maandag 9 januari 2023 @ 21:59:
Als je spanning tree gaat gebruiken zou ik het bij een ring houden. FW1>SW1>SW2>SW3>FW2>FW1

De FW staat in verband met licentiekosten wel in een ative - passive setup.

[jadjong]

John245 schreef op maandag 9 januari 2023 @ 22:07:
[...]

De FW staat in verband met licentiekosten wel in een ative - passive setup.

Geen bypass port? Stop je twee kabels tussen FW1 en FW2. Eentje voor data door de bypass poorten en eentje voor Heartbeat.

[Voor 3% gewijzigd door jadjong op 09-01-2023 22:17]

[John245]

jadjong schreef op maandag 9 januari 2023 @ 22:16:
[...]

Geen bypass port? Stop je twee kabels tussen FW1 en FW2. Eentje voor data door de bypass poorten en eentje voor Heartbeat.

Volgens mij compliceert dit dingen.

FW1 --> SW1
FW1 --> SW2
FW1 --> SW3

FW2 --> SW1
FW2 --> SW2
FW2 --> SW3

FW1 --> FW2 (hearbeat)

Als FW1 actief is dan is FW2 inactief.

Als FW2 actief is dan is deze configuratie gelijk aan FW1 (en is FW1 inactief).

Zitten hier echt nadelen aan. (bypass is standaard niet actief zie ik)

[jadjong]

John245 schreef op maandag 9 januari 2023 @ 22:27:
FW1 --> FW2 (hearbeat)

Als FW1 actief is dan is FW2 inactief.

Als FW2 actief is dan is deze configuratie gelijk aan FW1 (en is FW1 inactief).

Wat doe je als FW1&2 beide actief zijn, door bijvoorbeeld een brakke heartbeat kabel?

Jouw eerste schema waarbij alles met alles verbonden is heeft de hoogste mate van redundancy, maar de meeste kans op fouten.

https://www.arubanetworks...-spine-leaf-architecture/

https://study-ccna.com/spine-and-leaf-architecture/

[Frogmen]

Heb je ook redundantie in je servers want als die uitvallen houd het ook op. Persoonlijk zou ik altijd zorgen dat er een bepaalde basis verlichting altijd handmatig geschakeld kan worden. Verder vindt ik het nogal overdreven voor thuis en ook redelijke energie verspilling. Ik heb switches alleen uit zien gaan bij onderhoud als ze uit gezet worden en daarna niet meer opstarten. Een spare is dan voldoende.

[John245]

jadjong schreef op maandag 9 januari 2023 @ 23:06:
[...]

Wat doe je als FW1&2 beide actief zijn, door bijvoorbeeld een brakke heartbeat kabel?

Jouw eerste schema waarbij alles met alles verbonden is heeft de hoogste mate van redundancy, maar de meeste kans op fouten.

https://www.arubanetworks...-spine-leaf-architecture/

https://study-ccna.com/spine-and-leaf-architecture/

Ik ga is uitzoeken of dat voor kan komen.

[John245]

Frogmen schreef op dinsdag 10 januari 2023 @ 08:31:
Heb je ook redundantie in je servers want als die uitvallen houd het ook op. Persoonlijk zou ik altijd zorgen dat er een bepaalde basis verlichting altijd handmatig geschakeld kan worden. Verder vindt ik het nogal overdreven voor thuis en ook redelijke energie verspilling. Ik heb switches alleen uit zien gaan bij onderhoud als ze uit gezet worden en daarna niet meer opstarten. Een spare is dan voldoende.

Ik heb een Proxmox cluster. Dus als er een server uitvalt worden de HA applicaties overgenoen door 1 van de 2 andere servers.

[John245]

Frogmen schreef op dinsdag 10 januari 2023 @ 08:31:
Heb je ook redundantie in je servers want als die uitvallen houd het ook op. Persoonlijk zou ik altijd zorgen dat er een bepaalde basis verlichting altijd handmatig geschakeld kan worden. Verder vindt ik het nogal overdreven voor thuis en ook redelijke energie verspilling. Ik heb switches alleen uit zien gaan bij onderhoud als ze uit gezet worden en daarna niet meer opstarten. Een spare is dan voldoende.

Door die switches redundant te bekabelen gebruik ik volgens mij niet meer energie las nu. Maar er is inderdaad energieverspilling door redundantie in ISP, FW/router en NAS.

[John245]

Ga het maar eens verder detailleren. Mede namens @Rolfie die het idee van glasvezel heeft aangebracht. Het oorspronkelijke plan was voorbereid te zijn doordat ik overal Cat 7 kabels heb, en nieuwe kabels ook Cat 7 zullen zijn. Het aanleggen van glasvezel lijkt kosten efficient te zijn.

Alvast bedankt voor al jullie nuttige bijdragen.

[Sissors]

Ik vraag me toch wel wat af wat je doel hier is. Als je dit graag als hobby wil doen, be my guest en ik heb niks gezegd verder.

Maar van wat je schreef dat je het wil doen om een betrouwbaarder netwerk te hebben voor als je een keer van huis bent en je vriendin thuis is en je netwerk stopt ermee: Hoe realistisch is dit probleem echt? Zeker als we het over switches hebben, of stomme ethernet kabels. Hoe vaak stoppen die bij jou met werken? De router heb ik nog weleens spanningsloos moeten maken (maar ook dan hebben we het over één keer in de paar jaar), maar een domme switch? Nooit.

En wat andere ook al hebben gezegd: Je introduceert ook weer meer risico's. Bij mijn werkgever hadden we op bedrijventerrein paar jaar geleden een keer internet storing. Tot aan de toegangspoortjes die het niet meer deden. Het probleem? Systeem dat automatisch moest switchen van ene naar andere internet verbinding bij storing was kapot. En dus niet dat een internet verbinding het niet meer deed en hij switchte niet goed over, beide inkomende verbindingen deden het prima, dat systeem werkte niet. Ze hebben toen de redundante verbinding eruit getrokken en alles begon weer te werken.
Een N=1 geval waar ik alleen wat mails vanaf de zijlijn heb gezien hoor, maar wel een algemeen punt: Hoeveel mogelijke problemen introduceer je om iets op te lossen waarvan je je kan afvragen of het echt een probleem is.

(En nogmaals, wil je dit gewoon als hobby doen, negeer mijn post).

[John245]

Sissors schreef op dinsdag 10 januari 2023 @ 10:44:
Ik vraag me toch wel wat af wat je doel hier is. Als je dit graag als hobby wil doen, be my guest en ik heb niks gezegd verder.

Maar van wat je schreef dat je het wil doen om een betrouwbaarder netwerk te hebben voor als je een keer van huis bent en je vriendin thuis is en je netwerk stopt ermee: Hoe realistisch is dit probleem echt? Zeker als we het over switches hebben, of stomme ethernet kabels. Hoe vaak stoppen die bij jou met werken? De router heb ik nog weleens spanningsloos moeten maken (maar ook dan hebben we het over één keer in de paar jaar), maar een domme switch? Nooit.

En wat andere ook al hebben gezegd: Je introduceert ook weer meer risico's. Bij mijn werkgever hadden we op bedrijventerrein paar jaar geleden een keer internet storing. Tot aan de toegangspoortjes die het niet meer deden. Het probleem? Systeem dat automatisch moest switchen van ene naar andere internet verbinding bij storing was kapot. En dus niet dat een internet verbinding het niet meer deed en hij switchte niet goed over, beide inkomende verbindingen deden het prima, dat systeem werkte niet. Ze hebben toen de redundante verbinding eruit getrokken en alles begon weer te werken.
Een N=1 geval waar ik alleen wat mails vanaf de zijlijn heb gezien hoor, maar wel een algemeen punt: Hoeveel mogelijke problemen introduceer je om iets op te lossen waarvan je je kan afvragen of het echt een probleem is.

(En nogmaals, wil je dit gewoon als hobby doen, negeer mijn post).

Defecte switch nog nooit gehad. Wel eens een keer een defecte kabel.

Bij je werkgever kan ik niet beoordelen zonder de hele oorzaakanalyse gelezen te hebben.

Deels hobby, maar ook bedoeld om maximale redundantie te halen tegen acceptabele kosten.

[jadjong]

John245 schreef op dinsdag 10 januari 2023 @ 10:30:
Ga het maar eens verder detailleren. Mede namens @Rolfie die het idee van glasvezel heeft aangebracht. Het oorspronkelijke plan was voorbereid te zijn doordat ik overal Cat 7 kabels heb, en nieuwe kabels ook Cat 7 zullen zijn. Het aanleggen van glasvezel lijkt kosten efficient te zijn.

Alvast bedankt voor al jullie nuttige bijdragen.

Wat is het voordeel van glas, buiten de extra bandbreedte boven de 10Gbit? Stukje elektrische scheiding naar een bijgebouw vind ik het grootste voordeel, als dat thuis al een voordeel is.

[Rolfie]

John245 schreef op dinsdag 10 januari 2023 @ 10:30:
Ga het maar eens verder detailleren. Mede namens @Rolfie die het idee van glasvezel heeft aangebracht. Het oorspronkelijke plan was voorbereid te zijn doordat ik overal Cat 7 kabels heb, en nieuwe kabels ook Cat 7 zullen zijn. Het aanleggen van glasvezel lijkt kosten efficient te zijn.

Alvast bedankt voor al jullie nuttige bijdragen.

CAT7 is eigenlijk nutteloos en overbodig. Is ook niet echt een standaard, zonder speciale pluggen geloof ik.
CAT6 of eventueel CAT6a zou ik veel eerder voor gaan. Dat is toekomstbestendiger, aangezien die wel een standaard zijn.

Glas kan je er altijd extra bij trekken voor de toekomst. Als je het heel goed doet 2 * 8 aders per locatie. Zodat je niet alleen ader redundantie maar ook kabel redundantie hebt.

Eventueel een mantelpijp geen oplossing? Als je toch bezig bent?

[Ben(V)]

Volgens mij zijn die rode verbindingen tussen die L3 switches volkomen overbodig.
Wel moet je uiteraard elk device op twee L3 switches aansluiten en moeten alle switches spanning tree kunnen doen.

En heb je wel devices die twee netwerkaansluitingen hebben en daar ook wat mee kunnen, met andere woorden failover ondersteunen?

Als dat niet zo is dan is alles een zinloze verspilling van geld, tijd en energie.

[John245]

jadjong schreef op dinsdag 10 januari 2023 @ 12:33:
[...]

Wat is het voordeel van glas, buiten de extra bandbreedte boven de 10Gbit? Stukje elektrische scheiding naar een bijgebouw vind ik het grootste voordeel, als dat thuis al een voordeel is.

De kosten. Dit moet door een keldermuur heen. En boren en waterdicht afdichten is niet goedkoop. Dus elk gat dat niet nodig is bespaard flink. (er kunnen nu 4 x 8 vezels door een gat en anders maar 4 Cat kabels door een gat)

[John245]

Rolfie schreef op dinsdag 10 januari 2023 @ 12:55:
[...]

CAT7 is eigenlijk nutteloos en overbodig. Is ook niet echt een standaard, zonder speciale pluggen geloof ik.
CAT6 of eventueel CAT6a zou ik veel eerder voor gaan. Dat is toekomstbestendiger, aangezien die wel een standaard zijn.

Glas kan je er altijd extra bij trekken voor de toekomst. Als je het heel goed doet 2 * 8 aders per locatie. Zodat je niet alleen ader redundantie maar ook kabel redundantie hebt.

Eventueel een mantelpijp geen oplossing? Als je toch bezig bent?

Ik heb inderdaad CAT 7 pluggen er op zitten. Ik ben het niet eens dat dat CAT6/CAT6a toekomstbestendiger is.

Zowieso 2 glas kabels. Ga is berekenen hoeveel vezels er nodig zijn.

Die van de mantelpijp is wel een oplossing. Kan de glasvezel wel in de kabelgoot leggn (die is er al) en een extra mantelbuis trekken voor het geval er nog eens iets onder de oprit door moet. Dan hoeft het alleen bij de garage open in geval van reparatie/extra kabel.

[John245]

Ben(V) schreef op dinsdag 10 januari 2023 @ 13:13:
Volgens mij zijn die rode verbindingen tussen die L3 switches volkomen overbodig.
Wel moet je uiteraard elk device op twee L3 switches aansluiten en moeten alle switches spanning tree kunnen doen.

En heb je wel devices die twee netwerkaansluitingen hebben en daar ook wat mee kunnen, met andere woorden failover ondersteunen?

Als dat niet zo is dan is alles een zinloze verspilling van geld, tijd en energie.

Ik heb zelfs devices met 8 netwerkaansluitingen, en dan heb ik het niet over routers en switches.

[jadjong]

John245 schreef op dinsdag 10 januari 2023 @ 13:33:
[...]

De kosten. Dit moet door een keldermuur heen. En boren en waterdicht afdichten is niet goedkoop. Dus elk gat dat niet nodig is bespaard flink. (er kunnen nu 4 x 8 vezels door een gat en anders maar 4 Cat kabels door een gat)

Keystone op CAT6 kost 10 euro en kan je zelf monteren, glas moet iemand voor komen met de juiste kennis en gereedschap. Door een 60mm gat met mantelbuis krijg je makkelijk 40 UTP kabels.

[Ben(V)]

Het gaat er niet om of ze meer netwerkaansluitingen hebben, maar of de software failover aankan.
Gewoon meer netwerkaansluitingen geeft je enkel meer ipadressen en dat wil je bij een failover juist niet.
Dus zoiets als een netwerk bond of een lacp of lag (welke term je ook wilt gebruiken)

Een gewone Windows 10 PC kan dat bijvoorbeeld niet, daar heb je Windows Server voor nodig.

[Voor 13% gewijzigd door Ben(V) op 10-01-2023 14:21]

[John245]

jadjong schreef op dinsdag 10 januari 2023 @ 13:53:
[...]

Keystone op CAT6 kost 10 euro en kan je zelf monteren, glas moet iemand voor komen met de juiste kennis en gereedschap. Door een 60mm gat met mantelbuis krijg je makkelijk 40 UTP kabels.

Glas kun je ook zelf, kabel zijn kant en klaar. En hoe krijg jij die mantelbuis waterdicht door de kelder?

[John245]

Ben(V) schreef op dinsdag 10 januari 2023 @ 14:19:
Het gaat er niet om of ze meer netwerkaansluitingen hebben, maar of de software failover aankan.
Gewoon meer netwerkaansluitingen geeft je enkel meer ipadressen en dat wil je bij een failover juist niet.
Dus zoiets als een netwerk bond of een lacp of lag (welke term je ook wilt gebruiken)

Een gewone Windows 10 PC kan dat bijvoorbeeld niet, daar heb je Windows Server voor nodig.

Proxmox servers kunnen dat heel goed,

[Techneut]

John245 schreef op maandag 9 januari 2023 @ 19:52:
Ik heb een HA router en wil in de toekomst ook mijn switches redundant maken. Voor de situatie ga ik uit van 3 switches, maar momenteel zijn er maar twee L2 switches.

Is de bekabeling zoals hieronder juist. Ga ik hiermee een redundant netwerk bereiken of zijn er nog meer componenten en/of kabels nodig.

Het geheel gaat niet op korte termijn gerealiseerd worden, maar iedere keer een kleine toevoeging. Het is echter wel van belang om het aantal Cat kabels te weten aangezien hiervoor gaten in de kelder geboord moeten worden en dit dus in een keer correct moet zijn.

[Afbeelding]

Mag ik vragen wat de zin sowieso is van dat streven naar redundantie? Dat wekt namelijk mijn nieuwsgierigheid. Met het gewoon enkel doorlussen werkt het immers ook probleemloos en het blijft met minder kabeltjes veel overzichtelijker. Mijn eigen ervaring is dat met meerdere switches achter elkaar, wat ik al jaren heb, nooit iets mis is. Dus wat beoog je hiermee, zie ik hiermee misschien iets over het hoofd waar ik zelf nooit wat mee heb te maken?

[John245]

Techneut schreef op dinsdag 10 januari 2023 @ 16:15:
[...]
Mag ik vragen wat de zin sowieso is van dat streven naar redundantie? Dat wekt namelijk mijn nieuwsgierigheid. Met het gewoon enkel doorlussen werkt het immers ook probleemloos en het blijft met minder kabeltjes veel overzichtelijker. Mijn eigen ervaring is dat met meerdere switches achter elkaar, wat ik al jaren heb, nooit iets mis is. Dus wat beoog je hiermee, zie ik hiermee misschien iets over het hoofd waar ik zelf nooit wat mee heb te maken?

Mijjn doel is dat mijn Proxmox cluster niet plat gaat. Verder is het doel voorbereid te zijn op 10GBps.

Als de verbinding tussen switch 1 en 2 plat gaat gaat er een hele hoop plat gaat. DIt voorkom je met wat extra kabeltjes. De riisico's zijn inderdaad laag.

Ik zit nog in de ontwerp fase en ben voor-en nadelen en kosten tegen elkaar aan het afwegen. Voor 31 mei moet de keuze zijn gemaakt.

[Techneut]

Oké ik denk dat ik je enigszins begrijp, zekerheid voor alles en daar is niets op tegen. Ik sta hier een klein beetje anders tegenover. Ik zou in zo'n geval als dit alleen met netwerkkabels werken met compleet in de fabriek aangegoten stekkertjes waarmee als het werkt nooit een verbinding zomaar plat gaat. Maar goed, dat is mijn ervaring met m'n al ruim 20 jaar bestaande verbindingen.

[John245]

Techneut schreef op dinsdag 10 januari 2023 @ 17:24:
Oké ik denk dat ik je enigszins begrijp, zekerheid voor alles en daar is niets op tegen. Ik sta hier een klein beetje anders tegenover. Ik zou in zo'n geval als dit alleen met netwerkkabels werken met compleet in de fabriek aangegoten stekkertjes waarmee als het werkt nooit een verbinding zomaar plat gaat. Maar goed, dat is mijn ervaring met m'n al ruim 20 jaar bestaande verbindingen.

Er ligt nu Cat7 en daar zitten de stekkertjes nog niet aan als je de kabel koop ;-) Jij werkt niet met patch panels?

[Techneut]

John245,
Nee, maar ook dan, als het eenmaal goed werkt, waarom zou je dan bang zijn dat er een kink in een kabel zou kunnen komen? (Mooie woordspeling zie ik achteraf ). Is dit niet alleen maar koudwatervrees? Als je bij het afmonteren met de nodige zorgvuldigheid tewerk gaat met goed gereedschap is daar geen enkele reden voor. Dus nog steeds is er geen enkele reden om het zo overdreven ingewikkeld te zoeken. Laat staan om je er zorgen over te maken of het wel voldoende redundant is. Helemaal niet nodig die redundantie, Of vertrouw je jezelf niet helemaal?

[John245]

Techneut schreef op dinsdag 10 januari 2023 @ 18:56:
John245,
Nee, maar ook dan, als het eenmaal goed werkt, waarom zou je dan bang zijn dat er een kink in een kabel zou kunnen komen? (Mooie woordspeling zie ik achteraf ). Is dit niet alleen maar koudwatervrees? Als je bij het afmonteren met de nodige zorgvuldigheid tewerk gaat met goed gereedschap is daar geen enkele reden voor. Dus nog steeds is er geen enkele reden om het zo overdreven ingewikkeld te zoeken. Laat staan om je er zorgen over te maken of het wel voldoende redundant is. Helemaal niet nodig, Of vertrouw je jezelf niet helemaal?

Ik vertrouw mijzelf wel. En weet dat de Proxmox server HA is. Maar zonder de infrastructuur ook HA te maken heeft dat weinig zin.

En voor een ander project moet toch de oprit open dus een mooie gelegenheid om het voor eens en altijd goed te doen.

[John245]

Niet om het complexer te maken, maar een (1) van de doelen is ook om 10GbE doorvoersnelheid te krijgen. Het makkelijkst is het natuurlijk indien dit vanaf de FW/router is, maar dat ligt niet binnen mijn prijssegment.

Dit kan op L3 niveau geregeld worden, echter een L3 switch met voldoende 10GbE poorten (in verband met de gewenste reduntie) ligt ook niet binnen ijn prijssegment. Is het mogelijk om een laag toe te voegen met Layer 2 aggregatie switches?

[jadjong]

Doe eens een volledige tekening met een beschrijving hoe het bitje van de ene poort naar de andere poort zou moeten lopen.

[John245]

Rolfie schreef op maandag 9 januari 2023 @ 20:06:
Je kunt nooit genoeg kabels hebben is mijn ervaring.....Als het kan zou ik er een paar extra trekken.
je kunt bijvoorbeeld zo maar in eens een Management Interface aansluiting hebben als je de firewalls vervangt.

Maar waarom ook niet direct een paar glasvezelkabels, voor de toekomst?

Bedankt voor de tip. Ben een stuk verder met het glasvezel verhaal.

Ik wil gaan voor een OM3 kabel, de maximale lengte is nl. 40 meter. Waarschijnlijk wordt het een op maat gemaakte prefab kabel.

Het is mogelijk om deze kabel waterdicht door de keldermuur te krijgen (bevestigd door 2 leveranciers). Diameters opgevraagd en dan sipsil plug opties selecteren en nagaan wat de mogelijkheden van de aannemer zijn.

Ik ben van plan een volledig redundante kabel aan te leggen. Wat is hier slim, de redundante kabel helemaal niet gebruiken of van beide kabels een aantal vezels gebruiken.

UIteindelijk blijkt glasvezel veel goedkoper te zijn dan Cat bekabeling. En op deze manier verwacht ik ook de rest van mijn leven klaar te zijn.

Hier nog glasvezel gebruikers met tips?

[Rolfie]

John245 schreef op donderdag 12 januari 2023 @ 18:22:
[...]

Bedankt voor de tip. Ben een stuk verder met het glasvezel verhaal.

Ik wil gaan voor een OM3 kabel, de maximale lengte is nl. 40 meter. Waarschijnlijk wordt het een op maat gemaakte prefab kabel.

Het is mogelijk om deze kabel waterdicht door de keldermuur te krijgen (bevestigd door 2 leveranciers). Diameters opgevraagd en dan sipsil plug opties selecteren en nagaan wat de mogelijkheden van de aannemer zijn.

Ik ben van plan een volledig redundante kabel aan te leggen. Wat is hier slim, de redundante kabel helemaal niet gebruiken of van beide kabels een aantal vezels gebruiken.

UIteindelijk blijkt glasvezel veel goedkoper te zijn dan Cat bekabeling. En op deze manier verwacht ik ook de rest van mijn leven klaar te zijn.

Hier nog glasvezel gebruikers met tips?

Ik zou ze afmonteren in een patch paneel, zodat je de kabels zelf nooit meer hoeft los te halen. Er zijn gewoon koppel connectors voor beschikbaar icm keystones, of specialeglas patchkastje. Daarna met losse patchkabels naar je switch gaan.

Als je meerdere kabels legt, zou ik voor redundantie direct beide kabels gebruiken. Om in worse case bij een een kabelbreuk je redundantie te houden.

Afhankelijk van de meer kosten, kan je eventueel 3 kabels trekken, 1 complete kabel als reserve, aangezien dit voor de rest van je leven ligt. Of dit het de meerprijs waard is, is een andere

[John245]

Rolfie schreef op donderdag 12 januari 2023 @ 20:20:
[...]


Ik zou ze afmonteren in een patch paneel, zodat je de kabels zelf nooit meer hoeft los te halen. Er zijn gewoon koppel connectors voor beschikbaar icm keystones, of specialeglas patchkastje. Daarna met losse patchkabels naar je switch gaan.

Als je meerdere kabels legt, zou ik voor redundantie direct beide kabels gebruiken. Om in worse case bij een een kabelbreuk je redundantie te houden.

Afhankelijk van de meer kosten, kan je eventueel 3 kabels trekken, 1 complete kabel als reserve, aangezien dit voor de rest van je leven ligt. Of dit het de meerprijs waard is, is een andere

Die patch kasten had ik al gezien, deze lijken wel handig. Voor Cat. gebruik ik nu keystones. Maar een glasvezel patch lade lijkt mij robuuster.

Jij gaat er bij kabelbreuk vanuit dat alle vezels breken?

Ik denk dat ik een 50 mm mantelbuis er bij ga leggen. Indien er dan wat defect gaat aan 2 kanten een kul graven. Al hoop ik dit nooit nodig te hebben.

[Rolfie]

John245 schreef op donderdag 12 januari 2023 @ 20:29:
[...]

Die patch kasten had ik al gezien, deze lijken wel handig. Voor Cat. gebruik ik nu keystones. Maar een glasvezel patch lade lijkt mij robuuster.

Zeker een goede optie.

Jij gaat er bij kabelbreuk vanuit dat alle vezels breken?

Kans is denk ik wel heel groot.

Ik denk dat ik een 50 mm mantelbuis er bij ga leggen. Indien er dan wat defect gaat aan 2 kanten een kul graven. Al hoop ik dit nooit nodig te hebben.

Trek er een aantal extra draaien in. Eventueel wat losse zwarte 1,5mm elektriciteits draaien, alternatief touw of visdraad. Als je dan ooit iets extra wilt trekken, gaat dit heel gemakkelijk. Elektriciteits zal het sterkste zijn over tijd.

[John245]

Rolfie schreef op donderdag 12 januari 2023 @ 22:39:
[...]

Zeker een goede optie.


[...]

Kans is denk ik wel heel groot.


[...]

Trek er een aantal extra draaien in. Eventueel wat losse zwarte 1,5mm elektriciteits draaien, alternatief touw of visdraad. Als je dan ooit iets extra wilt trekken, gaat dit heel gemakkelijk. Elektriciteits zal het sterkste zijn over tijd.

Voor de duidelijkheid die mantelbuis is volledig reserve. De kabels gaan door de kabelgoot.

[jadjong]

Het idee van een mantelbuis is dat je deze legt van het ene droge en schone punt naar het andere, zonder onderlinge koppelingen.

[John245]

jadjong schreef op vrijdag 13 januari 2023 @ 07:59:
Het idee van een mantelbuis is dat je deze legt van het ene droge en schone punt naar het andere, zonder onderlinge koppelingen.

In het ideale geval wel. Alleen is dit waterdicht zeer kostbaar. Dus als er alleen maar 2 gaten gegraven dienen te worden is dit al een hele verbetering.

[MasterL]

Je hebt aardig wat wensen, mijn tip drop OM3 en ga voor OS2. Waarom?
Met single mode kabels kun je ook BIDI's gebruiken waarbij je maar 1 vezel nodig hebt voor RX en TX
wat bij multimode OM3 lastig is. Prijs verschil is ook redelijk te verwaarlozen.
Hoewel waarschijnlijk een beetje buiten je budget is (D)(C)WDM in de toekomst ook nog een optie.

Persoonlijk snap ik het nut van L3 switches niet, wil je tussen VLANS/netwerken routeren met 10Gbit?
Je geeft aan een Proxmox HA cluster te hebben, 2 redudant (Linux) VM's met IPtables, keepalived (VRRP) en Bird (voor BGP e.d.) routeren makkelijk 10Gbit.

Mijn tip: maak het niet te moeilijk, het moet wel functioneel blijven.
Wil je het "goed" doen?
1: Bouw een "core" met 2 aggregation switches, stacked of met MLAG (R)STP vind ik persoonlijk een vieze oplossing.
2: Bouw een "fiber ring" (single mode) tussen de locaties/plaatsen.
3: Verbind je access switches (redundant/LAG) met beide aggregation switches (kan ook met een LAG).
4: Vanuit kosten oogpunt zou ik alle 10Gbit apparatuur aansluiten op (beide) aggregation switches.

Verder is het een kwestie van dimensioneren, wil je 10Gbit access switches? Prima maar daar zit een prijs kaartje aan.
Wil je 10Gbit aggregation switches? Ook prima daar zit ook een prijs kaartje aan.

Gooi een L1,L2 en L3 ontwerp a.u.b. niet op een hoop, hier zijn niet voor niets compleet andere ontwerpen voor.

[John245]

MasterL schreef op vrijdag 13 januari 2023 @ 10:14:
Je hebt aardig wat wensen, mijn tip drop OM3 en ga voor OS2. Waarom?
Met single mode kabels kun je ook BIDI's gebruiken waarbij je maar 1 vezel nodig hebt voor RX en TX
wat bij multimode OM3 lastig is. Prijs verschil is ook redelijk te verwaarlozen.
Hoewel waarschijnlijk een beetje buiten je budget is (D)(C)WDM in de toekomst ook nog een optie.

Persoonlijk snap ik het nut van L3 switches niet, wil je tussen VLANS/netwerken routeren met 10Gbit?
Je geeft aan een Proxmox HA cluster te hebben, 2 redudant (Linux) VM's met IPtables, keepalived (VRRP) en Bird (voor BGP e.d.) routeren makkelijk 10Gbit.

Mijn tip: maak het niet te moeilijk, het moet wel functioneel blijven.
Wil je het "goed" doen?
1: Bouw een "core" met 2 aggregation switches, stacked of met MLAG (R)STP vind ik persoonlijk een vieze oplossing.
2: Bouw een "fiber ring" (single mode) tussen de locaties/plaatsen.
3: Verbind je access switches (redundant/LAG) met beide aggregation switches (kan ook met een LAG).
4: Vanuit kosten oogpunt zou ik alle 10Gbit apparatuur aansluiten op (beide) aggregation switches.

Verder is het een kwestie van dimensioneren, wil je 10Gbit access switches? Prima maar daar zit een prijs kaartje aan.
Wil je 10Gbit aggregation switches? Ook prima daar zit ook een prijs kaartje aan.

Gooi een L1,L2 en L3 ontwerp a.u.b. niet op een hoop, hier zijn niet voor niets compleet andere ontwerpen voor.

Volgens mij is OS2 voor lange afstanden en OM3 / OM4 voor korte afstanden. En zijn de kabels ongeveer gelijk in prijs maar de andere coponenten niet. WDM zie ik weinig toepassingen voor.

Ik wil inderdaad 10Gbit routeren dus wil inderdaad voor de oplossing met aggregation switches en access switches gaan. Zoek trouwens nog een leuke L3 aggregation switch tegen betaalbare prijzen. L2 zijn deze wel te betalen, maar L3 hebben ze gelijk wel heel veel poorten (en dus kosten).

Bedoel je dat ik met 2 redudant (Linux) VM's met IPtables, keepalived (VRRP) en Bird (voor BGP e.d.) 10GbE kan routeren op L3 ondanks dat de aggregation Layer en switches L2 zijn?

L1 en L2 en L3 gaat niet op een hoop gegooid worden. Daarom moet ook alles na de FW/router L3 zijn.

[MasterL]

John245 schreef op vrijdag 13 januari 2023 @ 11:27:
[...]

Volgens mij is OS2 voor lange afstanden en OM3 / OM4 voor korte afstanden. En zijn de kabels ongeveer gelijk in prijs maar de andere coponenten niet. WDM zie ik weinig toepassingen voor.

Ik wil inderdaad 10Gbit routeren dus wil inderdaad voor de oplossing met aggregation switches en access switches gaan. Zoek trouwens nog een leuke L3 aggregation switch tegen betaalbare prijzen. L2 zijn deze wel te betalen, maar L3 hebben ze gelijk wel heel veel poorten (en dus kosten).

Bedoel je dat ik met 2 redudant (Linux) VM's met IPtables, keepalived (VRRP) en Bird (voor BGP e.d.) 10GbE kan routeren op L3 ondanks dat de aggregation Layer en switches L2 zijn?

L1 en L2 en L3 gaat niet op een hoop gegooid worden. Daarom moet ook alles na de FW/router L3 zijn.

OS2 is niet voor lange afstanden, ja dit kan maar is niet "verplicht" 10GBASE-LR kan prima gebruikt worden zonder (veel) demping zonder dat je transceivers eruit fikken.
10GBASE-ER of ZR is een ander verhaal maar daar heb ik het niet over.
Hoezo andere componenten? De transceivers? Bij FS kost een 10GBASE-SR transceiver 20 euro en een LR 27.. Toegegeven duurder maar het verschil is niet het einde van de wereld. Een BIDI kost 40 euro trouwens. Toegegeven ik zie ook geen toepassing voor WDM maar het is een optie met single mode en niet met multimode.

Tuurlijk kan je routeren (L3) op 1Gbit, 10Gbit, 100Gbit met switches die geen L3 kunnen. Het enige is dat de switches niet kunnen routeren dus dat je dit op een andere plek moet doen. Vandaar mijn suggestie om dit op VM's t doen. Wat jij nu doet is exact alles op 1 hoop gooien "Daarom moet ook alles na de FW/router L3 zijn" waarom? Moeten jouw Sophos apparaatjes 10Gbit routeren? Prima dimensioneer ze dan op die manier.

Je kan toch prima (2) virtuele routers bouwen die 10Gbit connected zijn op welke switch dan ook die het intra-vlan verkeer (primair) afhandelen en het overige (0.0.0.0/0) verkeer routeren naar de Sophos devices?
Dit kan ook prima afgehandeld worden door een andere (serie) routers en/of L3 switches maar nogmaals hier zit een prijskaartje aan. Mijn punt is dus een switch is niet (perse) een router en vice versa. Dus maak een design waarbij je netwerken/VLANS in ogenschouw neemt, bepaal welk verkeer er geswitched kan/mag worden (L2 ontwerp). Bepaal welk verkeer (intra-vlan?) geroute moet worden en maak een L3 ontwerp.
Een L1 ontwerp (fysieke kabels) vind ik imo erg gerelateerd aan het L2 ontwerp. Een soort noodzakelijk kwaad.

[John245]

MasterL schreef op vrijdag 13 januari 2023 @ 12:31:
[...]


OS2 is niet voor lange afstanden, ja dit kan maar is niet "verplicht" 10GBASE-LR kan prima gebruikt worden zonder (veel) demping zonder dat je transceivers eruit fikken.
10GBASE-ER of ZR is een ander verhaal maar daar heb ik het niet over.
Hoezo andere componenten? De transceivers? Bij FS kost een 10GBASE-SR transceiver 20 euro en een LR 27.. Toegegeven duurder maar het verschil is niet het einde van de wereld. Een BIDI kost 40 euro trouwens. Toegegeven ik zie ook geen toepassing voor WDM maar het is een optie met single mode en niet met multimode.

Tuurlijk kan je routeren (L3) op 1Gbit, 10Gbit, 100Gbit met switches die geen L3 kunnen. Het enige is dat de switches niet kunnen routeren dus dat je dit op een andere plek moet doen. Vandaar mijn suggestie om dit op VM's t doen. Wat jij nu doet is exact alles op 1 hoop gooien "Daarom moet ook alles na de FW/router L3 zijn" waarom? Moeten jouw Sophos apparaatjes 10Gbit routeren? Prima dimensioneer ze dan op die manier.

Je kan toch prima (2) virtuele routers bouwen die 10Gbit connected zijn op welke switch dan ook die het intra-vlan verkeer (primair) afhandelen en het overige (0.0.0.0/0) verkeer routeren naar de Sophos devices?
Dit kan ook prima afgehandeld worden door een andere (serie) routers en/of L3 switches maar nogmaals hier zit een prijskaartje aan. Mijn punt is dus een switch is niet (perse) een router en vice versa. Dus maak een design waarbij je netwerken/VLANS in ogenschouw neemt, bepaal welk verkeer er geswitched kan/mag worden (L2 ontwerp). Bepaal welk verkeer (intra-vlan?) geroute moet worden en maak een L3 ontwerp.
Een L1 ontwerp (fysieke kabels) vind ik imo erg gerelateerd aan het L2 ontwerp. Een soort noodzakelijk kwaad.

Nee die Sophos dingen hoeven niet 10 Gbit te routeren, dat zou het Euro 20.000,- duurder maken.

Ik zie ook wel de voordelen om dit softwarematig op te lossen. Een L2 8 poorts GbE aggregatie router is wel betaalbaar. Is in ieder geval de moeite waard om verder te onderzoeken.

Het Proxmox cluster gebruikt nu ZFS als filesysteem. Dus tijdens niet gepland overschakelen wordt er tijdelijk niets geroute. Gaat dit problemen opleveren, behalve dat er wat pakketjes weg zijn. Of is het verstandig om over te gaan op Ceph als filesysteem?

[MasterL]

John245 schreef op vrijdag 13 januari 2023 @ 13:18:
[...]


Nee die Sophos dingen hoeven niet 10 Gbit te routeren, dat zou het Euro 20.000,- duurder maken.

Ik zie ook wel de voordelen om dit softwarematig op te lossen. Een L2 8 poorts GbE aggregatie router is wel betaalbaar. Is in ieder geval de moeite waard om verder te onderzoeken.

Het Proxmox cluster gebruikt nu ZFS als filesysteem. Dus tijdens niet gepland overschakelen wordt er tijdelijk niets geroute. Gaat dit problemen opleveren, behalve dat er wat pakketjes weg zijn. Of is het verstandig om over te gaan op Ceph als filesysteem?

Nee precies dat lijkt mij ook onverstandig.
Kijk Ceph is mooi maar vereist (eigenlijk) ook gelijk 3 nodes en je verliest natuurlijk 66.666% aan capaciteit.
Er is een verschil kwa VM availability en network availability. Een VM zoals ik omschreef zou kunnen draaien op een USB stick bij wijze van spreken. Er is in deze geen nood/wens voor data integriteit dus ik zou mijn storage/SAN infra niet aanpassen aan jouw netwerk wensen/eisen. Een kale Linux VM zonder dynamische data zou je wellicht nog kunnen draaien op dezelfde storage als je Proxmox host.
Als je dit op beide machines doet en dit netwerk technisch redundant inricht maakt het eigenlijk niet uit of 1 VM "down" gaat. Hetzelfde als het niet uitmaakt als 1 van jou Sophos routers uit valt. Natuurlijk moeten deze VM's geen SPOF delen (zoals ZFS) maar vergis je niet ook een Ceph (OSD) zou een SPOF kunnen zijn. Het is hier eerder genoemd (KISS-principe), 2 VM's op (local) storage en je hebt een hele leuke failover situatie.

Als je deze twee (Proxmox) machines aansluit op twee fatsoenlijke switches (stacked/MLAG) zoals ik eerder heb genoemd, de Sophos routers aansluit op de switches en de "access switches" ook op deze twee switches kom je heel aardig in de buurt denk ik.

[John245]

MasterL schreef op vrijdag 13 januari 2023 @ 13:35:
[...]


Nee precies dat lijkt mij ook onverstandig.
Kijk Ceph is mooi maar vereist (eigenlijk) ook gelijk 3 nodes en je verliest natuurlijk 66.666% aan capaciteit.
Er is een verschil kwa VM availability en network availability. Een VM zoals ik omschreef zou kunnen draaien op een USB stick bij wijze van spreken. Er is in deze geen nood/wens voor data integriteit dus ik zou mijn storage/SAN infra niet aanpassen aan jouw netwerk wensen/eisen. Een kale Linux VM zonder dynamische data zou je wellicht nog kunnen draaien op dezelfde storage als je Proxmox host.
Als je dit op beide machines doet en dit netwerk technisch redundant inricht maakt het eigenlijk niet uit of 1 VM "down" gaat. Hetzelfde als het niet uitmaakt als 1 van jou Sophos routers uit valt. Natuurlijk moeten deze VM's geen SPOF delen (zoals ZFS) maar vergis je niet ook een Ceph (OSD) zou een SPOF kunnen zijn. Het is hier eerder genoemd (KISS-principe), 2 VM's op (local) storage en je hebt een hele leuke failover situatie.

Als je deze twee (Proxmox) machines aansluit op twee fatsoenlijke switches (stacked/MLAG) zoals ik eerder heb genoemd, de Sophos routers aansluit op de switches en de "access switches" ook op deze twee switches kom je heel aardig in de buurt denk ik.

Nu ZFS gemirrored, dus verlies 50% van de capaciteit ;-) Dus Ceph is nog niet eens zo'n gekke optie.
Om Proxmox HA te kunnen draaien zijn er 3 Nodes nodig en deze heb ik dus ook.

Als het gebouwd is gewoon alle scenario's testen, en dat ook periodiek herhalen.

En het is ook de bedoeling om redundantie langzaam uit te breiden. Of ik moet de loterij winnen

[MasterL]

Ok prima voor critical vms, zoals ik al schreef ook Ceph/ZFS kan crashen als geheel waarbij (terecht) de prioriteit ligt bij data integriteit ten opzichte van uptime. Dit kan echt prima zijn als je file/SQL servers hebt waarbij "data" daadwerkelijk belangrijk is. De VM's die ik voorstel vereisen geen data integriteit, slechts "eenmalige" configuratie. Nogmaals ik zou mijn storage/SAN infra niet (perse) aanpassen m.b.t. de services die ik voorstel op jouw (Proxmox) cluster te hosten.

Ik wil je met alle liefde helpen met jouw ontwerp maar wij spreken nu in 1 topic over:
1: L1 infra: Glas (MMF SMF), hoeveel kabels waar naartoe.
2: L2 infra: welke switches/hoeveel (10Gbit) poorten, STP/Stacking/Mlag/routing functionaliteit.
3: L3 infra: Welke routing apparatuur etc.
4: VM host infra: Storage/SAN infra/hypervisors.

Als je echt een totaal oplossing wil lijkt het mij handig om met iemand in zee te gaan die deze zaken beheerst, het is erg lastig om verder advies te geven als de wensen/eisen niet (99%) duidelijk zijn.