Datacenter simpele redundant switch oplossing (HP + Cisco)

[j-a-s-p-e-r]

Ha allen,

Even een vraagje waar ik zelf niet uitkom. Ik ben bezig ons datacenter te voorzien van een 10GbE switches. Hierbij wil ik gelijk redundancy regelen voor zover dat te doen is. Een aardig deel heb ik uitgevogeld maar een paar "blanco's " moeten nog zo goed mogelijk worden ingevuld.

De setup is nu als volgt:
Overzicht: https://www.dropbox.com/s...%20at%2011.11.39.png?dl=1

• Er zijn servers met 10GbE SPF en servers met 1Gb UTP.
• 2x HP Aruba 2530 UTP
• 2x Cisco sg550xg (SPF+ 10GB stackable)
• 2x loadbalancer voor toegang vanaf buitenaf. Beide aan "internetkant" redundant uitgevoerd zowel bij ons als ISP.

Redundancy uitgangspunten: HA vanaf buitenaf (dus LB moet met applicatieserver kunnen praten) + HA op interne netwerk (Database clusters moeten met elkaar kunnen praten). Ik heb verstand van de applicaties en database maar beperkt van netwerk setups zoals dit. Dus over het algemeen; hoe simpeler hoe beter.

10Gb "netwerk" met Cisco 550XG gestacked (master + slave). Stack dmv 2x 10Gb CU kabel tussen beide Cisco's. De servers zijn met 10GB-twinax kabels verbonden aan beide switches. Servers zijn ingesteld op link-failover, dus als 1 verbinding uitvalt neemt de andere het over. Dit lijkt goed te gaan. Vraag 1: Klopt het dat bij uitvallen van de master switch de slave een paar min nodig heeft om te recoveren?

Idem voor het 1Gbit netwerk met 2X HP2530. Servers met twee NICs zijn met beide switches verbonden. Daarnaast servers met die maar 1 NIC over hebben zoals Loadbalancer1 verbonden met switch HP1 en LB2 op HP2. Dit werkt ook, mocht 1 HP switch uitvallen dan kunnen de servers onderling nog praten en er is altijd een "uplink" via de overgebleven loadbalancer.

Mijn hoofdvraag: hoe kan ik zonder loops of andere onvoorziene ellende te creëren de Cisco's verbinden met de HP's ?
Deze HP's ondersteunen geen stacking (alleen management). Ik kan van beide Cisco's een SFP naar de beide HP's laten lopen, alleen creëer ik dan een loop. Deze loop kan ik weer opheffen door STP toe te passen maar dit is relatief nieuw en onbekend voor mij. Een andere oplossing zou zijn om een Etherchannel/LACP tussen de Cisco's en de HP's te maken. Echter zie ik niet in hoe ik dat vanaf twee - naar - twee switches kan doen.

Wie heeft een goed idee voor mij?

[IceTeaGX]

Cisco1 + cisco 2 LACP => HP1
Cisco1 + cisco 2 LACP => HP2
En RSTP op de cisco stack laten bepalen welke van de 2 actief is.

Gezien de HP's geen stacking of MLAG ondersteunen, kan je daar geen cross switch link aggregations op aanmaken.

[kosz]

Vraag 1: Klopt het dat bij uitvallen van de master switch de slave een paar min nodig heeft om te recoveren? Nee, het is een stack en als je het bouwt met LACP van beide stack members naar 1 switch, dit werkt dit prima.

Deze loop kan ik weer opheffen door STP toe te passen maar dit is relatief nieuw en onbekend voor mij. Een andere oplossing zou zijn om een Etherchannel/LACP tussen de Cisco's en de HP's te maken. Echter zie ik niet in hoe ik dat vanaf twee - naar - twee switches kan doen.
Zoals mijn voorganger al heeft geschetst, zo zou ik het ook doen als ik alleen deze hardware tot mijn beschikking zou hebben. (zelf zou ik voor een andere oplossing/hardware gekozen hebben).
Het stukje over STP baart mij wel zorgen, je wilt toch niet je netwerk inrichten zonder STP ?
Je moet je wel op een of andere manier afschermen voor eventuele loops, dus STP is wel een vereiste. Richting je edge poorten BPDU guard, en loop-protection.

[j-a-s-p-e-r]

Thanks guys voor jullie reacties! Ik ga hier verder mee aan de slag. Zoiets was origineel ook mijn plan, alles standalone maar toen kwam ik achter de stack mogelijkheden van de Cisco's en dat schopte wat verwarring.

[Gravit0n]

Waarom dit type switches?

[IceTeaGX]

j-a-s-p-e-r schreef op dinsdag 16 oktober 2018 @ 19:32:
Thanks guys voor jullie reacties! Ik ga hier verder mee aan de slag. Zoiets was origineel ook mijn plan, alles standalone maar toen kwam ik achter de stack mogelijkheden van de Cisco's en dat schopte wat verwarring.

De cisco stack zal je moeten blijven gebruiken als je cross switch LACP wilt implementeren.
Op zich geen groot verschil, maar met de cisco's in stack heb je iets meer redundantie.
Als je alles terug standalone zet, krijgt je 2 rijen:
- LB1, HP1, Cisco1
- LB2, HP2, Cisco2
Zodra een element faalt in een rij, ligt deze er volledig uit.

Gravit0n schreef op woensdag 17 oktober 2018 @ 11:44:
Waarom dit type switches?

Meestal omdat dit nu eenmaal de aanwezige switches zijn.

[Gravit0n]

IceTeaGX schreef op woensdag 17 oktober 2018 @ 12:08:

[...]

Meestal omdat dit nu eenmaal de aanwezige switches zijn.

j-a-s-p-e-r schreef op maandag 15 oktober 2018 @ 11:20: Ik ben bezig ons datacenter te voorzien van een 10GbE switches.

[Equator]

@Gravit0n
Dan kan het nog zijn dat @j-a-s-p-e-r dit moet doen met deze reeds aangeschafte switches.

[IceTeaGX]

Het (hoofd) probleem zit hierbij ook op de HP switches.
Of er nu Cisco's of iets anders komen aan de 10GBe kant, maakt niet veel uit.

[j-a-s-p-e-r]

Ik heb de switches "helaas" al.

Die HP's werken mooi voor kantoor, 48poort dingen, maar op datacenter wat minder dus. Opzich zou ik die nog wel kunnen vervangen, maar vraag is dan beetje wat er voor in de plaats moet komen (en ook nog betaalbaar is). Die 10GBe's kosten ca. 2,5K per stuk incl servicecontract. Die HP's zijn factor 5 goedkoper.

Maar als ik dan bijv 2x cisco erbij in een stack zou kunnen stoppen (dus 1 stack totaal) dan is het wel weer veel simpeler, waar ook wat voor te zeggen is. Helaas vrees ik dat die 550G niet in stack gaan met hele andere types cisco (zoals de doc tenminste doet vermoeden).

[Equator]

Volgens de datasheet kan dat ding stacken tot 8 units.

Wat ik nu niet begrijp, of ik lees eroverheen: Heb je te weinig poorten op je stack en wil je deze uitbreiden?

[j-a-s-p-e-r]

@Equator nee, poorten genoeg opzich. Die HP's zijn 48poorts, en die Cisco 24.
Ik had al die HP's. Die Cisco's zijn er bij gekomen vanwege de 10Gbit als backbone voor database clusters. Maar die Ciscos zijn SFP+ en 10Gbit, dat heb ik niet op alle servers zitten en ook niet nodig qua bandbreedte.

De uitdaging/probleem is: verbetering van de redundantie terwijl ik het simpel hou (ben helaas geen netwerk engineer, maar ben niet van helemaal van gister. En expert zoeken hiervoor is waarschijnlijk lastiger dan het onderwerp zelf.)
Ik ben begonnen met 1 HP (1GB UTP om het zo maar even te zeggen) + daarna 1 Cisco (10GBit SFP+). Bij uitval van een van die switches ben ik de lul. Dus twee erbij, als backup voor beide. Die Cisco blijkt makkelijk, vanwege die stack mogelijkheid. Die HP heeft dat niet. En probleem dat daar uit volgt, en waarom ik dit topic opende: hoe "knoop" ik die Cisco stack aan die HP's op een elegante manier.

Tot nu toe lijkt de beste oplossing te zijn door van beide stack members een verbinding te maken met zowel HP1 en HP2 en dan LACP + STP toepassen.

Wat ik bedoelde met uitbreiding van het stack:
Ik vroeg mij af of ik niet die HPs eruit zou kunnen schoppen en vervangen door 2x cisco 1Gbit UTP die ook in de stack kunnen. Dus in totaal een stack van 2x Cisco UTP 1Gbit + 2x Cisco SPF 10Gbit. Dat zou voor mij makkelijker zijn maar ik vrees dat mengen van types in een stack niet zover gaat. Zal eens kijken wat ik daar over kan vinden.

[IceTeaGX]

Je kan normaal gezien verschillende types Cisco SG550X stacken.

Of je zet een stack van 2 SG350x-24/48 in plaats van de HP's en je verbind deze met de 550x stack.
iets goedkoper, maar dan heb je geen single interface voor de gehele stack, het is af te wegen of dat zijn prijs waard is.

Maar met de HP's zal het ook goed werken, blijf die rustig gebruiken tot er een het begeeft.

[drie van acht]

Zolang alle switches maar (R)STP* ondersteunen kun je ze allemaal aanelkaar knopen zo dat als er een poort of een switch uitvliegt de rest nog gewoon blijft doorkleppen. Wat je niet kan doen met alleen (R)STP is kruislingse kabeltjes leggen en de volle theoretische bandbreedte van de hele wirwar aan kabels benutten**: Er zullen dan een aantal links als hot spare "ongebruikt" blijven. De boel zo instellen dat net de meest handige verbindingen in normaalgebruik actief zijn, dat is uitzoekwerk maar wel instelbaar. Of het elegant is, ach, het is ethernet en het werkt. Een degelijk begrip van (R)STP is wel aan te raden voor de beheerder als redundancy en fail-over vereist zijn.

Overigens vraag ik me af wat die "LB" kastjes nou precies zijn en hoe de uplink geconfigureerd is. Weet je zeker dat de boel de load ook verdeelt of gaat het puur om de fail-over, en hoe is het geconfigureerd cq welk protocol wordt ervoor ingezet?

* En LACP, en 1Q. Ga niet verschillende VLANs op parallele ISLs zetten. Maar dat wist je hoop ik al.
** Wat deze stacking kennelijk wel kan? Geen idee wat die ciscos precies kunnen.

[Bastiaan V]

kosz schreef op maandag 15 oktober 2018 @ 11:59:

Zoals mijn voorganger al heeft geschetst, zo zou ik het ook doen als ik alleen deze hardware tot mijn beschikking zou hebben. (zelf zou ik voor een andere oplossing/hardware gekozen hebben).
Het stukje over STP baart mij wel zorgen, je wilt toch niet je netwerk inrichten zonder STP ?
Je moet je wel op een of andere manier afschermen voor eventuele loops, dus STP is wel een vereiste. Richting je edge poorten BPDU guard, en loop-protection.

Triggered ;-)

Je wil dus juist wel een netwerk op bouwen zonder STP, door zo veel mogelijk in layer 3 te doen. STP in je netwerk betekend per definitie dat je voor meer bandbreedte betaald, dan je kan gebruiken (er wordt een link down gehouden). Natuurlijk gebruik potentieel nog wel STP op de poorten waar de eindapparatuur op wordt aangesloten, maar tussen switches (eigenlijk dan routers) wil je of op layer3 aan de gang, of lacp trunks, wanneer beide kanten van de verbinding stacks zijn.

[drie van acht]

Bastiaan V schreef op donderdag 18 oktober 2018 @ 19:01:
Je wil dus juist wel een netwerk op bouwen zonder STP, door zo veel mogelijk in layer 3 te doen.

Andersgezegd, je wil absoluut wel de bescherming die STP je biedt maar je wil 'm niet nodig hebben omdat je liever alle lijntjes volpropt met nuttige data.

STP is vervelend maar een net dat niet werkt vanwege alle rondzingende frames is vervelender.

[kosz]

Bastiaan V schreef op donderdag 18 oktober 2018 @ 19:01:
[...]


Triggered ;-)

Je wil dus juist wel een netwerk op bouwen zonder STP, door zo veel mogelijk in layer 3 te doen. STP in je netwerk betekend per definitie dat je voor meer bandbreedte betaald, dan je kan gebruiken (er wordt een link down gehouden). Natuurlijk gebruik potentieel nog wel STP op de poorten waar de eindapparatuur op wordt aangesloten, maar tussen switches (eigenlijk dan routers) wil je of op layer3 aan de gang, of lacp trunks, wanneer beide kanten van de verbinding stacks zijn.

Precies, we bedoelen dus over hetzelfde

[bigfoot1942]

Zou je de Cisco switches niet gewoon als core switch kunnen gebruiken, en gewoon een sterstructuur netwerk neerleggen? Dus elke HP aan beide cisco switches, maar dan dus geen verbinding tussen de HP switches onderling.
Volgens mij is dat het beste wat je er van kan maken als je het met deze hardware moet doen.

Dus als volgt:

code:

LB----Cisco----HP1
       |    \ /
    stack    X
       |    / \ 
LB----Cisco----HP2

[IceTeaGX]

je zou de lb's idd op de cisco's aan kunnen sluiten via de rj45 poorten op 1 GB

[Bastiaan V]

drie van acht schreef op donderdag 18 oktober 2018 @ 19:17:
[...]

Andersgezegd, je wil absoluut wel de bescherming die STP je biedt maar je wil 'm niet nodig hebben omdat je liever alle lijntjes volpropt met nuttige data.

STP is vervelend maar een net dat niet werkt vanwege alle rondzingende frames is vervelender.

Wanneer je alles in layer3 oplost, heb je geen stp nodig, er zijn immers geen twee poorten in een device die in hetzelfde layer2 domein zitten.

[Equator]

Een non-blocking network architectuur heeft sowieso de voorkeur ja. Alles op layer 3 zou fijn zijn, gewoon routeren naar andere subnetten op een ander VLAN, maar in sommige scenario's moet je een laag 2 hanteren (zelfde broadcast domein).

Gelukkig zijn er tegenwoordig (al even) overlay netwerken die leunen op laag 3. Dan heb je de functionaliteit die laag 2 je biedt, maar met de redundantie van een layer 3 netwerk. Non-blocking, alle lijnen open.

Nadeel is dat je dan of proprietary protocollen gebruikt, of open-protocollen die niet altijd goed worden ondersteund.

[PcDealer]

@j-a-s-p-e-r heb je dezelfde 2x isp over 2x dezelfde lijn?

[j-a-s-p-e-r]

@PcDealer Ik heb een ISP met twee patches, beide via andere route naar hun core op AMSIX.

Wat betreft mijn vraagstuk:
ik heb met behulp van wat extern ingekochte kennis een redelijk simpele oplossing verzonnen: HP's eruit (een van de HPs is nu dedicated OOB swich) en twee maal Cisco erbij. Samen in een 1x4 stack in ring topo. Qua management goed te overzien, portchannels/LACP naar bijna alle servers en de servers die geen 10GBE hebben via een SPF+ naar RJ45 adapter erin.

Hartelijk dank allen voor het meedenken!

[PcDealer]

j-a-s-p-e-r schreef op vrijdag 4 januari 2019 @ 13:34:
@PcDealer Ik heb een ISP met twee patches, beide via andere route naar hun core op AMSIX.

Ik zal mijn vraag nog duidelijker stellen: komen de lijnen over dezelfde straat op hetzelfde punt in het pand binnen of elke een andere kant van het pand?

Wat betreft mijn vraagstuk:
ik heb met behulp van wat extern ingekochte kennis een redelijk simpele oplossing verzonnen: HP's eruit (een van de HPs is nu dedicated OOB swich) en twee maal Cisco erbij.

Kijk wat Cisco er voor geeft als inruil of wat je denkt te krijgen op V&A.

[j-a-s-p-e-r]

PcDealer schreef op vrijdag 4 januari 2019 @ 13:41:
[...]

Ik zal mijn vraag nog duidelijker stellen: komen de lijnen over dezelfde straat op hetzelfde punt in het pand binnen of elke een andere kant van het pand?

Goede vraag. Het zijn sowieso twee losse patches, die als het goed is compleet los van elkaar door het pand én door NL lopen. Maar dan moet ik de ISP wel op zijn woord geloven, ik heb het zelf niet gezien. Nog wel goede om een keer na te gaan.
Waarom vraag je het zo specifiek?

[PcDealer]

j-a-s-p-e-r schreef op vrijdag 4 januari 2019 @ 13:44:
[...]

Waarom vraag je het zo specifiek?

Je uitgangspunt is redundantie. Als beide routes over dezelfde straat lopen en er sprint een waterleiding of er wordt verkeerd gegraven, dan lig je eruit. Het zou niet de eerste keer zijn dat iemand zegt we hebben twee isp's en dus failover terwijl ze op dezelfde lijn zitten of op dezelfde plaats binnen komen.