routeren of switchen tussen twee gebouwen

[elTigro]

Binnenkort gaan wij met onze servers (nou ja, de servers van een andere afdeling) verhuizen naar een professionele serverruimte in een ander gebouw, dat op zo'n 100 meter afstand van het onze staat.
Nu had ik de opdracht gekregen om dat te faciliteren. Speciaal voor die gelegenheid mijn CCDP boek weer eens tevoorschijn gehaald en daarin meende ik te lezen dat Cisco in zo'n geval de voorkeur zou geven aan een gerouteerde (dus L3) oplossing.
Aangezien het hele gebouw bij ons al min of meer een organisatorische wanorde is voor wat betreft VLANs lijkt mij dit ook wenselijk. Op elke verdieping van 10 heb je minstens 5 verschillende VLANs en soms heb je zelfs een afdeling met een machine in bijna elk VLAN. (we zitten hier met zo'n 6 min of meer los georganiseerde afdelingen van eenzelfde overkoepelende organisatie en van drie van die afdelingen gaan de servers dus naar dat andere gebouw). Om even de standaard CCNP termen te gebruiken: de accesslayer switches zitten dus allen via trunks naar de building distr. switches en bijna alle VLANs zijn aanwezig op alle access layer switches. Dit is overigens al jaren zo.

Ik ben een traject begonnen (een jaar geleden al) dat er in heeft geresulteerd dat er nu in beide gebouwen twee routers staan die onderling verbonden zijn via layer 3 paden. (en wees gerust, er is redundancy)

Nu komt een collega (ook CCNP) die vind dat een layer 3 verbinding dus wel het laatste is wat je tussen twee aparte gebouwen moet aanleggen en dat dat gewoon over L2 trunks moet gaan. Een of andere hotemetoot die volgens hem een hele goede baan bij getronics/weetikwatvoorbedrijf heeft is het met hem eens.
Het zal best. ik kan ook altijd wel iemand vinden die het met mij eens is, en dan hoeft mijn mening niet eens van enige redelijkheid gestaaft te zijn.
Ik denk dat hij zich vooral gepasseerd voelt dat ik die situatie heb ontworpen en hij er niet in gevraagd is. Ik ben blij dat dat niet zo is, want hij kan nogal zeuren maar de echte reden dat ie er niet voor is gevraagd is dat hij rond die tijd overspannen thuis zat.

Nu dus mijn vraag: Ik ben er van overtuigd dat een L3 verbinding vele malen wenselijker is dan een L2. Wat vinden jullie? Is zo'n L2 oplossing (met desnoods wat geblokkeerde VLANS over de trunk) beter dan een gerouteerde?

Subvraag: Uit mijn verhaal is niet heel erg duidelijk te merken dat ik die collega eigenlijk maar een iritante zeurkous vind.

[Leon T]

Voor allebei is wel wat te zeggen. Wat voor een verbinding ligt er tussen beide locaties? Als het glas is dan kan je met een layer3 switch en bijpassende gbics leuke dingen doen. Als het een serial of dsl verbindig is dan zit je al snel aan routers te denken.

Heb je een visio plaatje van het huidige netwerk (laag 2 en 3)? Wat voor een spullen (merk&type) heb je er staan? Heb je hetzelfde vlan # op beide kanten al in gebruik? Gaat hetzelde vlan in beide panden aanwezig moeten zijn? Hoe gaan de verkeersstromen lopen en maak je gebruik van zaken zoals multicast of broadcastapplicaties?

[ Voor 23% gewijzigd door Leon T op 05-06-2009 18:33 ]

[Duinkonijn]

Denk dat het ook enigsinds je eigen voorkeur wordt.

rond 2004 kreeg ik mee dat je alles moest segmenteren in apparte vlans.
om collitiondomains klein te houden

in 2008 moest alles weer bij elkaar omdat collitiondomains niet zo boeide..

mijn persoonlijke ervaring is dat vlans idealer zijn omdat ik m`n verschillende nodes zo gescheiden hou.

plus dat je op lokaties verschillende netwerken kan aanbieden.

zo kan ik bv. per outlet het volgende aanbieden:

VOIP vlan
edu client vlan
internet vlan (direct verbinding naar dsl modem)
server vlan
administratie vlan

en het levert op dat je kan verhinderen dat gebruikers elkaar storen

[elTigro]

Sorry voor de ietwat late reactie: ik had een nogal druk weekend dit weekend.

Ik ben niet zo bedreven in Visio, dus daar heb ik geen plaatje van. het is inderdaad een stuk glas tussen de twee gebouwen. Ik had gezegd 100 meter, wellicht dat dat 150 meter is, zeker wanneer de verbinding via de kelders gaan (en dat doen ze) kan de afstand toch wat langer uitvallen als de afstand hemelsbreed. Daar komt bij dat de verbinding tussen beide gebouwen 10GE is, dus het kan bijna alleen maar glas zijn.

Ik gebruik dus niet dezelfde vlans aan beide kanten. Dat is juist iets wat ik pertinent niet wil. Stel dat je aan een kant een spanning-tree issue krijg, dan kun je aan de andere kant best wel eens een tijdje zoet zijn voordat je de oorzaak aan de ene kant hebt gevonden, om maar eens 1 nadeel te noemen.
Ik was toch onder de indruk dat we anno 2009 ons inderdaad niet zo heel veel zorgen meer maakten over collision domains aangezien we wegens microsegmentering tijdens niet broadcast operaties niet zo vaak collisions meer krijgen.

Mijn hoofdreden om te routeren is toch eigenlijk om het spanning-tree domain zo simpel mogelijk te houden.

Maar het feit dat er gerouteerd wordt betekent dus niet dat er in beide gebouwen geen VLANs gebruikt worden. In dat serverhok zullen genoeg VLANs aanwezig zijn dunkt me...

/edit:
Oh ja, niemand heeft nog beaamd dat die collega inderdaad een zeurpiet is.
Los daarvan kwam ie gisteren dat ie bij nader inzien wellicht ook routeren wel een handige optie vindt en dat de door hem gewenste L2 oplossing (en dit zijn nu mijn woorden) puur het napraten van een cisco boek is waarin in een inleidend hoogdstuk over de hele cisco architectuur wordt gestelt dat de core in een echte campus bij voorkeur als L2 uitgevoerd moet worden. Nou vraag ik je.... Dit wordt een verbinding tussen twee gebouwen, en meneer noemt dat een hele netwerk core module...
Of hij heeft echt niet opgelet tijdens zijn cursus en hij weet niet waar ie over praat, of hij wil gewoon dwars liggen omdat hij er niet in gehoord is.

Heb ik al verteld dat dit mijn favoriete collega is?

[ Voor 23% gewijzigd door elTigro op 09-06-2009 18:08 . Reden: vriendelijke persoonsanalyse over mijn collega ]

[Bl@ckbird]

CCNP courses worden ook "over time" aangepast.

Het spreekwoord was: Switch when you can, Route when you must.
(Er van uit gaande dat switching sneller is dan routing.) Tegenwoordig zijn routers en L3 switches stuk sneller geworden, dus dat geldt niet meer.

Tegenwoordig hangt Cisco naar een routed access laag.
STP en RSTP schijnen eng te zijn en convergeren trager
dan dat je het met routing protocollen op zou lossen.

Nu het netwerk steeds meer voor voice en video gebruikt wordt, is dit belangrijk.
Bovendien kan je op L3, QoS en andere fratsen uithalen. Wat je op L2 niet / minder fijnmazig kan doen.

Leesvoer:
http://www.cisco.com/en/U...s/routed-ex.html#wp998337

En vooral:
http://www.cisco.com/en/U...ry_DG/campusRecovery.html

Andere Design Guides vind je op:
http://www.cisco.com/en/U...lutions_program_home.html

[jvanhambelgium]

Zit er maar 1 stuk glas tussen de 2 gebouwen (of heb je 2 effectieve fibers liggen voor ontdubbeling) ?
(als je maar 1 stuk glas hebt waarom je zorgen maken over spanning-tree ... dan moet je dat gewoon beschouwen als een 1 link tussen 2 switches dus 1 pad dus weinig STP "troubles" me dunkt...

Je spreekt in je post wel over 2 routers in de 2 gebouwen (dus met redundancy) maar gaan die dan ook over die glas-link ? Of heb je links of recht nog wat touwtjes liggen tussen de 2 ?


Waarom zeg je trouwens dat het 10GE is tussen de 2 ??
Zit er dan al iets van actieve apparatuur tussen of WENS je gewoon 10GE tussen de 2 sites ?

Het kan allemaal wel zijn dat je met L3 "mooiere" dingen kunt doen, maar mischien is een eenvoudige 10GE link tussen 2 switches ook geen slecht idee...
Eventueel kan je dan ook netjes een firewall ervoor zetten in transparante mode om het security aspect rond al die VLAN's ook wat aan te scherpen.

Met de nieuwe generatie aan 10GE datacenter switches (vb met 144 of 288 ports) spreken ze eerder van "scaled out" ethernet om alle servers direct op 10GE op 1 grote "switch fabric" te hangen.
Nu, dus is niet van toepassing op jouw situatie denk ik vanwege iets kleinschaliger.

Ik zou het L2 verhaal toch niet zo snel vergeten...en nog eens goed over nadenken.

Er is niet 1 "goede" oplossing maar wel verschillenden die in functie van dit specifieke project mischien wel de bovenhand zouden moeten krijgen.

[TrailBlazer]

Het nadeel van L3 vind ik altijd dat het geen L2 is Het is namelijk veel makkelijker om van een L2 verbinding een L3 te maken dan andersom.
Je maakt een trunk tussen de 2 L3 switches en configureert een transit vlan en je hebt een L3 verbinding.
Mocht er in de toekomst dan opeens de eis zijn voor een vlan over de 2 sites dan kan je dat veel makkelijk aanmaken omdat je toch al een trunk hebt tussen die 2 sites.

[elTigro]

Bl@ckbird, nuttige info. Ik ga het eens printen en rustig lezen.
Het zijn trouwens uiteraard multilayer switches van Cisco, en ik ben zo vrij geweest cef aan te laten staan.
Ik vind de oplossing van TrailBlazer ook wel aardig eigenlijk. Ik heb niet het idee dat de eis dat VLANs aan beide kanten aanwezig moeten zijn er ooit gaat komen, maar op de door jou gesuggereerde manier kun je zoiets wel makkelijker regelen.
Ik heb zelf niet echt een voorkeur voor L2 of L3, maar het leek me dat L3 gewoon de simpelere oplossing was. Ik had ook nog niet verteld dat als ik er niet ben, er door mensen getroubleshoot moet worden die eigenlijk niet meer weten van netwerken dan dat Cisco een bedrijf is dat netwerkapparatuur verkoopt... De oplossing moet dus zo simpel mogelijk te troubleshooten zijn.

En als er iets is, dan zullen ze eerder zelf de hele dag alles verkloten en door de war gooien dan mij te bellen bij wijze van spreken. Hoewel onwenselijk, ben ik dus nog nooit op een vrije dag lastig gevallen

[TrailBlazer]

Met de nieuwe VPc oplossingen van de Nexus lijn van Cisco heb je geen STP meer nodig wel overal L2 koppelingen maar geen STP. Best of both world heb je dan.

[Bl@ckbird]

In een datacenter wil men graag alles op L2 hebben voor vMotions,
heatbeats van failover firewalls en dat soort gein.
De 6500 gebruikt tegenwoordig Virtual Switching op L2 niveau om redundancy te bereiken.

Voor beiden is wel wat te zeggen.

[igmar]

Het grote verschil tussen L2 en L3 is het broadcast verkeer : Indien je een druk netwerk hebt (lees : veel windows servers), dan kan een te kleine lijn tussen de locaties een probleem geven omzet ze al het broadcast verkeer te verduren krijgen.

Met de 'recente' windows versies is dat wat minder een probleem, aangezien die veel met van AD afhankelijk zijn, en niet met elke stuk info wat ze nodig hebben over het broadcast kanaal beginnen te gillen.

L3 kan flexibeler zijn, maar L2 heeft als voordeel dat het makkelijker is op te zetten. Ik zou het dus lekker op L3 laten staan als dat al zo draait :-)

[jvanhambelgium]

Bl@ckbird schreef op woensdag 10 juni 2009 @ 10:40:
In een datacenter wil men graag alles op L2 hebben voor vMotions,
heatbeats van failover firewalls en dat soort gein.
De 6500 gebruikt tegenwoordig Virtual Switching op L2 niveau om redundancy te bereiken.

Voor beiden is wel wat te zeggen.

Oeshje ... toch effe checken wat het budget is...VSS don't come cheap ;-)
"Effe" een 6500 neerzetten is allemaal leuk in theorie maar...

Dus topicstarter , is er budget voorzien ? en ja, hoeveel ? ;-)

[TrailBlazer]

Het zijn trouwens uiteraard multilayer switches van Cisco,

hardware is er dus al. De vraag is dus enkel of er een routed linkje tussen moet komen of iets anders. De topologie is op dit moment nog niet duidelijk dus een zinnig antwoord te geven is nogal moeilijk. Wij hebben in elk DC een paar core routers staan en elk paar heeft 2 x 10 GB naar het andere DC. dus in totaal ligt er 60 Gigabit tussen de cores.

[Bl@ckbird]

jvanhambelgium schreef op woensdag 10 juni 2009 @ 10:54:
[...]
Oeshje ... toch effe checken wat het budget is...VSS don't come cheap ;-)
"Effe" een 6500 neerzetten is allemaal leuk in theorie maar...

Dus topicstarter , is er budget voorzien ? en ja, hoeveel ? ;-)

VPc met een Nexus ook niet.

Maar ik bedoelde dit eigenlijk meer als "denkwijze" / recommended design van Cisco op de L2/L3 discussie van TS en zijn collega. Niet zo zeer als een concrete oplossing.