Software based BGP routers, welke CPU en RAM kiezen?

[Snow_King]

Hallo,

Op dit moment gebruiken wij binnen ons BGP. netwerk een tweetal Brocade RX-8 routers, maar ivm meerdere factoren zijn we aan het kijken naar het afspliten van de BGP taak naar een paar andere routers.

Deze RX-8's vervullen nu de taak van BGP én Gateway, daar willen we dus de BGP taak van wegnemen.

Hierbij zijn we serieus aan het overwegen (en aan het testen) om in plaats van "hardware" routers gebruik te gaan maken van Linux machines met daarop Quagga.

We gebruiken Quagga al erg veel binnen ons netwerk voor OSPF, maar nog niet voor BGP.

Voor nu lopen al onze tests goed en behalen we mooie resultaten. Een simpele Core2Quad met 8GB Ram en een Intel Quad Gbit NIC haal zonder problemen 850Kpps @ 40 bytes.

Afijn, we zijn dus nu naar hardware aan het kijken, maar daar komen toch een aantal belangrijke vragen naar boven toe.

Geheugen en vooral de bandbreedte binnen het systeem zijn van groot belang.

Onze eerste aanname is: Geheugen met een lage CAS latency, niet registered en wel ECC.

Een idee wat we samen hebben gesteld:

* Moederbord: SuperMicro H8SGL-F
* CPU: AMD 6220
* 8GB DDR3 ECC
* Intel X520-SR2 (Dual 10Gbit)

8GB Ram is meer dan voldoende voor deze taak, het idee is ook om er minder bankjes in te plaatsen en zo dus ook minder latency te krijgen.

Maar zitten we met AMD hier wel op het juiste spoor? Bied Intel hier wellicht een betere oplossing?

Dat zijn vragen die ik zelf zo niet weet te beantwoorden en waarom ik ze hier stel.

Het gaat er dus om dat we zo veel mogelijk packets per seconde kunnen verwerken, hierbij speelt uiteraard ook software een grote rol, maar in de basis ook de hardware.

Iemand met nuttige input op dit topic?

[webfreakz.nl]

Om hoeveel routes / clients gaat het? Want je wilt nogal wat performance gaan halen, maar... waarom? Ik snap dat je BGP daemon geen bottleneck moet worden, maar je hoeft voor deze taak geen prototype-supercomputer-cluster te gaan opzetten *denk ik*?

En waarom wil je geen dedicated router hardware van Cisco / Juniper?

[Snow_King]

webfreakz.nl schreef op vrijdag 18 november 2011 @ 09:07:
Om hoeveel routes / clients gaat het? Want je wilt nogal wat performance gaan halen, maar... waarom? Ik snap dat je BGP daemon geen bottleneck moet worden, maar je hoeft voor deze taak geen prototype-supercomputer-cluster te gaan opzetten *denk ik*?

Het gaat om een full-table BGP router, je kijkt dan dus aan tegen zo'n 400k routes.

Het traffic wat er nu door die RX'en heen gaat is zo'n 2Gbit, met pieken naar 4Gbit.

webfreakz.nl schreef op vrijdag 18 november 2011 @ 09:07:En waarom wil je geen dedicated router hardware van Cisco / Juniper?

Dat heeft vooral te maken met schaalbaarheid. Routers zijn duur, zeker hun 10Gbit poorten. Schalen is ook lastig bij een hardware router, je bent altijd gebonden aan de fabrikant.

Intern gebruiken we al veel Linux dozen met Quagga en OSPF, dat functioneert allemaal prima en eigenlijk beter dan de hardware routers.

Om die redenen overwegen we serieus om de edge-routers ook op Linux te laten draaien.

[Rolfie]

8GB Ram is meer dan voldoende voor deze taak, het idee is ook om er minder bankjes in te plaatsen en zo dus ook minder latency te krijgen.

Het moederboard ondersteund memory interleaving. Maak hier dus zo optimaal mogelijk gebruik van.
Ik zou zo veel mogelijk, zo klein mogelijk (snel) geheugen er in plaatsen.

Al denk ik dat het niet zo gek veel zal uitmaken.

Ik zou persoonlijk eerder voor een Intel HP of DELL Machine gaan. Maar das persoonlijk.

[Foeijonghaai]

Is het niet mogelijk om horizontaal te schalen ipv verticaal?

Dus meer goedkope zwakkere nodes ipv een paar dure sterke nodes?

Of wordt de routing dan erg complex?

[Snow_King]

Rolfie schreef op vrijdag 18 november 2011 @ 11:28:
[...]

Het moederboard ondersteund memory interleaving. Maak hier dus zo optimaal mogelijk gebruik van.
Ik zou zo veel mogelijk, zo klein mogelijk (snel) geheugen er in plaatsen.

Al denk ik dat het niet zo gek veel zal uitmaken.

Ik zou persoonlijk eerder voor een Intel HP of DELL Machine gaan. Maar das persoonlijk.

Bedankt, zulke tips zoek ik naar.

Wij kopen al onze machines in van SuperMicro, daarom ook de keuze voor deze hardware.

Dit moederbord gebruiken we ook al veel in onze servers en zijn daar dus bekend mee.

Foeijonghaai schreef op vrijdag 18 november 2011 @ 12:42:
Is het niet mogelijk om horizontaal te schalen ipv verticaal?

Dus meer goedkope zwakkere nodes ipv een paar dure sterke nodes?

Of wordt de routing dan erg complex?

We willen inderdaad ook schalen naar meerdere routers, maar nog steeds moet een enkele router ook een flink aantal packets/s kunnen verwerken.

Waar we nu op 2 routers draaien willen we dat schalen naar 4 tot 6.

[jvanhambelgium]

Ik snap het hele verhaal toch niet ... als je effe kijkt naar wat een RX8 capabel is en jij maakt je zorgen over "schaalbaarheid" ?? Denkelijk is de RX8 zelfs "overkill" voor jullie situatie...ik veronderstel dat je er 2 hebt dewelke met (minstens) 2 upstream ISP's peeren ?
Dat ding is volledig redundant opgezet, quasi "non stop" operation dus!

Het enige punt waar je gelijk hebt is GELD. Zo'n machine hebben en upgraden is kostelijk, interface-kaartjes (vb 4x10Gbit) kosten centjes, maar dan heb je ook wel wat...

Je test met 850.000packets/s @ 40bytes is mooi op een PC'tje, maar de RX8 doet volgens specs tot meer als 1000x deze performance! (1.14billion packets forwarding rate)

[Snow_King]

jvanhambelgium schreef op vrijdag 18 november 2011 @ 17:33:
Ik snap het hele verhaal toch niet ... als je effe kijkt naar wat een RX8 capabel is en jij maakt je zorgen over "schaalbaarheid" ?? Denkelijk is de RX8 zelfs "overkill" voor jullie situatie...ik veronderstel dat je er 2 hebt dewelke met (minstens) 2 upstream ISP's peeren ?
Dat ding is volledig redundant opgezet, quasi "non stop" operation dus!

Het enige punt waar je gelijk hebt is GELD. Zo'n machine hebben en upgraden is kostelijk, interface-kaartjes (vb 4x10Gbit) kosten centjes, maar dan heb je ook wel wat...

Je test met 850.000packets/s @ 40bytes is mooi op een PC'tje, maar de RX8 doet volgens specs tot meer als 1000x deze performance! (1.14billion packets forwarding rate)

Nou, dat is dus niet het geval.

De RX-8 heeft op dit moment problemen met de workload, tijdens drukke momenten zien we CPU spikes waarbij soms BGP sessies al verbroken raken.

We willen ook de BGP van de RX'en af halen omdat het droppen van sessies niet wenselijk is.

Het kan nu voorkomen dat een rogue server in het netwerk de CPU load van de RX dusdanig hoog maakt waarna deze BGP problemen krijgt.

de 1.14 billion packages is in best case en waarschijnlijk alleen op Layer 2. Als je gaat kijken naar wanneer deze BGP doet, dan is het een stuk minder.

Ook kan de RX-8 maar 512k routes aan, iets wat op termijn te krap gaat worden.

Overigens is de RX-8 al voorzien van 10G interfaces, er is flink in geïnvesteerd, maar de BGP willen we er vanaf halen. Vanaf deze nieuwe routers zullen we het verkeer via OSPF aan de RX'en gaan afleveren.

[jvanhambelgium]

Hmm, zo'n bakbeest in de problemen met een workload van amper 2-4Gbits is ... euh ... behoorlijk teleurstellend te noemen dus ;-)
Tijd om de vendor aan het werk te zetten ;-)


Heb even een architecture-whitepaper bekeken en het is wel degelijk 1.4billion packets ROUTING performance en 3.84TBps SWITCHING performance !! Afschuwelijk veel dus ... OP PAPIER blijkbaar ;-)

Wat de routing betreft, het zijn 512k routes PER line-card als ik zo lees. De BGPv4 implementatie op die bakken scaled tot 2 miljoen routes / 500 peers / 14.000 attributes met de MR2 management card.
Ik veronderstel dat jullie dan alles op 1 line-card hebben zitten ?

Die 512K routes is via BDR (Brocade Direct Routing) waar die 512K IPv4 routes (FIB) allemaal in memory op de respectievelijke line-card geladen worden (dus geen processing meer vanuit de "main" CPU)

Trouwens, volgens de documentatie is de OSPF implementatie "slechts" scalable tot 400k routes ;-)

[Snow_King]

jvanhambelgium schreef op vrijdag 18 november 2011 @ 21:50:
Hmm, zo'n bakbeest in de problemen met een workload van amper 2-4Gbits is ... euh ... behoorlijk teleurstellend te noemen dus ;-)
Tijd om de vendor aan het werk te zetten ;-)

Ja, dat is het zeker ook. We balen er ook flink van, maar we moeten wel gaan kijken naar een andere oplossing.

Daarnaast willen we sowieso de BGP weghalen van de RX'en.

jvanhambelgium schreef op vrijdag 18 november 2011 @ 21:50:Wat de routing betreft, het zijn 512k routes PER line-card als ik zo lees. De BGPv4 implementatie op die bakken scaled tot 2 miljoen routes / 500 peers / 14.000 attributes met de MR2 management card.
Ik veronderstel dat jullie dan alles op 1 line-card hebben zitten ?

We hebben een MR2 management card, maar het zijn meerdere line-cards. Het is wel zo, we hebben op dit moment 2 transits, die elk op een eigen line-card binnen komen.

Beide geven een full table door, daar beginnen we dus in de problemen te raken.

jvanhambelgium schreef op vrijdag 18 november 2011 @ 21:50:Trouwens, volgens de documentatie is de OSPF implementatie "slechts" scalable tot 400k routes ;-)

Haha, 400k OSPF routes hebben we echt niet in ons netwerk

[Keiichi]

Ik heb niet heel veel verstand van routers, maar is het niet zo dat BGP als een los proces op een router draait die de routing tabel update, waaruit de routingprocessen weer hun data halen?

Ik zou het probleem toch zeker even bij Brocade wegleggen. Die kunnen wellicht ook met zekerheid zeggen wat nu jullie echte problemen zijn.

Zit de router toch niet barstensvol met ACL's of iets dergelijks?

[ Voor 9% gewijzigd door Keiichi op 18-11-2011 22:09 ]

[vanke014]

Keiichi schreef op vrijdag 18 november 2011 @ 22:08:
Ik heb niet heel veel verstand van routers, maar is het niet zo dat BGP als een los proces op een router draait die de routing tabel update, waaruit de routingprocessen weer hun data halen?

Ik zou het probleem toch zeker even bij Brocade wegleggen. Die kunnen wellicht ook met zekerheid zeggen wat nu jullie echte problemen zijn.

Zit de router toch niet barstensvol met ACL's of iets dergelijks?

De setup in kwestie heeft slechts een handjevol ACL's geladen, het probleem is echter dat als de RX-8 units moeten functioneren als zowel BGP speaker, meespreken in een OSPF Area en tegelijk 2 a 300 VRRP-E instanties gesynced moet houden dit gewoonweg "too much" is.

jvanhambelgium schreef op vrijdag 18 november 2011 @ 17:33:
Ik snap het hele verhaal toch niet ... als je effe kijkt naar wat een RX8 capabel is en jij maakt je zorgen over "schaalbaarheid" ?? Denkelijk is de RX8 zelfs "overkill" voor jullie situatie...ik veronderstel dat je er 2 hebt dewelke met (minstens) 2 upstream ISP's peeren ?
Dat ding is volledig redundant opgezet, quasi "non stop" operation dus!

Het enige punt waar je gelijk hebt is GELD. Zo'n machine hebben en upgraden is kostelijk, interface-kaartjes (vb 4x10Gbit) kosten centjes, maar dan heb je ook wel wat...

Je test met 850.000packets/s @ 40bytes is mooi op een PC'tje, maar de RX8 doet volgens specs tot meer als 1000x deze performance! (1.14billion packets forwarding rate)

We hebben al situaties gezien dat een aantal BGP flaps verantwoordelijk waren voor VRRP-E state mismatches met zijn VRRP-E backup waardoor het gehele netwerk op zijn gat kwam te liggen.

Het is niet zozeer dat we twijfelen aan de switching capaciteit van een RX-8, echter wel aan de routing capaciteiten. De eerste testen op basis van een oud servertje kwam een forwarding rate van +/- 850 Kpps @ 40 bytes uit, gecombineerd dus 1.7 Mpps, zeker niet slecht voor een C2D @ 3.0 Ghz.


Om weer terug on-topic te komen, wat voor geheugen zouden jullie gebruiken als je zo'n machine zou opbouwen? En wellicht de betere vraag, zou dit naar jullie mening ook een prestatieverschil (lees: hogere throughput) opleveren?

[jvanhambelgium]

>Om weer terug on-topic te komen, wat voor geheugen zouden jullie gebruiken als je zo'n machine zou >opbouwen? En wellicht de betere vraag, zou dit naar jullie mening ook een prestatieverschil (lees: hogere >throughput) opleveren?

Als de deze machine wil gebruiken enkel om de BGP taken over te nemen (lees : route server) van de RX'en dan speelt dat allemaal geen rol op dat niveau. Elke "high end" server van vandaag zal dit met glans kunnen doen en het meeste van de tijd idle staan niksen ;-)


Als deze machine eigenlijk de volledige functie van de RX'en moet overnemen, en dus verschillende gigabits kunnen routen + ACL's etc dan kan het wel wat schelen.

Hieronder een leuke link naar een Tolly report waarin de Vyatta routing software op een IBM server met Xeon E5430 tov wat Cisco spul is gezet en dat loopt als een speer met 4 x 1Gig interfaces.

http://www.networkworld.com/community/node/26278


In detail voorspellen wat AMD of Intel zouden verschillen is eigenlijk nogal lastig en het blijft allemaal mooi in theorie maar...

[Snow_King]

jvanhambelgium schreef op vrijdag 18 november 2011 @ 23:22:
Als de deze machine wil gebruiken enkel om de BGP taken over te nemen (lees : route server) van de RX'en dan speelt dat allemaal geen rol op dat niveau. Elke "high end" server van vandaag zal dit met glans kunnen doen en het meeste van de tijd idle staan niksen ;-)


Als deze machine eigenlijk de volledige functie van de RX'en moet overnemen, en dus verschillende gigabits kunnen routen + ACL's etc dan kan het wel wat schelen.

Deze machines zullen de BGP taak overnemen en dus ook die Gbits aan verkeer door zich geen krijgen, het worden niet enkel route servers.

De RX'en zullen hierna nog enkel de VRRP taak binnen het netwerk vervullen en ook functioneren als distributie-switches.

jvanhambelgium schreef op vrijdag 18 november 2011 @ 23:22:
Hieronder een leuke link naar een Tolly report waarin de Vyatta routing software op een IBM server met Xeon E5430 tov wat Cisco spul is gezet en dat loopt als een speer met 4 x 1Gig interfaces.

http://www.networkworld.com/community/node/26278


In detail voorspellen wat AMD of Intel zouden verschillen is eigenlijk nogal lastig en het blijft allemaal mooi in theorie maar...

Dat ziet er inderdaad interessant uit!

[jvanhambelgium]

...als "waardige" vervanger voor de RX8 zou ik op z'n minst dan naar het Vyatta Network OS kijken. (of soortgelijk)
Die Quagga is wel leuk, maar eigenlijk de "zebra" van vroeger en helemaal geen vergelijk met Vyatta naar features, concept,support,administratie toe etc.

Ik weet niet hoeveel deze Vyatta soft kost tegenwoordig, jaren geleden was het behoorlijk goedkoop ;-) maar ik denk dat ze daar wel door hebben dat er meer geld uit te slagen was ;-)

Een eval-copy downloaden kan wel en dan kun je alvast ook al eens aan het werk...

[Predator]

jvanhambelgium schreef op vrijdag 18 november 2011 @ 23:22:
Hieronder een leuke link naar een Tolly report waarin de Vyatta routing software op een IBM server met Xeon E5430 tov wat Cisco spul is gezet en dat loopt als een speer met 4 x 1Gig interfaces.

http://www.networkworld.com/community/node/26278

Altijd leuk, zo'n rapportjes, maar de objectiviteit is meestal erg ver te zoeken.

Vyatta commissioned The Tolly Group to evaluate the results of its service provider/large enterprise edge routing solution versus the results of Cisco 7204VXR Routers with Network Processing Engines NPE-G1 and NPE-G2.

en daar ging de objectiviteit de deur uit ...

Waar ik meestal voor vrees is het niveau van support als je hardware<->software problemen krijgt.
Je zal wel support krijgen op het software gedeelte... maar wat als je problemen krijgt die niet meteen ge-pinpoint kunnen worden ? Is het een nic driver bug ? is het een software bug ? Is het een OS probleem ? Zijn de mem banks corrupt ? Is de BIOS is het probleem ? ...

Persoonlijk hou ik liever van het KISS principe:
Look guys, ... it's YOUR software, and it runs on YOUR hardware and I don't care where the F****** problem is ... YOU find it and fix it !

Ik vind het wat raar dat brocade niet bezig is met jullie issues op te lossen ?

[ Voor 3% gewijzigd door Predator op 19-11-2011 11:04 ]

[Bl@ckbird]

Vyatta betaalde De Tolly Group voor dit rapport. Bovendien wordt er een bejaarde 7200 router vergeleken met een nieuwe generatie Intel quad-core CPU. De 7200 router is inmiddels end-of-sale. Opvolger van de 7200 is de ASR1000. Deze heeft een 160 core CPU aan boord. Wil je naast routing ook nog andere services op de router draaien ( QoS, Firewalling, VPN ) dan heeft dit veel mindere impact op de performance van de router. Een 2921 kan een gieg forwarden. Zet je NAT, ACLs en QoS aan, dan blijft hier nog maar een kleine 90 Mbps van over. De ASR1000 heeft 160 core en kan daarom beter de extra load van services hebben.

Heb je problemen open je bij Cisco TAC een support case. Besluit TAC dat het een hardware issue is, dan kan je binnen 2 uur een nieuwe box hebben. ( Mits je het juiste support contract hebt en je niet op Texel woont... )

De ASR1000 draait IOS XE. Dit is een hardened Linux kernel. BGP is een appart proces binnen IOS XE.

[jvanhambelgium]

Het gaat me niet direct om de effectieve performance, want zo'n rapporten zijn uiteraard (zwaar) "gekleurd" maar gewoon om even aan te geven dat er performante alternatieven zijn die in sommige gevallen echt wel OK zijn...en uiteraard een stuk goedkoper.

Het hoeft niet altijd Cisco, Alcatel, Juniper, ZTE, Huwei, Brocade, Extreme Networks, HP Procurve etc te zijn. Gewone "off the shelf" hardware doet het dikwijls ook niet slecht hoor...gezien het prijskaartje althans.

Neemt niet weg dat, als het mijn Brocade RX8 chassis was, dat Brocade toch wel met klein team in gang mag schieten om deze basic functionaliteit te bieden zonder performance issues...

[WhizzCat]

jvanhambelgium schreef op zaterdag 19 november 2011 @ 15:10:
Het gaat me niet direct om de effectieve performance, want zo'n rapporten zijn uiteraard (zwaar) "gekleurd" maar gewoon om even aan te geven dat er performante alternatieven zijn die in sommige gevallen echt wel OK zijn...en uiteraard een stuk goedkoper.

Het hoeft niet altijd Cisco, Alcatel, Juniper, ZTE, Huwei, Brocade, Extreme Networks, HP Procurve etc te zijn. Gewone "off the shelf" hardware doet het dikwijls ook niet slecht hoor...gezien het prijskaartje althans.

Neemt niet weg dat, als het mijn Brocade RX8 chassis was, dat Brocade toch wel met klein team in gang mag schieten om deze basic functionaliteit te bieden zonder performance issues...

In essentie ben ik het hier mee eens ^^.

Als een leverancier met zulke cijfers over de brug komt en het presteerd niet goed in een productieomgeving mag die gewoon net zo lang knutselen tot het wél goed werkt Daar hoor je mij niet moeilijk over doen, de leverancier misschien wel, maar die RX8 is vast geen goedkoop prutsapparaat.

Ik zeg, ga eerst eens naar de oorzaak van je problemen kijken en als dat niet op te lossen is, ga dan naar alternatieven kijken!

Vyatta i.c.m. *eender welke hardware* is trouwens briljant als router OS. BGP, OSPF, alles zit er op. Firewall, ACL's, teveel om op te noemen. Als je dat op een stevige blade of goeie DL380/360 zet met 10 Gbit ethernet heb je echt een dijk van een router

[Ethirty]

Bl@ckbird schreef op zaterdag 19 november 2011 @ 14:13:
Vyatta betaalde De Tolly Group voor dit rapport. Bovendien wordt er een bejaarde 7200 router vergeleken met een nieuwe generatie Intel quad-core CPU. De 7200 router is inmiddels end-of-sale. Opvolger van de 7200 is de ASR1000.

Als ik het artikel aanklik zie ik toch duidelijk staan dat het al weer uit 2008 stamt. Dus tenzij de 7200 destijds al EOL was lijkt het me wel een waardevol vergelijk. Intel heeft in de tussentijd ook niet stilgezeten met zijn CPU's.

The Internet is outgrowing the 7200, and the newly-announced ASR offers limited scalability at an even higher price.

Daarnaast wordt netjes de mogelijkheden en de prijs naast elkaar gezet. Als ik zie staan dat 1GB geheugen bij Cisco voor $7000 verkocht wordt en ik zou in de markt zijn voor dit soort apparatuur, dan zou ik me toch wel even achter mijn oren krabben. Objectief artikel of niet, je ogen gaan wel open.

En zijn de meeste rapporten en whitepapers niet biased. Hoeveel whitepapers zijn er niet die [fabrikant] zelf gunstiger uit laten komen?

[nasdude]

mikrotik / routeros ... pefect voor die taak

[Snow_King]

Bedankt voor de reacties! Vyatta is ook iets wat wij bekijken, maar ook dat draait op commodity hardware, dus dat is ook relevant voor dit topic.

[Bl@ckbird]

Ethirty schreef op maandag 21 november 2011 @ 16:21:
Als ik het artikel aanklik zie ik toch duidelijk staan dat het al weer uit 2008 stamt. Dus tenzij de 7200 destijds al EOL was lijkt het me wel een waardevol vergelijk.

In 2008 was de AS1000 net nieuw op de markt.
De 7200 is pas recent EoS gegaan.

Oude en nieuwe hardware staan vaak tijden gezamenlijk in de prijslijst.
Het duurt vaak maanden of jaren voordat nieuwe apparatuur getest en gecertificeerd is door Cisco en ISP's en spare-part zijn vaak nog tijden verkrijgbaar.

Het is vrij eenvoudig om met de nieuwste hardware een ranzig snelle router te bouwen.
Het probleem is dat het ding ontwikkeld en onderhouden moet worden.
Er zijn duizenden 6500 switches verkocht en er word nog steeds nieuwe hardware voor ontwikkelt.
(Het ding is inmiddels 12 jaar oud.) De lifecycle van van een router is veel langer dan van x86 hardware.
In het begin van de lifecycle van een router is de router sneller. Na verloop van tijd haalt x86 hardware het in.
Het is ondoenlijk om elk jaar met een nieuwe serie routers te komen.

Virtualisatie verandert dit. ( Geen hardware issues meer... ) Hardware appliances worden steeds vaker ook virtueel in de markt gezet. We hebben al een virtuele switch (binnenkort ook voor Hyper-V), er komt een virtuele ASA. NX-OS en IOS XE zijn gebaseerd op Linux. Dus je kan raden wat volgende stappen zullen zijn.

Ethirty schreef op maandag 21 november 2011 @ 16:21:
Intel heeft in de tussentijd ook niet stilgezeten met zijn CPU's.

Daarom bouwt Cisco tegenwoordig servers.

@TS:
Log eens een supportcase bij Brocade. Waarschijnlijk is dit een configuratie issue, want zoals jvanhambelgium al aangeeft kan het ding veel sneller. Wil je toch Vyatta draaien: Meer cores is beter als je meer services (ACL's, QoS, Firewalling, etc) wil draaien. Hoewel ik niet weet hoe multi-threaded aware Vyatta geschreven is.

[jvanhambelgium]

Bl@ckbird schreef op maandag 21 november 2011 @ 22:52:
[...]
Er zijn duizenden 6500 switches verkocht en er word nog steeds nieuwe hardware voor ontwikkelt.
(Het ding is inmiddels 12 jaar oud.) De lifecycle van van een router is veel langer dan van x86 hardware.
In het begin van de lifecycle van een router is de router sneller. Na verloop van tijd haalt x86 hardware het in.
Het is ondoenlijk om elk jaar met een nieuwe serie routers te komen.

De Catalyst 6500 is inderdaad het meest successvolle switching product dat ooit ontwikkeld is geweest in de industrie. Punt.
Grote verscheidenheid aan verschillende modules & services ;-) Voor elk wat wils ;-)
Er is voor meer als 20 miljard USD verkocht van die spullen, en dat was al in 2006 !

Met de recente introductie van de nieuwe supervisor 2T is het doek dus nog niet gevallen over dit product en kunnen de gebruikers van de 6500-E chassis weer enkele jaartjes verder.

[erwinb]

Voor de derver servers zou je dan wel weer naar cisco kunnen kijken.
Zij doen aan aantal leuke dingen met hun servers waardoor geheugen toegang wordt geoptimaliseerd.
Ook kunnen ze , hoewel dat nu niet nodig is, zeer veel heheugen aanspreken.
Let bij de serves er wel op dat je de memory lanes van de servers ook allemeel gelijk gebruikt. Bij onbalans is het geheugen tot wel 30 % minder te belasten als bij een config in balans.

[JackBol]

Je moet kijken naar control plane performance en data plane performance.

Control plane: bgpd in quagga is single process, dus heel vele cpus gaat voor de BGP performance niet veel zin hebben. Wel is snelle processing erg belangrijk voor je BGP convergence. Reken 1G geheugen per 1M routes. 1G zou dus voldoende moeten zijn voor je control plane, 2G voor de zekerheid.

Daarnaast draai je waarschijnlijk ook een IGP, wat management en wellicht SNMP dus een vlotte multicore CPU met een hoge clock lijkt me preferent. En nog een extra gig geheugen voor de overige processen.


Qua dataplane zit je natuurlijk aan je systeembus vast. Hedendaagse routers maken gebruik van fabrics voor high-bandwidth interface interconnect maar jij zal het met de PCIe bus moeten doen. Je doet geen pakket handling op de router dus er valt niet veel te offloaden naar de NIC. Twee degelijke 10GE Intel NICs lijken mij de beste keus hierin. Vergeet overigens niet dat ook je dataplane een enorme sloot geheugen nodig heeft voor header rewrites, lookup etc. Tel daar nog maar 2G geheugen bij op.


Een nadeel van een software router is dat er geen harde scheiding is tussen je controlplane of dataplane. BGP op het internet is altijd 'in beweging'. Natuurlijk kan je wel wat dampening parameters instellen maar als het een beetje hikt op het internet staat je router voor je het weet BGP updates te processen en geen packets te forwarden.

Voor ongeveer 12000 euro heb je al een ASR1001 met 4 GE interfaces. Deze kan 5 Gbps en 1M routes aan.