Zin en onzin van het nieuwe Trueserver netwerk

[Stewie!]

Zoals velen waarschijnlijk weten heeft het netwerk van Trueserver de afgelopen maand meerdere downtimes gekend, nu is dit hun oplossing om downtime in het vervolg te voorkomen:

Op 1 februari gaat TrueServer van start om het hele netwerk in Amsterdam te vervangen door de apparatuur van Force10 Networks. Deze leverancier van Next Generation netwerk apparatuur is de expert op het gebied van Terabit routing en switching, eenvoudig gezegd: routering van de verkeershoeveelheden van de toekomst. Naast TrueServer maakt bijvoorbeeld de UvA gebruik van deze apparatuur ten behoeve van hun ontwikkelingen rond snelheidrecords en schakelen onder andere Yahoo en Google over op Force10 voor hun connectiviteit.

In de nieuwe netwerk configuratie praten we niet over verdubbeling van capaciteit ten opzichte van ons huidig netwerk maar over een veel hogere verbeteringsfactor. We doen wat in onze optiek nodig is om een gedegen en toekomstvast platform aan onze klanten te bieden.

De aansluitingen naar het Nederlandse Internet knooppunt (Ams-IX) worden uitgebreid met factor 10, van twee maal 1 Gigabit naar twee maal 10 Gigabit. Het interne netwerk wat momenteel bestaat uit een Gigabit ring tussen de datacentra en Gigabit links tussen de routers en core-switches zal opgewaardeerd worden naar een aantal verbindingen met een totale capaciteit van 40 Gigabit.

Iedere locatie zal uitgerust worden met twee Force10 Networks E600 core switching routers. De E600's zullen een dubbele directe verbindingen krijgen met de racks in de datacentra en met de rest van het internet zodat een snelle verbinding en optimale beschikbaarheid gewaarborgd wordt. Vanaf dat moment kunnen alle racks worden voorzien van een redundante Gigabit ethernet uplink.

Een opsomming van enkele specificaties van het nieuwe netwerk:
- Totale backplane capaciteit van 3.6 Terabit;
- Intern netwerk capaciteit van 40 Gigabit;
- 50 Gigabit externe netwerk capaciteit (peering en transit);
- 720 Gigabit poorten ten behoeve van redundante aansluiting racks;
- 192 Gigabit poorten ten behoeve van aansluiting transits en private peerings;
- 16 keer 10 Gigabit poorten ten behoeve van Ams-IX koppeling en het interne netwerk

Schematische weergave van het komende netwerk (layout kapotmaken maar zo wel helder te zien):


Meer informatie over de gebruikte Force10 Networks hardware:
- http://www.force10networks.com/products/
- http://www.force10networks.com/products/reports.asp

Wij vertrouwen erop dat wij met het nemen van deze stappen voor u het platform creëren waarop uw internet activiteiten ook in de toekomst optimaal kunnen plaatsvinden. Aan bottlenecks op ons netwerk zal het in ieder geval niet liggen!

Maar bij dit verhaal worden vraagtekens gesteld:
- De Force10 Networks E600 core switching routers schijnen nog redelijk experimenteel danwel onbekend te zijn, ze zijn dus goedkoop aan te schaffen maar bieden ze ook de stabiliteit van bijvoorbeeld de Juniper 640? Verstandig?
- 40 GB verbindingen tussen de E600's echt nodig of meer marketing praat? Net als de dubbele 10 GB uplinks naar de AMS-IX. Hoeveel verkeer wordt werkelijk vebruikt? Nog lang geen 1000 mbit.
- "Het interne netwerk wat momenteel bestaat uit een Gigabit ring tussen de datacentra" - die ring werkte niet danwel was er niet, bij de laatste kabelbreuk zou het netwerk anders gewoon online zijn gebleven. Krijgt de nieuwe infrastructuur wel een echte ring?
- na de laatste downtime kwamen ze vrij snel met dit bericht? Waren er al langer plannen voor dit netwerk of is dit zo binnen 10 dagen besloten?

Positief:
- capaciteit uitbreiding, meer reduntatie, dubbele gigabit uplink voor elk rack
Mocht alles goed uitpakken en perfect werken is dit wel de infrastructuur waar je 10 jaar mee kan doen (10 gigabit transit/peerings/exchanges heb je niet zo snel vol).

Het zal een hels karwei worden om dit in te bouwen met zo min mogelijk downtime, succes Trueserver

[Voor 1% gewijzigd door JSS op 19-01-2005 14:57]

[neographikal]

Wat trouwens wel apart is, op de site van force10 worden de E600's / E1200's feitelijk alleen gebruikt om te switchen:



en



en



het wordt wel genoemd:

BGP4
1771 BGP v4
1772 Application of BGP4 in the Internet
1997 BGP Communities Attribute
1998 Application of BGP Community Attribute
2385 TCP MD5
2439 BGP Route Flap Dampening
2519 Route Aggregation
2796 BGP Route Reflection
2842 Capabilities advertisement with BGP4
2858 Multi-protocol Extensions for BGP4 (MBGP)
2918 Route Refresh
3065 Autonomous System Confederations for BGP ietf-draft Graceful BGP restart

Ik vraag me af waarom Force10 ze zelf ook niet als routers aanraadt. (ik heb overigens mijn bedenkingen bij het gebruiken van switches als routers, maar dat komt omdat ik een tijd achter een Bigiron 8000 stond die stond te routen, en dat niet al te best deed. Force10 zal niet te vergelijken zijn neem ik aan.)

True lijkt overigens geheel op de nieuwe apparatuur te draaien:

code:

root@familie-vandegeijn:~# traceroute www.tweakers.net
traceroute to www.tweakers.net (213.239.154.35), 30 hops max, 38 byte packets
 1  ge-4-2.asd1.ams2.NL.iqarus.net (83.98.147.1)  0.787 ms  0.345 ms  0.453 ms
 2  ge-0-0-0.core1.ams1.linkup.nl (213.247.32.113)  1.851 ms  1.921 ms  1.455 ms
 3  10ge6-3.e600-1.ams5.trueserver.nl (195.69.144.163)  11.754 ms  15.235 ms  2.416 ms
 4  10ge6-0.e600-2.ams5.trueserver.nl (213.239.137.246)  2.868 ms  13.327 ms  2.289 ms
 5  tweakers.net (213.239.154.35)  1.737 ms  1.349 ms  2.087 ms

edit: Hmm, ergens helemaal achterin de site kwam ik toch nog een stukje van ze erover tegen:

Next Generation POPs based on the E-Series

After ISPs have implemented POPs similar to the one shown in Figure 3, the next logical step in the migration to an Ethernet-centric network architecture would be to further simplify the POP. For example, by exploiting the 10 GbE optimization and Layer 3 routing functionality of the E-Series switch/router, it would be possible to collapse the core and aggregation tiers of the POP into a single tier as shown in Figure 4. The POP is simplified through reduction of the number of devices required and the elimination of the need to manage and configure the separate Layer 2 functionality of an aggregation tier. Furthermore, if the Ethernet uplinks from the access tier routers are over-provisioned (i.e., are under-subscribed), the possibility of congestion (and the need to configure QoS policies) will be eliminated for this tier. This would allow the ISP to administer its QoS and traffic control policies entirely on the E-Series devices in the core/aggregation tier. In addition to simplicity, this approach has the advantage of applying polices where they will have absolutely no impact on the forwarding capacity of the POP.

Dit stond onder de specs van de E600/E1200 op pagina 11 (van de 12!) Ze maken er niet echt een sterk praatje van, gezien de "it would be possible". Als het een vaak gebruikte opstelling of een aan te bevelen opstelling zou zijn had ik een "it's recommended" of iets dergelijk verwacht. Niet ergens achteraan de verdiepingsdocs...

Nou ja, de toekomst zal het uitwijzen of het verstandig is

[Voor 54% gewijzigd door neographikal op 03-02-2005 07:46]