Zin en onzin van het nieuwe Trueserver netwerk

[Stewie!]

Zoals velen waarschijnlijk weten heeft het netwerk van Trueserver de afgelopen maand meerdere downtimes gekend, nu is dit hun oplossing om downtime in het vervolg te voorkomen:

Op 1 februari gaat TrueServer van start om het hele netwerk in Amsterdam te vervangen door de apparatuur van Force10 Networks. Deze leverancier van Next Generation netwerk apparatuur is de expert op het gebied van Terabit routing en switching, eenvoudig gezegd: routering van de verkeershoeveelheden van de toekomst. Naast TrueServer maakt bijvoorbeeld de UvA gebruik van deze apparatuur ten behoeve van hun ontwikkelingen rond snelheidrecords en schakelen onder andere Yahoo en Google over op Force10 voor hun connectiviteit.

In de nieuwe netwerk configuratie praten we niet over verdubbeling van capaciteit ten opzichte van ons huidig netwerk maar over een veel hogere verbeteringsfactor. We doen wat in onze optiek nodig is om een gedegen en toekomstvast platform aan onze klanten te bieden.

De aansluitingen naar het Nederlandse Internet knooppunt (Ams-IX) worden uitgebreid met factor 10, van twee maal 1 Gigabit naar twee maal 10 Gigabit. Het interne netwerk wat momenteel bestaat uit een Gigabit ring tussen de datacentra en Gigabit links tussen de routers en core-switches zal opgewaardeerd worden naar een aantal verbindingen met een totale capaciteit van 40 Gigabit.

Iedere locatie zal uitgerust worden met twee Force10 Networks E600 core switching routers. De E600's zullen een dubbele directe verbindingen krijgen met de racks in de datacentra en met de rest van het internet zodat een snelle verbinding en optimale beschikbaarheid gewaarborgd wordt. Vanaf dat moment kunnen alle racks worden voorzien van een redundante Gigabit ethernet uplink.

Een opsomming van enkele specificaties van het nieuwe netwerk:
- Totale backplane capaciteit van 3.6 Terabit;
- Intern netwerk capaciteit van 40 Gigabit;
- 50 Gigabit externe netwerk capaciteit (peering en transit);
- 720 Gigabit poorten ten behoeve van redundante aansluiting racks;
- 192 Gigabit poorten ten behoeve van aansluiting transits en private peerings;
- 16 keer 10 Gigabit poorten ten behoeve van Ams-IX koppeling en het interne netwerk

Schematische weergave van het komende netwerk (layout kapotmaken maar zo wel helder te zien):


Meer informatie over de gebruikte Force10 Networks hardware:
- http://www.force10networks.com/products/
- http://www.force10networks.com/products/reports.asp

Wij vertrouwen erop dat wij met het nemen van deze stappen voor u het platform creëren waarop uw internet activiteiten ook in de toekomst optimaal kunnen plaatsvinden. Aan bottlenecks op ons netwerk zal het in ieder geval niet liggen!

Maar bij dit verhaal worden vraagtekens gesteld:
- De Force10 Networks E600 core switching routers schijnen nog redelijk experimenteel danwel onbekend te zijn, ze zijn dus goedkoop aan te schaffen maar bieden ze ook de stabiliteit van bijvoorbeeld de Juniper 640? Verstandig?
- 40 GB verbindingen tussen de E600's echt nodig of meer marketing praat? Net als de dubbele 10 GB uplinks naar de AMS-IX. Hoeveel verkeer wordt werkelijk vebruikt? Nog lang geen 1000 mbit.
- "Het interne netwerk wat momenteel bestaat uit een Gigabit ring tussen de datacentra" - die ring werkte niet danwel was er niet, bij de laatste kabelbreuk zou het netwerk anders gewoon online zijn gebleven. Krijgt de nieuwe infrastructuur wel een echte ring?
- na de laatste downtime kwamen ze vrij snel met dit bericht? Waren er al langer plannen voor dit netwerk of is dit zo binnen 10 dagen besloten?

Positief:
- capaciteit uitbreiding, meer reduntatie, dubbele gigabit uplink voor elk rack
Mocht alles goed uitpakken en perfect werken is dit wel de infrastructuur waar je 10 jaar mee kan doen (10 gigabit transit/peerings/exchanges heb je niet zo snel vol).

Het zal een hels karwei worden om dit in te bouwen met zo min mogelijk downtime, succes Trueserver

[Voor 1% gewijzigd door JSS op 19-01-2005 14:57]

[EricV]

DaMorpheus schreef op woensdag 19 januari 2005 @ 01:29:
- De Force10 Networks E600 core switching routers schijnen nog redelijk experimenteel danwel onbekend te zijn, ze zijn dus goedkoop aan te schaffen maar bieden ze ook de stabiliteit van bijvoorbeeld de Juniper 640? Verstandig?

Deze switches worden in Europa nog niet veel gebruikt, maar zijn nu al operationeel bij oa Google en Yahoo! , wat toch niet de kleinste partijen zijn. Verder gebruikt de UvA deze switches ook al, en wetenschappelijke data is toch wel de zwaarste netwerk belasting die je kan hebben.

- 40 GB verbindingen tussen de E600's echt nodig of meer marketing praat? Net als de dubbele 10 GB uplinks naar de AMS-IX. Hoeveel verkeer wordt werkelijk vebruikt? Nog lang geen 1000 mbit.

Niet alle transits en peerings zijn aanwezig op elke colo. Zo is er geen AMS-IX op RedBus wat ook via de ring moet, dus die capaciteit is wel nodig. Daarnaast heb je een zekere veiligheidsmarge nodig bij calamiteiten (DoS, storingen etc).

- "Het interne netwerk wat momenteel bestaat uit een Gigabit ring tussen de datacentra" - die ring werkte niet danwel was er niet, bij de laatste kabelbreuk zou het netwerk anders gewoon online zijn gebleven. Krijgt de nieuwe infrastructuur wel een echte ring?

Een ring betekend niet per sé een fysieke ring, maar op zijn minst 2 fibre's waarover de data in verschillende richting wordt gestuurd. Als dan een bundel met fibre's wordt doorgesneden waar allebij je fibre's inliggen is je ring alsnog stuk.

- na de laatste downtime kwamen ze vrij snel met dit bericht? Waren er al langer plannen voor dit netwerk of is dit zo binnen 10 dagen besloten?

Deze waren al langer gepland. Zo zijn er steeds problemen met switches van Extreme Netwerks (oa ook bij ProServe) en was een uitbreiding van de AMS-IX capaciteit nodig.

[neographikal]

eric veraart schreef op woensdag 19 januari 2005 @ 02:28:
Niet alle transits en peerings zijn aanwezig op elke colo. Zo is er geen AMS-IX op RedBus wat ook via de ring moet, dus die capaciteit is wel nodig. Daarnaast heb je een zekere veiligheidsmarge nodig bij calamiteiten (DoS, storingen etc).
.

Een tijdje terug toen de stats van True nog online waren deden ze niet veel meer dan een 1gbit totaal. Zelfs al zijn ze gegroeid, ik zie ze qua verkeer XS4All nog niet voorbij gaan en zelfs zij hebben geen dubbele 10gbit nodig op de ams-ix en zulke gigantische links tussen de routers. Ze hadden 2,5gbitters liggen tussen SARA, DC2 en TC2, die gaan nu naar 10gbit each afaik. XS4All heeft 4x 1gbit naar de AMS-IX liggen, met 165.000 adsl klanten en een colo waar je ook U tegen zegt. En zelfs dat is overkill.

Mooie plannen, en de apparatuur zal goed zijn, maar het is ook een marketing praatje imo.

[Voor 9% gewijzigd door neographikal op 19-01-2005 14:01]

[JSS]

Ten behoeve van de lay-out in andere templates heb ik de grootte van je plaat even aangepast

[EricV]

neographikal schreef op woensdag 19 januari 2005 @ 13:51:Een tijdje terug toen de stats van True nog online waren deden ze niet veel meer dan een 1gbit totaal. Zelfs al zijn ze gegroeid, ik zie ze qua verkeer XS4All nog niet voorbij gaan en zelfs zij hebben geen dubbele 10gbit nodig op de ams-ix en zulke gigantische links tussen de routers. Ze hadden 2,5gbitters liggen tussen SARA, DC2 en TC2, die gaan nu naar 10gbit each afaik. XS4All heeft 4x 1gbit naar de AMS-IX liggen, met 165.000 adsl klanten en een colo waar je ook U tegen zegt. En zelfs dat is overkill.

Ze verbruiken op dit moment 1.1GBit AMS-IX verkeer, en daar komt in februari in ieder geval 1.4GBit bij. Als je dit redundant wil doen heb je dus als TrueServer 3x 1Gbit nodig op Telecity-II en 3x 1Gbit op Nikhef. 6x 1gbit kost bij de AMS-IX 7500 euro p/m en 2x 10gbit kost 6400 euro p/m.
Alleen de apparatuur is iets duurder, maar dat haal je er in 3 jaar wel uit.

[Stewie!]

Vanwaar komt er in februari zoveel bij?

[jep]

Dat weet Eric blijkbaar en ik ook (want ik heb 't gemaakt), maar dat is niet iets dat bekend mag worden.

Ik ben er trouwens erg blij mee, het ziet er goed uit. Ik vond het wel nodig, maar het komt er nu dus eindelijk. Ik kan er lekker mee aan de slag.

[Voor 44% gewijzigd door jep op 20-01-2005 01:17]

[Stewie!]

Een grote klant binnengehaald of nieuwe peerings aangesloten? Andere redenen zijn daar toch niet zo 123 voor?
_{Overigens: je 3e ban op WHT.nl Jep? Vraag me af waarvoor dat budgetforum nog interessant zou zijn. Doe lekker serieus zaken en blijf er weg zoals alle verstandige ondernemers}

[jep]

Ik blijf er ook weg, en over 't verkeer hoor je 't later wel.

_{Die ban was onterecht, mcviruss was m'n collega op 't zelfde ip, account jep was niet bruikbaar. Boeit ook niet, niet mijn segment zegmaar.}

[MikeN]

Tja, ik heb er op WHT al wat over gezegd. Over AMS-IX verkeer wat erbij komt, misschien koopt True wel wat over of fuseren ze wel, je weet het niet

Ik vind het persoonlijk alleen een beetje gewaagd om met core switches te gaan routen (switching router == switch imho), maar misschien kan het spul van Force10 het wel goed, ik hoop het voor ze. De extra capaciteit staat wel leuk, hoef je je iig als klant daar geen zorgeno ver te maken.

DaMorpheus schreef op donderdag 20 januari 2005 @ 13:15:
_{Overigens: je 3e ban op WHT.nl Jep? Vraag me af waarvoor dat budgetforum nog interessant zou zijn. Doe lekker serieus zaken en blijf er weg zoals alle verstandige ondernemers}

_{Lol, moet jij zeggen}

[JSS]

Kunnen we WHT er buiten laten?

[Resistor]

Ik zat wat te kijken naar welke xDSL aanbieders er zijn, en ik zag http://www.truedsl.nl/ er ook opeens tussen staan.

Misschien dat dat er iets mee te maken heeft, een gigabit verbinding is zo vol, zeker als ze met een overboeking van ten hoogste 1:25 gaan werken.

[EricV]

jep schreef op donderdag 20 januari 2005 @ 01:16:
Dat weet Eric blijkbaar en ik ook (want ik heb 't gemaakt), maar dat is niet iets dat bekend mag worden.

Ik heb geen idee waar jij het over hebt

Resistor schreef op donderdag 20 januari 2005 @ 21:41:
Ik zat wat te kijken naar welke xDSL aanbieders er zijn, en ik zag http://www.truedsl.nl/ er ook opeens tussen staan.

TrueDSL bestaat even lang als TweakDSL en is ook gewoon onderdeel van Cambrium.

[zeroxcool]

Iemand al enig idee hoe de omgang verlopen is?

plan: Server- & netwerkstatusmeldingen

[Stewie!]

ZeRoXcOoL schreef op vrijdag 28 januari 2005 @ 10:08:
Iemand al enig idee hoe de omgang verlopen is?

plan: Server- & netwerkstatusmeldingen

Gisteren lag GoT er inderdaad even uit

[jep]

Kwam o.m door wat arp caching van die 3Com switch. Een klant van me had er ook even last van.

[zeroxcool]

Maar alle routers zijn vervangen door de nieuwe routers (*ahum* switches )?

[PolarBear]

Resistor schreef op donderdag 20 januari 2005 @ 21:41:
Misschien dat dat er iets mee te maken heeft, een gigabit verbinding is zo vol, zeker als ze met een overboeking van ten hoogste 1:25 gaan werken.

Dat valt echt verbazingwekkend mee hoor...

[Paul_]

Heeft de update van trueserver.nl ook met het 'down' zijn te maken van trueserver.nl sinds 01:15 vandaag (nu dus al langer dan 30 minuten)? Mijn eigen server is nu ook niet te bereiken maar tweakers.net en gathering.tweakers.net zijn wel gewoon te bereiken.

[Voor 3% gewijzigd door Paul_ op 01-02-2005 01:48]

[Coen Rosdorff]

Paul_ schreef op dinsdag 01 februari 2005 @ 01:48:
Heeft de update van trueserver.nl ook met het 'down' zijn te maken van trueserver.nl sinds 01:15 vandaag (nu dus al langer dan 30 minuten)? Mijn eigen server is nu ook niet te bereiken maar tweakers.net en gathering.tweakers.net zijn wel gewoon te bereiken.

Op fok stond dat het netwerk op Redbus vanavond overgezet is/wordt van de oude naar de nieuwe routers.

[neographikal]

Wat trouwens wel apart is, op de site van force10 worden de E600's / E1200's feitelijk alleen gebruikt om te switchen:



en



en



het wordt wel genoemd:

BGP4
1771 BGP v4
1772 Application of BGP4 in the Internet
1997 BGP Communities Attribute
1998 Application of BGP Community Attribute
2385 TCP MD5
2439 BGP Route Flap Dampening
2519 Route Aggregation
2796 BGP Route Reflection
2842 Capabilities advertisement with BGP4
2858 Multi-protocol Extensions for BGP4 (MBGP)
2918 Route Refresh
3065 Autonomous System Confederations for BGP ietf-draft Graceful BGP restart

Ik vraag me af waarom Force10 ze zelf ook niet als routers aanraadt. (ik heb overigens mijn bedenkingen bij het gebruiken van switches als routers, maar dat komt omdat ik een tijd achter een Bigiron 8000 stond die stond te routen, en dat niet al te best deed. Force10 zal niet te vergelijken zijn neem ik aan.)

True lijkt overigens geheel op de nieuwe apparatuur te draaien:

code:

root@familie-vandegeijn:~# traceroute www.tweakers.net
traceroute to www.tweakers.net (213.239.154.35), 30 hops max, 38 byte packets
 1  ge-4-2.asd1.ams2.NL.iqarus.net (83.98.147.1)  0.787 ms  0.345 ms  0.453 ms
 2  ge-0-0-0.core1.ams1.linkup.nl (213.247.32.113)  1.851 ms  1.921 ms  1.455 ms
 3  10ge6-3.e600-1.ams5.trueserver.nl (195.69.144.163)  11.754 ms  15.235 ms  2.416 ms
 4  10ge6-0.e600-2.ams5.trueserver.nl (213.239.137.246)  2.868 ms  13.327 ms  2.289 ms
 5  tweakers.net (213.239.154.35)  1.737 ms  1.349 ms  2.087 ms

edit: Hmm, ergens helemaal achterin de site kwam ik toch nog een stukje van ze erover tegen:

Next Generation POPs based on the E-Series

After ISPs have implemented POPs similar to the one shown in Figure 3, the next logical step in the migration to an Ethernet-centric network architecture would be to further simplify the POP. For example, by exploiting the 10 GbE optimization and Layer 3 routing functionality of the E-Series switch/router, it would be possible to collapse the core and aggregation tiers of the POP into a single tier as shown in Figure 4. The POP is simplified through reduction of the number of devices required and the elimination of the need to manage and configure the separate Layer 2 functionality of an aggregation tier. Furthermore, if the Ethernet uplinks from the access tier routers are over-provisioned (i.e., are under-subscribed), the possibility of congestion (and the need to configure QoS policies) will be eliminated for this tier. This would allow the ISP to administer its QoS and traffic control policies entirely on the E-Series devices in the core/aggregation tier. In addition to simplicity, this approach has the advantage of applying polices where they will have absolutely no impact on the forwarding capacity of the POP.

Dit stond onder de specs van de E600/E1200 op pagina 11 (van de 12!) Ze maken er niet echt een sterk praatje van, gezien de "it would be possible". Als het een vaak gebruikte opstelling of een aan te bevelen opstelling zou zijn had ik een "it's recommended" of iets dergelijk verwacht. Niet ergens achteraan de verdiepingsdocs...

Nou ja, de toekomst zal het uitwijzen of het verstandig is

[Voor 54% gewijzigd door neographikal op 03-02-2005 07:46]