Meerdere Internet verbindigen gebruiken.

[PeterPan]

Momenteel hebben wij een zeer dure “leased line” 2Mbit synchrone verbinding t.b.v. Internet. Ondanks een strak SLA en 24/7 monitoring ligt deze verbinding er toch een paar keer per jaar voor een paar uur tot bijna een werkdag uit (meestal buiten de schuld van de provider zelf).
Mijn idee is om deze dure verbinding te vervangen door twee verbindingen via glasvezel (de huidige provider kan geen glasvezel leveren in onze regio). Eén van KPN en één van een lokale provider, Zeelandnet, met een geheel eigen netwerk. Qua maand kosten kom ik dan ongeveer gelijk uit en ik heb direct groeimogelijkheden tot 50Mbit per verbinding.

Het gaat om een kleine zakelijke omgeving (zo’n 200 werkplekken) met een (1) eigen mailserver en momenteel twee inkomende diensten over SSL (Outlook Web Access en Citrix via een Citrix Access Gateway).
Het uitgaande verkeer gaat voornamelijk via een HTTP/HTTPS proxy maar ook uitgaande email, FTP en wat exotischere protocollen zoals een BlackBerry Enterprise Server. Onze website gaan we uitbesteden naar een externe provider en valt buiten het verhaal. De huidige provider doet onze DNS op hun servers en draaien ook een SMTP fallback server.

Hoe kan ik dit opzetten? Uitgaande verbindingen moet ik denk ik vast routeren over de twee verbindingen (b.v. mail via verbinding 1 en http/https via verbinding 2) en bij problemen met de hand omzetten.
Inkomende redundantie voor email kan denk ik via MX records en round robin DNS voor de andere diensten met eventuele ook nog directe A records naar de aparte verbindingen.
Zoiets als:

webmail.domain.com ip1, ip2
webmail1.domain.com ip1
webmail2.domain.com ip2

Het nadeel is natuurlijk dat dit niet erg transparant is. Mooier is om een load balancer te gebruiken die speciaal voor dit doel zijn gemaakt. Ik heb producten gevonden van Peplink en Alvaco. Deze monitoren de lijnen en draaien hun eigen DNS met een zeer korte TTL. Valt een verbinding weg dan wordt de DNS direct aangepast. Ook kun je uitzonderingen maken zodat b.v. SSL altijd over dezelfde lijn gaat per sessie (i.v.m. online banking enz.). Het nadeel van zowel Peplink als Alvaco is dat ze of niet in Nederland leverbaar zijn (Alvaco), of geen support contracten kennen (Peplink, alleen standaard hardware garantie).

Heeft iemand zoiets wel eens opgezet? Traditioneel of met speciale load balancers?
Wat zijn de problemen / uitzonderingen waar je rekening mee moet houden en zijn er protocollen die misschien helemaal niet op deze manier willen werken?
Kent iemand nog een type/merk load balancer voor dit doel dat wel goed leverbaar en gesupport is in Nederland?

[Vicarious]

Volgens mij kun je gewoon een dual wan router kopen. Deze kan in de meeste gevallen niet echt loadbalancen (is duur), en je wilt dat ook niet altijd. Stel je voor dat het ene mailtje via het ene IP naar buiten gaat, en het andere via het andere IP. Hoe zit dat dan met Reverse DNS?

Mij lijkt het verstandigst om een dual-wan router te nemen, een goede internetverbinding te nemen, en een goedkopere, lagere bandbreedte verbinding puur als backup te gebruiken. De router kan dan zelf omschakelen als je primaire internetverbinding eruit ligt.

[mbaltus]

Round Robin DNS werkt goed voor load distribution (load balancing), maar niet echt als oplossing voor fail-over. Bij uitval van één van de lijnen, wordt het betreffende IP nog steeds uitgegeven bij een DNS verzoek en krijgen gebruikers dus alsnog (in een deel van de gevallen) het niet werkende IP om de oren.

Volgens mij vang je dat (in deze situatie) alleen maar af met een procedure voor de gebruikers: werkt adres 1 niet, dan adres 2 gebruiken.

Voor mail (MX) is het natuurlijk geen probleem.

[PeterPan]

Reverse DNS lijkt me geen probleem. Ik heb immers ook twee MX records naar twee verschillende IP addressen nodig. Tussen de mailserver en de router zit NAT.
Het mag overigens best wat kosten. Als we voor een oplossing met extra hardware gaan (b.v. de speciale load balancers) dan mag dat best 2000~4000 Euro in aanschaf kosten en 20% daarvan per jaar voor hardware support. Ik wil sowieso zoveel mogelijk de apparaten in de keten dubbel uitvoeren, hetzij in standby, hetzij een 2e apparaat op de plank.

[Predator]

Je kan vrij veel doen via policy routing om load (lees specifieke traffic) te spreiden over beide verbindingen. Je kan bv zonder probleem je uitgaande mail over 1 verbinding laten gaan, en de surf traffic over de andere. Zelfs het overschakelen kan je in veel gevallen automatiseren (maar dat is wel vrij ingewikkeld, door bv IP SLA e.d.).

Mail is inderdaad ook geen probleem gewoon een MX record zetten in de IP ranges van beide verbindingen.

Je zit echter wel in de shit voor dingen zoals inkomende HTTP (OWA / webserver / OMA...).
Round robin DNS is geen echte oplossing. De helft van je clients krijgen gewoon een timeout.
Een loadbalancer gaat ook niet meteen daar veel aan veranderen, of die moet je ergens anders hosten.
Dat is wel geen probleem als je backup verbinding bij dezelfde provider zit, die kan je externe adressen herrouteren. Met 2 verschillende providers heb je dat probleem wel, maar dan heb je natuurlijk geen afhankelijk van die éne provider.

[CaPuT]

Je zou een firewall kunnen neerzetten (bv juniper) die een failover config heeft (dual untrust)
Je gebruikt dan 1x glas als primaire lijn en de 2e glas wordt alleen actief wanneer je primaire lijn weg is.

Verder zou ik 2 MX records instellen, 1tje naar je primaire lijn, 2e naar je secundaire lijn.
Het 2e mx record is onbereikbaar totdat je primaire lijn down gaat.

Je webmail etc kan je evt een 2e IN A voor aanmaken (webmailbackup.dom.tld bv) maar je kan het ook altijd nog gooien op "tsja, er is een storing"

Wanneer je dat allemaal te lastig vindt etc, zou je bv is kunnen kijken naar een oplossing zoals Ethernet met backup. Dit is dan Ethernet over koper of glas met een backup verbinding erbij. Wanneer het koper of glas wegvalt, gaat de verbinding automatisch door over bv dsl.
Ik heb dit een paar keer in de praktijk gezien bij klanten en het werkt zeer netjes. de IP adressen worden gekoppeld aan de glas en dsl interface, zodat je je ip adressen altijd houd, dus eigenlijk altijd bereikbaar bent. (tenzij ze alles om je gebouw afgraven natuurlijk )
Een partij die dit aanbied is bijvoorbeeld backupverbinding.nl (ik weet niet of die link mag? if not kan weggeedit worden)

[PeterPan]

Een oplossing via andere providers zie ik niet zo omdat niemand hier glas kan leveren m.u.v. KPN (maar die leveren de glas aansluiting nog niet door aan derde partijen) en de lokale partij, Zeelandnet.
Met koper zit je aan de 2/2.3Mbit vast tenzij je verbindingen gaat stapelen.

Even wat anders. Stel dat ik ~12 jaar geleden zo slim ben geweest om een C class IP range te laten registreren maar die tot nu toe nog nooit heb gebruikt op Internet. Kan ik die dan hiervoor gebruiken en deze door beide providers 'naar mij toe' laten routeren?
In dat geval ben ik natuurlijk van alle dubbele IP's en DNS problemen af.
Of moeten de providers hier allerlei spannende dingen voor doen? Dat zie ik namelijk niet gebeuren aangezien het om KMB achtige aansluitingen gaat met een aantal standaard opties.

[CaPuT]

Ethernet over koper gaat tot 20mb/s. Het is een SDSL techniek maar met een andere modulatie.
Tele2 kan het door bijna het hele land leveren en Easynet levert het ook.

Wanneer KPN en Zeelandnet daar kunnen leveren, kan iedereen dat, hangt er net vanaf hoever de put ligt.

Klopt het dat je je C klasse aan je leased lijn gehangen hebt ? Wanneer je je C klasse bij je leased lijn hebt aangevraagd, kan het zijn dat je deze niet mee krijgt.
Of de 2 isp's je C klasse kunnen routeren naar jou, weet ik niet zeker, maar ik denk het niet eerlijk gezegd.

[PeterPan]

KPN moet nog gaan graven en houd het glas voorlopig exclusief voor zichzelf. Zeelandnet heeft echt een eigen glas netwerk netwerk liggen tot aan de deur en is volledig onafhankelijk van KPN. Maar ik zal ook eens navraag doen bij Tele2 en Easynet om te kijken hoe de situatie nu is.

Die C classe staat op onze naam en heb ik indertijd aangevraagd, lang voor we een Internet aansluiting hadden. We gebruiken deze momenteel nog steeds intern. Van onze huidige provider hebben we gewoon een blok van 8 adressen gekregen.

[Predator]

PeterPan schreef op dinsdag 09 september 2008 @ 16:14:
Even wat anders. Stel dat ik ~12 jaar geleden zo slim ben geweest om een C class IP range te laten registreren maar die tot nu toe nog nooit heb gebruikt op Internet. Kan ik die dan hiervoor gebruiken en deze door beide providers 'naar mij toe' laten routeren?
In dat geval ben ik natuurlijk van alle dubbele IP's en DNS problemen af.
Of moeten de providers hier allerlei spannende dingen voor doen? Dat zie ik namelijk niet gebeuren aangezien het om KMB achtige aansluitingen gaat met een aantal standaard opties.

Is dat een PI (provider indipendent) range ?
Check je IP range op ripe: www.ripe.net
Kijk naar de status.
Een assigned PI kan je wel gebruiken in dit geval. Een assigned PA is waardeloos. Die hangt vast aan je provider. Normaal zijn publieke IP ranges altijd assigned PA.

Mocht je toch een assigned PI range hebben, dan zou dat ideaal zijn.
Technisch is dat ook geen probleem. Jouw routers moeten BGP gaan draaien, en beide providers moeten jouw route aanvaarden en adverteren. Je moet wel even uitkijken voor de preference natuurlijk.

Maar in de praktijk is dat een andere zaak. Dat gaan ze nooit doen voor jou
Geen van beide. Dat is hoogstwaarschijnlijk zelf geen 'accepted customer solution'

[ Voor 3% gewijzigd door Predator op 09-09-2008 17:06 ]

[Cave_Boy]

Wat ook goed gaat werken is IPcop kost je een pc maar werkt leuk. Nadeel is wel dat je er enigsins in moet verdiepen. Maar dat is hetzelfde als met de andere routers..

[PeterPan]

Het gaat om 195.109.48.0. Als ik het goed lees op RIPE is het een assigned PA. Maar wel via Zeelandnet waar de aanvraag indertijd via is gedaan en 1 van de 2 providers waar we weer gebruik van willen gaan maken. Ik zal dat ook eens bij hun voorleggen.

[Predator]

PeterPan schreef op dinsdag 09 september 2008 @ 17:12:
Het gaat om 195.109.48.0. Als ik het goed lees op RIPE is het een assigned PA. Maar wel via Zeelandnet waar de aanvraag indertijd via is gedaan en 1 van de 2 providers waar we weer gebruik van willen gaan maken. Ik zal dat ook eens bij hun voorleggen.

Helaas dus, wellicht nog bruikbaar bij Zeelandnet, maar nergens anders.
Zij adveren immers dat superblock via BGP.

Dus dat is voor jou geen oplossing, en een PI subnet ga je nooit krijgen.

[TrailBlazer]

tegenwoordig worden /24 wel in de internet BGP tabellen toegestaan alleen dan zouden inderdaad beide providers het moeten gaan adverteren.
Echter dualhoming is niet de meest eenvoudige configuratie die er is. In het ideale geval leer je namelijk op je routers de volledige BGP tabellen van beide providers in. Op dit moment zijn het 260000 prefixes. Je hebt echt een ruige router nodig om dit aan te kunnen.
Dualhoming met 2 providers is gewoon niet heel erg handig als je zelf niet de kennis hebt om dit goed te configureren. Ik zou dan eerder voor een volledig managed oplossing gaan bij 1 provider waarbij ze beide internet links leveren. Zij zijn dan ook in staat om 2 volledig gescheiden verbindingen op te leveren.
Als je van 2 providers gebruik maakt kan je nooit zeker weten dat ze niet toevallig door dezelfde sleuf in de grond lopen. Komt er dan een boer met zijn trekker langs ben je nog weg met je dubbele link.

[Gomez12]

TrailBlazer schreef op dinsdag 09 september 2008 @ 20:45:
Als je van 2 providers gebruik maakt kan je nooit zeker weten dat ze niet toevallig door dezelfde sleuf in de grond lopen. Komt er dan een boer met zijn trekker langs ben je nog weg met je dubbele link.

Let er wel op dat je hier wel speciaal naar moet vragen... Gemiddelde telefoonmiep is best bereid om je meerdere lijnen te verkopen ook al liggen ze 100% naast elkaar...

Telefoonmiep kan hier waarschijnlijk ook geen antwoord op geven...

Op zich moet je zowieso al een redelijk pand hebben wil je echt in 2 sleuven terechtkomen.

Als ik jou was zou ik nog even goed navragen wat het budget is, want ik vermoed dat je hier ruim overheen gaat als je 100% zeker 2 lijnen wilt hebben inclusief failover etc.

[CyBeR]

Predator schreef op dinsdag 09 september 2008 @ 20:31:
[...]

Helaas dus, wellicht nog bruikbaar bij Zeelandnet, maar nergens anders.
Zij adveren immers dat superblock via BGP.

Dat is het mooie: dat kan dus prima. Hoewel Zeelandnet ws. niet blij wordt als je dat zomaar gaat doen, dus doe dat wel in overleg.

Dus dat is voor jou geen oplossing, en een PI subnet ga je nooit krijgen.

Tuurlijk wel. Als je multihoming wilt doen met BGP via meerdere ISPs is PI space verdomd handig en absoluut een reden om 't toegewezen te krijgen. En 't minimum daarvoor is een /24.

Overigens is 't inderdaad zo dat je moet zorgen dat je geen full routing gaat doen, tenzij je een beefy apparaat hebt om te routen. Waarschijnlijk is het handigst als je beide ISPs hun prefixes door laat sturen plus een default route, en dan zelf een primaire daar uit kiezen dmv BGP local prefs.

[ Voor 18% gewijzigd door CyBeR op 09-09-2008 21:06 ]

[Gomez12]

CyBeR schreef op dinsdag 09 september 2008 @ 21:04:
[...]
Dat is het mooie: dat kan dus prima. Hoewel Zeelandnet ws. niet blij wordt als je dat zomaar gaat doen, dus doe dat wel in overleg.

Om de een of andere reden gok ik dat KPN dit ook niet gaat doen zonder vergoeding, dus reken maar op extra kosten...

[...]
Tuurlijk wel. Als je multihoming wilt doen met BGP via meerdere ISPs is PI space verdomd handig en absoluut een reden om 't toegewezen te krijgen. En 't minimum daarvoor is een /24.

MKB bedrijfje met 200 medewerkers en de huidige IPV4 schaarste... Moet je afaik toch wel een iets betere reden opgeven dan redundancy.
Afaik is PI-space nog steeds te krijgen, maar niet meer zomaar... Je moet er een goede reden voor hebben...

[Workaholic]

Ik heb niet alles gelezen, maar hierbij onze situatie:

- Glasvezel via Essent (100mbit up/down)
- SDSL Leased line

Via een opensource firewall (PFSENSE) heb ik hier een dual Wan configuratie draaien. Ik heb hier twee dell machines als cluster voor in gericht en had dit alles online binnen een dag.

Dure firewalls inclusief eventuele licenties zijn hiervoor niet nodig!! Dus, als 1 WAN verbinding er uit ligt pakt de pfsense automatisch de failover.. je kunt ze ook load balancen (50/50%)

Wat jouw diensten betreft en de beschikbaarheid daarvan, dat kan je op meerdere manieren opvangen met deze firewall oplossing.

Wij hebben momenteel een IP block voor ons zelf gereserveerd en gelinkt aan onze firewalls.
Met behulp van NAT kunnen wij deze dan weer doorlinken naar onze services/servers.

Indien je voldoende ip's hebt in een blok kun je deze ook direct doorlinken aan de servers via 1:1 NAT. Als je de firewalls dan koppelt aan beide WAN verbindingen zit je veilig..

Verdiep je is in pfsense, het is gratis en absoluut het proberen waard! Je zou het in een test omgeving kunnen installeren en 2 WAN verbindingen kunnen " faken" om het te testen.

Ik heb de pfsense zelfs thuis draaien omdat ik het zat was om zonder internet te zitten als ziggo er weer is uit lag. Dus een simpele ADSL lijn erbij en de pfsense re-route het verkeer via de adsl als het nodig is. Ik merk hier niets van . Je kunt zelfs load balancen tussen de twee lijnen als je dat zou willen en dit alles op low end machine (oude power edge bijvoorbeeld?)

Thuis heb ik het op een GX260 draaien, op het kantoor hebben we twee goedkope poweredges (met redundant psu) in cluster draaien .

Er zijn veel internet cafe's die de PFSENSE oplossing gebruiken, 1 internet lijn voor gebruikers die het web surfen, youtube streams bekijken..en de andere lijn voor gaming only. Je kunt er dus zelfs QoS op draaien..je zou dus bepaalde services op een andere lijn binnen kunnen laten komen.

Dit alles zonder dure routers,firewalls of noem maar op Als je perse support wil, zijn er ook bedrijven die pfsense versies leveren inclusief support.

Eventueel zijn er ook opties om je servers extern te hosten bij een derde partij..zij kunnen dan zorgen voor voldoende redundancy en meerdere internet backbones..

Een datacenter heeft voor kleine ondernemingen vaak toch een groter voordeel.

Denk hierbij aan redundant internet uplinks, meerdere backbones..server security (fysiek), flexibiliteit om snel je uplink te upgraden etc etc. Als laatse.. vergeet de eenmalig setup kosten voor de aanleg van een glas verbinding.

[ Voor 30% gewijzigd door Workaholic op 09-09-2008 21:56 ]

[CyBeR]

Gomez12 schreef op dinsdag 09 september 2008 @ 21:26:
[...]


MKB bedrijfje met 200 medewerkers en de huidige IPV4 schaarste... Moet je afaik toch wel een iets betere reden opgeven dan redundancy.
Afaik is PI-space nog steeds te krijgen, maar niet meer zomaar... Je moet er een goede reden voor hebben...

Hoewel RIPE te boek staat als een stel bureaucraten dat nooit iets toestaat ga je dit echt wel bij ze voor elkaar krijgen hoor, zonder al te veel moeite. Gewoon netjes de formulieren invullen zoals dat hoort en je hebt zo je eigen ASN + address space.

Het is wel zo dat ze liever geen PI space uitgeven, dus als 't zonder kan dan zullen ze je dat absoluut vertellen.

[ Voor 20% gewijzigd door CyBeR op 09-09-2008 21:39 ]

[Predator]

CyBeR schreef op dinsdag 09 september 2008 @ 21:04:
[...]


Dat is het mooie: dat kan dus prima. Hoewel Zeelandnet ws. niet blij wordt als je dat zomaar gaat doen, dus doe dat wel in overleg.

Ik bedoel ook niet dat het niet zou gaan, maar dat ze dat nooit gaan doen voor hen.

CyBeR schreef op dinsdag 09 september 2008 @ 21:38:
[...]


Hoewel RIPE te boek staat als een stel bureaucraten dat nooit iets toestaat ga je dit echt wel bij ze voor elkaar krijgen hoor, zonder al te veel moeite. Gewoon netjes de formulieren invullen zoals dat hoort en je hebt zo je eigen ASN + address space.

Het is wel zo dat ze liever geen PI space uitgeven, dus als 't zonder kan dan zullen ze je dat absoluut vertellen.

Tsja, ik heb een tijd geleden willen doen, maar de lijst van eisen was vrij hoog. Tenzij als dat nu al versoepeld is ? Maar dat lijkt me niet. Heb je dat zelf al voor elkaar gekregen dan ?
_{en dan niet voor een multinational of een operator of internethoster natuurlijk ...}

Ik heb zelfs voor een gewone PA ip range al een rechtvaardiging moeten geven ...

[ Voor 57% gewijzigd door Predator op 10-09-2008 10:15 ]

[TrailBlazer]

offtopic:
Ik geloof dat wij 30 /16 PI ranges hebben en dan zijn we niet eens een ISP.

[Predator]

TrailBlazer schreef op woensdag 10 september 2008 @ 10:16:

offtopic:
Ik geloof dat wij 30 /16 PI ranges hebben en dan zijn we niet eens een ISP.

Wat zijn jullie dan wel ?

[TrailBlazer]

heeeel erg grote multinational uit de top 10 van grootste bedrijven ter wereld. Waarschijnlijk waren ze er erg vroeg bij met het registreren.

[ Voor 28% gewijzigd door TrailBlazer op 10-09-2008 10:23 ]

[Predator]

TrailBlazer schreef op woensdag 10 september 2008 @ 10:23:
heeeel erg grote multinational uit de top 10 van grootste bedrijven ter wereld. Waarschijnlijk waren ze er erg vroeg bij met het registreren.

Dat is dan inderdaad wat anders, zoals ik al zei

[Bl@ckbird]

Netwerk verkeer van binnen naar buiten is geen probleem. Dan heb je een Dual-WAN router/firewall nodig. Bijvoorbeeld een Cisco ASA5505-SEC-BUN-K9 of ASA5510-SEC-BUN-K9 of andere fabrikanten / open source alternatief.

De feature die bij de ASA gebruikt wordt heet "Static Route Tracking" of "Dual ISP"
Je geeft hierbij twee IP adressen op. (Meestal de DNS server van de ISP.)
De ASA pingt naar deze adressen. Wanneer de primaire verbinding weg valt, schakelt de ASA de WAN link om naar de secundaire link. Configuratie kan je hier vinden.

Een andere methode is om dit met een router te doen.
Bijvoorbeeld een met een CISCO1841-SEC/K9 met een HWIC-4ESW kaartje voor extra ethernet interfaces. (Router met Advanced Security IOS.)
Bij Cisco routers heet deze "Dual ISP" feature van de ASA "(Enhanced) Object Tracking"
Configuratie kan je hier vinden.

Andere, meer elegantere, manieren zijn Policy Based Routing (PBR) of Cisco Performance Routing. (PfR)
Bij Policy Based Routing geef je per netwerkverkeer type aan, over welke WAN link dit moet lopen.

Bij Cisco Performance Routing neem je parameters van de WAN link mee, zoals bereikbaarheid, delay, jitter, en de MOS waarde tbv. VoIP. Performance Routing is een extensie op Cisco Optimized Edge Routing. (OER) Je hebt dan een CISCO1841-HSEC/K9 nodig.(Router met Advanced IP Services IOS.)
http://www.cisco.com/go/pfr
http://www.cisco.com/go/oer

Een eenvoudige configuratie staat onderaan in de PfR Q&A.

PfR is een extensie op OER routing.
Configuratie kan je hier vinden.


Voor verkeer van buiten naar is het lastiger, omdat je verschillende ISP's hebt met verschillende IP ranges. Zoals anderen al aangeven kan je wat doen is met de MX record spelen, maar dit is alleen een oplossing voor de mail.

Voor Multihoming BGP heb je de support van je ISP's nodig.
Een andere oplossing kan Dynamic Multipoint VPN kunnen zijn. ( DMVPN )

Lokaal en in een datacenter zet je een Cisco security router neer. Tussen deze twee router bouw je een DMVPN. (één tunnel over elke WAN link)
Voor DMVPN wordt standaard IPSec gebruikt. Voor de routering tussen de tunnels gebruikt Cisco EIGRP. Door aan deze parameters te sleutelen, kun je verkeer over beide tunnels load balancen.

Als je ook de routers redundant wil uitvoeren, heb je 4 routers nodig.
Met GLBP creëer je dan op beide locaties een virtueel IP adres.

Als je twee lijnen van 50Mbps wil vullen, moet je denken
aan een 2801-HSEC of een 2811-HSEC.