Balanced FTP server?

[Verwijderd]

Voor mijn bedrijf ben ik op zoek naar een FTP-failover oplossing, voor de volgende opstelling.

Op dit moment hebben we op Site 1, voor FTP een extern adres, (FTP.company.com)
Op deze site een load-balancer met daarachter de 2 FTP servers

Site 2 moet een backupsite worden, voor wanneer Site 1 uit de lucht is (power-outage, netwerkproblemen, internet-issues), -
Zelfde Setup.. loadbalancer voor 2 FTP servers

- Intern zal de content worden gerepliceerd naar een derde server die verder afhandeling van data uitvoert

-----------------

Omdat honderden klanten het eerste adres al gebruiken om op de FTP server te komen op Site 1, is het bijna niet te doen om deze allemaal in te lichten over de toevoeging van een 2de FTP-adres.
We kunnen echter deze klanten niet verplichten om hun systemen aan te passen door 2 adressen te gebruiken. Daarnaast zijn het vaak geautomatiseerde systemen die de data versturen,
DNS wijzigingen bij een outage zou te lang duren


- Bestaan er diensten op internet die met een soort FTP forward doorlinkt naar een van de 2 IP adressen ?

De klant zou dan altijd verbinding maken naar het adres wat ze reeds gebruiken, alleen komt dit na een eenmalige DNS wijzging uit op die externe host. Hierop zou dan middels een script/service, de request geforward moeten worden naar de echte IP adressen van de (actieve of bereikbare) FTP-server (Externe load-balancing oid) DNS Failover?


Thanx

[ Voor 1% gewijzigd door Verwijderd op 26-02-2009 10:14 . Reden: typo ]

[Kippenijzer]

Al eens overwogen om gewoon BGP te gebruiken icm een active/passive oplossing (load-balancer als BalanceNG bijvoorbeeld doet prima zoiets en kan dus bij gehele uitval van 1 lokatie totaal transparant (na de BGP update dan, paar seconden, <30 iig) alles overnemen.

[Verwijderd]

Nog niet aan gedacht of naar gekeken moet ik zeggen.
Dat zou dus wel betekenen dat deze load-balancer op een externe site geplaatst moet worden, waar de BGP op 'geset' wordt?

Bijkomend nadeel wordt dan de single-point-of-failure, al kunnen we daar mee leven denk ik.

[liledevil]

Ik zit in eerste instantie aan 2 oplossingen te denken, hoewel ik niet denk dat dit meteen iets is, mogelijk kom je er verder mee:

1 RoundRobin DNS,
mogelijk niet helemaal een net failover scenario, maar eenvoudig op te zetten in de huidige situatie.

2 Microsoft Windows NLB(Network Load Balancing)
Een oplossing waar je met een virtueel netwerk adres werkt wat de netwerkload verdeelt en rekening houd met uitval van 1 van de systemen.

[Verwijderd]

RoundRobin hebben we uitgesloten vanwege de tekortkomingen, en de problemen die dit kan opleveren wanneer een server niet meer bereikbaar is.

NLB is een mogelijkheid, maar ook dit betekent weer een extern site inschakelen, met daarnaast de nodige hardware om stabiele VPNs te creeren naar beide sites.

Denk dat het niet te realiseren is zonder een externe site, die verkeer naar/voor beide kantoren regelt.

[jvanhambelgium]

> DNS wijzigingen bij een outage zou te lang duren


Helemaal niet waar, als je vanaag begint met het aanpassen van de TTL-velden!
Normaal staat die inderdaad te hoog (vb 86400 seconden = 24h) voor dit soort fratsen, maar als je de aanpassing doet doet naar enkele seconden...of op "0" voor "no-caching" kan je snel een aanpassingen maken die snel opgepikt worden...

Als klanten hun scripts ed werken met hardcoded IP's ben je eraan voor de moeite natuurlijk ;-) Maar natuurlijk hopen we dat iedereen netjes met FQDN werkt...


Gaat wel wat meer load geven op de DNS voor dat domein maar zal niet merkbaar zijn...


Andere mogelijkheden zijn natuurlijk dat de 2 loadbalancers op 2 sites dmv VRRP oid werken. Dan config je dat site1 effectief primary en de 2e passief en geen traffiek trekt.

[ Voor 12% gewijzigd door jvanhambelgium op 26-02-2009 12:13 ]

[Kabouterplop01]

Volgens mij was dat precies wat Kippenijzer bedoelde. VRRP welk updates in BGP injecteert. Zodra 1 of meerdere van de realservers uit de groep valt (Healthecheckfailure or w/e ) >>injectie >> failover.
Dat wil je volgens mij niet regelen met TTL etc. Volgens mij wil je dat met een stuk(s) hardware.

[Gomez12]

Kabouterplop01 schreef op donderdag 26 februari 2009 @ 22:29:
Volgens mij was dat precies wat Kippenijzer bedoelde. VRRP welk updates in BGP injecteert. Zodra 1 of meerdere van de realservers uit de groep valt (Healthecheckfailure or w/e ) >>injectie >> failover.
Dat wil je volgens mij niet regelen met TTL etc. Volgens mij wil je dat met een stuk(s) hardware.

Dat stukje hardware creert over het algemeen weer een SOF enkel is dit verplaatst. 9 vd 10 SOF oplossingen leggen het SOF enkel verderop naar een betrouwbaarder stukje hardware. Ze lossen het niet op.

Juist met DNS / TTL maak je gebruik van meerdere hardware ( namelijk de DNS-server die de klant hanteert, dus minimaal per provider verschillend ), alleen zit je nog met de vraag hoe goed leeft elke ISP de TTL's na?

Alle NameServers die ik tegenwoordig tegenkom accepteren een TTL van minimaal 1 uur, 0 sec TTL gok ik dat niet overal geaccepteerd wordt.

[Kabouterplop01]

Gomez12 schreef op vrijdag 27 februari 2009 @ 01:22:
[...]

Dat stukje hardware creert over het algemeen weer een SOF enkel is dit verplaatst. 9 vd 10 SOF oplossingen leggen het SOF enkel verderop naar een betrouwbaarder stukje hardware. Ze lossen het niet op.

niet helemaal eens: Dit kun je prima met de bestaande loadbalancers regelen (F5, Cisco Ace, Nortel Alteon, ...) en natuurlijk je routers/L3 switches.

En over TTL: Dat heeft gewoonweg niet mijn voorkeur. De TTL verlagen om een "workaround" te creeeren voor fault control/fault tolerancy vind ik zot; daar is DNS niet voor gemaakt.

maar wel eens dat je steeds je SPOF verlegt. Ik denk dat je daar gewoonweg niet aan ontkomt. Er is altijd wel iets (voor) te vinden. That's ICT i guess

[ Voor 26% gewijzigd door Kabouterplop01 op 27-02-2009 08:13 ]

[jvanhambelgium]

Het komt er allemaal op neer wat acceptabel is qua (eventuele) downtime, dan moet je gaan kijken hoeveel centen je te besteden heb en dan zijn er denkelijk nog zo'n 100 mogelijke oplossingen ;-)

DNS-voodoo kost je niets en kan al een héél pak soelaas brengen, maar je moet liefst wel wat controle hebben over je DNS-servers van het domein.
De meest voor de hand liggende oplossingen is "gewoon" 2 load-balancers op 2 sites die dmv VRRP of equivalent werken.
Het "virtuele IP" is het IP dat uiteindelijk in de DNS gaat belanden als zijnde "ftp.mycompany.com" en dat IP zou dus altijd "up" moeten zijn als de VRRP/LB's goed werken.
Je moet natuurlijk wel even kijken welke verbinding je tussen de 2 locaties hebt steken! VRRP kan werken over Ethernet/MPLS maar vb niet over een serieel linkje...ook moet je kijken dat je 2 LB's in hetzelfde subnet kunnen zitten (ook een vereiste voor VRRP)
Als je dan op elke site nog 2 "echte" FTP-servers heb draaien achter elke load-balancer ben je OK op *ELK* vlak. Dan gewoon wel zorgen dat de content op beide site up-to-date blijft natuurlijk ;-)