Bij onbereikbare server naar 2e IP doorsturen

[porn*]

We hebben een aantal webservers online staan, bij verschillende hostingsbedrijven. We zijn nu aan het brainstormen over hoe we zoveel mogelijk uptime-zekerheid kunnen garanderen. Nu dachten we, dat als we bijvoorbeeld server een bij de ene provider neerzetten, en server twee bij een andere, dat er in principe altijd wel een up is.
Nu hoopten we dus dat het mogelijk was om dit in de DNS al in te stellen. In principe wordt een domein doorgestuurd naar het IP van server1, en mocht die niet bereikbaar zijn dan wordt het IP van server2 gegeven.
We zijn een beetje aan het zoeken gegaan, en toevallig kwamen we hier op GoT dit topic tegen: backup 2000 webserver
Helaas staat daar de oplossing niet in, omdat het round-robin-systeem gebruikt wordt, en als er dus een server plat ligt, de helft van de keren de site netjes getoond wordt, en de andere helft van de tijd er een 404 terugkomt. Dat is dus niet gewenst.
Iemand suggesties?

Trouens: mocht dit topic verkeerd staan, move hem dan maar
In de faq staat dat DNS vragen Internet & telefonie zijn, maar vond hem hier meer op zijn plaats omdat het geen clientside DNS is.

[igmar]

Zoiets doe je met een loadbalancer. DNS doet niet aan beschikbaarheidsinformatie.

[porn*]

Daar waren we al bang voor ja... Dat is op zich vrij lastig, want ook een load-balancer moet ergens draaien, en als de verbinding voor de balancer plat ligt, zijn je sites alsnog onbereikbaar.

Betekent dit dat je daar maar mee moet leven, en dus de hoster met de beste uptime kiezen?

[jadjong]

porn schreef op 13 February 2003 @ 17:27:
Daar waren we al bang voor ja... Dat is op zich vrij lastig, want ook een load-balancer moet ergens draaien, en als de verbinding voor de balancer plat ligt, zijn je sites alsnog onbereikbaar.

Betekent dit dat je daar maar mee moet leven, en dus de hoster met de beste uptime kiezen?

Jup, of je moet een menselijke DNS neerzetten die bij het down gaan van je loadbalancer de adressen in alle DNS servers op deze aarde aapast

[Knifter]

Tuurlijk kan dit. Ik heb even geen oplossing voor je voor handen. maar google gaat je zeker helpen.

'Desnoods' maak je een script wat je server pingt/service test, onbereikbaar? -> zone file aanpassen cq kopieren -> dns updated/herstarten.

[igmar]

Knifter schreef op 13 February 2003 @ 17:34:
Tuurlijk kan dit. Ik heb even geen oplossing voor je voor handen. maar google gaat je zeker helpen.

'Desnoods' maak je een script wat je server pingt/service test, onbereikbaar? -> zone file aanpassen cq kopieren -> dns updated/herstarten.

Nadenken voordat je dit soort onzin post. Dit soort topics is al tientallen keren aan de orde geweest : Loadbalancers, redundancy, en het dynamisch aanpassen van IP's.

Dat laatste gaat niet als het bij verschillende ISP's draait, dus da's geen optie. Zonefiles aanpassen is leuk, maar werkt niet omdat de meeste server pas na een paar uur de wijzigingen zien.

[Coen Rosdorff]

igmar schreef op 13 februari 2003 @ 23:11:
Dat laatste gaat niet als het bij verschillende ISP's draait, dus da's geen optie. Zonefiles aanpassen is leuk, maar werkt niet omdat de meeste server pas na een paar uur de wijzigingen zien.

Aanpassen van de dns werkt uitstekend.
De ttl voor je records op 5 min zetten, en zorgen dat de sec. dns de zone na een notify overhaald.
Met deze setup kan je een onbereikbare webserver binnen 5 min uit je dns halen. De maximale downtime vanuit het oogpunt van de gebruiker is dus 5 min.

[Rataplan]

little_soundman schreef op 14 februari 2003 @ 02:21:
[...]


Aanpassen van de dns werkt uitstekend.
De ttl voor je records op 5 min zetten, en zorgen dat de sec. dns de zone na een notify overhaald.
Met deze setup kan je een onbereikbare webserver binnen 5 min uit je dns halen. De maximale downtime vanuit het oogpunt van de gebruiker is dus 5 min.

Als die ttl nu op 48 uur staat gaat dat vandaag niet meer lukken (ok, is flauw), wat erger is is dat je server (en heel wat andere masjientjes) op die manier bandbreedte gaan *vreten*.

Als je echt zo gek (of zo rijk) bent om het als permanente oplossing te doen, dan ben je ook meteen klaar - als je de primaire dns voor je domein op je primaire webserver draait, en de secundaire dns op de andere. Kan je de dns van de eerste niet bereiken, dan gaat eist het protocal afaik dat de secundaire dns na de ttl wordt opgezocht. Dit beschermt je dus tegen "netsplits", maar helpt natuurlijk geen zier als de desbetreffende eerste webservice vastloopt terwijl de dns up blijft. Maar daar is met een cronscriptje wel wat aan te doen.

Een loadbalancer verplaatst het probleem overigens alleen maar. Wat als beide webservers het prima doen maar je loadbalancer - zeg maar - in de fik staat?

[Equator]

Zelf al heb je de primaire DNS server voor dat domein onder eigen beheer. Meestal heb je een secondary DNS server die de updates naar andere DNS server mag sturen. En deze staat heel vervelend bijna nooit onder eigen beheer. Je kan dan wel je eigen DNS records updates, maar de secodary zal dat pas na een reload oppakken.

In weze kan je dan wel een soort van dynamische dns / redundancy / oplossing verzinnen, maar ik denk niet dat de topicstarter ermee acoord gaat dat het 24 - 48 uur duurt eerdat zijn website weer in de lucht is.

Wat je kan doen, is de site op 2 servers zetten, bij 1 grotere provider. Daar plaats je dan een loadbalancer voor (net als bij tweakers.net) die het verkeer balanced. En bij uitval van 1 systeem, zal die andere natuurlijk gewoon doordraaien.

Wanneer dan de provider eruit klapt, heb je natuurlijk een probleem, maar daar heb je een DNO voor. (Of een SLA voor de engelsen onder ons.)

Praat er eens over met je provider.. (damn, ik lijk wel een dokter )

Een loadbalancer verplaatst het probleem overigens alleen maar. Wat als beide webservers het prima doen maar je loadbalancer - zeg maar - in de fik staat?

Tja, dan moet je de loadbalancer ook maar redundant uitvoeren. Maar dan verplaatst je je single point of failure weer naar het lijntje naar de provider.. Hou je toch altijd. Ook al pak je 2 verschillende providers, wanneer onze groet amsterdam exchange eruit klapt, dan ligt heel nederland zo goed als plat. (op gebied van Internet dan)

[ Voor 21% gewijzigd door Equator op 14-02-2003 07:38 ]

[porn*]

Stomme quoteknop

[ Voor 99% gewijzigd door porn* op 14-02-2003 09:33 ]

[porn*]

Uiteindelijk komt het er dus op neer dat, hoe je het ook wendt of keert, het probleem altijd bij de provider zit. Als die plat gaat, gaat de site hoe dan ook uit de lucht. De DNS-server wordt redelijk snel aangepast, elke 6 uur, best goede service dus. Maar daar schieten we niks mee op, ons doel is namelijk de downtime volledig uit te schakelen, maar dat lijkt dus onmogelijk.

We hebben al een server-failure plan, wat wil zeggen dat een speciaal team een updated backup-server in 3-6 uur de server vervangen heeft. Dan is hij weer up. Maar als de provider er zelf uitknalt, kunnen we niks doen, komt het op neer.

Praten met de provider is allemaal wel leuk, maar uiteindelijk kan er ALTIJD wel wat mis gaan, wat hij ook garandeert, dus dat helpt ons ook niet verder.

Bedankt voor de reacties, dit moeten we dan maar accepteren

[ Voor 6% gewijzigd door porn* op 14-02-2003 09:33 ]

[Verwijderd]

Fout, er bestaan configuraties waarbij een ISP op 2 lokaties jullie loadbalancers + servers draaien. Dit heet global loadbalancing.

Als er nu 1 lokatie(master) uitvalt dan neemt de slave het automatisch over mbv BGP4. Het is natuurlijk wel een dure aangelegenheid....


Sites zoals in de trend van CNN gebruiken dit.

[ Voor 9% gewijzigd door Verwijderd op 14-02-2003 11:06 ]

[porn*]

Ik heb wat gevonden over wat je zegt, hier bijvoorbeeld. Maar dat is dus niet op DNS niveau omdat die bak voor de fysieke server hangt, wat wil zeggen dat de ISP zelf een werkende verbinding moet hebben, anders zijn je sites nog steeds onbereikbaar.

Een hele stap in de goede richting dus, dat wel. Maar zoiets zou je dus zelf ook kunnen maken: een simpel P133 Linux systeempje dat alles doorroute naar een bepaald aantal IP's, en die om de zeg 5 minuten checkt. Wanneer er ook maar een niet reageert wordt deze uit de lijst gehaald, zodat klant dan max. 5 minuten geen site te zien krijgen. Wel blijft hij alle IP's checken zodat wanneer hij weer up is, hij weer verkeer naar het IP toestuurt.

Bedankt voor de tip iig!

[Eastern]

... even verder denkend, en als je linux servertje er dan mee stopt?

[Coen Rosdorff]

CyberJ schreef op 14 February 2003 @ 07:35:
Zelf al heb je de primaire DNS server voor dat domein onder eigen beheer. Meestal heb je een secondary DNS server die de updates naar andere DNS server mag sturen. En deze staat heel vervelend bijna nooit onder eigen beheer. Je kan dan wel je eigen DNS records updates, maar de secodary zal dat pas na een reload oppakken.

Gewoon bij een reload van je zone netjes een notify sturen naar de secondary. Dan is er binnen een paar seconde een IXFR/AXFR van je zone, en is iedereen weer helemaal bij.

Het is aan te raden om je machines waar de dns op draait te splitsen van de webservers. Zodra je prim dns offline is is het systeem idd mank.

[igmar]

little_soundman schreef op 14 February 2003 @ 02:21:
[...]

Aanpassen van de dns werkt uitstekend.
De ttl voor je records op 5 min zetten, en zorgen dat de sec. dns de zone na een notify overhaald.
Met deze setup kan je een onbereikbare webserver binnen 5 min uit je dns halen. De maximale downtime vanuit het oogpunt van de gebruiker is dus 5 min.

Hetgeen bij een hoop DNS server nog steeds niet werkt. Caching DNS server hebben over het algemeen genomen maling aan TTL records, en een TTL van 5 mins is alles behalve gewoon.

Geen gegarandeerd success dus, dus is het IMHO niet bruikbaar.

[Verwijderd]

Ik snap het niet,
CNN heeft een goede uptime, omdat er volledig redundant door de ISP wordt gewerkt, hier wordt ook erg veel voor betaald en jullie willen dit ook.
Kom dan niet met een pentium 233 linux bakje, want die is wel het laatste die je dan moet inzetten. allemaal redundant servers/voedingen/stroomvoorzieningen/hd`s... alles.
Maar dan nog, het is wel leuk, de DNS op 5 min. mag niet van nederlandse domeinen. Dit heeft de sidn zo geregeld. Je kan problemen met de sidn krijgen.
(stichting internet domein registratie)
Stel ik draai cnn, een bezoeker bezoekt de site en wordt gekoppeld door een gecachte dns (bij de klant) naar een bepaald adresje op naampje, dan gaat het probleem misschien weer naar de klant. dan zou het ip adres van beide server hetzelfde moeten zijn. Dit wordt vaak weer een probleem bij de ISP.
Het is dus eigenlijk een heel dom iets, het kan maar NOOIT voor 100%.
het is hetzelfde als zeggen ik wil een auto die geen ongeluk kan krijgen. Ja het kan, laat hem in de garage staan en doe er niks mee, maar als er dan een komeet op komt ? dus het blijf altijd als als als.......of geef er enorm veel geld aan uit en leg je eigen KPN quest netwerkje en sluit hem op alle IX aan in europa, dan heb je zelf alles in beheer.

[igmar]

Verwijderd schreef op 16 februari 2003 @ 17:25:
Ik snap het niet,
CNN heeft een goede uptime, omdat er volledig redundant door de ISP wordt gewerkt, hier wordt ook erg veel voor betaald en jullie willen dit ook.

Redundante servers, loadbalancers, meerdere upstream-providers, spare servers.

Grote sites die een TTL van minder als 2 uur heb ik niet veel gezien, laat staan 5 minuten.

Maar dan nog, het is wel leuk, de DNS op 5 min. mag niet van nederlandse domeinen. Dit heeft de sidn zo geregeld. Je kan problemen met de sidn krijgen.

Het werkt ook niet. een TTL van 5 min is het probleem op een verkeerde manier aanpakken.

[morphje]

even kijken.
Je bent bang voor het uitvallen van je lijn. Hiervoor bestaan dus colo's welke meerder lijnen hebben van verschillende ip providers. welke vervolgens weer gekoppeld zijn aan redundante routers. Hierdoor kan je toch eigenlijk best een hoge uptime verkrijgen. bijvoorbeeld trueserver heeft al verschillende lijntjes Zo zijn er genoeg colo's die dat doen.

Voor het geval dat je server uitvalt of je loadbalancer gebruik je redundantie hierin. het enige wat er dan nog eigenlijk fout kan gaan is dat iemand je lijntjes naar de loadbalancer doorknipt.

andere foutjes kunnen zijn:
bomaanslag op het datacentre.
een stroomstoring zo lang dat alle ups'sen uitvallen
en zo nog veel meer onzinnige dingen die ik had verzonnen, maar gewoon maar laat. Indien je toch meer wilt hebben, dan moet je idd richting die BGP oplossing denken, maar dan kost het je wel een hoop geld.

Om hoeveel uptime gaat het eigenlijk? of wil je je serverpark beschermen tegen dingen zoals ddos attacks ?

[porn*]

Nou het gaat eigenlijk hierom: wij laten sites voor klanten hosten bij externe providers, omdat hosting niet ons primaire doel en product is. Voor veel klanten is het echter belangrijk dat websites zo veel mogelijk up zijn, indien mogelijk altijd. Dit is ons wel wat geld waard, maar geen astronomische bedragen. Het gaat er vooral dat wij alle mogelijke *redelijke* maatregelen nemen. We hebben al een backup-server klaarstaan, mocht de hele server crashen, maar een andere server online hebben draaien en vervolgens daar naartoe verwijzen wanneer de hoofd-server start is zoveel makkelijker (bovendien hoef je daar je bed niet uit, stel dat om 3:00 uur 's-nachts de boel crasht).
Mocht dit niet of niet voor een redelijk bedrag te realiseren zijn, dan houdt het eigenlijk al op.

Hoeveel uptime? Zoveel als niet te duur mogelijk is dus

DDOS attacks voorkomen is geen primair doel, maar zou eventueel een mooie bonus zijn

[jep]

morphje schreef op 16 February 2003 @ 20:41:
even kijken.
Je bent bang voor het uitvallen van je lijn. Hiervoor bestaan dus colo's welke meerder lijnen hebben van verschillende ip providers. welke vervolgens weer gekoppeld zijn aan redundante routers. Hierdoor kan je toch eigenlijk best een hoge uptime verkrijgen. bijvoorbeeld trueserver heeft al verschillende lijntjes Zo zijn er genoeg colo's die dat doen.

Daar hoef je voor stabiliteit niet te zijn, maar dat ter zijde
[quote]
Voor het geval dat je server uitvalt of je loadbalancer gebruik je redundantie hierin. het enige wat er dan nog eigenlijk fout kan gaan is dat iemand je lijntjes naar de loadbalancer doorknipt.
Of je windows-bakken allebei gehacked worden

andere foutjes kunnen zijn:
bomaanslag op het datacentre.

Dat snappen klanten nog wel

een stroomstoring zo lang dat alle ups'sen uitvallen

Als de stroom uitvalt en de UPS'n aan gaan, gaat de aggegraat ook aan.

en zo nog veel meer onzinnige dingen die ik had verzonnen, maar gewoon maar laat. Indien je toch meer wilt hebben, dan moet je idd richting die BGP oplossing denken, maar dan kost het je wel een hoop geld.

Om hoeveel uptime gaat het eigenlijk? of wil je je serverpark beschermen tegen dingen zoals ddos attacks ?

Als je zo ver zou willen gaan zou de topic-starter ff met Akamai moeten bellen

[porn*]

jep schreef op 17 februari 2003 @ 09:48:
Als je zo ver zou willen gaan zou de topic-starter ff met Akamai moeten bellen

Daar ga ik even naar kijken, bedankt voor de tip!

[Guru Evi]

Er is altijd wel iets dat stopt en daar kun je in de hedendaagse protocols niets aan doen. Er is altijd zoiets als chaos, bugs, en onvoorziene gebeurtenissen. Eigenlijk zou je moeten op 1 DNSnaam meerdere IP adressen hebben. Zodanig gaat de client bij het mislukken van het eerste IP adres naar het volgende. Een 99% percentage uptime voor iedereen is te verkrijgen (al dan niet voor veel geld) maar 100% nooit.
Er bestaat een gratis DNS load balancer die als master-slave werkt maar de updates van veel DNS servers is zodanig traag dat je tegen de tijd dat je het hersteld hebt er nog nooit een wereldwijde update doorgevoerd is.

[Guru Evi]

Maar wat als er een bug in dat programma zit, of de 2 servers crashen tegelijk door een software of hardwarefout of er begint een 3de wereldoorlog of het tcp/ip protocol loopt vast

[Verwijderd]

Hoe je het wend of keert, een uptime van 100% kost bakken vol geld. Je moet een exacte kopie op minimaal 3 locaties hebben staan, en zelfs dan bestaat er nog een kans dat er op 3 verschillende locaties (het liefst natuurlijk continentale bruggen) tegelijkertijd IETS verkeerd gaat.

Hmm.. op het moment dat je 1 ding aanpast op 1 locatie, wil je natuurlijk dat het op alle 3 de locaties het liefst binnen een kwartier doorgevoerd is, of zelfs sneller.. nou.. menselijke fouten blijven nog altijd op nr 1 staan qua oorzaken voor downtime.

De DNS voer je het liefst in 3 stappen uit, en dat zoiezo op internationale basis. 2 loadbalancers op basis van een round-robin zou net het meest effectieve zijn.

Wat betreft een stroomstoring.. hebben we in Amsterdam gemerkt.. Telecity heeft een stroom backup, maar daar was een medewerker zo 'handig' om even de sterkker d'r uit te trekken met de backup uit.. en heel het datacenter lag op z'n gat. En tja.. dan kan je nog zo veel aan je aggregaat hebben.. als die verteld word dat die niets mag doen.. tja :-) Dus.. verschillende locaties.

Geld.. altijd dat ver*piep* geld. Goedkoop is betrouwbaar, 100% betrouwbaar is prijzig/onbetaalbaar voor een kleine org.

[Taigu]

Round robin icm een TTL van 0 ? Het moet mogelijk zijn, check anders MCSE Win2k "implementing and administering a win2k network infrastructure".

Bandbreedte moet geen probleem zijn, IXFR...

[ Voor 18% gewijzigd door Taigu op 21-02-2003 18:40 ]

[Verwijderd]

Je kan ook verbinding maken via frame relay

[PolarWolf]

Volgens mij gaat deze thread vooral in op loadbalancing en RRDNS...gezien het feit dat de servers Win2k draaien, is het misschien handig om ook eens naar NLB, ofwel Network Load Balancing te kijken. Principe: meerdere servers (tot 32 ofzo) luisteren op hetzelfde IP adres. Het is een beetje truuken, maar het schijnt te werken. Werkt met unicast enzo. Ik heb nog geen bronnen (op een na, een projectje bij HP) kunnen vinden die hetzelfde truukje flikt onder linux. Mocht iemand hierover wat hebben, dan hoor ik dat graag.

[Guru Evi]

Als meerdere PC's dezelfde IP's hebben dat gaat toch niet? Naar welke zal dan het pakketje verstuurd worden. Het eerste pakketje zal verstuurd worden, dan zal er geantwoord worden en dan zal het volgende pakketje hoogst waarschijnlijk naar een andere gestuurd worden. Kun je anders meer informatie geven daarover. Dit zou leuk zijn want ik zou zo'n systeem kunnen gebruiken ;-)

[PolarWolf]

Guru Evi schreef op 25 February 2003 @ 00:05:
Als meerdere PC's dezelfde IP's hebben dat gaat toch niet? Naar welke zal dan het pakketje verstuurd worden. Het eerste pakketje zal verstuurd worden, dan zal er geantwoord worden en dan zal het volgende pakketje hoogst waarschijnlijk naar een andere gestuurd worden. Kun je anders meer informatie geven daarover. Dit zou leuk zijn want ik zou zo'n systeem kunnen gebruiken ;-)

Er is een RFC voor, het werkt met anycast. Voor meer info:
http://www.microsoft.com/...owitworks/cluster/nlb.asp
Download het word document (sorry, kan ik ook niks aan doen), en lezen maar.

De enige referentie die ik tegenkwam over een ipv4 implementatie onder linux van anycast is http://www.interex.org/users/hpspkrcat/sn265/, maar dat geeft verder geen details. De meeste andere refenties hebben betrekking op ipv6. Een RFC wat ik tegenkwam dat een en ander het beste uitlegt is rfc1546: http://www.cis.ohio-state.edu/cgi-bin/rfc/rfc1546.html. Wanneer iemand informatie heeft over een ipv4 anycast implementatie voor linux, dan zou ik daar graag wat over horen