[linux] twee *exact* dezelfde systemen (software + hardware)

[Verwijderd]

Beste mensen,

Om betrouwbaar te kunnen hosten moet je eigenlijk twee servers hebben, waarbij de "load" verdeeld wordt (load-balancing) en ze elkaar kunnen vervangen als er bij 1 van de twee iets mis gaat (bijv. kapotte voeding).
Echter, dan heb je softwarematig dus twee keer exact dezelfde configuratie nodig (dezelfde software geinstalleerd, dezelfde instellingen, etc), maar hoe krijg ik dat voor elkaar? Ik kan natuurlijk twee (hardwarematig) dezelfde servers aanschaffen en daar debian op installeren. Vervolgens continu de verschillen naar elkaar laten kopieren, maar dit lijkt me echter een zware belasting op de servers...
Voor de duidelijkheid: bij een kleine verandering van instellingen (bijv. een verandering in de configuratie van apache, nieuwe virtualhost) moet de andere server dat dus over nemen! En ook moet elke website onafhankelijk op allebei de servers draaien (het liefst zonder losse fileserver). Wie heeft enig idee hoe ik dit handig op kan lossen? Hoe doen bijv. grote hostingbedrijven als vuurwerk of xs4all dit?

[TrailBlazer]

heel vaak zal een filesytem bij een ISP niet uitvallen dit omdat ze simpelweg raid 5 zullen gebruiken. Om de configs consistent te houden zullen ze vast het een en Ander aan scripting hebben lopen om het synchroon te houden.

Oveigens lijkt het met niet handig om een master syteem te houden en daar van te gaan synchroniseren. Voor je het weet vespreid je een error over je hele netwerk heen.

Ik denk eerder dat ze zeggen voer deze wijziging door op alle sytemen ipv kopieer master A naar B C en D

Verwijderd schreef op 11 juli 2004 @ 17:18:
Beste mensen,

(bijv. kapotte voeding).

2 voedingen

[ Voor 15% gewijzigd door TrailBlazer op 11-07-2004 17:25 ]

[Verwijderd]

Dat van die voedingen was slechts een voorbeeldje... Het gaat er om dat 1 van de machines tijdelijk down kan gaan (welke reden dan ook) en dat de ander het overpakt.
Daarbij hoeft het niet perse een master-configuratie te zijn, het gaat erom dat continu de systemen van elkaar controleren "hey, heb jij een nieuwere config? Dan wil ik die ook!" zodat ik bij wijze van spreken maar op 1 van de twee machines een nieuwe virtualhost hoef aan te maken voor apache...

[TrailBlazer]

persoonlijk zal ik dan een script maken wat op een van de 2 systemen staat. Aan dit script geef je dan aan maak een VHOST aan op deze systemen. Een soort frontend voor apache dus.
Het lijkt mij niet bijzonder moeilijk voor elkaar te krijgen. Als je het dan echt mooi doet sla je al je VHOSTS op in een SQL database en kan je dan makkelijk met templates en dergelijke gaan werken en er een leuke GUI van maken
Hoewel die waarschijnlijk wel bestaan

[ Voor 47% gewijzigd door TrailBlazer op 11-07-2004 17:46 ]

[Blaasvis]

http://samba.anu.edu.au/rsync/
^^ kijk

[Verwijderd]

Blaasvis schreef op 11 juli 2004 @ 17:43:
http://samba.anu.edu.au/rsync/
^^ kijk

Tsja, maar dan zeg je tegen rsync "Doe mij maar de hele configuratie van de andere server", hoe weet je dan dat er bijv. een VirtualHost is bijgekomen/veranderd?

[igmar]

Verwijderd schreef op 11 juli 2004 @ 18:30:
Tsja, maar dan zeg je tegen rsync "Doe mij maar de hele configuratie van de andere server", hoe weet je dan dat er bijv. een VirtualHost is bijgekomen/veranderd?

Omdat het bestand waarin de vhosts staan is veranderd ?

[Verwijderd]

igmar schreef op 11 juli 2004 @ 19:16:
[...]


Omdat het bestand waarin de vhosts staan is veranderd ?

En in het geval van een configuration directory (nieuwere versies van Apache hebben dat)?

[TrailBlazer]

ik geloof voor linux ins een dir niet heel anders dan dan een file dus dat zal ook wel goed gaan. overigens rsync wordt ook gebruitk bij ons om grote sun machiens te syncen

[blaataaps]

Verwijderd schreef op 11 juli 2004 @ 21:18:
[...]


En in het geval van een configuration directory (nieuwere versies van Apache hebben dat)?

Misschien moet je eerst even kijken wat rsync precies doet voor je hier allemaal vragen dumpt die je zelf ook wel kunt vinden.
Wat maakt het uit als je tegen rsync of welk programma dan ook bijvoorbeeld zegt "kopieer alles in /etc/apache naar de andere pc" of waar je apacheconfigs dan ook maar staan of dat directories zijn of bestanden?

[Coen Rosdorff]

xs4all gebruikt rsync om zijn hele server park te onderhouden. Lijkt mij dus de aangewezen weg.
Er is bijvoorbeeld 1 server met het basis OS. Daar hangt per server taak (bijvoorbeeld mail server) 1 server onder met de server specifieke tools/programs/config. Daar weer onder hangen X mail servers die het werk doen.
Extra mail server nodig? Hop even klonen van de master mail server. Update aan sendmail? Makkelijk uitrollen over alle mailservers. Update aan het basis OS? Makkelijk verspreiden over alle servers in het netwerk.

Op Sane 2000 heeft een van de beheerders van xs4all (Cor Bosman) er een lezing over gegeven. Zijn paper moet nog wel ergens online te vinden zijn. Anders heb ik die hier nog wel ergens rond slingeren.

[avatar]

Het paper waar little_soundman het over heeft:
http://www.nluug.nl/events/sane2002/papers/SANE.ps

[Firefox]

little_soundman schreef op 12 juli 2004 @ 02:44:
xs4all gebruikt rsync om zijn hele server park te onderhouden. Lijkt mij dus de aangewezen weg.
Er is bijvoorbeeld 1 server met het basis OS. Daar hangt per server taak (bijvoorbeeld mail server) 1 server onder met de server specifieke tools/programs/config. Daar weer onder hangen X mail servers die het werk doen.
Extra mail server nodig? Hop even klonen van de master mail server. Update aan sendmail? Makkelijk uitrollen over alle mailservers. Update aan het basis OS? Makkelijk verspreiden over alle servers in het netwerk.

Op Sane 2000 heeft een van de beheerders van xs4all (Cor Bosman) er een lezing over gegeven. Zijn paper moet nog wel ergens online te vinden zijn. Anders heb ik die hier nog wel ergens rond slingeren.

Ik heb dat verhaal een keer gelezen. Ik moet erkennen: een machtig mooie setup.
Maar het gaat wel uit van master configuraties die buiten de productie omgeving staan. Voor een enorm park zoals bij XS is dat een mooie oplossing, maar voor een kleine omgeving met 2 servertjes is het wat overdreven om daar een 3e "Master Server" bij te hangen. Een dergelijke oplossing is voor de TS misschien interessant om te weten, maar lijkt mij niet toepasbaar op zijn eigen omgeving.

Persoonlijk denk ik dat het het beste is om 1 actieve server te hebben, waar je site vanaf draait, en 1 passieve machine die tevens je Test en Master is. Voer wijzigingen door op de passieve machine, test alles, en als het goed werkt, kopieer dan de instellingen door middels een (handmatige) rsync.

Ik ben met de opmerking opzich eens dat je het risico loopt dat fouten doorgevoerd worden, maar de ervaring leert dat het handmatig aanpassen van files overal meer kans op vergissingen en fouten oplevert dan 1x goed zetten, testen en dan via sync doorvoeren. Het zou me heel erg verbazen als bij Tweakers de scripts handmatig worden aangepast.

[mOrPhie]

Firefox schreef op 12 juli 2004 @ 10:42:
[...]

Ik heb dat verhaal een keer gelezen. Ik moet erkennen: een machtig mooie setup.
Maar het gaat wel uit van master configuraties die buiten de productie omgeving staan. Voor een enorm park zoals bij XS is dat een mooie oplossing, maar voor een kleine omgeving met 2 servertjes is het wat overdreven om daar een 3e "Master Server" bij te hangen. Een dergelijke oplossing is voor de TS misschien interessant om te weten, maar lijkt mij niet toepasbaar op zijn eigen omgeving.

Volgens mij gebruikte hij het verhaal van Xs4all alleen maar om aan te geven dat rsync een systeem is dat zichzelf bewezen heeft. Uiteindelijk is de moeilijkheid van de implementatie van rsync in je eigen systeem (al dan niet via slimme grote architecturen) afhankelijk van de omvang van je infrastructuur. Anders gezegd: Met 3 of 4 kleine servers is het ook gewoon simpel te implementeren.

[Verwijderd]

Ik heb nu eens zitten kijken naar The Eddie Project (eddie.sourceforge.net) en dat lijkt me wel interessant. Dan installeer ik twee (of meer als dat nodig blijkt te zijn) Debian-systemen als webserver waarbij ik de configuratie van Apache e.d. op een redundante fileserver (dus eigenlijk twee, eentje voor backup) opsla d.m.v. NFS.
Daarnaast maak ik twee Load Balancing-servers (weer eentje als backup) die het verkeer verdeelt over de webservers... Wat denken jullie ervan? Mij lijkt het best een leuke optie, buiten het feit dat ik Eddie niet gecompiled krijg tegen de ERLang die Debian mij levert

[it0]

er zijn verschillende mogelijkheden om dit te doen ook is failover en loadbalacing 2 verschillende zaken maar volgens mij wil je gewoon dit staan goede howto's op.