Mirroring van files op (web)servers, afs, coda, rsync?

Pagina: 1
Acties:

  • ACM
  • Registratie: Januari 2000
  • Niet online

ACM

Software Architect

Werkt hier

Topicstarter
Ondertussen hebben we hier op tweakers.net natuurlijk allemaal door dat nfs niet het allerstabielste/vlotste filesharing/serving mechanisme is voor een webserver-cluster.

Momenteel is de nfs-server/bottleneck de nummer1 bottleneck, weliswaar is het sinds de laatste upgrades en de verandering in de nfs-mount-parameters een stuk verbeterd, maar het is nog steeds zo dat als de nfs-server eruit ligt er flinke (complete) downtime is en dat als de nfs-server traag begint te reageren heel de site traag wordt.

Kortom, we zoeken naar een andere oplossing.
Er zijn er een paar die mij bekend zijn:
1. nfs vervangen door openafs.
2. nfs vervangen door coda.
3. nfs aanlaten, maar de files naar lokale disk syncen middels rsync.

Nummer 1: heb ik bekeken valt imho af, simpelweg omdat er geen failover replicatie mogelijk is op een relatief efficiente/uitgebreide manier. Er is wel replicatie, maar alleen readonly (niet zo erg) en alleen als door elke keer dat de boel wijzigt het complete volume opnieuw te syncen (en met elk uur die usericons die geupload worden etc etc is dat wat vervelend ;) ) en dan is er wel een serie "moeilijk doe" instellingen (alleen de php-files in een volume en de usericons in een andere etc etc) om het aan de praat te krijgen, maar liefst dat het beter kan.

Nummer 2: Kees bekijkt die nu en is dit keer enthousiaster dan de vorige keer, het werkt zowaar :)
Echter weet ik niet hoe goed het repliceert en zou het handig zijn om meer info te hebben daarover.

Nummer 3: Is behoorlijk bewerkelijk, maar bouwt wel op stabiele tools en imho dus een soort laatste uitweg, je kan dan niet meer erg transparant met je files overweg en moet uitkijken waar je je lokale caches (van bijv de templates naar php geparsed) laat, want op de bronserver zullen ze niet perse komen en het is erg onhandig als rsync ze bijv verwijderd ;)
Verder heb je elke keer dat je de sync doet een behoorlijk grote tree aan files (oa door de usericons :( ) die gesynced moet worden, naast het probleem dat je houdt als iemand een icon upload op server A en op refresh server B krijgt (zelfs als de server het direct op de nfs-share zet duurt het bijv 5 mins voor het bij de anderen is...)... In mijn ogen niet erg, maar de user zal direct gaan gillen dat zijn icon niet geupload is ;) (zelfde geldt natuurlijk voor elk willekeurig ander geuploade file wat we evt zouden kunnen gaan doen).
Dit kan je wel weer oplossen, maar maakt het dus flink bewerkelijk.

Vraag is dus:
Wie heeft er ideeen, tips etc wat nuttig voor ons kan zijn?

(owja, intermezzo is ook al bekeken)

  • bkor
  • Registratie: November 2000
  • Niet online
Dit verhaal was behoorlijk interessant:
http://www.nluug.nl/events/sane2002/papers/SANE.ps

Gaat over de servers bij Xs4all & rsync. Ok, het werkt dus niet voor de usericons, maar misschien kunnen deze via een ander manier worden opgelost. Je hoeft natuurlijk niet gelijk alles via dezelfde weg op te lossen. Rsync zal misschien reuze handig zijn voor de standaardfiles (.php files--ehm), maar rsync voor de usericons legde je zelf al uit :)
Dat je met rsync beter moet nadenken is misschien ook een voordeel, geen geklooi meer (wat fout kan gaan). In principe (na de uitzonderingen ;) ) hoort op welke GoT webserver dezelfde files te staan. Maarjah, lees dat stuk maar.