[Linux] Twee directories on-the-fly syncen

[Burat]

Wij hebben een aantal applicaties op een linux server draaien. Nu zou ik graag een failover constructie willen maken. Hierbij richt ik een tweede server in. Een probleem is nu dat er op de eerste server zeer regelmatig (elke minuut) via verschillende kanalen informatie binnenkomt (ftp upload, post naar php script, via een c-applicatie) en dat deze informatie eigenlijk direct bij binnenkomst naar de tweede server doorgesluisd moet worden.

Hiervoor wil ik eigenlijk de applicaties niet (laten) aanpassen. Het lijkt mij het handigst als we een tool hebben die een aantal directories in de gaten kan houden en bij een verandering deze directory synct met een andere directory (via nfs naar de tweede server). Mijn vraag: zijn hiervoor linux tools?

Als dat niet het geval is: weet iemand hoe je een directory kan monitoren zodanig dat er een commando uitgevoerd wordt bij een verandering? Dan kan ik de rest zelf wel in elkaar scripten.

[CyBeR]

Mischien heb je iets aan famd? (File Alteration Monitor Daemon).

[Verwijderd]

Lijkt me dat drbd biedt wat jij zoekt. Zie het als RAID 1 over TCP/IP.

[ Voor 4% gewijzigd door Verwijderd op 25-10-2004 20:15 ]

[Burat]

CyBeR schreef op 25 oktober 2004 @ 20:14:
Mischien heb je iets aan famd? (File Alteration Monitor Daemon).

FAM ken ik (o.a. als ext voor php), maar volgens mij heb ik daar niets aan - dan moet ik alsnog zelf elke x seconde kijken of famd toevallig wijzingen gezien heeft...

Verwijderd schreef op 25 oktober 2004 @ 20:14:
Lijkt me dat drbd biedt wat jij zoekt. Zie het als RAID 1 over TCP/IP.

Hmm, ziet er leuk uit.. maar: dat mirrort block devices, harddisks dus. Dus dat is nog een stap verder dan ik in gedachten had! Ik ga ernaar kijken. Het is nog niet wat ik in eerste instantie zocht, maar misschien zelfs wel beter

[ Voor 17% gewijzigd door Burat op 25-10-2004 20:20 ]

[ajvdvegt]

Burat schreef op 25 oktober 2004 @ 20:17:
[...]

FAM ken ik (o.a. als ext voor php), maar volgens mij heb ik daar niets aan - dan moet ik alsnog zelf elke x seconde kijken of famd toevallig wijzingen gezien heeft...

Nee hoor, juist niet. Zoals ik het begrepen heb kan je een functie opgeven die door FAM moet worden itgevoerd zodra er iets veranderd. Anders zou het hele idee van FAM een beetje nutteloos zijn, niet? Nautilus gebruik het ook, en als je bv een groot bestand kopieerd zie je de grootte oplopen zonder steeds F5 of CTRL-R te hoeven drukken.

[T-Blizzard]

heeft u niks aan rsync ?

[_JGC_]

T-Blizzard schreef op 25 oktober 2004 @ 22:00:
heeft u niks aan rsync ?

Rsync is waardeloos als je dat elke minuut laat lopen. Over grote directories of directories met veel kleine bestandjes kan een rsync enorm processor- en disk-intensief zijn.

Ik denk dat het schrijven van een of ander simpel proggeltje die FAM gebruikt beter gaat werken dan elke minuut rsync aan te roepen om de hele brol te synchroniseren.

[Verwijderd]

Dit klinkt als probleem waarbij een distributed filesystem precies de oplossing is zonder dat je zelf een implemenatie moet gaan schrijven.

[Burat]

Verwijderd schreef op 26 oktober 2004 @ 01:08:
Dit klinkt als probleem waarbij een distributed filesystem precies de oplossing is zonder dat je zelf een implemenatie moet gaan schrijven.

Vertel, vertel! Ken jij goeie/stabiele progs die een distributed filesystem maken? Waar
Max_Kool het over had, was een stapje lager, een distributed block device. Een distributed filesystem zou mooier zijn omdat ik dan geen aparte disks nodig heb (maar gewoon partities).

[Jelmer]

AFS en CODA zijn goed bruikbaar (AFS wordt door veel uni's in de VS (publiek) aangeboden)

[ Voor 5% gewijzigd door Jelmer op 26-10-2004 18:48 ]

[igmar]

Burat schreef op 25 oktober 2004 @ 20:02:
Als dat niet het geval is: weet iemand hoe je een directory kan monitoren zodanig dat er een commando uitgevoerd wordt bij een verandering? Dan kan ik de rest zelf wel in elkaar scripten.

Dit heeft dnotify, zit in recente 2.4 kernel (>= 2.4.20) en 2.6. Een concrete implementatie is dnotify.

[ Voor 3% gewijzigd door igmar op 26-10-2004 19:12 ]

[Verwijderd]

Burat schreef op 26 oktober 2004 @ 10:26:
[...]

Vertel, vertel! Ken jij goeie/stabiele progs die een distributed filesystem maken? Waar
Max_Kool het over had, was een stapje lager, een distributed block device. Een distributed filesystem zou mooier zijn omdat ik dan geen aparte disks nodig heb (maar gewoon partities).

OpenAFS, Coda en Intermezzo zijn de meest bekende.

Een tijd geleden heb ik wat voorlopig onderzoek gedaan naar distributed filesystems. Aangezien er bij ons niet echt de noodzaak was om per direct twee-weg kopieen op meerdere plaatsen te hebben is dat onderzoek nogal snel gestaakt en is er overgegaan op userspace oplossingen (unison in ons geval).

Ik kan me als het goed is nog wel herinneren dat Intermezzo niet echt actief meer ontwikkeld werd (of leek te worden). OpenAfs was verder de meest gebruikte oplossing en heeft ook de mogelijkheid Windows machines in het cluster te gebruiken.