(real-time) file synchronisatie tussen twee locaties?

[PeterPan]

Na een fusie tussen twee bedrijven is er de behoefte ontstaan voor een aantal afdelingen om bestanden met elkaar te delen. De fusie is alleen nog maar administratief, qua automatisering is er nog vrijwel niets aangepast en voorlopig wensen we ook nog geen drastische aanpassingen te maken.

De gedeelde bestanden moeten real-time gesynchroniseerd worden, met een vorm van file locking om te voorkomen dat er aan beide zijden gelijktijdig wijzigingen worden gemaakt.

Het liefst zou ik dit zo eenvoudig mogelijk oplossen met een Robocopy achtige applicatie of service op beide fileservers, zonder verder al te veel te moeten aanpassen in de omgevingen (AD's trusten/koppelen enz.). De toegangrechten kunnen we op beide locaties wel lokaal regelen.

Beide vestigingen hebben beschikking over een flinke internet verbinding (10Mbit en 50Mbit) en ik verwacht hooguit enkele tientallen MBytes per dag aan data synchronisatie. Beide bedrijven zijn volledig Windows (eigen Active Directories).

Is er een applicatie waar we dit zonder al te veel problemen mee aan kunnen pakken of moeten we toch echt gaan denken aan Citrix of Riverbed/Steelhead achtige oplossingen?

[om3ega]

Misschien is dit iets voor je?

http://www.citrix.com/eng...uct.asp?contentID=1350184

[Kippenijzer]

Is er extra hardware beschikbaar, geen budget en geen angst voor Linux? DRBD met OCFS2 exporteren via Samba naar de lokale Windows servers, dan ben je 'klaar'. Enige dat identiek zal zijn op de 2 'file-servers' is de inhoud van de DRBD + OCFS2 laag, de Samba kun je precies zo instellen als nodig voor je lokale omgeving.

[Pumbaa82]

Real-time synchronisatie lijkt me tegenstrijdig.
Of je wil de bestanden real-time bewerken, of je wil ze synchroniseren (al dan niet na wijziging).

Ik denk dat je aan iets als een site-to-site vpn kan denken ?
En dan hierover de bestanden aanbieden of via een synchronisatie programma oversturen.
Natuurlijk wel met de benodigde rechten en beveiliging.

[PeterPan]

Bedankt voor de snelle reacties.

Die Citrix doos lijk me puur iets voor acceleratie van Citrix of kun je er ook iets als WAFS mee?

Beide vestigingen hebben een VMware omgeving dus het opzetten van een virtuele server of installeren van een virtual appliance is wel mogelijk maar er is totaal geen kennis van Linux dus die kant wil ik liever niet op.

Een site to site VPN met voldoende snelheid om comfortabel te kunnen werken, zelfs bij de beperkte hoeveelheid data die ik in eerste instantie verwacht, is waarschijnlijk te kostbaar.

[Verwijderd]

Microsoft Sync Framework misschien een optie?

[Robinski]

Je zou eens kunnen kijken naar het in Windows Server zittende Distributed File System (DFS), en de synchronisatie die hier bij mogelijk is.

Echter het locken van een bestand op twee locaties is hier (bij mij weten) niet mee mogelijk, maar het (semi) realtime-synchroniseren wel. Gebruik het zelf thuis om mijn file server synchroon te houden met die bij mijn ouders. Zo hebben ze ook een soort backup van bijv de foto's en het kijkt wat sneller dan over de 1 Mbit upload.

[djluc]

Als het echt simpel moet pak je iets als Dropbox.com ofzo, als dat binnen je security guidelines past.

[StarWing]

doubletake niets voor je (of hp storage mirroring onder hp-naam) ?

[reclamedoos]

Wij hebben na een fusie gebruikt gemaakt van MS Windows Server 2003 R2 (die versie kan ook alleen de verschillen over de lijn gooien) met als aanvulling Peerlock software om de bestanden te kunnen locken tijdens het gebruik (op alle servers wordt het bestand gesloten, dit gaat bijna real-time). Werkte prima. Volgens mij heeft de leverancier hiervan nu ook een nieuwe versie die nog "slimmer" is (Foldermaestro)

[Question Mark]

Waarom syncen en niet gewoon een gedeelde share op één lokatie?

[Guru Evi]

Ik weet niet wat voor hardware je hebt hangen en je bandbreedte maar je kunt dit doen op verschillende lagen:

iSCSI/FibreChannel laag: Gewoon een RAID1 tussen de twee locaties die verbonden zijn met iSCSI of FibreChannel over een IP tunnel. Als je verbinding echter niet gegarandeerd is kan dit wel wat problemen opleveren.

Filesystem laag: Er zijn een hoopje cluster filesystemen beschikbaar afhankelijk van je software en je benodigdheden. Red Hat heeft GFS bijvoorbeeld, Coda...

Kernel laag: Zoals reeds hierboven - er is software beschikbaar die 2 systemen over IP netwerken kunnen (real-time) synchroniseren. Het probleem is als de 2 uit sync geraken vanwege een verbroken link. Een cluster filesysteem kan hier beter mee overweg (imho)

Service laag: Er zijn systemen beschikbaar die gewoon je shares (vb. Samba) kunnen synchroniseren. Een voorbeeld is Microsoft DFS. Dit is echter enkel geschikt voor een enkele service en als je later andere services (NFS, AFP) wilt toevoegen gaat dit niet werken.

[Bl@ckbird]

Je moet in ider geval een IP verbinding hebben tussen de twee locaties.
Een site2site VPN is dan handig. Bijvoorbeeld met twee ASA5505-UL-BUN-K9 firewalls. Deze hebben een IPSec VPN throughput van 100 Mbps, of iets vergelijkbaars.

Je kan ook zonder VPN werken, maar dan heb je een WAN verbinding nodig tussen beide locaties.
( Op basis van IP / MPLS, lees KPN Epacity. ) Andere optie is een dedicated glasvezel waar je Fibre Channel over kan laten lopen. Beide opties zijn redelijk prijzig. Een site2site VPN is dan een goedkoper alternatief, je gebruikt dan de bestaande internet verbinding.

Zorg wel dat je dedicated hardware neemt voor deze site2site VPN.
Firewalls met VPN functionaliteit of VPN routers hebben vaak dedicated hardware / ASICs aan boord voor de encryptie. Je weet dan zeker dat je ook de benodigde throughput haalt.

WAN optimalisatie in de vorm van Citrix / Riverbed / Bluecoat / Cisco WAAS is op dit moment niet nodig, omdat er nog niet veel data over de lijn loopt. Gaan beide vestigingen meer samenwerken en wordt de lijn daardoor meer benut, dan is het zeker het overwegen waard. ( Om de effecten van latency op WAN verkeer kleiner te maken en om compressie / caching te doen. )

Check dan wel of er geen andere plannen zijn. Als beide locaties zich in één pand vestigen, dan heeft het geen zin om voor een korte periode investeringen te doen in een WAN link of optimalisatie daarvan.

Voor het mirroren kan je idd. kijken naar iets als Doubletake of Microsoft DFS.

[McMiGHtY]

DFS werkt bij een van onze klanten goed, en dat zelfs over een krakerige verbinding (Filiaal 1 in Amsterdam, Filiaal 2 in Alicante). De initieeele sync duurde even, maar daarna is er erg goed mee te werken.

[SkiFan]

Een naam: Suresync.

Werkt erg goed, en het zou zelfs filelocks moeten kunnen repliceren.

[PeterPan]

SkiFan schreef op woensdag 06 januari 2010 @ 12:56:
Een naam: Suresync.

Werkt erg goed, en het zou zelfs filelocks moeten kunnen repliceren.

Dat is inderdaad de kant die ik in eerste instantie op wil. Met de aanvullende "SPI Agent File Locking Add-on" zou locking van Microsoft en AutoCAD documenten ook mogelijk moeten zijn.

Het voorgestelde Foldermaestro of iets dergelijks als GlobalSCAPE zou ook een optie zijn maar is al weer een stuk complexer (en waarschijnlijk duurder).

[MrPepper]

Question Mark schreef op dinsdag 05 januari 2010 @ 15:52:
Waarom syncen en niet gewoon een gedeelde share op één lokatie?

Hier ben ik ook wel benieuwd naar, wat is daar op tegen?

[Jazzy]

Question Mark schreef op dinsdag 05 januari 2010 @ 15:52:
Waarom syncen en niet gewoon een gedeelde share op één lokatie?

Goede suggestie. Zeker aangezien het slechts om weinig aanpassingen gaat en er voldoende bandbreedte aanwezig is.

[PeterPan]

Omdat we op dit moment er nog niet aan toe zijn op de netwerken op dat niveau te koppelen (Active directories trusten of herontwerpen). Ik zou dan voor de remote locatie dubbele useraccounts moeten gaan aanmaken en bijhouden, niet erg elegant.
Bovendien hebben we maar 2Mbit tussen de vestigingen beschikbaar die al volop in gebruik is voor o.a. SAP. Het lijkt met niet gunstig om daar ook nog zonder meer CIFS verkeer overheen te pompen (en ook niet erg snel).

Via Internet hebben we meer bandbreedte beschikbaar (10Mbit) maar dan lijkt het opzetten van een VPN een grotere uitdaging dan een eenvoudig sync programmaatje installeren.

[Jazzy]

PeterPan schreef op donderdag 07 januari 2010 @ 10:03:
Bovendien hebben we maar 2Mbit tussen de vestigingen beschikbaar die al volop in gebruik is voor o.a. SAP. Het lijkt met niet gunstig om daar ook nog zonder meer CIFS verkeer overheen te pompen (en ook niet erg snel).

Via Internet hebben we meer bandbreedte beschikbaar (10Mbit) maar dan lijkt het opzetten van een VPN een grotere uitdaging dan een eenvoudig sync programmaatje installeren.

Haal je nu niet twee dingen door elkaar? Of je nu gebruikers bestanden laat openen op de andere lokatie, of dat door een synchronisatiepakket laat doen, in beide gevallen heb je voldoende bandbreedte nodig. Een site-to-site VPN is gezien de dikke internetpijpen dan wel het meest voor de hand liggende.

Overigens is het aanmaken van dubbele gebruikers, of creeren van een trust, misschien nog wel eenvoudiger dan het opzetten van replicatie. Want hoe zou je dat met security willen doen als je een replicatieoplossing gebruikt? Dan moet er toch nog steeds gevalideerd worden?

[PeterPan]

Als de sync software of hardware op byte of block level kan repliceren ipv. steeds het hele bestand scheelt dat natuurlijk in bandbreedte gebruik + dat je altijd het bestand kunt openen en saven op lokale netwerksnelheid i.p.v. dat 1 kant altijd altijd alles over een langzamere verbinding moet trekken.

Ik heb net een testje gedaan met aan 1 kant share aanmaken/ dubbele accounts en bestanden openen via een (belaste) 2Mbit verbinding en dat werk wel (duidelijke boodschap van file locking bij Word en Excel bestanden, wat minder fraaie error meldingen bij andere type bestanden) maar snel gaat het natuurlijk allemaal niet en daardoor lijkt het ook alsof applicaties / explorer steeds blijft hangen bij het laden/saven van wat grotere bestanden.

[Jazzy]

PeterPan schreef op donderdag 07 januari 2010 @ 13:30:
Als de sync software of hardware op byte of block level kan repliceren ipv. steeds het hele bestand scheelt dat natuurlijk in bandbreedte gebruik + dat je altijd het bestand kunt openen en saven op lokale netwerksnelheid i.p.v. dat 1 kant altijd altijd alles over een langzamere verbinding moet trekken.

Ik heb net een testje gedaan met aan 1 kant share aanmaken/ dubbele accounts en bestanden openen via een (belaste) 2Mbit verbinding en dat werk wel (duidelijke boodschap van file locking bij Word en Excel bestanden, wat minder fraaie error meldingen bij andere type bestanden) maar snel gaat het natuurlijk allemaal niet en daardoor lijkt het ook alsof applicaties / explorer steeds blijft hangen bij het laden/saven van wat grotere bestanden.

Waarom vermeld je in de startpost dan die snellere lijnen als het in werkelijkheid over 2Mbit moet?

[Question Mark]

PeterPan schreef op donderdag 07 januari 2010 @ 10:03:
Omdat we op dit moment er nog niet aan toe zijn op de netwerken op dat niveau te koppelen (Active directories trusten of herontwerpen). Ik zou dan voor de remote locatie dubbele useraccounts moeten gaan aanmaken en bijhouden, niet erg elegant..

Wat is precies het probleem met het aanmaken van een external trust? Dat kan toch een prima tussenoplossing zijn totdat de nieuwe blauwdrukken van de omgeving klaar zijn.

[PeterPan]

Question Mark schreef op donderdag 07 januari 2010 @ 14:17:
[...]
Wat is precies het probleem met het aanmaken van een external trust? Dat kan toch een prima tussenoplossing zijn totdat de nieuwe blauwdrukken van de omgeving klaar zijn.

Het moet niet over die 2Mbit verbinding maar daar is de routering en tunneling al op opgezet dus daar kon ik eenvoudig mee testen. Ik verwacht niet dat een 10Mbit internet verbinding ook een 5x betere ervaring zal opleveren i.v.m. tunneling/VPN overhead, extra hops en extra latency, zeer t.o.v. de 100/1000Mbit LAN snelheid waar de gebruikers nu mee werken.

[PeterPan]

Question Mark schreef op donderdag 07 januari 2010 @ 14:17:
[...]
Wat is precies het probleem met het aanmaken van een external trust? Dat kan toch een prima tussenoplossing zijn totdat de nieuwe blauwdrukken van de omgeving klaar zijn.

Grotendeels gebrek aan enige kennis van AD. Ik zal er eens in duiken dan.

[Question Mark]

PeterPan schreef op donderdag 07 januari 2010 @ 14:31:
[...]
Ik verwacht niet dat een 10Mbit internet verbinding ook een 5x betere ervaring zal opleveren i.v.m. tunneling/VPN overhead, extra hops en extra latency, zeer t.o.v. de 100/1000Mbit LAN snelheid waar de gebruikers nu mee werken.

De snelheid van een lokaal LAN is lastig te evenaren middels een WAN verbinding. Je zult jezelf alleen even moeten afvragen of de extra investeringen in dit stadium aan 3rd-party synchronisatie mechanismes opwegen tegen een betere gebruikerservaring.

Je geeft immers aan dat het momenteel om een beperkte hoeveelheid data gaat. Ik zou dan nu niet teveel moeite erin gaan steken en gaan voor de "snelle" oplossing. Verder geef je aan dat er al gekeken wordt naar oplossingen om de omgevingen aan elkaar te knopen. Neem tijdens dat traject dan gewoon de eis mbt het samen kunnen werken in documenten mee.

Wellicht blijkt dan dat een totaal andere oplossing wel een veel betere is (denk bv ook eens aan een sharepoint-achtige oplossing).

[Pumbaa82]

Ik krijg een gevoel dat je de klok hebt horen luiden, maar niet weet waar de klepel hangt.

Is het misschien niet slimmer te kijken naar een partij die hier ook echt verstand van heeft of gewoon eens eerst zelf de moeite te nemen om je echt in de aangedragen technieken te verdiepen?
Krijg ook niet echt de indruk dat je enig idee hebt wat de mogelijkheden van de techniek is.
Laat staan dat er een plan is.

Weet niet op wat voor termijn dit gerealiseerd moet worden.

Beide vestigingen hebben beschikking over een flinke internet verbinding (10Mbit en 50Mbit) en ik verwacht hooguit enkele tientallen MBytes per dag aan data synchronisatie. Beide bedrijven zijn volledig Windows (eigen Active Directories).

Staat raar tegenover:

Ik verwacht niet dat een 10Mbit internet verbinding ook een 5x betere ervaring zal opleveren i.v.m. tunneling/VPN overhead, extra hops en extra latency, zeer t.o.v. de 100/1000Mbit LAN snelheid waar de gebruikers nu mee werken.

Tuurlijk bied je je gebruikers geen 100/1000 Mbit aan over die internetlijnen.
Maar heb je ook echt 100/1000 Mbit nodig ?
Wat gaat er dan over die lijnen ?
Is het erg als een gebruiker een x tijd langer moet wachten met opslaan ?
Heb je hier al iets over getest ?
Hoe kritiek is het ?
Hoe "Real-Time" is je "Real-Time" ?
Zijn de eisen die jij eraan stelt ook de eisen die de organisatie eraan stelt ? (o.a. Real-time werken)

Ik lees hier lekker veel technische oplossingen bedenken, maar is deze techniek wel allemaal nodig ?

Inmiddels zeg ik : Stel een plan op !

[Robinski]

Ik blijf Server to Server VPN met DFS roepen. Dan synchroniseren de servers met elkaar over de "trage" VPN.
Uiteraard heb je dan wel een trust tussen de ADs nodig, maar dat zou niet zo moeilijk moeten zijn toch?

Enige nadeel is dat files niet goed gelocked worden over de DFS (volgens mij), dus daar moet je nog een oplossing voor zien te vinden.

[Jazzy]

Robinski schreef op donderdag 07 januari 2010 @ 16:45:
Ik blijf Server to Server VPN met DFS roepen. Dan synchroniseren de servers met elkaar over de "trage" VPN.

Dat gaat helaas niet cross-forest.