Geavanceerde File Synchronisatie software

[Piet400]

Ik ben op zoek naar een synchronisatie applicatie die om kan gaan met ‘complexe’ filtering opties.

Tot nu toe al heel veel applicaties gezien en getest, maar ze komen allemaal te kort op dit vlak.

De huidige applicatie is in-house ontwikkeld, wordt niet meer doorontwikkeld en heeft wat kuren. Daarvoor dient deze te worden vervangen.

Enkele van de apps die ik heb getest zijn:

• GoodSync;
• ViceVersa;
• DirSync Pro;
• FreeFileSync;
• Allways sync.

Situatie:

Grote folder structuur met bijna een miljoen folders en vele miljoenen bestanden.
Hiervoor dient een filter te worden gemaakt met o.a. de volgende opties:


Binnen deze structuur wordt er met include en exclude (file/folder) filters gewerkt, die het volgende doel hebben:

1. Include root folders die dienen te worden gesynchroniseerd
Huidige situatie: 400 folders

2. Include sub-folders die binnen deze 400 root folders dienen te worden gesynchroniseerd’;
Huidige situatie: 50 folders

3. Exclude sub-folders die expliciet niet meegenomen dienen te worden;
Huidige situatie: 20 sub-folders

4. Include alleen files die beginnen met: NUM en waarvan het vierde karakter een 2 of een 3 is;
Huidige situatie: 10 file filters


Enkele van deze filter opties zijn wel mogelijk om met boven genoemde applicaties in te stellen, maar als dat al mogelijk is, dan dienen hiervoor heel veel verschillende regels te worden gedefinieerd.

Als ik alleen al naar de eerste 2 filters kijk, dan dient er vaak per root folder een regel te worden opgegeven voor elk van de 50 folder die dient te worden ge-include. Dat betekend dat ik 400 x 50 regels krijg, oftewel 20.000 regels. Afgezien het feit dat dit niet wenselijk is, wordt dit door de meeste software ook niet ondersteund.

Met de huidige tooling wordt dit als volgt geregeld:

• 400 regels voor elk van de root folders die dient te worden ge-include;
• 50 regels voor elk van de sub-folders die dient te worden ge-include;
• 20 regels voor elke sub-folder die dient te worden ge-exclude;
• 10 regels voor elk van de file filter opties.

Totaal kom ik dan uit op 480 regels.

Welke software kan op een dergelijke manier werken ?

[Razwer]

Je kan het ook omdraaien, ipv een software oplossing te zoeken voor een complexe omgeving kan je ook kijken hoe je omgeving aan te passen dat standaard oplossingen wel werken. Uiteraard is het makkelijk praten voor mij zonder jouw situatie te kennen, maar je wilt het jezelf niet onnodig moeilijk maken.
Daarom zou de standaard oplossing moeten zijn het minder complex maken van de omgeving ipv de omgeving complexer maken met (exotische) oplossingen.

[MAX3400]

Powershell + Robocopy; hoge performance (ook bij een miljoen bestanden of meer), zelf je filters definieren op basis van verschillende inputs (in het script, als los txt-bestand, als robots.txt per root-dir etc), extreem goede logging mogelijk.

Kan het zijn dat ik echt mis over welk OS we het hebben, welke storage er is (local / remote), hoe deze storage wordt aangesproken (drive-letter, UNC, iSCSI, whatever); het zou handig zijn als we dat wel weten want nu vraag je eigenlijk theoretisch hoe je iets van A naar B kopieert.

/edit: ik zou je zelfs adviseren om je syncs zoveel mogelijk te isoleren van elkaar; niet alles in 1 job maar zoveel mogelijk uitgesplitste jobs zodat je het overzicht bij fouten zelf makkelijker kan troubleshooten.

[ Voor 17% gewijzigd door MAX3400 op 22-05-2015 11:42 ]

[gekkie]

rsync .. en je filelist zelf van te voren opbouwen met een scriptje en regexes etc ?
is na genoeg oneindig flexibel lijkt me.

[Jazzy]

MAX3400 schreef op vrijdag 22 mei 2015 @ 11:38:
Powershell + Robocopy; hoge performance (ook bij een miljoen bestanden of meer), zelf je filters definieren op basis van verschillende inputs (in het script, als los txt-bestand, als robots.txt per root-dir etc), extreem goede logging mogelijk.

Dit, sky is the limit. Uit je eisen zie ik zo niets wat je niet met een eenvoudig scriptje op zou kunnen lossen. Hetzelfde kan natuurlijk ook in bash of iedere andere omgeving, maar PowerShell is wel de manier van de toekomst.