Backup / File transfer / sync software

[Mattie112]

Ik ben opzoek naar software om te "backuppen". Althans de backups worden gemaakt door een andere tool en deze files wil ik naar een networkshare kopieren over het internet (VPN).

Ik zal even de situatie schetsen:

Op de server staan een aantal mappen:

Directory 1 bevat backups van diverse pc's. Dit zijn zowel 'file-backups' als images. De gehele grootte van deze map is zo ongeveer 1tb. Een enkele image file kan rustig een paar honderd GB zijn en een file backup van een pc kan zo 'klein' zijn als een paar honderd MB.

Directory 2 bevat zo'n 200gb aan foto's. Foto's zijn zo'n 4 a 5 mb per stuk.

Wat wil ik nou precies:

Ik wil deze files "backuppen" (Iees: kopiëren) naar een externe locatie, maar deze files wil ik wel encrypteren op slaan. Ik beheer het systeem op de andere locatie niet zelf en ik vind het nou niet zo prettig als iemand "zomaar" door mijn foto's zou kunnen bladeren. Aangezien deze actie over het internet gaat is het essentieel dat er iets ala diffrential backup in zit. 10 foto's toevoegen moet niet betekenen de hele map weer over het internet sturen.

Zelfde geld (eigenlijk) ook voor de image file. Ik kan me voorstellen dat het daar wat lastiger is maar iets ala delta copy zou toch moeten werken?

Ik heb al gekeken naar diverse tools waarbij SyncBackPro me eigenlijk het beste leek, maar helaas om het te encrypten moet er eerst LOKAAL een 'temp' zip file gemaakt worden met alle files er in. Dat wil dus zeggen, een zipfile van 200gb! Hierna wordt dit pas overgezet. Er is ook een optie om alles in losse files te zetten (dus 1 zip per file) maar dit lijkt me weer vreselijk voor het restoren van data.

Voor die foto's gaat het nog wel maar ik heb gewoon niet genoeg storage om van die 1tb map een tijdelijke kopie te maken. De files zouden dus "on the fly" ge-encrypt en overgezet moeten worden!

Een ander nadeel van bovenstaande tool (dat vertelde de support mij) is dat als er 1 foto bij komt de hele 200gb opnieuw gesynct moet worden omdat ze niet 1 bestand IN een encrypted zip toe kunnen voegen.

Dus:
wie o wie weet er een goeie oplossing voor mij!
de lokale server is een win2k12 bak en de destination is 1x een windows bak (dus samba//ftp) en 1x een linux bak (ssh met rsync?)

[SadisticPanda]

Ik doe net zelfde met duplicity.

Encrypt alles 'on the fly', je kan een blockssize opgeven. Dan heeft is dit de max tempspace die je nodig heeft.
Ik zit ongeveer in zelfe schuitje, grote files gecombineerd met vele kleine bestanden. En dat doet duplicity voor mij perfect.

De backup bestanden schrijft die gewoon weg naar meeste bekende systemen(ftp, file, s3,..)

Verdorie, niet gezien dat het om winoows toestellen gaat, nu je kan je linux server wel in de backup map van de windows server laten gaan

[ Voor 16% gewijzigd door SadisticPanda op 27-05-2014 13:31 ]

[Mattie112]

Thx,

Het doel is idd om het vanuit die windows server te backuppen maar mocht er nou niks te vinden zijn (is het zo vreemd wat ik vraag?) kan ik idd zoiets overwegen.

Kom net ook deze port tegen: https://code.google.com/p/duplicati/ ga er in elk geval even naar kijken, thx!

Andere suggesties zijn ook zeker welkom!

[Jolke]

Waarom maak je op je remote lokatie niet eerst een encrypted container aan en kopiëert de files daarin?
Als ik vragen mag, is remote een commerciëel bedrijf of een buddie? 1TB is echt heel veel...

[SadisticPanda]

Bwa, valt nogal mee. De Op zegt dat hij een backup wil nemen van de backup van andere pc's (zowel files als images). Dan durft de grootte wel eens snel aantikken

[Witte]

dat is toch geen doen... 1 TB over een vpn-lijntje naar een externe locatie...
stel dat je 10 mbit volstouwt, dan ben je 222 uur bezig voor die ene map, ofwel bijna 10 dagen.
Ik denk dat je beter en goedkoper kunt investeren in een paar externe schijven en daar een goed beleid en strategie op los laten.

[Jolke]

Dat lijkt mij ook... met name de initiële backup duurt lang, daarna mag ik hopen dat je incrementeel maar een aantal GB's max gaat kopiëren.
Ik heb extern een backup van 90GB, maar daar heb ik eerst een harde schijf langsgebracht om de eerste 95% over te zetten. Nu komt daar wekelijk een paar 100 MB bij, dat is goed te doen. Overigens bij een buddy, dus ik hoef het niet geëncypt te hebben.

[ThinkPad]

Ik gebruik DeltaCopy om data van PC's te backuppen naar een Synology NAS. Werkt prima.

[Mattie112]

Goed ik zal hier weer even reageren:

Inmiddels al een tijdje Duplicatie draaien wat opzich prima werkt. Alles komt keurig encrypted op de doel host (ja ook is dat van een vriend toch graag enctypted )

Maar nu loop ik eigenlijk tegen het volgende aan: het viel me op dat er elke dag nog erg veel verstuurd werdt, ok dan denk je dat zal de initiele backup wel zijn maar een paar weken later was dit nog steeds zo!

Enig onderzoek later en ik kwam er achter dat UrBackup (wat ik dus intern gebruik om de systemen te backuppen) gebruik maakt van symlinks (ntfs junctions @ windows). Echter: duplicatie detecteerd dat niet "correct".

Wat er nu dus aan de hand is: ik heb een "file-backup" van 40gb, en elke dag wordt er een nieuwe backup gemaakt. Deze backup "symlinkt" als het ware de niet-gechangde files. Dus je hebt altijd een "volledige" backup staan. Echter: duplicatie ziet dit niet en upload vrolijk die complete 40gb!

Helaas helaas, dacht net een mooie oplossing te hebben (voor foto's oid werkt het dus wel perfect)

Iemand nog suggesties dus vor een "sync-en-encrypt" tooltje wat de link zelf copy'ed en dus niet de file contents?


edit:

Een truecrypt achtig volume (ookal is dat niet "veilig" meer) is wat mij betreft ook een optie, maar is niet juist het hele idee dat als je 1 file toevoegd de "hele" container changed en dus ALLES weer moet syncen?

[ Voor 9% gewijzigd door Mattie112 op 13-06-2014 10:49 ]

[dezejongeman]

Mattie112 schreef op vrijdag 13 juni 2014 @ 10:48:
Een truecrypt achtig volume (ookal is dat niet "veilig" meer) is wat mij betreft ook een optie, maar is niet juist het hele idee dat als je 1 file toevoegd de "hele" container changed en dus ALLES weer moet syncen?

idd, jij zoekt een applicatie die per file encrypt en niet per filesystem. zoiets als boxcryptor maar dan voor je eigen private cloud.

[Jolke]

En als je de symlinks weghaalt?

[Mattie112]

Juist, aangezien het over het internet gaat moet hij zo min mogelijk synchroniseren, je zal altijd wel wat overhead hebben maar elke keer een 100gb volume over-pompen schiet niet op

En misschien is de juiste oplossing wel een andere backuptool gebruiken dan UrBackup, 1 die geen gebruik maakt van symlinks maar juist UrBackup werkt echt perfect voor mij!

edit:

@Jolke:
Dat kan niet, daar zorgt mijn backup-tool (UrBackup) voor.

[ Voor 10% gewijzigd door Mattie112 op 13-06-2014 11:29 ]