Data synchroniseren

[m1dnigh7]

Beste tweakers,

Ik ben een student die in de week op kot studeert en heel wat files/documenten moet meesleuren op mn laptop.

Het jaatste jaar heb ik elke vrijdag als ik thuis kwam een SyncBackSE profieltje of 6 lopen om alle data te synchroniseren tussen m'n laptop en m'n server, en dan m'n server en m'n desktop en omgekeerd. Natuurlijk leidde dit tot heel wat geknoei..

Nu heb ik recent ownCloud geprobeerd maar dat ding is zo traag als wat. Daarom is mijn vraag, wat is een handige manier om een paar directories te syncen tussen 3 computers, waarvan eentje een always on server is.

Het liefste zou ik het ook af en toe 'ns doen over het internet.

[F_J_K]

Welke van de vele van dergelijke 'cloud based' tools heb je al geprobeerd?

Dropbox, Google, Microsoft, etc etc bieden soms al jaren gratis enkele GB's.

[m1dnigh7]

Welja, maar ik heb al snel 30 GB aan foto's en filmpjes, 50 GB aan alle school documenten (inclusief filmpjes etc), een mapje "tools" waar standalone exe's inzitten voor dingen die ik vaak gebruik, mijn folder met programmeer projecten etc.

De bedoeling van ze allemaal te synchroniseren met m'n server is omdat ik HFS heb draaien. Zo zijn alle files ook toegankelijk via een web interface voor als ik in de werkcolleges zit op een andere pc.

Dus die gratis diensten zijn niet echt een mogelijkheid.

[F_J_K]

Ik heb ook dergelijke hoeveelheden die ik sync (en daarnaast natuurlijk ook backup: een sync is geen backup, net zo min als RAID een backup is). Maar ik red me prima met Dropbox (a 8GB) en iets meer dan dat aan IMAP-mail.

De truc is enkel de courante data syncen, de rest 'simpelweg' kopiëren. En daar kan je ook prima bij, via vele methoden.

Als je toch alles wilt syncen: heb je iets als rsync geprobeerd? Daar zijn ook wel scripts te vinden die semi-realtime syncen mogelijk maken. Al wordt dat vast nogal complex om zelf te scripten, als mutaties op iedere machine kunnen plaatsvinden en er dus conflicten kunnen optreden. De server is immers zeker niet per se 'de' bron van waarheid als beide clients offline hetzelfde bestand kunnen wijzigen.

Als continu de zeg 100GB moet worden gesynct, is enige traagheid niet vreemd - afhankelijk van wat je traag vindt en hoeveel er verandert (check ook even wat de traagste is van alle betrokken up- en downloadsnelheden). De 'truc' is vooral efficiënt enkel de wijzigingen te zien. En goed nadenken over wat waar encrypted moet worden (waar een afweging tussen privacy/beveiliging en gemak/snelheid is te maken).

[m1dnigh7]

Ik heb nu inderdaad Cygwin geinstalleerd en met Rsync lukt het wel aardig Het enige waar ik nu nog wat last mee heb zijn die permissies aangezien ik op 2 computers ga syncen, maar damn dat is snel zeg

[ediel]

Onbeperkt data syncen ook buiten het netwerk:

http://labs.bittorrent.com/experiments/sync.html

[HollowGamer]

Wilde net de oplossing van ediel posten!

Ben het al een weken aan het testen en het werkt hier prima tussen verschillende clients (Mac, Linux, Windows, Android, etc.)

OwnCloud leverde bij mij ook problemen op, maar dit schijnt opgelost te zijn in de nieuwe(re) versies. Ik neem aan dat je de laatste release hebt geprobeerd? Verder moet er nog wat getweakt worden aan Apache, PHP en MySQL om de performance goed te krijgen. Deze kun je vinden in de OwnCloud Docu alsook op verschillende websites via Google.

[m1dnigh7]

Een probleem met ownCloud is volgens mij dat hij te vaak files gaat downloaden die hij moet syncen.

Voor zover weet ik dat bijvoorbeeld Dropbox enkel de bits gaat verzenden die veranderd zijn in een file. Voor mij is het echt een totale no-go. Het concept is super, maar de uitwerking laat de wensen te over.

Ik ga die even testen, het lijk me wel wat!

[Wolfboy]

Als het simpelweg syncen is tussen meerdere systemen kan ik Unison wel aanraden: http://www.cis.upenn.edu/~bcpierce/unison/

En alternatief, het is maar 3,79 euro per maand voor 100GB opslag bij Google Drive.

[ThinkPad]

robocopy scriptje die je thuis aanslingert?

[xAn52]

AeroFS al eens bekeken?

[m1dnigh7]

Ik heb uiteindelijk Bitorrent Sync op punt gezet en ik moet zeggen dat dit wel best goed werkt. Enkel af en toe bij het werken in een Visual Studio proctje kan hij ff een file locken, maar dit is echt heel af en toe maar.

AeroFS heb ik ook bekeken en dat is echt een Dropbox-clone. Dit is ook zeer handig, alleen mis ik daar de feature om zelf een x aantal folders te kiezen om te syncen. Maar verder is het wel veebelovend.

Ik heb ook eens lopen prutsen met rsync scriptjes en die werken ook best aardig. Maar toegegeven, het is de realtime sync van Bitorrent Sync die mij over de streep getrokken heeft.

Dit topic heeft mij wel een beetje wijzer gemaakt, waarvoor mijn dank!

[HollowGamer]

m1dnigh7 schreef op dinsdag 17 september 2013 @ 13:24:
Ik heb uiteindelijk Bitorrent Sync op punt gezet en ik moet zeggen dat dit wel best goed werkt. Enkel af en toe bij het werken in een Visual Studio proctje kan hij ff een file locken, maar dit is echt heel af en toe maar.

AeroFS heb ik ook bekeken en dat is echt een Dropbox-clone. Dit is ook zeer handig, alleen mis ik daar de feature om zelf een x aantal folders te kiezen om te syncen. Maar verder is het wel veebelovend.

Ik heb ook eens lopen prutsen met rsync scriptjes en die werken ook best aardig. Maar toegegeven, het is de realtime sync van Bitorrent Sync die mij over de streep getrokken heeft.

Dit topic heeft mij wel een beetje wijzer gemaakt, waarvoor mijn dank!

Heb je ook de tracker opties, etc. uitgeschakeld? Bij mij (en schijnbaar ook andere) maakte deze verbinding met de BTSync tracker (of cloud). Misschien puur alleen als een soort service als je niet in je eigen netwerk zit, zodat je toch je eigen btsync kan benaderen, maar ik wil gewoon liever niet dat er contact wordt gelegd met andere (je weet immers niet wat er overheen/na wordt gestuurd)

[m1dnigh7]

Ik zie die settings die jij noemt niet metteen staan? Ik gebruik hem overigens wel ook op afstand, namelijk op kot in Brussel.

[HollowGamer]

Oh oke, dus geen VPN? Dan kan je de instellingen beter zo laten.
Je vindt de opties onder Map-opties: rechtsklikken op de map die je deelt, en dan komt een menu. Ik bedoel in btsync zelf voor duidelijkheid.

Zelf maak ik gebruik van een OpenVPN connectie.

[m1dnigh7]

Achzo, die opties had ik inderdaad nog nooit gezien!

Ik ga wel eens proberen een VPN op te stellen in een Ubuntu VM, het lijkt mij misschien wel handiger! Bedankt voor de tip!

[HollowGamer]

m1dnigh7 schreef op dinsdag 24 september 2013 @ 10:08:
Achzo, die opties had ik inderdaad nog nooit gezien!

Ik ga wel eens proberen een VPN op te stellen in een Ubuntu VM, het lijkt mij misschien wel handiger! Bedankt voor de tip!

No problem. Door een VPN te gebruiken ben je weer wat minder afhankelijk van BitTorrent(TM). Zo heb je een directe verbinding. Je kunt deze opties (tracker, etc.) altijd weer activeren als je VPN niet (goed) werkt.

PS. Ik weet niet precies wat BitTorrent meezend als je de tracker functies gebruikt.