Eigen online backup oplossing

[Mistraller]

Ik ga binnenkort een NAS aanschaffen. (Ik denk een QNAP TS219P). Nu zat ik erover te denken om voor familie een soort van online backup oplossing te bieden. Nu zou upload via FTP aardig zijn (redelijk wat sync tooltjes snappen dat wel), maar leuker is natuurlijk als er een pakket bestaat dat ook blocklevel backups kan doen, versioning, etc, netzoals de backup clients van iDrive, KPN dat doen.

Bestaat zoiets? Zoeken op online backup geeft natuurlijk alleen maar resultaten over backup dienstverlening. Serverside moet dan wel linux zijn, want dat draait op de QNAP.

In het verlengde ervan zat ik ook al te denken aan het kruislinks backuppen van 2 NASsen. Niet dat ik mijn familie overgehaald zal krijgen om een fatsoenlijke NAS te kopen, maar het zou wel een mooie oplossing zijn.

Zo blijft de data toch in eigen beheer, en is het netjes "off site" gebackupped.

[Gomez12]

Zelf ook wel eens over gedacht.

Het voornaamste punt is block level / delta's. Als je die eenmaal hebt dan volgt de versioning vanzelf wel ( of je moet elke keer serverside alle blocks opnieuw opbouwen en in 1 bestand gieten ).

Tot nu toe niks handigs tegengekomen buiten rsync oid om.

[ik222]

Als je dan toch zoiets wilt doen kun je dan niet beter een zuinige server neerzetten ipv van een NAS. Dan heb je toch net wat meer performance en ook mogelijkheden.

[jayvol09]

Heeft t zfs daar niets te bieden? Ik weet verder niet of t uitmaakt welk filesystem gelezen wordt voor de referenties van snapshots.

[Voor 14% gewijzigd door jayvol09 op 24-11-2009 00:10]

[Wolly]

Als je het goed wilt doen: rsync.

[Mistraller]

ik222 schreef op dinsdag 24 november 2009 @ 00:04:
Als je dan toch zoiets wilt doen kun je dan niet beter een zuinige server neerzetten ipv van een NAS. Dan heb je toch net wat meer performance en ook mogelijkheden.

Dat dacht ik eerst ook. Maar toen zag ik de specs van de huidige NASjes. De nas die ik ga nemen, heeft een 1,2Ghz CPU, 500MB ram, en draait linux. Out of the box draait er al MySQL op, twonkyvision, en weet ik veel wat allemaal nog niet meer. Mooiste is, dat je optware IPKG kan installeren, dan heb je helemaal een shitload aan applicaties tot je beschikking.

Maw: Het IS al een zuinige server Bekijk de specs maar eens

Vanwege mijn zonnepanelen wil ik de beschikbare kWhtjes wel nuttig inzetten. QNAP met een of andere "Green" harddisk komt voor mij het beste uit de bus.

---

Voorlopig ga ik eerst eens kijken hoe het bevalt met de bestanden van mijn ouders, die hebben geen grote files, daar gaat het voornamelijk om foto's. Die veranderen toch niet meer, eenmaal geupload. Maar zodra ze video gaan bewerken verandert de zaak natuurlijk

[Voor 13% gewijzigd door Mistraller op 24-11-2009 21:42]

[Gomez12]

Tja rsync synchroniseert alleen de gewijzigde delen afaik. Enkel is het een intensief proces waar ik liever iets als dropbox oid zou zien.

Wat mijn oplossing op dit moment is ( voor als je niet te erg op geheimhouding zit te wachten ) installeer een dropbox client bij de client, installeer een dropbox client op de server.

Nadelen zijn wmb :
- Het loopt altijd via een externe server / amazon etc dus ik zou er niet 100% privacy gevoelige gegevens op zetten.
- Het is een maandelijkse betaling als je meer als 2Gb wilt.

Voordelen zijn wmb :
- Het is 2-way sync, als iemand een fotootje van mij wil hebben plaats ik hem lokaal in hun dropbox en dan staat hij op hun hdd.
- Het is delta-sync
- Alle versioning etc is geregeld via hun website, bij mij staat enkel de laatste versie
- Het is server-based met amazon als backend, als bij mij de stroom eruitligt merkt niemand er iets van.

Het enige wat ik niet ideaal vind is dat het een 3rd party server is, voor de rest vind ik het perfect werken.
Nu enkel nog een progje wat ik zelf op een colo-server kan gooien...

[Mistraller]

Een online backup bij een derde partij is nou exact hetgeen ik NIET wil. Bij Idrive heb ik nu gratis 12GB en dat gaat opzich prima. Het raakt echter bijna vol. Het wordt pas echt lastig bij een restore, want dan moet je die hele bende weer downloaden. Bij 12GB nog te doen, maar gaat het over 100 a 200GB dan wordt je niet vrolijk. Liever trek ik dan een snelle kopie van mijn NAS, op eSATA of USB disk en rijdt naar de andere locatie toe, en doe een restore. Duurdere online backup diensten leveren deze dienst ook (fysieke disk aanleveren bij de first backup of een restore) maar daar betaal je ook goed voor.

Dan heb ik ook geen last van montly fees, en van amerikaanse wetgeving.

Ik heb eens gekeken, volgens mij moet ik een heel eind komen met Rsync over SSH. Er zijn een hoop versies waarbij Rsync op windows werkt, bv Deltacopy.

Een andere tool waar ik aardige dingen over lees is Unison.

[BCC]

rdiff-backup doet dit voor je. gibak is ook cool, maar nog wat nieuw (0.3.0)

[Voor 56% gewijzigd door BCC op 01-12-2009 23:14]

[gambieter]

Bedenk je wel dat de upload een beperkende factor is? Ik zou het niet online doen, als je gewoon een consumentenlijntje hebt.

[BCC]

Ik heb tijden 80 GB gesynced over een 8 MBit down, 1 MBit up consumenten lijntje. Als je geschikte protocollen zoals bijvoorbeeld rsync gebruikt gaat dit perfect.

[Mistraller]

gambieter schreef op dinsdag 01 december 2009 @ 23:11:
Bedenk je wel dat de upload een beperkende factor is? Ik zou het niet online doen, als je gewoon een consumentenlijntje hebt.

Vandaar dus een rsync achtige setup.

Ik heb al wel ervaring met online backup van foto's en zo. Dat gaat eigenlijk best goed, merk er weinig van.

Een eerste backup duurt eventjes inderdaad. Maar als je alles zelf beheert kan je gewoon de eerste backup even regelen via een USB harddisk.

[jayvol09]

http://breden.org.uk/2008...ckups-from-zfs-snapshots/

zfs kan zelfs op linux met prestatieverlies, de snelheid zal wel net aan een 100mbit lijntje voltrekken.

Zelf geef ik de voorkeur aan de vrijheid van een zelf samengesteld systeem, kun je OS tenminste zelf kiezen, tis niet alsof ze er iets bijzonders op zetten.

[Voor 64% gewijzigd door jayvol09 op 02-12-2009 21:29]

[Borromini]

ik222 schreef op dinsdag 24 november 2009 @ 00:04:
Als je dan toch zoiets wilt doen kun je dan niet beter een zuinige server neerzetten ipv van een NAS. Dan heb je toch net wat meer performance en ook mogelijkheden.

Met een Qnap TS-219(p) heb je processing power zat, en dat voor 20W verbruik max.

Onderschat die ARM setups niet. Netwerkverkeer en synchronisatie hebben sowieso niet veel CPU nodig.

Ik zou ook aan rsync denken, eventueel met compressie. Je kan rsync altijd de backup laten bijwerken naar de meest recente staat van het origineel, ik weet niet om het mogelijk is om verschillende backupversies te krijgen die diffen (van de diff UNIX utility ) op de originele backup.

jayvol09 schreef op woensdag 02 december 2009 @ 21:25:
http://breden.org.uk/2008...ckups-from-zfs-snapshots/

ZFS wordt niet ondersteund, het dient langs FUSE te gaan, en dat is weer een vertaalslag. Sowieso is ZFS server-side niet interessant in dit geval denk ik, op de clients zelf was dat een stuk interessanter geweest.

[Voor 45% gewijzigd door Borromini op 02-12-2009 21:33]

[jayvol09]

Ja ik doelde meer op t kruislinks backuppen van 2 servers.

[BCC]

Borromini schreef op woensdag 02 december 2009 @ 21:28:
[...]
Ik zou ook aan rsync denken, eventueel met compressie. Je kan rsync altijd de backup laten bijwerken naar de meest recente staat van het origineel, ik weet niet om het mogelijk is om verschillende backupversies te krijgen die diffen (van de diff UNIX utility ) op de originele backup.

Dat zeg ik een stukje terug, daar is rdiff voor. Timemachine is er niets bij.

Borromini schreef op woensdag 02 december 2009 @ 21:28:
[...]
ZFS wordt niet ondersteund, het dient langs FUSE te gaan, en dat is weer een vertaalslag. Sowieso is ZFS server-side niet interessant in dit geval denk ik, op de clients zelf was dat een stuk interessanter geweest.

Fuse is niet het probleem. NTFS via fuse is bijvoorbeeld even snel als native. De huidige implementatie van ZFS onder fuse is echter niet snel en niet feature complete.

[Voor 34% gewijzigd door BCC op 02-12-2009 23:50]

[Mistraller]

De QNAP NAS kan blijkbaar native al synchroniseren met een andere QNAP. Aangezien mijn ouders onlangs een DNLA enabled TV hebben gekocht, kan ik ze denk ik wel een QNAP TS110 aansmeren. Daarmee kan ik dus in elk geval mijn eigen storage al buiten de deur veilig stellen.

Verder blijkt het ook mogelijk te zijn om Unison te draaien mbv Optware / ipkg. Rdiff lijkt inderdaad ook wel heel aardig, ik ga er binnenkort eens mee experimenteren.

Op het forum van QNAP wordt er in elk geval veel over gediscussierd, dus ik ga me daar eens inlezen.

[Titusvh]

Mistraller schreef op maandag 23 november 2009 @ 23:34:
Ik ga binnenkort een NAS aanschaffen. (Ik denk een QNAP TS219P). Nu zat ik erover te denken om voor familie een soort van online backup oplossing te bieden. Nu zou upload via FTP aardig zijn (redelijk wat sync tooltjes snappen dat wel), maar leuker is natuurlijk als er een pakket bestaat dat ook blocklevel backups kan doen, versioning, etc, netzoals de backup clients van iDrive, KPN dat doen.

Bestaat zoiets? Zoeken op online backup geeft natuurlijk alleen maar resultaten over backup dienstverlening. Serverside moet dan wel linux zijn, want dat draait op de QNAP.

In het verlengde ervan zat ik ook al te denken aan het kruislinks backuppen van 2 NASsen. Niet dat ik mijn familie overgehaald zal krijgen om een fatsoenlijke NAS te kopen, maar het zou wel een mooie oplossing zijn.

Zo blijft de data toch in eigen beheer, en is het netjes "off site" gebackupped.

Crashplan doet blocklevel backups naar bestemmingen die jezelf wil: externe hdd, andere pc, of 'een vriend' over het internet.
De standaard software is gratis.
Het aardige is dat je een backup kan 'seeden', dus de eerste backup gewoon even met de externe hdd langsbrengen, zodat je die niet via het internet hoeft over te pompen. En vanaf dat moment alleen de wijzigingen oversturen.
Clients voor windows, linux en mac.

De enige kosten die je kan hebben: de plus versie van de software (wat meer tweaks en geen ads[die reuze meevallen]), en als je remote op hun server wil backuppen.
De plusversie is bij aanschaf van abo (4,50/maand) op hun server, zelfs gratis tot 31-12.

Ik ben het nu aan het testen als vervanging voor Mozy.

[donnervogel]

Zelf ook wel eens over nagedacht. Ik zal dit topic dan ook met interesse gaan volgen.
Een online backup bij derden is voor mij ook uit den boze. Een nas of server komt bij mijn dochter te staan.
Ik zit zelf te denken aan het kruislinks backuppen van 2 NASsen (evt. QNAP TS-239) of 2 energie zuinige servers met Ubuntu server software en de hd's in raid 1.
Eerste backups via e-Sata disk even langs brengen naar andere locatie en daarna wijzigingen oversturen via internet.
De upload snelheden van kabelinternet zijn acceptabel geworden en VDSL volgt spoedig ook wel denk ik.
Of het QNAP TS-239 of energie zuinige servers met Ubuntu worden daar ben ik nog niet helemaal uit.
Bij het eigen server OS (Ubuntu) heb je alles zelf in de hand.
Voor mij is ook van belang dat de nas of de server gestart kan worden via WOL.

[Voor 3% gewijzigd door donnervogel op 26-12-2009 11:56]

[Mistraller]

donnervogel schreef op zaterdag 26 december 2009 @ 11:45:
Zelf ook wel eens over nagedacht. Ik zal dit topic dan ook met interesse gaan volgen.
Een online backup bij derden is voor mij ook uit den boze. Een nas of server komt bij mijn dochter te staan.
Ik zit zelf te denken aan het kruislinks backuppen van 2 NASsen (evt. QNAP TS-239) of 2 energie zuinige servers met Ubuntu server software en de hd's in raid 1.
Eerste backups via e-Sata disk even langs brengen naar andere locatie en daarna wijzigingen oversturen via internet.
De upload snelheden van kabelinternet zijn acceptabel geworden en VDSL volgt spoedig ook wel denk ik.
Of het QNAP TS-239 of energie zuinige servers met Ubuntu worden daar ben ik nog niet helemaal uit.
Bij het eigen server OS (Ubuntu) heb je alles zelf in de hand.
Voor mij is ook van belang dat de nas of de server gestart kan worden via WOL.

Ik ga bij mijn ouders een QNAP TS110 plaatsen, en bij mij een QNAP TS239P. Die kunnen out of the box al met elkaar synchroniseren. Dus dat is wel prettig, scheelt weer een hoop gezoek. De PC's worden dan dagelijks met een file backup tool gebackupped (continu denk ik) en één keer per week een partitiebackup met acronis oid. En de inhoud van de NASsen wordt dus kruislinks over de lijn gestuurd, elke nacht of zo.

WOL ga ik niet gebruiken, immers, de disken worden op mijn nas regelmatig aangesproken, aangezien het ding ook fungeert als webserver, en een hoop andere taken. Bij mijn ouders zou het kunnen maar daar wordt ie straks tevens gebruikt als streaming media server, dus dan wil je ook niet dat de NAS uitstaat. De TV gaat die NAS niet aanzetten via WOL, dat zit er echt niet in...

Ik ga in elk geval niks zelf bouwen. Die nassen zijn zo zuinig, daar kan ik weinig aan toevoegen, buiten de schijven dan. En daar zit ook nog eens support op, en het is wel zo makkelijk dat er al een hoop op zit. En verder kan je via IPKG / Optware aan de gang, en daar heb ik al ervaring mee, met mijn huidige Asus wl500g oplossing.

Aangezien ik mijn NAS ook ga gebruiken met iSCSI icm ESX voor zelfstudie, bestaat er wellicht de kans dat mijn werkgever een duit in het zakje doet Dat is makkelijker uitgelegd met een NAS dan met een of ander zelfbouwproject.

Ik zit nu alleen nog met de schijven, er wordt over de WD green serie nogal wat afgediscussieerd. Daarom zit ik nu over Samsung te twijfelen. En misschien is 2TB schijven ook wel handig....

[donnervogel]

Bij mijn dochters zou ik evt de QNAP TS-210 of TS-219 kunnen plaatsen en bij mij de QNAP TS-239 of eigen server. Raid1 is minimaal een voorwaarde die ik wil.
Het prijsverschil tussen een eigen gebouwde zuinige server is niet zo heel groot met een kant en klare nas.
Op de eigen server gaat bij mij t.z.t website(s) draaien.
De reden dat ik WOL wil is dat de pc's en nassen niet elke dag de gehele dag draaien. De backups of sync's naar de nas worden pas uitgevoerd nadat een pc afgesloten wordt. Het kruislings backuppen (van de nassen, van en naar mijn dochters) zal dan ook hoofdzakelijk s'nacht plaats vinden.
Voor het maken van images gebruik ik zelf driveimage xml. Met acronis heb ik al tweemaal slechte ervaringen gemaakt, met het terugzetten van de image, die vernaggelde het hele systeem. Moest volledig re-install uitvoeren.
Wat hd's betreft heb ik zelf goede ervaringen tot nog toe met WD en Samsung, dit in tegenstelling met Maxtor en IBM (Hitachi).

[Mistraller]

donnervogel schreef op zondag 27 december 2009 @ 19:03:
Bij mijn dochters zou ik evt de QNAP TS-210 of TS-219 kunnen plaatsen en bij mij de QNAP TS-239 of eigen server. Raid1 is minimaal een voorwaarde die ik wil.
Het prijsverschil tussen een eigen gebouwde zuinige server is niet zo heel groot met een kant en klare nas.
Op de eigen server gaat bij mij t.z.t website(s) draaien.
De reden dat ik WOL wil is dat de pc's en nassen niet elke dag de gehele dag draaien. De backups of sync's naar de nas worden pas uitgevoerd nadat een pc afgesloten wordt. Het kruislings backuppen (van de nassen, van en naar mijn dochters) zal dan ook hoofdzakelijk s'nacht plaats vinden.
Voor het maken van images gebruik ik zelf driveimage xml. Met acronis heb ik al tweemaal slechte ervaringen gemaakt, met het terugzetten van de image, die vernaggelde het hele systeem. Moest volledig re-install uitvoeren.
Wat hd's betreft heb ik zelf goede ervaringen tot nog toe met WD en Samsung, dit in tegenstelling met Maxtor en IBM (Hitachi).

Ik heb op mijn huidige linux servertje een webpagina die op de achtergrond WOL doet om een pc in te schakelen, on demand. Dat kan natuurlijk zo omgebouwd worden met een scriptje. (ether-wake).

Als je de NAS goed inricht zal ie netjes idle gaan, en de disken uitzetten. Mijn huidige machine (asus wl500gx met 60GB hitachi 2,5 inch disk trekt 7W continu. Daar kan ik niet wakker om liggen. De qnap verbruikt idle ook maar 5W.

(NB: Die hitachi draait nu ruim 3 jaar 24/7 zonder een enkel probleem.)

Ik heb met acronis juist heel wat ellende bespaard, want het leuke met acronis is dat je een dergelijke image ook in één keer kan converteren naar een VMware virtuele machine. Maar goed.

Over de disken: Uiteraard komen er "green" disken in. (die draaien 5400 tpm en dat is zat in een nas)

Voor zover ik weet zijn er nu drie merken die met groene dikke disken op de markt zijn. WD, Seagate en samsung.

WD green: deze disk gaat elke 8 seconden spindown om stroom te besparen. Echter, onder linux (op de nas dus) wordt elke 30 seconden een check uitgevoerd, in elk geval in een RAID config. Op het QNAP forum is een thread waar veel mensen problemen melden omdat er dus zoveel spinups/downs plaatsvinden met deze disk.

Seagate: Ik heb nog hoofdpijn van de firmware ellende die een jaar terug speelde bij deze disken.

Samsung Ecogreen: goedkoopste, maar volgens mij de minst zuinige schijf van het rijtje.


Als je nu al nadenkt over RAID1 dan zou ik meteen een 4 disk NAS nemen, want dan kan je tenminste (evt in de toekomst) naar Raid 5 of 6.

QNAP kent ook een feature waarbij je een eenmalige mirror kan wegschrijven naar een externe disk op de usb of esata poort. (Soort remote RAID1) Dat ga ik gebruiken, want in principe gaat mijn data al gemirrord naar de andere QNAP. En dan af en toe nog een losse kopie.

Overigens kan je geen RAID5 draaien met usb of esata disken. Ze moeten intern zitten, vanwege de hogere kans op verwijdering/slecht contact/oid, en daarmee een degrade van je RAID set.

Eigen bouw: Het prijsverschil is niet zo groot wellicht in aanschaf, maar vergeet vooral de uurtjes niet. Voordat je een custom dingetje even stabiel en betrouwbaar hebt draaien, met gelijkwaardige functies, ben je avonden verder. De mogelijkheden van de QNAP (of voor mij part een Synology) zijn IMHO net zo groot als met custom build.

[Voor 5% gewijzigd door Mistraller op 27-12-2009 20:54]

[donnervogel]

Nadere bestudering heeft me er al toegebracht om i.p.v een eigen server maar na te denken over QNAP TS-509.
Het mooie aan de qnap nassen is dat je via Remote application kruislings je backups kunt uitwisselen.

Mistraller schreef op zondag 27 december 2009 @ 20:50:
[...]

WD green: deze disk gaat elke 8 seconden spindown om stroom te besparen. Echter, onder linux (op de nas dus) wordt elke 30 seconden een check uitgevoerd, in elk geval in een RAID config. Op het QNAP forum is een thread waar veel mensen problemen melden omdat er dus zoveel spinups/downs plaatsvinden met deze disk.

Seagate: Ik heb nog hoofdpijn van de firmware ellende die een jaar terug speelde bij deze disken.

Samsung Ecogreen: goedkoopste, maar volgens mij de minst zuinige schijf van het rijtje.

Als je nu al nadenkt over RAID1 dan zou ik meteen een 4 disk NAS nemen, want dan kan je tenminste (evt in de toekomst) naar Raid 5 of 6.

Bij WD is voor sommige greens een utility "RE2GP Idle Mode Update Utility" die de LCC laag houd.
Seagate gelet op de problemen, die te lezen zijn in diverse fora, ga ik sowieso niet gebruiken.
Met Samsung heb ik zelf nog geen problemen gehad.

De QNAP TS-219 gebruikt idle 5W onder load 21W en de QNAP TS-239 idle 21W onder load 24W, volgens QNAP info.

EDIT 28-12-2009: Bij de WD is ideaal SCC=LCC. Het schijnt evenwel een probleem te zijn in Linux (nas) dat hij te vaak op-/downspint. Waarschijnlijk een firmware probleem. Of andere merken dat ook hebben dat weet ik niet, ga wel eens even kijken. Het zal wel geen probleem gaan vormen voor de nassen zoals ik die wil gaan gebruiken, daar deze alleen in de nacht hun backups gaan uitwisselen.

Of voor het LCC issue deze oplossing kiezen: Western Digital Load Cycle Count probleem [oplossing]

[Voor 23% gewijzigd door donnervogel op 28-12-2009 11:44]

[Mistraller]

Dat gedoe met WD zint me nog steeds niet zo. Als ik nieuwe spullen koop die op de HCL staan dan moet het zonder gezeik gaan werken. Geen achteraf gepruts. Voorlopig blijft de samsung bovenaan mijn boodschappenlijst...

[BCC]

Mistraller schreef op zondag 27 december 2009 @ 20:50:
[...]
Overigens kan je geen RAID5 draaien met usb of esata disken. Ze moeten intern zitten, vanwege de hogere kans op verwijdering/slecht contact/oid, en daarmee een degrade van je RAID set.

Het kan technisch prima, de vraag is of je het wil.

[Fallen Angel]

BCC schreef op maandag 28 december 2009 @ 21:02:
[...]

Het kan technisch prima, de vraag is of je het wil.

http://dvice.com/archives/2009/05/35-inch-floppy.php

[Mistraller]

BCC schreef op maandag 28 december 2009 @ 21:02:
[...]

Het kan technisch prima, de vraag is of je het wil.

Technisch kan het wellicht, maar met een two-bay NAS van QNAP in elk geval niet voor zover ik gelezen heb.

http://forum.qnap.com/viewtopic.php?f=25&t=15625

Wellicht komt dat nog in een nieuwe firmware, maar ik kan me goed voorstellen dat het een commerciële gedachte is om de support voor raid5/6 eruit te slopen op single en dual bay devices.

[Voor 3% gewijzigd door Mistraller op 28-12-2009 23:46]