[Backup] Tool voor het backuppen via internet

[AjDuLion]

Ik ben op zoek naar een tool waarmee ik backups van +-28 locaties centraal kan backuppen naar 1 centrale server op een server die in a'dam staat.
Dit alles moet gebeuren via een 128KB/s upload verbinding.

het gaat hier alleen maar om data die vaak verandert word (uitslagen/word documenten/excel etc)
het zijn dus geen gehele OS backups (als dit wel mogelijk is dan mag dat ook gegeven worden)

zelf hebben we allerlei backup programma's geprobeert (handy backup/cobian backup)
we hebben ook geprobeert met batch files via een ftp verbinding te backupen maar zodra de verbinding even wegviel was de backup gelijk mislukt.

ook zouden we graag willen dat er zodra de backup lukt/mislukt dat er dan een mailtje naar de beheerder van de server en een mail naar ons toe word gedaan.

ikzelf heb all een tijdje lopen zoeken naar dit soort software maar helaas niets over kunnen vinden en steeds was het software welke alleen maar lokaal kon backuppen.

Wie heeft er te maken gehad met een soortgelijke situatie, en welke software hebben jullie hier toen voor ingezet?

Alvast bedankt.

edit:

in de search soortgelijk topic gevonden en daar kwam dit backup programma uit

Veritas NetBackup PureDisk Remote Office Edition

hier ga ik me ook even in verdiepen maar als er nog meer alternatieven zijn dan zijn die natuurlijk welkom (open source/freeware)

[ Voor 12% gewijzigd door AjDuLion op 04-04-2006 13:53 ]

[mabarto]

Dit is een vraag die ook al een tijdje stel. Ik kan niets interessants vinden.
Wat misschien wel interessant is, zijn bijv die websites die die dienst aanbieden zoals www.backupagent.nl. Maargoed, waarschijnlijk wil je zelf zo'n dienst worden.
Reseller worden kun je overigens dan wel.

Veritas vind ik niet echt een fijn pakket. Niet gebruiksvriendelijk.

[ Voor 13% gewijzigd door mabarto op 04-04-2006 14:03 ]

[AjDuLion]

mabarto schreef op dinsdag 04 april 2006 @ 13:51:
Dit is een vraag die ook al een tijdje stel. Ik kan niets interessants vinden.
Wat misschien wel interessant is, zijn bijv die websites die die dienst aanbieden zoals www.backupagent.nl. Maargoed, waarschijnlijk wil je zelf zo'n dienst worden.
Reseller worden kun je overigens dan wel.

nee ik wil niet zo'n dienst worden

wij zijn een soort van helpdesk voor basisscholen maar deze stichting van hun heeft een server in amsterdam gehuurd welke voor dit soort dingen beschikbaar is gesteld maar hier word tot nu toe nog geen gebruik van gemaakt en dat willen we graag veranderen

[DJ-B]

Ik gebruik Syncback voor dit doeleind. Misschien heb je er ook iets aan. Het geeft ook mailtjes als het goed / fout is gegaan.

[MadMurdock]

Mja, vrij standaard vraag en volgens mij ook genoeg over te vinden op GoT.
Wij gebruiken voor de synchronisatie van onze webserver rsync, ideale open-source tool als je het mij vraagt; snel, bijzonder veel mogelijkheden waaronder beveiligde verbindingen, etc.

[CmdrKeen]

Het nadeel van Syncback en rsync en dat soort tooltjes is dat je moet kiezen tussen OF deletions wél propageren OF deletions niet propageren. Dat is eigenlijk het hele nadeel van niet naar tape backuppen.

Omdat je terughoudend met je diskspacegebruik wilt omgaan, wil je het liefst incremental backuppen maar bij een restore heb je dan het probleem dat je bestanden die eerder verwijderd zijn terugkomen (deletions niet gepropageerd) of dat bestanden die een paar dagen eerder per ongeluk zijn verwijderd maar waarvan je dat nu pas opmerkt niet meer te restoren zijn (deletions wél gepropageerd).

Welke tool je ervoor gebruikt, maar niet zoveel uit. Persoonlijk zou ik Syncback gebruiken als je Windows doet en rsync als je geen Windows doet, maar dan met twee autonome systemen: een voor disaster recovery en een voor het terughalen van bestanden die per ongeluk verwijderd zijn vóór de meest recente incrementele backup.

Je kan dat serieel doen:

1. Filiaal stuurt bestanden volledig naar backuplokatie
2. Backuplokatie stuurt bestanden volledig naar tweede backuplokatie

3. Filiaal stuurt bestanden incrementeel naar backuplokatie, propagated deletions
4. Backuplokatie stuurt bestanden incrementeel naar tweede backuplokatie, deletions not propagated

En dan elke backupcyclus stap 3 en 4 herhalen. Zo heb je voor directe disaster recovery altijd de eerste backuplokatie beschikbaar en voor bestanden die je per ongeluk twee weken eerder bent kwijtgeraakt de tweede backuplokatie.

Aangezien de backuplokatie off-site is, kan je lok 1 en lok 2 op dezelfde server huisvesten.

Maar ik zou er Syncback of rsync voor gebruiken.

[Question Mark]

Mischien is Microsofts Data Protection Manager wel iets voor de TS. Zie voor meer info de volgende Technet Webcast:

TechNet Webcast: Branch Office Data Protection with DPM

Maar misschien kan TS hier wel niets mee... Wil je echt een goed onderbouwd antwoord van 'ons', dan zul je toch echt met meer specs aan moeten komen zetten:

• Hoeveel data praten we over
• Wat voor back-up schema (Full / Differential / Incremental)
• SLA's met betrekking tot restore tijden
• Backup-windows
• Budget
• Van wat voor OS moet er gebackupped worden
• Welk OS gaat de backup-software op draaien.
• etc.

Zonder deze info, kan niemand een goed advies geven en wordt het een opsomtopic over allerlei backupsoftware.

[ Voor 5% gewijzigd door Question Mark op 04-04-2006 16:47 ]

[AjDuLion]

Question Mark schreef op dinsdag 04 april 2006 @ 16:46:
Mischien is Microsofts Data Protection Manager wel iets voor de TS. Zie voor meer info de volgende Technet Webcast:

TechNet Webcast: Branch Office Data Protection with DPM

Maar misschien kan TS hier wel niets mee... Wil je echt een goed onderbouwd antwoord van 'ons', dan zul je toch echt met meer specs aan moeten komen zetten:

• Hoeveel data praten we over
• Wat voor back-up schema (Full / Differential / Incremental)
• SLA's met betrekking tot restore tijden
• Backup-windows
• Budget
• Van wat voor OS moet er gebackupped worden
• Welk OS gaat de backup-software op draaien.
• etc.

Zonder deze info, kan niemand een goed advies geven en wordt het een opsomtopic over allerlei backupsoftware.

even antwoorden:)

1: idee van nu is dat we van alle servers (+- 24 servers voor ons bestuur) hier zit voor +- 36 GB per server aan data op (maximaal)
2: tliefst willen we dat er om de maand een full backup gedraaid word en elke dag de data zoals documenten uitslagen enz opgeslagen worden
3:SLA ?
4:backup windows : zoals ik zei elke maand 1x
5: budget de data storage is er (+- 2 TB) servers zijn er ook alleen de software is er dus _nog_ niet
6: alles is windows based..
7: windows dus

nog meer vragen dan zijn die welkom

we proberen momenteel even de syncback uit op 1 school om te kijken hoelang een backup kan duren..
atm ziet het ernaaruit dat een full backup 3 dagen duurt..

[AjDuLion]

Vorkbaard schreef op dinsdag 04 april 2006 @ 16:01:
Het nadeel van Syncback en rsync en dat soort tooltjes is dat je moet kiezen tussen OF deletions wél propageren OF deletions niet propageren. Dat is eigenlijk het hele nadeel van niet naar tape backuppen.

Omdat je terughoudend met je diskspacegebruik wilt omgaan, wil je het liefst incremental backuppen maar bij een restore heb je dan het probleem dat je bestanden die eerder verwijderd zijn terugkomen (deletions niet gepropageerd) of dat bestanden die een paar dagen eerder per ongeluk zijn verwijderd maar waarvan je dat nu pas opmerkt niet meer te restoren zijn (deletions wél gepropageerd).

Welke tool je ervoor gebruikt, maar niet zoveel uit. Persoonlijk zou ik Syncback gebruiken als je Windows doet en rsync als je geen Windows doet, maar dan met twee autonome systemen: een voor disaster recovery en een voor het terughalen van bestanden die per ongeluk verwijderd zijn vóór de meest recente incrementele backup.

Je kan dat serieel doen:

1. Filiaal stuurt bestanden volledig naar backuplokatie
2. Backuplokatie stuurt bestanden volledig naar tweede backuplokatie

3. Filiaal stuurt bestanden incrementeel naar backuplokatie, propagated deletions
4. Backuplokatie stuurt bestanden incrementeel naar tweede backuplokatie, deletions not propagated

En dan elke backupcyclus stap 3 en 4 herhalen. Zo heb je voor directe disaster recovery altijd de eerste backuplokatie beschikbaar en voor bestanden die je per ongeluk twee weken eerder bent kwijtgeraakt de tweede backuplokatie.

Aangezien de backuplokatie off-site is, kan je lok 1 en lok 2 op dezelfde server huisvesten.

Maar ik zou er Syncback of rsync voor gebruiken.

hier heb je helemaal gelijk in daarom willen we ook elke maand een full backup hebben (desnoods handmatig gedaan via een externe hdd ofzow)

[Gomez12]

Vorkbaard schreef op dinsdag 04 april 2006 @ 16:01:
Het nadeel van Syncback en rsync en dat soort tooltjes is dat je moet kiezen tussen OF deletions wél propageren OF deletions niet propageren. Dat is eigenlijk het hele nadeel van niet naar tape backuppen.

??? Ik hoop dat de TS gewoon op de centrale server wel een behoorlijke backupmogelijkheid heeft, mijn idee zou zijn dat je via rsync / syncback alle bestanden naar een centrale server haalt. Deze centrale server backup je hierna. Dan kan je de volgende rsync / syncback sessie gewoon met deletions ( van de server ) uitvoeren.

[AjDuLion]

dat zou dus betekenen dat we de backup server ook nog eens moeten backupen ?
dan zouden we flnk wat hdd's bij moeten kopen..

[Koffie]

angel008 schreef op dinsdag 04 april 2006 @ 20:10:
[...]


even antwoorden:)

1: idee van nu is dat we van alle servers (+- 24 servers voor ons bestuur) hier zit voor +- 36 GB per server aan data op (maximaal)
2: tliefst willen we dat er om de maand een full backup gedraaid word en elke dag de data zoals documenten uitslagen enz opgeslagen worden
3:SLA ?
4:backup windows : zoals ik zei elke maand 1x
5: budget de data storage is er (+- 2 TB) servers zijn er ook alleen de software is er dus _nog_ niet
6: alles is windows based..
7: windows dus

nog meer vragen dan zijn die welkom

we proberen momenteel even de syncback uit op 1 school om te kijken hoelang een backup kan duren..
atm ziet het ernaaruit dat een full backup 3 dagen duurt..

No offence, maar je wilt 28 servers gaan backuppen over een maximale verbinding van 128kb (waarschijnlijk nog eens met een overboeking van 1:10 ?) ?
Dat kun je toch niet serieus menen
Bespaar je de tijd, geld en moeite van al het testen, scripts schrijven en haren uit je hoofd trekken en laat ze lekker een paar goedkoopie streamers op locatie neerzetten.

SLA = Service Level Agreement

[John_Glenn]

zou het niet lukken met die 128k verbinding, als je de eerste full-backup handmatig overbrengt (dus met externe hdd ofzo), en daarna alleen maar differentieel backupt?
Dus zeg maar zoals het met rdiff-backup gaat; je verstuurt de differentiele backup naar de backup-server, maar die slaat het "andersom" op - de full-backup wordt bijgewerkt tot vandaag, en er wordt een diff opgeslagen die de full-backup kan terugveranderen in de backup van gisteren.
Dat scheelt toch wel een hoop bandbreedte?

[ Voor 3% gewijzigd door John_Glenn op 04-04-2006 22:17 . Reden: er stond drie keer "dus" :P ]

[AjDuLion]

Koffie schreef op dinsdag 04 april 2006 @ 22:07:
[...]


No offence, maar je wilt 28 servers gaan backuppen over een maximale verbinding van 128kb (waarschijnlijk nog eens met een overboeking van 1:10 ?) ?
Dat kun je toch niet serieus menen
Bespaar je de tijd, geld en moeite van al het testen, scripts schrijven en haren uit je hoofd trekken en laat ze lekker een paar goedkoopie streamers op locatie neerzetten.

SLA = Service Level Agreement

servers hebben elk hun eigen 128 KB/s verbinding (ze staan op 28 verschillende locaties met hun eigen internet verbinding)

de backup server hangt gewoon op een 100/100 Mbit lijntje

het is dus niet dat alle 28 servers op 1 128 KB/s lijntje hangen (dan was handmatig/tape streamers een beter idee)

overgens hebben we tape's geprobeert maar deze werden steeds opgegeten..

John_Glenn schreef op dinsdag 04 april 2006 @ 22:16:
zou het niet lukken met die 128k verbinding, als je de eerste full-backup handmatig overbrengt (dus met externe hdd ofzo), en daarna alleen maar differentieel backupt?
Dus zeg maar zoals het met rdiff-backup gaat; je verstuurt de differentiele backup naar de backup-server, maar die slaat het "andersom" op - de full-backup wordt bijgewerkt tot vandaag, en er wordt een diff opgeslagen die de full-backup kan terugveranderen in de backup van gisteren.
Dat scheelt toch wel een hoop bandbreedte?

dat was ook een van mijn ideen om de full backups gewoon elke maand te doen (of elke dag 1 school) en dan gewoon ondertussen de diff backup via het internet)

[ Voor 31% gewijzigd door AjDuLion op 04-04-2006 22:43 ]

[Leon T]

Even uitrekenen.
36GB = 37748736KB.

128Kbit = 16 KB/sec.
Kopieertijd = 655 uur. Zie je het probleem als je elke maand een volledige backup wilt maken?

Als het 128KB is, dan blijft het nog altijd 81 uur. Ook nog vrij lastig.

[ Voor 21% gewijzigd door Leon T op 04-04-2006 22:49 ]

[Koffie]

angel008 schreef op dinsdag 04 april 2006 @ 22:42:
[...]
servers hebben elk hun eigen 128 KB/s verbinding (ze staan op 28 verschillende locaties met hun eigen internet verbinding)

de backup server hangt gewoon op een 100/100 Mbit lijntje

het is dus niet dat alle 28 servers op 1 128 KB/s lijntje hangen (dan was handmatig/tape streamers een beter idee)

Dat snap, maar feit blijft dat je maximale doorvoersnelheid 128kb zal zijn.
Over wat voor lijnen met wat voor overboeking heb je het ?

[Arnout]

Afgezien van de full backup is dit nog wel te doen lijkt me.

Zelf heb ik dit al een jaar draaien voor een klein grafisch bedrijf.

Inmiddels 70GB aan data. Doormiddel van robocopy (windows resource kit) over een ssh getunnelde verbinding naar een linux machine die samba draait.

Duurt tussen de 1 - 2 uur met een standard adsl lite (55kb/s up) verbinding. Moet je het wel elke nacht doen, anders wordt het teveel. Gemiddeld gaat de data met 100-150kb/sec over de lijn vanwege de ssh compressie.

[John_Glenn]

angel008 schreef op dinsdag 04 april 2006 @ 22:42:
[...]

dat was ook een van mijn ideen om de full backups gewoon elke maand te doen (of elke dag 1 school) en dan gewoon ondertussen de diff backup via het internet)

Als ik het goed snap (ben er zelf nog niet echt ingedoken, dus geen eerstehands ervaring), hoef je met een schema zoals dat van rdiff-backup maar 1 keer een full backup te maken.

Voor de duidelijkheid: ik heb het hierover.

[AjDuLion]

vandaag heb ik even de tijd genomen om alle data te bekijken

de uitkomsten zijn nogal gunstig

de data's die ik gaf waren de uiterste GB/s en nu heb ik een duidelijk overzicht van de gebruikte data's enz

de OS schijven zijn in totaal 137,87 GB groot

de dataschijven zijn in totaal 272,06 GB groot

helaas is gebleken dat de upload snelheden sinds kort verlaagt is naar 80 KB/s (niet kb)

om de backups te maken hebben we besloten om alleen maar de data schijven te backupen dus dat komt neer op +- 272 GB

nu worden de servers bijna alleen maar beheerd door ons (de huis/tuin en keuken man icter van de scholen zitten er heel gelimiteerd op met gelimiteerde rechten)

maar ze staan dus 9 vd 10 x uitgelogd en dus draait synback niet.

ik heb mezelf er nog niet in verdiept maar is er toevallig een manier om deze als een service te laten draaien of is me dat in de haast met het bekijken van het programma ontschoten

zoals vorkbaard al zegt willen we in de toekomst ook 2 servers gaan inzetten inplaats van 1 voor de backups.

de backups hebben tot op heden nog _nooit_ goed gewerkt dus willen we eerst met de eerste server het werkend krijgen en dan op een andere locatie een 2e server aanmaken om dan vervolgens elke week wisselend op de servers een incremental backup te doen en elke 2 maanden een nieuwe full backup.

als mensen willen kan ik ze een excel bestand sturen met alle gegevens van de hdd's van de schijven hoe groot ze zijn hoeveel ze vrij hebben etc

ook blijken er nog 2 win2000 servers te staan maar dit lijkt me geen probleem ?

edit :

net dit gevonden

http://www.2brightsparks....?t=2266&highlight=service

ga het even uitproberen of het werkt.

[ Voor 7% gewijzigd door AjDuLion op 05-04-2006 10:59 ]

[axis]

angel008 schreef op woensdag 05 april 2006 @ 10:41:
maar ze staan dus 9 vd 10 x uitgelogd en dus draaid synback niet.

ik heb mezelf er nog niet in verdiept maar is er toevallig een manier om deze als een service te laten draaien of is me dat in de haast met het bekijken van het programma ontschoten

Wij gebruiken voor het repliceren vanaf onze windows servers cwRsync, werkt uitstekend, en kan prima als service draaien. Robuust, snel, en gratis..

[Verwijderd]

Er zijn diverse opolossingen voor jouw probleem. De makkelijkste weg is door middel van een programma als Syncsort eenmalig de data op te halen op de scholen. Je krijgt hierdoor een image van die betreffende server op jouw locatie. Daarna worden alleen de veranderingen doorgestuurd. Het is een allways incremental verhaal. Door middel van de incrementals worden er weer een nieuw image opgebouwd. Reporting en dat soort zaken worden ook goed geregeld.

Er zijn ook bedrijven die dit als dienst aanbieden. Voor een vast bedrag per maand wordt het hele proces uit handen genomen. Ik heb nog wel een aandachtpunt voor je:
Een back up maak je om in het geval van een calamiteit te restoren. Denk dus goed na over procedures daar om trent.

[John_Glenn]

angel008 schreef op woensdag 05 april 2006 @ 10:41:
maar ze staan dus 9 vd 10 x uitgelogd en dus draaid synback niet.

Je kan je backupserver toch een account geven op de lokale systemen? Dan trekt je backupserver de data zelf naar zich toe.

(enne, 't is draai*t*, moet ik even kwijt )

ps - over het niet backuppen van de program files: http://www.taobackup.com/coverage_info.html (nou moet ik toegeven dat ik dat ook (nog) niet doe...)

[ Voor 19% gewijzigd door John_Glenn op 05-04-2006 10:58 ]

[CmdrKeen]

axis schreef op woensdag 05 april 2006 @ 10:48:
[...]

Wij gebruiken voor het repliceren vanaf onze windows servers cwRsync, werkt uitstekend, en kan prima als service draaien. Robuust, snel, en gratis..

Axis, dit staat op de site van cwRsync:

Rsync uses the Rsync algorithm which provides a very fast method for bringing remote files into sync. It does this by sending just the differences in the files across the link, without requiring that both sets of files are present at one of the ends of the link beforehand.

Stel dat je op de bronlokatie een bestand van 100MB hebt en je hebt dat al een keer gebackupped, en dat bestand wordt aangepast, wordt dan alleen het verschil in dat bestand (bijvoorbeeld alleen de 50KB aan aanpassingen) verstuurd of het complete bestand van 100MB?

/edit
Hmm, hier staat dit:

This report presents an algorithm for updating a file on one machine to be identical to a file on another machine. We assume that the two machines are connected by a low-bandwidth high-latency bi-directional communications link. The algorithm identifies parts of the source file which are identical to some part of the destination file, and only sends those parts which cannot be matched in this way. Effectively, the algorithm computes a set of differences without having both files on the same machine. The algorithm works best when the files are similar, but will also function correctly and reasonably efficiently when the files are quite different.

Lijkt mij dat dit echt de allerbeste manier is om veel data over een trage verbinding te backuppen!

/edit 2
Dit heeft mij aan het denken gezet over mijn eigen backupsysteem. Wij hebben vijf vestigingen, verbonden via een transparant VPN. Ik ben nu van plan om in elke vestiging een ouwe PC neer te zetten (PI 200MHz, 64MB RAM, we hebben er nog tien in de kelder staan) en daar steeds 2x500MB harddisken in te doen en dan FreeNAS daarop te installeren. Dan lokaal naar de FreeNAS-machine backuppen en die machines dan weer laten rsyncen naar elkaar (of naar een centrale server, maar liever naar elkaar voor redundantie).

Op die manier heb je altijd een complete backup op verschillende plaatsen dus altijd off-site. Je kan snapshots van current backups-statussen maken (gewoon elke week of zo een kopie maken van alle bestanden) en dat dan een poosje bewaren voor per ongeluk verwijderde bestanden waar je pas later achter komt.

Volgens mij is dit de meest efficiënte manier van backuppen via internet.

[ Voor 54% gewijzigd door CmdrKeen op 05-04-2006 13:17 ]

[Arnout]

Vorkbaard schreef op woensdag 05 april 2006 @ 12:59:
[...]

Volgens mij is dit de meest efficiënte manier van backuppen via internet.

Inderdaad, rsync en daarvan afgeleide tools zijn erg efficient. Als je kunt kiezen tussen robocopy of rsync zou ik rsync kiezen. Als je het syncen 's nachts laat doen en zorgt dat het overdag niet doorloopt (het volstouwen van een upload kan vertragend werken op het overige verkeer) dan heb je een ideaal off-site automatisch backup systeem.

[nextware]

Even een kleine tip. Kreeg hier net vandaag een folder over binnen:

http://www.iasobackup.nl/

Wellicht een optie ?

[CmdrKeen]

actieprijs van € 75,- voor de 20 GB bundel

Denk het dus niet, dan neemt de TS waarschijnlijk liever een sneller internet-abbo. Ik kan natuurlijk alleen voor mezelf spreken...

[AjDuLion]

Vorkbaard schreef op woensdag 05 april 2006 @ 16:27:
[...]

Denk het dus niet, dan neemt de TS waarschijnlijk liever een sneller internet-abbo. Ik kan natuurlijk alleen voor mezelf spreken...

true..

en zelfs voor dat geld ik moet minimaal 272 GB aan data hebben.. (rekent ff snel dat dat teveel is )

sneller internet is dan goedkoper..

[usr-local-dick]

Wij gebruiken rsnapshot als backup tool.
Dit werkt met rsync (met al zijn voordelen), en op de server werkt dit met hardlinks van cp.
Dit zorgt ervoor dat je mbv rsync alleen de diffs over de lijn haalt.
Op de server staan door gebruik van hard links volledige kopieen.
Dus je kan altijd terug naar een bepaalde dag en dan alle files zien.

http://www.rsnapshot.org/

[Verwijderd]

dat rsnapshot is wel voor linux bedoeld en niet voor windows.

http://www.ahsay.com/en/home/online-backup.htm
heeft ook zulke software alleen beetje duur geloof ik

[mabarto]

Ik zie telkens dat rsync als suggestie wordt aangegeven, maar is er geen software dat op byte niveau controleert en over de lijn verstuurd? Als namelijk een groot bestand wijzigt, gaat ie gewoon netjes alles over de lijn gooien.

[ChaserBoZ_]

Vorkbaard schreef op woensdag 05 april 2006 @ 12:59:
[...]


Axis, dit staat op de site van cwRsync:

[...]

Stel dat je op de bronlokatie een bestand van 100MB hebt en je hebt dat al een keer gebackupped, en dat bestand wordt aangepast, wordt dan alleen het verschil in dat bestand (bijvoorbeeld alleen de 50KB aan aanpassingen) verstuurd of het complete bestand van 100MB?

/edit
Hmm, hier staat dit:

[...]


Lijkt mij dat dit echt de allerbeste manier is om veel data over een trage verbinding te backuppen!

/edit 2
Dit heeft mij aan het denken gezet over mijn eigen backupsysteem. Wij hebben vijf vestigingen, verbonden via een transparant VPN. Ik ben nu van plan om in elke vestiging een ouwe PC neer te zetten (PI 200MHz, 64MB RAM, we hebben er nog tien in de kelder staan) en daar steeds 2x500MB harddisken in te doen en dan FreeNAS daarop te installeren. Dan lokaal naar de FreeNAS-machine backuppen en die machines dan weer laten rsyncen naar elkaar (of naar een centrale server, maar liever naar elkaar voor redundantie).

Op die manier heb je altijd een complete backup op verschillende plaatsen dus altijd off-site. Je kan snapshots van current backups-statussen maken (gewoon elke week of zo een kopie maken van alle bestanden) en dat dan een poosje bewaren voor per ongeluk verwijderde bestanden waar je pas later achter komt.

Volgens mij is dit de meest efficiënte manier van backuppen via internet.

Zo'n soort 'tussenstation' houdt het leuk voor je lokale clients inderdaad.

FreeNAS ziet er leuk uit maar mist nog net iets teveel aan functionaliteit (wel gebruikers & groepen aan kunnen maken maar er niet op authorizeren). Ik wacht totdat beter is, en Radius ondersteund wordt.

[Arnout]

mabarto schreef op vrijdag 07 april 2006 @ 10:59:
Ik zie telkens dat rsync als suggestie wordt aangegeven, maar is er geen software dat op byte niveau controleert en over de lijn verstuurd? Als namelijk een groot bestand wijzigt, gaat ie gewoon netjes alles over de lijn gooien.

Rsync gaat juist niet het hele bestand over de lijn gooien als er maar een deel gewijzigd is. Dat is 1 van de grote voordelen van rsync, en daarom wordt het rsync algoritme ook zoveel toegepast door (goede) backup oplossingen.

Ik vind de tool die usrlocaldick aandroeg (rsnapshot) erg goed, het is een mooie uitbreiding op rsync.

[mabarto]

Arnout schreef op vrijdag 07 april 2006 @ 13:26:
[...]

Rsync gaat juist niet het hele bestand over de lijn gooien als er maar een deel gewijzigd is. Dat is 1 van de grote voordelen van rsync, en daarom wordt het rsync algoritme ook zoveel toegepast door (goede) backup oplossingen.

Ik vind de tool die usrlocaldick aandroeg (rsnapshot) erg goed, het is een mooie uitbreiding op rsync.

Ah, dan heb ik echt niets gezegd. Tnxs 4 the message. Ga ik ook even erin duiken!

[CmdrKeen]

ChaserBoZ_ schreef op vrijdag 07 april 2006 @ 13:19:
[...]


Zo'n soort 'tussenstation' houdt het leuk voor je lokale clients inderdaad.

FreeNAS ziet er leuk uit maar mist nog net iets teveel aan functionaliteit (wel gebruikers & groepen aan kunnen maken maar er niet op authorizeren). Ik wacht totdat beter is, en Radius ondersteund wordt.

FreeNAS is volop in ontwikkeling. In de laatste twee weken is o.a. support toegevoegd voor Active Directory, Apple File Protocol (of zo), WZC, enz. RADIUS staat ook in de planning. Overigens kan je andere beheertools op FreeNAS toevoegen aangezien het gewoon FreeBSD met Samba is. ACL wordt dus al standaard ondersteund alleen de huidige interface heeft het nog niet. Je kan het wél met andere webbased-beheertools voor Samba instellen

Hallo, mijn naam is Vorkbaard en ik ben een FreeNAS-a-holic

[CmdrKeen]

Kijk hier eens naar: http://www.aboutmyip.com/AboutMyXApp/DeltaCopy.jsp
Het is DeltaCopy, een rsync-client en -server voor Windows. Net geprobeerd met mijn FreeNAS-bak en het werkt als een zonnetje!

Syncen dus, maar dan de rsync-manier, dus ook binnen bestanden alleen de veranderingen.

[usr-local-dick]

Als je een Linxu server hebt en daar rsnapshot op.
Dan connect die tool dus met de standaard rsync/ssh binaries naar je windows servers.
Daar heb je cwrsync in daemon mode op draaien (met goede ACL uiteraard).

Dan heb je dus een stabiele server met open source software (functioneel gezien zijn de windows machines eigenlijk servers maargoed).
De windows machine draaien ook open source software.

Dus geen gesloten oplossingen, maar een open ding wat gebruik maakt van andere 'open' software die gewoon het allerbeste is (ik denk dat we het er wel met zijn allen over eens kunnen zijn dat het rsync protocol de beste manier is om twee tree's te synchroniseren).

Ook erg handig als er problemen optreden! Bij gesloten windows apps mag je weer fijn gaan raden wat er precies aan de hand is.

WIj hebben dus ook een speciale rsnapshot server bij een ISP hangen, hier worden al onze servers naartoe gebackup, werkt echt super.

OK die feature van Windows 2003 is nog mooier, dan zijn de snapshots zelf ook diffs op block-level en niet op file-level dus nog iets economischer. Maar het grote nadeel is dat je dan toch weer met een black box bezig bent etc (NPI).

edit:
post over delta copy niet gezien, lijkt ook prima alternatief!

[ Voor 5% gewijzigd door usr-local-dick op 10-04-2006 22:31 ]

[AjDuLion]

net even dat windows based deltacopy geinstaleerd op 1/2 scholen en op dit moment werkt het als een zonnetje.

nog ff beetje testen met het mailen (moet waarschijnlijk nog een mail server appart worden ingesteld ervoor) maar zoals het er nu naar uitziet draaid het )

angel008 gaat nog ff verder met de resterende 20 servers om het te installeren zucht....

ik post vanmiddag nog wel wat meer bevindingen van mij hoe of wat

edit:

Vorkbaard schreef op zondag 09 april 2006 @ 21:54:
Kijk hier eens naar: http://www.aboutmyip.com/AboutMyXApp/DeltaCopy.jsp
Het is DeltaCopy, een rsync-client en -server voor Windows. Net geprobeerd met mijn FreeNAS-bak en het werkt als een zonnetje!

Syncen dus, maar dan de rsync-manier, dus ook binnen bestanden alleen de veranderingen.

ik heb nu dat programma overall geinstaleerd en er draaien nu 4 servers hun backups (degene met de minste data erop)

tot nu toe werkt het subliem maar..

ik kan er zo niet achterkomen of het mogelijk is om bv *.jpg bestanden over te slaan want dat is de meeste data die in de folders staan en wat eigenlijk gewoon niet moet worden opgeslagen @ backup server.

reden is dat mensen zoveel foto's hebben dat dat gewoon geen doen word maar helaas slaat men dit her en der op en om alles op file nivo te gaan indelen kost teveel tijd.

voor nu staan de backups van vrijdag 7 uur tot zaterdag 12 uur met elk een uur verschill ertussen (server hangt op een 100 MBit lijn dus die red dat wel)

1e backup zal wel flink wat tijd kosten maar hopelijk volgende week dan redden alle scholen het om in het uur dat ze de server alleen hebben we te backupen.

[ Voor 60% gewijzigd door AjDuLion op 11-04-2006 14:40 ]

[AjDuLion]

iemand een antwoord over mn vraag of de jpg files over te slaan zijn ?
ik kan het namelijk niet vinden in de documenten van het programma en een forum schijnen ze ook niet te hebben

[ Voor 45% gewijzigd door AjDuLion op 12-04-2006 09:41 ]

[CmdrKeen]

Ik vrees dat je voorafgaand aan het backuppen even een scriptje moet draaien om alle JPG's te verwijderen en ze later weet terug te zetten. Maar ja... das nou ook geen geweldige oplossing.

Ik zou gewoon een aparte share maken voor foto's en mensen vertellen dat ze hun rommel dáár op kunnen slaan. Doe ik ook @ mijn werk: servertje met een 500GB-disk voor algemeen gebruik. Wordt niet gebackupped en mensen mogen erop zetten wat ze willen. Alles wat zakelijk is, wordt netjes op wel-gebackupte shares gezet. Dit extra servertje is voor bv. vakantiefoto's en weet ik wat meer.

[CmdrKeen]

Wat je trouwens zou kunnen proberen is het argument exclude = *.jpg toevoegen aan de conf-file (deltacd.conf). Geen idee of het werkt en of het case-sensitive is of zo, maar het is het proberen waard.

Hier is de manpage van rsync en het lijkt me dat je die opties gewoon allemaal kan gebruiken aangezien het een ordinaire port met een wrapper is. Ik heb het echter niet geprobeerd en het zou kunnen dat je het iets anders moet noteren.

In deltacd.conf staat bij mij:

code:

use chroot = false
strict modes = false


[Backups]

    path = /cygdrive/g/Backups
    comment = 
    read only = false

Ik denk dat je het er gewoon bij kan zetten:

code:

use chroot = false
strict modes = false
exclude = *.jpg       <------ hier dus

[Backups]

    path = /cygdrive/g/Backups
    comment = 
    read only = false

Maar zoals gezegd: het is een kwestie van proberen.

usr-local-dick schreef op maandag 10 april 2006 @ 22:28:
Als je een Linxu server hebt en daar rsnapshot op.

rsnapshot SERVER op Windows

/edit 2006-04-14
Ik heb geprobeerd uit te voeren wat in bovenstaande link staat, en dat werkt echt perfect! Ik kreeg alleen het SSH-gedeelte niet helemaal in orde, maar dat ligt denk ik aan mijn gebrek aan kennis van SSH. Als je echter een directe NetBIOS-verbinding hebt met de server die je wilt backuppen (bijvoorbeeld omdat je in hetzelfde LAN zit of omdat je een VPN-verbinding hebt) dan kan je het hele SSH-gebeuren gewoon overslaan.

Ik ga nu mijn complete serverpark backuppen met rsnapshot via Cygwin. Dit is by far de meest efficiënte methode om te backuppen EN de makkelijkste manier om te restoren!

[ Voor 46% gewijzigd door CmdrKeen op 14-04-2006 16:29 . Reden: Link naar rsnapshot onder Windows toegevoegd ]

[Verwijderd]

jammer dat er in deltacopy geen ssh zit.
Nu moet je toch nog eerst vpn ofzo opzetten voor een secure verbinding.

[Verwijderd]

Je kan met scurry ook hele leuke dingen doen via bijvoorbeeld scp of sftp

[CmdrKeen]

Met rsnapshot via Cygwin liep ik tegen een probleem aan: de maximum lengte van (volumenaam+path+filename+extensie) kan maximaal 260 karakters zijn, en Cygwin mount volumes zoals /cygdrive/c. Rsnapshot maakt dan backups naar bv. /cygdrive/c/backups/cygdrive/g/mijn/data/ en dan zit al snel aan de limiet.

Ik heb een batchscriptje geschreven dat hetzelfde doet als rsnapshop (op rsync na dan - ik gebruik hier xcopy voor en ik weet dat dat minder efficiënt is) maar omdat ik subst gebruik, loop je niet telkens tegen die limiet aan.

Als je niet hele grote bestanden maakt, kan je dit script ook gebruiken om via internet te backuppen aangezien je altijd incremental backupt (behalve de eerste keer).

Het hele verhaal met argumentatie en voor- en nadelen staat op mijn site.

Hier is het script. NB: gebruik altijd dubbele quotes rondom de command line arguments, bijvoorbeeld backup "C:\blaat" "d:\backups\blaat".

Ik weet dat e.e.a. efficiënter en sneller kan, maar dit werkt goed en is vooral handig als je wilt restoren: je hebt immers met incrementele backups tóch altijd full backups ter beschikking.

code:

@echo off

:: ****** 2006-05-04 *********************************************************
::  mbackup - create backups using hardlinks 
::  http://www.huijgen.com/martin/default.asp?art=133
::
::  syntax: mbackup <source> <destination>
::  example: mbackup "C:\my folder\sourcefiles" "D:\My backup path\dest files"
::  note: always use quotes!
::
::  This script substs drives w:, x:, y: and z:. If you are currently using
::  them with subst or net use, they will be unmounted and re-used. If they
::  are local drives, this script can not run.
::
::  If the script generates an error and is not finished properly, run
::    mbackup clean
::  This will unmount the substed volumes.
::
::  [e-mail]
:: ***************************************************************************

:: Set some variables
    :: Set blat to either yes or no. If you're going to use blat, make sure
    :: blat is installed. Download blat from http://www.blat.net.
    :: If you're not using blat, set blat to no.
    set blat=yes
    set blatfrom=[e-mail]
    set blatto=[e-mail]
        
    :: Set in_a_hurry to yes or no. If set to yes, mbackup will not check
    :: if a file exists while creating hardlinks. This will make your backup
    :: go substantially faster but if you restore a backup you risk recovering
    :: files that were previously deleted (on purpose, that is). If you don't
    :: frequently delete files or if you just don't care, set in_a_hurry to
    :: yes. If you want to do it right, set it to no.
    set in_a_hurry=no
    

if [%1]==[clean] goto :CleanUp

if not [%1]==[] set SourceDir=%1
if not [%2]==[] set TargetDir=%2

:: Check volume and folder availability
    if [%2]==[] goto :NoParams
    if not exist %SourceDir% goto :SourceDirDoesntExist
    Call :Cleanup
    if exist w: goto :NoVol
    if exist x: goto :NoVol
    if exist y: goto :NoVol
    if exist z: goto :NoVol
    if not exist %TargetDir% mkdir %TargetDir%

Call :MakeTimeStamp

:: Create paths, y=source dir - z=target dir
    subst y: %SourceDir%
    subst z: %TargetDir%
    
    color 0E

:: Do some logging
    set logfile=%tmp%\~mbackup_%timestamp%.log
    echo Source: %SourceDir%>%logfile%
    echo Target: %TargetDir%>>%logfile%
    echo Mbackup started %timestamp%>>%logfile%
    
:: Get youngest backup folder
    FOR /F "usebackq delims==" %%i IN (`dir z:\*. /o:d /b`) DO SET yf="%%i"

:: Copy folder structure
    if not [%yf%]==[] goto :CreateSkeleton
    echo This is the first backup so copy directly from source
    title mbackup Copying...
    xcopy "y:\" "z:\%timestamp%" /s /e /i /c /z /y
    Call :EndLog
    goto :CleanUp

:CreateSkeleton
:: Create folder skeleton (only copy directory structure, no files yet) to put hardlinks in
    echo Creating skeleton folder
    title mbackup Skeleton... - Creating skeleton folder
    set FormerYoungestFolder="z:\%yf:~1%
    set SkeletonFolder="z:\%timestamp%"
    xcopy %FormerYoungestFolder% %SkeletonFolder% /t /s /e /i /c /y

:: Define source and target folders for easy reference
    subst w: %FormerYoungestFolder%
    subst x: %SkeletonFolder%
        
:: Create hardlinks from former-youngest folder to skeleton folder
    echo Creating hardlinks in skeleton folder...
    title mbackup Hardlinks... - Creating hardlinks
    FOR /F "usebackq delims==" %%i IN (`dir w:\ /a:-d /s /b`) DO call :MakeLink "%%i" "x:%%~pnxi"
    goto :Update
    :MakeLink
        set ExistingFile=%1
        set NewFile=%2
        set OriginalFile=%1
        set OriginalFile="y:\%OriginalFile:~4,-1%"
        
        :: Create hardlink
        if [in_a_hurry]==[yes] goto dont_check_existence
        if exist %OriginalFile% fsutil hardlink create %NewFile% %ExistingFile%
        goto :check_existence
        :dont_check_existence
        fsutil hardlink create %NewFile% %ExistingFile%
        :check_existence
        goto :TheEnd
        
:Update
:: Incrementally update new folder
    echo Updating new folder...
    title mbackup Updating... - Updating new backup folder
    xcopy y:\*.* x:\ /s /e /i /d /f /c /z /y
    
:: Remove deleted folders from new folder
    Echo Removing empty folders from backup
    title mbackup Prune - Pruning empty folders from backup
    FOR /R X:\ %%i IN (.) DO call :deldir "%%i"
    goto :endlog
    :deldir
    echo %~pnx1
    rmdir %1
    goto :TheEnd
    
:EndLog
    :: Log end of process
    Call :MakeTimeStamp
    echo Mbackup ended   %timestamp%>>%logfile%
    if [%blat%]==[yes] blat %logfile% -to %blatto% -from %blatfrom% -subject "Backup %SourceDir:~1,-1% %timestamp%"
    goto :eind
    
:: Error Handling
    :NoVol
        echo Volumes W:, X:, Y: and Z: must be available for this script to work.>~mbackuperror.log
        echo If those volumes are in use you can either unmap or unsubst them or>>~mbackuperror.log
        echo change this script so it will use volumes that *are* available.>>~mbackuperror.log
        goto :SendErr
    :SourceDirDoesntExist
        echo The source directory you specified does not exist. You specified:>~mbackuperror.log
        echo %SourceDir%>>~mbackuperror.log
        goto :SendErr
    :NoParams
        echo Not enough parameters>~mbackuperror.log
        echo usage: mbackup "C:\My Source\Files" "D:\My\Backup Files">>~mbackuperror.log
        echo ALWAYS use quotes.>>~mbackuperror.log
        goto :SendErr
        
    :SendErr
        if [blat]==[yes] blat ~mbackuperror.log -to %blatto% -from %blatfrom% -subject "Failed - Backup %SourceDir% %timestamp%"
        del ~mbackuperror.log
        
    goto :eind

:MakeTimeStamp
    :: Format date and time
    set cYear=%date:~9,4%
    set cMonth=%date:~6,2%
    set cDay=%date:~3,2%
    set cDayName=%date:~0,2%
    set cHour=%time:~0,2%
    if %cHour% lss 10 set cHour=0%cHour:~1,1%
    set cMinute=%time:~3,2%
    set cSecond=%time:~6,2%
    
    set timestamp=%cYear%-%cMonth%-%cDay%-(%cDayName%)-%cHour%h%cMinute%m%cSecond%s
    goto :TheEnd
    
        
:eind
    if not exist %logfile% goto :CleanUp
    type %logfile%
    del %logfile%

:CleanUp
    if exist w: subst w: /d
    if exist x: subst x: /d
    if exist y: subst y: /d
    if exist z: subst z: /d
    set OriginalFile=
    set SkeletonFolder=
    set FormerYoungestFolder=
    set yf=
    set ExistingFile=
    set NewFile=
    set logfile=
    title mbackup Done
    color
    
:TheEnd

[ Voor 40% gewijzigd door CmdrKeen op 15-05-2006 12:06 ]

[Verwijderd]

Ik zie hier een aantal interessante dingen staan, mijn vraag is nu of cwRsync ook sql en Exchange meeneemt zoals iasobackup. Iemand ervaring?

[Koffie]

Als je een dergelijk oud topic omhoog kicked, ga ik er toch wel vanuit dat je het e.e.a. eerst uitgezocht hebt

[ViperXL]

one product does it all.

Microsoft Data Protection Manager

eventueel kun je dan met Veritas Backup Agent je DPM backuppen backuppen