Bestanden controleren met mounted sftp connectie

[Eric_1993]

Hallo ,

Ik ben momenteel bezig met het uitvogelen hoe ik mijn backup bestanden kan laten controleren met SyncbackPro. Ik heb de volgende manier bedacht:

Ik heb een NAS die ik benader over SFTP. Met behulp van NetDrive mount ik de SFTP als een netwerkschijf. Vervolgens stel ik een backup taak in met Synbackpro. Ik geef daarbij aan dat Syncback de bestanden moet controleren tegen corruptie.

Wat Syncback dan doet is: Hij kopieert de bestanden naar de cache van NetDrive, NetDrive upload het vervolgens en vervolgens checkt syncback de bestanden.

Bestanden groter dan 50GB splits ik met WinRaR in stukken van 1 GB, omdat anders NetDrive vastloopt.

Nu lijkt dit mij vrij veilig om corruptie te voorkomen. Maar hoe denken jullie over? Zijn er nog verbeterpunten die ik zou kunnen overwegen

[Eric_1993]

Heeft iemand echt geen advies over verbeteringen of tips?

[Brahiewahiewa]

Waar staat die NAS? Bij jou thuis of anderszins op hetzelfde LAN?
Of verstopt achter een dial-up lijntje met een 14k4 modem?

[johnkeates]

Nee, gebruik rsync of anders een backup systeem dat daadwerkelijk voor gebruik over netwerk bedoeld is.

[Eric_1993]

Brahiewahiewa schreef op maandag 26 december 2016 @ 04:14:
Waar staat die NAS? Bij jou thuis of anderszins op hetzelfde LAN?
Of verstopt achter een dial-up lijntje met een 14k4 modem?

Die NAS staat bij een kennis. Hij heeft bij Telfort een verbinding van 100 down en 30 up.

Nee, gebruik rsync of anders een backup systeem dat daadwerkelijk voor gebruik over netwerk bedoeld is.

Zou het uploaden met een backup software naar de Cloud beter zijn dan?

[ Voor 22% gewijzigd door Eric_1993 op 26-12-2016 13:50 ]

[Brahiewahiewa]

Nou, je verificatie is nu tergend traag, want de complete backup moet weer over de lijn terug. Dit gaat met maximaal 30 Mbps.
Misschien ken je van usenet het par2 command. In een notedop komt het er op neer dat je de backup in z'n totaal comprimeert met rar, dan met par2 checksums genereert (pak'm beet 10%) en dan upload naar de NAS. De NAS controleert vervolgens de integriteit van de rar-bestanden en indien nodig download-ie par2's om ze te repareren.
Netto resultaat is dat op de NAS nu je complete backup staat, gecomprimeerd en eventueel met een password beveiligd

[Eric_1993]

Brahiewahiewa schreef op maandag 26 december 2016 @ 22:53:
Nou, je verificatie is nu tergend traag, want de complete backup moet weer over de lijn terug. Dit gaat met maximaal 30 Mbps.
Misschien ken je van usenet het par2 command. In een notedop komt het er op neer dat je de backup in z'n totaal comprimeert met rar, dan met par2 checksums genereert (pak'm beet 10%) en dan upload naar de NAS. De NAS controleert vervolgens de integriteit van de rar-bestanden en indien nodig download-ie par2's om ze te repareren.
Netto resultaat is dat op de NAS nu je complete backup staat, gecomprimeerd en eventueel met een password beveiligd

Klopt, traag is het wel. Maar ik heb een vrij simpele NAS (WDMYCLOUD). Die heeft geen uitgebreide functies als bijvoorbeeld de Synology. Ik moet het bestand weer downloaden om te checken of het niet corrupt is geraakt, en bij het downloaden kan het bestand zelf ook corrupt raken, dus dat is al helemaal niet handig.

Syncback controleert het nu op afstand weliswaar met 30 Mbit. Alhoewel ik me afvraag of er dan alsnog een fout zou kunnen ontstaan tijdens het verifiëren

[Verwijderd]

Zou de NAS in staat zijn MD5 hashes te berekenen en op te slaan middels een script? Ik neem aan dat het op een of ander OS draait, dus het zou extern kunnen.
De eerste keer slaat het de hash op in een file, dus test.rar krijgt een test.rar.md5.
Daarna kun je in de NAS controleren of de hash nog klopt. Voordeel is dat als je de hash lokaal op je eigen PC berekent, je ook kunt controleren of het bestand goed is overgekomen.

Ik zag er iets over in google, maar de pagina was inmiddels verwijderd.

[Eric_1993]

Verwijderd schreef op woensdag 28 december 2016 @ 11:26:
Zou de NAS in staat zijn MD5 hashes te berekenen en op te slaan middels een script? Ik neem aan dat het op een of ander OS draait, dus het zou extern kunnen.
De eerste keer slaat het de hash op in een file, dus test.rar krijgt een test.rar.md5.
Daarna kun je in de NAS controleren of de hash nog klopt. Voordeel is dat als je de hash lokaal op je eigen PC berekent, je ook kunt controleren of het bestand goed is overgekomen.

Ik zag er iets over in google, maar de pagina was inmiddels verwijderd.

Dat heb ik vaker gehoord dat het mogelijk zou kunnen zijn met de wdmycloud, ga ik onderzoeken!

Maar hoe ik nu backups maak en verifieer is dus niet zo slim? Dat ik dus automatisch de bestanden laat verifieeren door de SFTP server te mounten als een netwerkschijf

[Verwijderd]

Het nadeel van wat je nu doet is dat alles nog een keer moet worden gedownload, of eigenlijk bij iedere check. Even aangenomen tenminste dat je de bestanden bijvoorbeeld eenmaal per maand wilt controleren op bitrot. SyncbackSE rekent ook een soort checksum uit bij het controleren. Het is efficienter om het niet op je eigen pc te doen, maar aan de server zijde. Die heeft alle bestanden lokaal.

Je zult waarschijnlijk iets met scripting moeten doen om lokaal de MD5 hash uit te rekenen en te vergelijken met de opgeslagen hash. Ik hoop dat het je lukt. Er zijn volgens mij anderen die het al gedaan hebben.
Tot die tijd zou ik gewoon de controle van SyncbackSE houden. De kans dat er tijdens het transport iets mis gaat is het grootst. Maar volgens mij geven ze zelf ook al aan dat backup met verificatie langer duurt. En het beschermt niet tegen het corrupt raken van bestanden in de cloud. Bij een normale backup controleert synckbackSE volgens mij op datum.Hij gaat tenminste erg snel door niet-veranderde bestanden heen.

[Eric_1993]

Verwijderd schreef op donderdag 29 december 2016 @ 17:21:
Het nadeel van wat je nu doet is dat alles nog een keer moet worden gedownload, of eigenlijk bij iedere check. Even aangenomen tenminste dat je de bestanden bijvoorbeeld eenmaal per maand wilt controleren op bitrot. SyncbackSE rekent ook een soort checksum uit bij het controleren. Het is efficienter om het niet op je eigen pc te doen, maar aan de server zijde. Die heeft alle bestanden lokaal.

Je zult waarschijnlijk iets met scripting moeten doen om lokaal de MD5 hash uit te rekenen en te vergelijken met de opgeslagen hash. Ik hoop dat het je lukt. Er zijn volgens mij anderen die het al gedaan hebben.
Tot die tijd zou ik gewoon de controle van SyncbackSE houden. De kans dat er tijdens het transport iets mis gaat is het grootst. Maar volgens mij geven ze zelf ook al aan dat backup met verificatie langer duurt. En het beschermt niet tegen het corrupt raken van bestanden in de cloud. Bij een normale backup controleert synckbackSE volgens mij op datum.Hij gaat tenminste erg snel door niet-veranderde bestanden heen.

Heb je helemaal gelijk in! Ik heb nu gewoon besloten om met de Acronis backup software naar de Cloud te backuppen. Af en toe zal ik de bestanden dan downloaden en met hash software controleren of ze niet corrupt zijn geraakt. Dat lijkt mij redelijk safe

Het is niet handig om ieder keer bestanden van de Acronis Cloud te downloaden en te controleren. Bovendien heb ik al meerdere keren meegemaakt dat sommige bestanden corrupt waren in de Cloud. Ik zal voorlopig gewoon Syncback de bestanden laten controleren tot ik zelf heb ontdekt hoe ik een md5 kan creëren in mijn NAS

[ Voor 10% gewijzigd door Eric_1993 op 01-01-2017 13:42 ]

[Eric_1993]

De kans dat er tijdens het transport iets mis gaat is het grootst. Maar volgens mij geven ze zelf ook al aan dat backup met verificatie langer duurt. En het beschermt niet tegen het corrupt raken van bestanden in de cloud. Bij een normale backup controleert synckbackSE volgens mij op datum.Hij gaat tenminste erg snel door niet-veranderde bestanden heen.

Waarom beschermt het niet tegen corruptie in de cloud? Daarom laat ik toch de bestanden verifiëren om corruptie te voorkomen

[Verwijderd]

Eric_1993 schreef op zaterdag 7 januari 2017 @ 21:33:
[...]


Waarom beschermt het niet tegen corruptie in de cloud? Daarom laat ik toch de bestanden verifiëren om corruptie te voorkomen

Even om misverstanden te voorkomen, met cloud bedoel ik je eigen WDMYCLOUD.
Je geeft zelf al aan dat je je backup op WDMYCLOUD wilt controleren op corruptie. Op zich heel verstandig, want je net als dat een bestand lokaal corrupt kan raken, kan het ook op je backup gebeuren. Dat was wat ik bedoelde. Corruptie kan optreden:

• Tijdens transport over het netwerk
• Op je backup zelf (bitrot)

Wat ik bedoelde: Als je eenmaal een MD5 berekent op je server, en daarna uitsluitend die MD5 gebruikt om te vergelijken met je lokale MD5, weet je wel of bestanden bewust gewijzigd zijn. Corruptie op je backup middels bitrot detecteer je daar niet mee. Daarvoor zal je af en toe de MD5 opnieuw moeten berekenen, ook als je denkt dat het bestand niet veranderd hebt. Het voordeel is wel dat je dat server-side kunt doen.

[Eric_1993]

Verwijderd schreef op zondag 8 januari 2017 @ 11:47:
[...]

Even om misverstanden te voorkomen, met cloud bedoel ik je eigen WDMYCLOUD.
Je geeft zelf al aan dat je je backup op WDMYCLOUD wilt controleren op corruptie. Op zich heel verstandig, want je net als dat een bestand lokaal corrupt kan raken, kan het ook op je backup gebeuren. Dat was wat ik bedoelde. Corruptie kan optreden:

• Tijdens transport over het netwerk
• Op je backup zelf (bitrot)

Wat ik bedoelde: Als je eenmaal een MD5 berekent op je server, en daarna uitsluitend die MD5 gebruikt om te vergelijken met je lokale MD5, weet je wel of bestanden bewust gewijzigd zijn. Corruptie op je backup middels bitrot detecteer je daar niet mee. Daarvoor zal je af en toe de MD5 opnieuw moeten berekenen, ook als je denkt dat het bestand niet veranderd hebt. Het voordeel is wel dat je dat server-side kunt doen.

Duidelijk! Maar wat ik me bij het begin van de topic al afvroeg was of het kwaad kan dat ik Syncback de bestanden laat verifieren op een gemount SFTP server.

[Verwijderd]

Eric_1993 schreef op zondag 8 januari 2017 @ 11:59:
Duidelijk! Maar wat ik me bij het begin van de topic al afvroeg was of het kwaad kan dat ik Syncback de bestanden laat verifieren op een gemount SFTP server.

Nee, het grootste nadeel is dat het wat langer duurt, omdat hij alles terugleest.
Ik heb zelf syncbackSE zo staan dat hij niet automatisch begint met de feitelijke backup, maar eerst een lijst toont met gewijzigde bestanden. Dat voorkomt dat ik corrupte bestanden backup (hoop ik tenminste). Als mijn mp3 bestanden allemaal gewijzigd zijn, is er iets anders aan de hand.
En ik kan tijdelijke bestanden nog uitsluiten van de backup (die 8 GB DVD die je geript had)

Ik heb trouwens eigenlijk nog nooit gehad dat de verificatie een fout gaf, behalve bij een document dat ik open had, en dus inmiddels gewijzigd was.

[Eric_1993]

Verwijderd schreef op zondag 8 januari 2017 @ 12:17:
[...]


Nee, het grootste nadeel is dat het wat langer duurt, omdat hij alles terugleest.
Ik heb zelf syncbackSE zo staan dat hij niet automatisch begint met de feitelijke backup, maar eerst een lijst toont met gewijzigde bestanden. Dat voorkomt dat ik corrupte bestanden backup (hoop ik tenminste). Als mijn mp3 bestanden allemaal gewijzigd zijn, is er iets anders aan de hand.
En ik kan tijdelijke bestanden nog uitsluiten van de backup (die 8 GB DVD die je geript had)

Ik heb trouwens eigenlijk nog nooit gehad dat de verificatie een fout gaf, behalve bij een document dat ik open had, en dus inmiddels gewijzigd was.

Dat het langer duurt neem ik maar voor lief. Deze manier lijkt mij safer dan maandelijks de backup te controleren in de cloud. Als er in die tijd een bestand corrupt is geraakt merk ik dat misschien te laat op.

Ik heb zelf ook nog nooit een fout gehad, ook niet met het uploaden over die gemount harde schijf. Ook alle bestanden die Syncback verifieert heb ik vaak genoeg gecontroleerd of het programma wel goed zn werk doet. En tot nu toe geen ene corruptie tegen gekomen. Backuppen naar de Acronis Cloud was wel een ander verhaal, daar kreeg ik wel vaak te maken met corruptie.