Thematopic: Backups

[Renault]

Dat risico loop je m.i. niet als je met een applicatie (zoals Duplicati2) gecodeerde (AES256 encrypted) incremental bestanden opslaat op een clouddienst: daar kan niemand in kijken. En in de applicatie kan je gewoon (terug) tijdrijzen.

[MeTooPV]

Dank voor de aanvullingen. Jullie zijn kritischer op cloud dan ik was;-) Dat neem ik nee.

[Atomius]

Goedemorgen,

Ik wil graag het volgende realiseren:

1. Er staat een PC in een werkkamer in huis. Er zijn diverse mappen op deze PC die ik wil backuppen.
2. Ik heb een externe HDD aangesloten op deze PC. Hier wil ik periodiek deze mappen naartoe backuppen.
3. Ook heb ik als 2e backup een externe HDD aangesloten op mijn router. Hier wil ik ook naartoe backuppen.

Is dit te realiseren middels een set-and-forget methode? Het liefst een soort Google Drive / OneDrive synchronisatie achtige methode.

Ik heb zelf EaseUS Todo Backup Free gebruikt om te backuppen tot nu toe, maar dit kost toch altijd wel weer een aantal manuele handelingen..

[Renault]

Is dit wel een handig plan?
Beide harddisks zijn steeds online beschikbaar en daarmee kwetsbaar voor hacken en virussen.
Als je op zeker wil spelen zou je beter één online en één offline backup kunnen hanteren.
Dat dit laatste handmatige inspanning en discipline veriest spreekt vanzelf.

Voor het dagelijks backuppen van je data naar de externe harddisk volstaat Windows File History, dat zit standaard in Windows.
Dat backupt elke dag alle veranderde bestanden van zowel Windows als data.
Als je dat alleen wenst voor je data kun je dat tweaken door in de library alle Windows mappen uit te zonderen. Dat werkt bij mij uitstekend en na eenmalig instellen zonder omkijken.

[Bastien]

@Atomius Je hebt zo misschien wat bescherming tegen een crashende HD of verwijderen, maar niet tegen virussen/malware/hacken. Ook is de kans vrij groot dat bij een blikseminslag/stroomprobleem zo al je HD's worden gebakken en je dus helemaal niets meer hebt want zoals je het nu typt laat je alles aangesloten.

Ik zou toch zeker zorgen voor een externe backup, en dan het liefst eentje met versies (dus bij een wijziging overschrijf je niet het origineel maar heb je een 2e bestand) en heb je er ook niet zomaar toegang toe.

Wat hier nog wel eens geopperd wordt is synchroniseren in de cloud als Dropbox/Drive etc. Ook dat is in mijn ogen geen backup want iedere wijziging wist het origineel en plaatst enkel het nieuwe bestand. Dus dat staat voor mij gelijk met een kopie op een externe HD, behalve dan dat die niet kapot gaat wat bij een externe HD wel kan gebeuren. Daarbij, als je het zonder encryptie op het internet zet loop je ook diverse risico's.

Ik zou investeren in een externe backup met fatsoenlijke software. Niet gratis maar hoeft ook niet heel veel te kosten. Maar het is natuurlijk maar hoe belangrijk de data voor je is.

[Atomius]

Renault schreef op donderdag 17 oktober 2024 @ 11:16:
Is dit wel een handig plan?
Beide harddisks zijn steeds online beschikbaar en daarmee kwetsbaar voor hacken en virussen.
Als je op zeker wil spelen zou je beter één online en één offline backup kunnen hanteren.
Dat dit laatste handmatige inspanning en discipline veriest spreekt vanzelf.

Voor het dagelijks backuppen van je data naar de externe harddisk volstaat Windows File History, dat zit standaard in Windows.
Dat backupt elke dag alle veranderde bestanden van zowel Windows als data.
Als je dat alleen wenst voor je data kun je dat tweaken door in de library alle Windows mappen uit te zonderen. Dat werkt bij mij uitstekend en na eenmalig instellen zonder omkijken.

Misschien niet, daarom test ik het hier bij jullie

Ik lees over Stack, dat is online, maar dan krijg je een netwerkschijf erbij zie ik en synchroniseert hij niet automatisch?

Bastien schreef op donderdag 17 oktober 2024 @ 19:19:
@Atomius Je hebt zo misschien wat bescherming tegen een crashende HD of verwijderen, maar niet tegen virussen/malware/hacken. Ook is de kans vrij groot dat bij een blikseminslag/stroomprobleem zo al je HD's worden gebakken en je dus helemaal niets meer hebt want zoals je het nu typt laat je alles aangesloten.

Ik zou toch zeker zorgen voor een externe backup, en dan het liefst eentje met versies (dus bij een wijziging overschrijf je niet het origineel maar heb je een 2e bestand) en heb je er ook niet zomaar toegang toe.

Wat hier nog wel eens geopperd wordt is synchroniseren in de cloud als Dropbox/Drive etc. Ook dat is in mijn ogen geen backup want iedere wijziging wist het origineel en plaatst enkel het nieuwe bestand. Dus dat staat voor mij gelijk met een kopie op een externe HD, behalve dan dat die niet kapot gaat wat bij een externe HD wel kan gebeuren. Daarbij, als je het zonder encryptie op het internet zet loop je ook diverse risico's.

Ik zou investeren in een externe backup met fatsoenlijke software. Niet gratis maar hoeft ook niet heel veel te kosten. Maar het is natuurlijk maar hoe belangrijk de data voor je is.

Je hebt gelijk over virussen etc. Externe backup, dus Stack bijvoorbeeld of Google Drive?

[Yariva]

TLDR: welke online opslag aanbieder is een goede zet voor een Unraid opstelling met Duplicacy ?

Ik ben bezig om mijn backup strategie te herzien en mijn algehele dagelijkse software stack daarbij aan te pakken. Nu ben ik erg cloud-dependent. Dat wil ik terug brengen naar veel self-hosted diensten. Mijn backups zijn hier een deel van. Ik maak nu gebruik van de volgende strategie:

NAS met 4x4TB schijven. Deze zit vrijwel 100% vol dus hier komt een vervanger voor in de plaats met 2x18TB.

Van al deze opslag is voor nu maar ~550GB relevant. Voornamelijk filmpjes en foto's die mijn ouders en ik door de jaren heen gemaakt hebben. Ik voorzie dat dit nummer snel kan stijgen in een tijd van veel fotogratie en steeds meer detail (data) in foto's en video's.

• Deze 550GB aan data staat nu op de NAS in de RAID array. Fijn want nu ben ik beschermt tegen het falen van een enkele schijf.
• Ik maak periodiek een backup van deze data naar een externe 4TB schijf die ik in een kluis bewaar (brand en water beschermend tot een half uur) zonder dat deze is aangesloten aan andere systemen etc.
• De NAS maakt maandelijks met een vaste interval een backup naar Onedrive. Hier heb ik een prive abonnement van 7 euro per maand voor 1TB aan opslag.
• Met de nieuwe NAS wil ik gebruik gaan maken van Duplicacy. Daar kan ik dan gelijk de API van opvragen en monitoring op inschakelen voor meldingen dat een backup succesvol was. Ik heb geen zin om maandelijks het dashboard erbij te pakken van Unraid, die machine moet gewoon (met de nodige monitoring) prima draaien zonder dat ik erop inlog.

Mijn vragen:
Is bovenstaande setup een beetje wenselijk?
Ik ben mogelijk op zoek naar een alternatief voor OneDrive. Dit kost mij 7 euro per maand, ik maak niet genoeg gebruik van de volledige office suite, het big-tech verhaal staat mij niet echt aan en ik heb ook het idee dat de opslag kwaliteit misschien bij een andere partij beter kan zijn of vergelijkbaar is voor minder geld.

Zelf heb ik al even gekeken maar ik zie vooral veel aanbieders welke een complete cloud omgeving aanbieden met toeters en bellen, backup clients etc. Ik wil gewoon veilige en betrouwbare ruwe opslag om met Duplicacy naar te syncen. Niks meer of minder. Ik heb BackBlaze nu al meerdere keren langs zien komen en zie in het Black Friday topic een andere aanbieder voorbij komen met een goede deal haste in "Black Friday / Cyber Monday 2024 (29 november & 2 december)" maar ik ben benieuwd of jullie een andere aanbieder met tevredenheid gebruiken.

Edit: inmiddels gekozen voor de stack Unraid en Duplicacy-web in docker container. Opslag aanbieder gaat BackBlaze worden. Om de boel in de gaten te houden gebruik ik Zabbix, dit heb ik inmiddels ge-PoC'ed met succes (krijg een event wanneer een backup job niet succesvol is geweest.) Nu nog wachten op mijn moederboard en dan kan ik beginnen met bouwen en de stack opzetten.

[ Voor 6% gewijzigd door Yariva op 03-12-2024 15:25 ]

[fce773febc139c7]

Yariva schreef op maandag 18 november 2024 @ 15:36:
TLDR: welke online opslag aanbieder is een goede zet voor een Unraid opstelling met Duplicacy ?

Ik heb zelf goede ervaringen met Duplicati (in mijn geval op een Office cloud account); wat is het voordeel van Duplicacy?

[Yariva]

fce773febc139c7 schreef op zaterdag 7 december 2024 @ 08:03:
[...]


Ik heb zelf goede ervaringen met Duplicati (in mijn geval op een Office cloud account); wat is het voordeel van Duplicacy?

Voornamelijk dat het een mooie integratie heeft met deployment als container in Unraid. Verder dat ik de status van jobs d.m.v. de web API kan uit lezen en daarmee in mijn monitoring software in de gaten kan houden (in dit geval Zabbix). De Web GUI helpt ook om de software op mijn NAS te draaien en vervolgens te beheren vanaf een van mijn systemen.

[rcthans]

jnr24 schreef op dinsdag 27 augustus 2024 @ 21:36:
3 miljoen in 20 jaar, dat is elke 3,5 minuten een foto, ook als je slaapt?

par2, jemig,dat is een tijd geleden.

Pas op, je noemt 'een nas' en bitrot.. Een bestandstabel kan ook bitrot krijgen en überhaupt zou ik eens onderzoeken waar dit vandaan komt. Een harddisk die op zijn einde loopt? Heb je de foto's ook nog ergens weggezet bij familie of online?

Het zijn er idd nog geen eens een miljoen. Ik overdrijf graag.

Maar het is ook werkelijk alles, alle screenshots ooit gemaakt, ook gecrawlde data van hyves en facebook van jaren terug. Alle plaatjes die ik ooit op whatsapp heb ontvangen etc. alles ging altijd naar mijn foto backup folder. Mijn ex was foto model, daar heb ik ook nog alles van. Die schoten wel eens 5k platen op een dag met een fotograaf.


Multipar en verificatie
Overigens, heb ik vandaag voor het eerst het hele archief geverifieerd met multipar (nieuwste versie heeft GPU update voor accelaratie.
Het duurde een dag, en er was nog niet eens iets kapot. Maar wel een chill gevoel.
multipar en par2 niet bedoeld om gewoon zoveel jpg's of whatever in te gooien. Dat duurt echt dagen. Ik heb alles eerst in rar bestanden van 2gb parts gestopt.


WD RED Bug
Ik heb nog een mooi verhaal. De harde schijven die ik al 10 jaar in mijn NAS heb zitten hebben een jaar na release een critical firmware update gehad. Iets met het parkeren van de kop

Around 2014,
@WesternDigital
came up with a hotfix for a load cycle bug in their RED HDD drives. I only found out about this today because it's finally dying. Apparently, the number of load cycles is quite remarkable.


schijf zonder firmware fix en dus meer dan 1 miljoen load cycles (waar ik dus fotos met bitrot tegen kwam)


schijf met zelfde leeftijd, zonder de bug, nogal een verschil in load cycle count.

[ Voor 29% gewijzigd door rcthans op 12-03-2025 22:39 ]

[Arosa]

Wat is de beste manier om data veilig op de plank (of kluis) te kunnen bewaren?

Ik ben bekend met de 3-2-1 strategie, die moet ik nog wat beter gaan toepassen, maar waar ik momenteel over nadenk is het volgende ==> Ik ben onze bescheiden DVD-collectie aan het digitaliseringen, eerst naar .ISO en vervolgens ook naar .MP4 (H.264/ACC) en parkeer deze bestanden vervolgens op de NAS.

Ik werd getriggerd door berichten over disc-rot en het feit dat ik waarschijnlijk geen DVD-speler meer neer wil zetten na de verbouwing van de woonkamer. Al jaren geen meer DVD's gekocht, ze worden ook zelden nog afgespeeld, maar heel af en toe pakken we er nog eentje. Niet alles is beschikbaar via de streamingdiensten en bovendien ik heb al betaald voor de DVD's en geen behoefte aan meerdere abonnementen op streamingdiensten. Dus in de toekomst via digitaal heel de collectie beschikbaar.

Dat rippen doe ik tijdens het thuiswerken, af en toe DVD-tje wisselen en weer door. Gaat prima, maar ik wou dat wel bij een eenmalige actie houden. Als ik eenmaal alles digitaal heb, dan heb ik zo'n 500 gb tot 1 tb aan bestanden op de NAS staan. Als die disk het begeeft kan ik opnieuw beginnen. Ik vind het overdreven om te gaan betalen voor een online back-up van deze data en ik ga geen tweede NAS bij familie plaatsen.

Kortom ik wil deze data ook op iets bewaren en vervolgens kunnen wegleggen. Ik krijg via internet geen duidelijk antwoord gevonden welke opslagmedium nu daarvoor het meest geschikt is. Ik ga er geen tapes voor kopen. USB-sticks lees ik kunnen problemen geven bij langdurig zonder stroom, klopt dit? Ik zag soortgelijke berichten over SSD's. Is dan een HDD de beste optie?

[gsxxer]

Yariva schreef op maandag 18 november 2024 @ 15:36:

Edit: inmiddels gekozen voor de stack Unraid en Duplicacy-web in docker container. Opslag aanbieder gaat BackBlaze worden. Om de boel in de gaten te houden gebruik ik Zabbix, dit heb ik inmiddels ge-PoC'ed met succes (krijg een event wanneer een backup job niet succesvol is geweest.) Nu nog wachten op mijn moederboard en dan kan ik beginnen met bouwen en de stack opzetten.

Ik ben recentelijk overgestapt van BackBlaze S3 naar Hetzner Storage Box.
Qua prijs zelfs nog iets voordeliger. Ik heb nu 1 TB backup voor de 3,83 Euro.

De voornaamste reden voor mij was om weg te gaan bij een Amerikaans bedrijf, en naar een Europese aanbieder te gaan

[Renault]

rcthans schreef op woensdag 12 maart 2025 @ 22:32:
[...]


Het zijn er idd nog geen eens een miljoen. Ik overdrijf graag.

Maar het is ook werkelijk alles, alle screenshots ooit gemaakt, ook gecrawlde data van hyves en facebook van jaren terug. Alle plaatjes die ik ooit op whatsapp heb ontvangen etc. alles ging altijd naar mijn foto backup folder. Mijn ex was foto model, daar heb ik ook nog alles van. Die schoten wel eens 5k platen op een dag met een fotograaf.


Multipar en verificatie
Overigens, heb ik vandaag voor het eerst het hele archief geverifieerd met multipar (nieuwste versie heeft GPU update voor accelaratie.
Het duurde een dag, en er was nog niet eens iets kapot. Maar wel een chill gevoel.
multipar en par2 niet bedoeld om gewoon zoveel jpg's of whatever in te gooien. Dat duurt echt dagen. Ik heb alles eerst in rar bestanden van 2gb parts gestopt.


WD RED Bug
Ik heb nog een mooi verhaal. De harde schijven die ik al 10 jaar in mijn NAS heb zitten hebben een jaar na release een critical firmware update gehad. Iets met het parkeren van de kop

Around 2014,
@WesternDigital
came up with a hotfix for a load cycle bug in their RED HDD drives. I only found out about this today because it's finally dying. Apparently, the number of load cycles is quite remarkable.

[Afbeelding]
schijf zonder firmware fix en dus meer dan 1 miljoen load cycles (waar ik dus fotos met bitrot tegen kwam)

[Afbeelding]
schijf met zelfde leeftijd, zonder de bug, nogal een verschil in load cycle count.

Ik zie nu pas je post, met name de SMART-data i.c.m. je bitrot verhaal.
Ik zou toch even dóórzoeken, want de bron van je bitrot is volgens de SMART-data niet de hardware in en om je harddisk!
Dit betekent dat als je deze foute conclusie blijft handhaven, je waarschijnlijk een ander probleem over het hoofd ziet.
Ik weet niet of je nu de data van de beschadigde bestanden kwijt bent of dat je elders nog een intacte versie hebt, maar ik vind vooral de integrale verspreiding van je aantasting over alle bestanden gespreid, een alarmerend signaal.
Wat blijkt uit de SMART tabel:
- je hebt geen communicatie problemen tussen moederbord en harddisk
- je hebt geen probleem op je platters, noch met de koppen

Wat ik je kan aanraden, is om een systematisch onderzoek te doen in je pc, met de focus op ds integriteit van het bestandssysteem op de harddisk, het memory en de voeding: er moet iets zijn wat systematisch je bestanden verminkt.

[Renault]

@Arosa : diskrot* bestaat niet in de context zoals jij die bedoelt, bitrot wel.

*diskrot: als de magnetische laag op een p.atter oxideren, krijg je een steeds groter wordende vlek van magnetisch slecht oppervlak waarop je de daarop aanwezige data geleidelijk kwijtraakt. Maar dat is waarschijnlijk niet wat jij hierboven bedoelt.

[Arosa]

@Renault : Ik wil mijn DVD's back-uppen om diskrot voor te zijn. Heb verrassend veel Warner Bros dvd's die berucht zijn. Maar om die ISO's nu volgens de 3-2-1 strategie te gaan bewaren gaat mij wat ver, dus vandaar de zoektocht naar de betrouwbaar medium om gewoon lokaal een extra back-up wel te bewaren.

[Wylana]

Arosa schreef op dinsdag 1 april 2025 @ 19:59:
@Renault : Ik wil mijn DVD's back-uppen om diskrot voor te zijn. Heb verrassend veel Warner Bros dvd's die berucht zijn. Maar om die ISO's nu volgens de 3-2-1 strategie te gaan bewaren gaat mij wat ver, dus vandaar de zoektocht naar de betrouwbaar medium om gewoon lokaal een extra back-up wel te bewaren.

Ik zou de ISO's dan op een NAS met 2 of meer schijven zetten en dan 1x in de x tijd een kopie maken naar een externe USB schijf of andere Synology NAS op een andere locatie.

Dat lijkt mij het makkelijkst.