Raws bewaren op lange termijn?

[BugBoy]

Ik merk dat mijn foto-archief toch wel flinke vormen begint aan te nemen. Ik ben tegenwoordig steeds kritischer op mijn foto's en gooi steeds meer weg. Maar ondanks dat staat er onderhand toch al zo'n 500GB aan foto's op mijn laptop. Dat is op te delen in de volgende formaten:

• 2000-2008: JPEG formaat (mijn IXUS kon niet anders)
• 2008-2017: DNG formaat (Canon 40D en omgezet naar DNG)
• 2017-2018: CR2/DNG formaat (Canon 5D native CR2, alleen pano/hdr is in DNG)

Ik ben geswitcht naar CR2, zodat ik niet meer gebonden ben aan Adobe. Ondanks dat ik redelijk tevreden ben over Lightroom als allround pakket zie ik dat andere programma's vaak toch wel beter zijn. Om in de toekomst toch te kunnen switchen dus nu ook maar native CR2 overgestapt. Mocht ooit CR2 obsolete zijn, dan zullen er wel tools zijn om alsnog naar DNG te kunnen omzetten.

Het behouden van de raw bestanden lijkt de verstandigste keuze naar de toekomst, want je kunt altijd nog opnieuw gaan bewerken en je houdt de hoogst mogelijke kwaliteit. Aan de andere kant vind ik dat er ook flinke nadelen zijn:

• Het neemt erg veel ruimte in op mijn laptop (de 5D schiet CR2 bestanden van 30-40MB per foto).
• Bekijken vanuit Lightroom is relatief traag.
• Post-processing in PS worden lompe PSD bestanden.

Dat opnieuw bewerken doe ik in de praktijk eigenlijk nooit, dus het bewaren van raw bestanden lijkt dan een beetje onnodig. Ik ben benieuwd wat jullie in de praktijk doen en of je wel eens terug gaat naar een oude foto?

[Henk007]

Die afweging kunnen wij niet voor jou maken natuurlijk.
Ik archiveer zelf wel alle raw bestanden, maar niet op mijn laptop, maar op mijn nas.
Als jij zegt nooit oude foto's te gebruiken en je weet zeker dat dat in de toekomst zo blijft, dan is dit voor jou niet nodig. Opslagruimte is niet erg duur, eventueel zou bijv een externe 3TB HDD voor jou voldoende zijn.
Hierbij heb ik nog niet gepraat over backup, want zoals iedereen zich zou moeten realiseren: één kopie is geen kopie.

[ Voor 14% gewijzigd door Henk007 op 26-03-2018 12:21 ]

[BugBoy]

Ik probeer juist een NAS te vermijden, vanwege de lastige (online) backup bij een NAS. Dat geeft ook weer extra stroomverbruik, onderhoud, ... Daarom heb ik mijn laptop voorzien van een 1TB SSD + 1TB HDD en daarbij Backblaze als online backup. Zo'n alles-in-één functioneert prima, want je hebt relatief weinig onderhoud, altijd een goede backup en ook altijd alles bij je. Ik merk gewoon dat het sinds de 5D IV erg hard gaat met mijn storage. Ik heb al oude jaren verplaatst naar de HDD, maar dan merk je dat Lightroom erg traag wordt als je daar door de foto's wilt browsen.

[Yucon]

Hoeveel procent van je RAWs bestaat uit min of meer duplicaten? Als je 10x vrijwel dezelfde foto achter elkaar gemaakt hebt is het misschien zinvol om daar eens goed schoonmaak in te houden.

[ehtweak]

Nooit je oude originele weggooien! Echt; niet doen!

Zo heb ik inmiddels >150.000 RAW files, sinds 2002 (!) in Nikon .NEF formaat. Maar ook van daarvoor .TIFF files uit een Minolta Dimage camera. En nog talloze (Kodak .PCD scans) analoge TIFF files. En wat ik gemerkt heb is dat, ten eerste je eigen conversie/bewerkingsskills in de loop der jaren toenemen, maar ook dat er steeds betere/handigere/snellere tools komen om van alles te bewerken.

M.a.w. een RAW file van >15 jaar oud, haal ik anno nu, veel meer uit, dan destijds.
Om de zoveel tijd scan ik de oude directories eens door, spitten naar mogelijke nieuwe 'bewerk kandidaten'.

Alles staat online op een stel forse TB schijven in mijn systeem, daarnaast dagelijkse kopietjes richting een NAS (RAID-5), die om de zoveel jaar vernieuwd wordt. Plus nog wat offline USB schijven die om de zoveel tijd een kopie krijgen van het beeldmateriaal.
Daarnaast een archief op gouden CD's. En die doen het na 18 jaar ook nog steeds prima.

En backup naar NAS lastig? Welnee; kwestie van goed (1 keertje) inrichten en testen.
Als het tijd is om te backuppen, zet ik m'n NAS aan, start AllWay Sync op, en het gemaakte script zorgt voor synchronisatie richting de NAS. Rekening houdend met 5 generaties van ieder mogelijk bestand. M.a.w. mocht ik er binnen een paar weken achterkomen dat ik nog een vorige versie van een bepaald bestand wil hebben, haal ik die OF uit de Windows previous versions, of van de NAS.

Om een idee te geven:
NEF files uit 2002 waren amper 10Mb/stuk.
NEF files van de D800E zijn vaak >45Mb/stuk en de geconverteerde .TIFFs vaak >60Mb/stuk.
Laat staan wat bewerkte multi-layer TIFFs, bestanden van 1GB of meer komen ook voor.

[ Voor 7% gewijzigd door ehtweak op 26-03-2018 12:40 ]

[Ventieldopje]

BugBoy schreef op maandag 26 maart 2018 @ 12:27:
Ik probeer juist een NAS te vermijden, vanwege de lastige (online) backup bij een NAS. Dat geeft ook weer extra stroomverbruik, onderhoud, ... Daarom heb ik mijn laptop voorzien van een 1TB SSD + 1TB HDD en daarbij Backblaze als online backup. Zo'n alles-in-één functioneert prima, want je hebt relatief weinig onderhoud, altijd een goede backup en ook altijd alles bij je. Ik merk gewoon dat het sinds de 5D IV erg hard gaat met mijn storage. Ik heb al oude jaren verplaatst naar de HDD, maar dan merk je dat Lightroom erg traag wordt als je daar door de foto's wilt browsen.

Maar je laptop heeft een groot risico om gestolen te worden (meer dan een NAS thuis) en daarbij is een laptop ook veel kwetsbaarder al zal je HDD daar meer last van hebben dan je SSD. Echter heeft een NAS of externe schijf (Lacie 2Big bijv.) meerdere schijven waardoor je doormiddel van RAID1 (spiegelen) of RAID5 (parity) kan voorkomen dat je al je data kwijt bent als 1 schijf uitvalt.

Zelf gebruik ik een zelfbouw NAS maar sinds deze vol zit met ruim 9TB aan RAWs en eigenlijk ook een upgrade kan gebruiken heb ik er een Lacie 2Big Thunderbolt 3 8TB bij gekocht. Dit is een "externe schijf" met o.a. Thunderbolt 3 aansluiting en 2x 4TB schijven waardoor ik dus 4TB overhoudt in RAID 1 (spiegelen). Dit is lekker snel en is te vergelijken met de opstelling die je nu hebt alleen dan veiliger. Je kan dan ook gewoon de backup blijven gebruiken die je nu gebruikt.

Verder heeft de ontwikkeling van NAS systemen ook niet stil gestaan en heb je tegenwoordig een nette web interface waar van alles mee mogelijk is. Ik ga er van uit dat backuppen dan ook niet zo'n issue is althans in ieder geval naar gebruikelijke backup targets zoals Amazon S3, Backblaze B2 (hun cloud), externe FTP en wellicht een externe schijf.

P.s. mocht de snelheid bij Backblaze een issue worden dan kan ik aanraden om over te stappen naar Crashplan van Ceejay(.net). Een bedrijf uit Engeland dat een reseller is van Crashplan PRO-e en onbeperkt opslag bied voor backups met servers in Amsterdam. Het zal iets duurder zjin dan Backblaze maar naar mijn mening een stuk veiliger en belangrijker nog, niet in Amerika!

P.s. p.s. etc. ik kijk vaak mijn oude foto's terug, ook de oudste die ik heb en neem af en toe de tijd om ze weer opnieuw te bewerken. Je zal versteld staan wat er uit komt naarmate je in de jaren ervaring opdoet!

[ Voor 4% gewijzigd door Ventieldopje op 26-03-2018 12:44 ]

[BugBoy]

Ventieldopje schreef op maandag 26 maart 2018 @ 12:43:
Maar je laptop heeft een groot risico om gestolen te worden (meer dan een NAS thuis) en daarbij is een laptop ook veel kwetsbaarder al zal je HDD daar meer last van hebben dan je SSD.

Daarom gebruik ik ook een 24/7 online backup service voor mijn laptop. Over het algemeen is mijn laptop altijd bij met zijn backups. Alleen op vakanties (met een slechte internet verbinding) dan zijn mijn raw bestanden niet gebackupt. Maar ik wis mijn kaartjes altijd pas thuis als de backup bij is. Het is alleen een probleem als zowel mijn camera als laptop op vakantie worden gestolen.

Zelf gebruik ik een zelfbouw NAS maar sinds deze vol zit met ruim 9TB aan RAWs

9TB aan raw bestanden? Ben je professioneel fotograaf of gooi je echt nooit iets weg? Ik bewaar eigenlijk alleen de foto's en probeer het zoveel mogelijk te filteren. Anders kijk je er nooit meer na (IMHO) en ben je uiteindelijk meer tijd kwijt met zoeken dan wat je anders met uitzoeken kwijt was.

Ik ga er van uit dat backuppen dan ook niet zo'n issue is althans in ieder geval naar gebruikelijke backup targets zoals Amazon S3, Backblaze B2 (hun cloud), externe FTP en wellicht een externe schijf.

Externe schijven vind ik niet handig. Bij brand zijn die ook weg en dedicated cloud storage vind ik relatief duur. Ik betaal nu $50/jaar voor de online back-up. Zakelijk werk ik veel met AWS S3, maar die is aanzienlijk duurder. Vooral download bandbreedte is erg duur 1TB downloaden uit AWS S3 kost je al bijna $80 (en dan reken ik nog niet eens de storage).

Mocht de snelheid bij Backblaze een issue worden dan kan ik aanraden om over te stappen naar Crashplan van Ceejay(.net). Een bedrijf uit Engeland dat een reseller is van Crashplan PRO-e en onbeperkt opslag bied voor backups met servers in Amsterdam. Het zal iets duurder zjin dan Backblaze maar naar mijn mening een stuk veiliger en belangrijker nog, niet in Amerika!

Snelheid voor de initiele upload was inderdaad een issue. Ondanks een 1Gbps upload kneep Backblaze dat flink af. Nu ik eenmaal alles er heb staan gaat het eigenlijk prima. Restoren doe ik nooit, want ik ben eigenlijk nog nooit wat kwijtgeraakt. Mijn foto's in de VS heb ik niet zo'n problemen mee. Via Facebook, Google, ... weten ze toch al waar ik op vakantie naartoe ga

Ik kijk vaak mijn oude foto's terug, ook de oudste die ik heb en neem af en toe de tijd om ze weer opnieuw te bewerken. Je zal versteld staan wat er uit komt naarmate je in de jaren ervaring opdoet!

Ik kijk ook wel eens foto's terug, maar dan doe ik dat eigenlijk vooral in de albums die ik heb gemaakt. Voorheen via Zenfolio en tegenwoordig via Google Photos. Die bevatten weer een subset van de foto's die ik in LR heb staan. Ik probeer bij een vakantie de foto's zoveel mogelijk te beperken tot een set die draaglijk is voor een ander om te bekijken

[Ventieldopje]

BugBoy schreef op maandag 26 maart 2018 @ 14:12:
[...]

Daarom gebruik ik ook een 24/7 online backup service voor mijn laptop. Over het algemeen is mijn laptop altijd bij met zijn backups. Alleen op vakanties (met een slechte internet verbinding) dan zijn mijn raw bestanden niet gebackupt. Maar ik wis mijn kaartjes altijd pas thuis als de backup bij is. Het is alleen een probleem als zowel mijn camera als laptop op vakantie worden gestolen.

[...]

9TB aan raw bestanden? Ben je professioneel fotograaf of gooi je echt nooit iets weg? Ik bewaar eigenlijk alleen de foto's en probeer het zoveel mogelijk te filteren. Anders kijk je er nooit meer na (IMHO) en ben je uiteindelijk meer tijd kwijt met zoeken dan wat je anders met uitzoeken kwijt was.

[...]

Externe schijven vind ik niet handig. Bij brand zijn die ook weg en dedicated cloud storage vind ik relatief duur. Ik betaal nu $50/jaar voor de online back-up. Zakelijk werk ik veel met AWS S3, maar die is aanzienlijk duurder. Vooral download bandbreedte is erg duur 1TB downloaden uit AWS S3 kost je al bijna $80 (en dan reken ik nog niet eens de storage).

[...]

Snelheid voor de initiele upload was inderdaad een issue. Ondanks een 1Gbps upload kneep Backblaze dat flink af. Nu ik eenmaal alles er heb staan gaat het eigenlijk prima. Restoren doe ik nooit, want ik ben eigenlijk nog nooit wat kwijtgeraakt. Mijn foto's in de VS heb ik niet zo'n problemen mee. Via Facebook, Google, ... weten ze toch al waar ik op vakantie naartoe ga

[...]

Ik kijk ook wel eens foto's terug, maar dan doe ik dat eigenlijk vooral in de albums die ik heb gemaakt. Voorheen via Zenfolio en tegenwoordig via Google Photos. Die bevatten weer een subset van de foto's die ik in LR heb staan. Ik probeer bij een vakantie de foto's zoveel mogelijk te beperken tot een set die draaglijk is voor een ander om te bekijken

Ah ja, maar dan gaat het voornamelijk om vakantie foto's heb ik het idee. Dan heb je minder de neiging die later nog eens te bewerken lijkt mij, tenzij je echt een foto vakantie hebt gehad wellicht.

Ik doe toch voornamelijk heel ander werk en heb daarom ook iets meer foto's en ook een ander soort foto's

Wat ook kan natuurlijk is een externe schijf op een andere locatie leggen, dan heb je die altijd nog bij brand. Als je nu 500 GB aan foto's hebt lijkt mij dat je met een 1TB of grotere schijf nog wel een tijd vooruit kan.

Mocht je ruimte vrij willen maken zou je de RAWs kunnen verwijderen of een NAS/externe schijf kunnen gebruiken als archief.

[Exphy]

Je zou kunnen kijken naar lossy DNG, Ik had het als een test geprobeerd en vond het een geschikt formaat voor het archiveren van de foto's die ik niet in raw hoef te hebben. Ook zet ik al mijn foto's om in DNG, het is namelijk een open RAW formaat, hoewel gepushed door adobe.

Dat allemaal gezegd hebbende, er zijn camera's waar je beter het originele RAW bestand kan houden, met X3F(Sigma foveon) en RAF(oldskool Fuji met niet standaard bayer sensor).

http://mikepasini.com/corners/2014/06/24-lossy-dng/index.htm

[jeroen3]

BugBoy schreef op maandag 26 maart 2018 @ 12:27:
Ik probeer juist een NAS te vermijden, vanwege de lastige (online) backup bij een NAS. Dat geeft ook weer extra stroomverbruik, onderhoud, ...

Je kunt een NAS ook van een online backup voorzien. En er is net zoveel onderhoud als bij een laptop.
- Automatische updates.
- Als een disk sneuvelt, moet je een nieuwe kopen.
- Als hij afgeschreven is moet je vervanging zoeken.

[ Voor 4% gewijzigd door jeroen3 op 26-03-2018 15:10 ]

[sapphire]

Henk007 schreef op maandag 26 maart 2018 @ 12:20:
Die afweging kunnen wij niet voor jou maken natuurlijk.
Ik archiveer zelf wel alle raw bestanden, maar niet op mijn laptop, maar op mijn nas.
Als jij zegt nooit oude foto's te gebruiken en je weet zeker dat dat in de toekomst zo blijft, dan is dit voor jou niet nodig. Opslagruimte is niet erg duur, eventueel zou bijv een externe 3TB HDD voor jou voldoende zijn.
Hierbij heb ik nog niet gepraat over backup, want zoals iedereen zich zou moeten realiseren: één kopie is geen kopie.

Waarom is 1 kopie geen kopie?

Een kopie is toch een kopie van een origineel dus origineel +1 kopie is in principe al een backup (mits op ander medium) ?

[Barrycade]

Het is eigenlijk: 1 kopie is geen back-up. Om bijvoorbeeld te noemen als jij je foto's kopieert naar 1 externe schijf als back up. Je PC kapot gaat door bv een overleden voeding en jij je Externe harde schijf probeert uit te lezen op een andere PC maar blijkt dat die ook stuk is gegaan omdat je externe HDD tijdens het kapot gaan van PC zat aangesloten. Heb je niets meer.

Ik heb 3 kopieën: RAWs en Originele JPGs op Externe HDD en 1 op NAS. En daarnaast staan de (gecomprimeerde) uiteindelijke JPGs op Google Foto's.

[ Voor 25% gewijzigd door Barrycade op 27-03-2018 13:17 ]

[sapphire]

Zo kun je door blijven gaan.....krijg je een Cryptolocker op je netwerk en zijn je externe HDD en NAS ook de pineut.

We gaan er natuurlijk vanuit dat een externe schijf indien niet in gebruik ook niet aangesloten is

Ik heb nu alles op de PC, 2x externe schijf en privé foto's extra op een 3e schijf en in de 'cloud'.

Alles de originele .JPG's en RAW's. Bewerkingen op geslagen als .xmp's erbij en een backup van software om het in de toekomst uit te lezen.
En nog wat losse dingen als PSD en TIFF en ook daarvoor een backup voor de gebruikte software

[ Voor 28% gewijzigd door sapphire op 27-03-2018 13:24 ]

[PageFault]

Ruimte is zo goedkoop, dat ik echt niet ga converteren. Qua snelheid: waar vroeger een RAW file openen wellicht enkele secondes duurt, gaat dat nu in een fractie ervan.

Dingen omzetten naar DNG lijkt me sowieso kansloos, waarom zou je dat doen? Verwacht je dat DNG langer gelezen kan worden dan bijv. CR2 of NEF?

DNG is door heel veel tools in te lezen (en te schrijven), dus ik snap je opmerking over afhankelijk zijn van Adobe niet.

Met videobanden (VHS, Video 2000, Hi-8, Video-8, Digital-8 en alle andere formaten), (data)tapes in 1000 soorten, CDs, DVDs etc. was het anders: dat zijn fysieke dingen. Op een gegeven moment heb je er gewoon geen afspeelapparaat meer voor. Maar die file formats uit de jaren 80 worden nog steeds door heel erg veel viewers van nu gelezen. Ze halen de support voor een file format nooit uit, er worden alleen nieuwe toegevoegd. Dat is wezenlijk iets anders dan fysieke dragers.

De ruimte is gemakkelijk op te lossen: maak de definitieve foto's in een ander formaat en sla de RAW files elders op (Cloud, NAS, externe schijf).

Over de snelheid: wellicht tijd voor een nieuwe laptop of andere tooling? Ik gebruik een 7 jaar oude PC met Capture One en heb ook een wat oudere camera (Nikon D700) en de foto's zijn instant zichtbaar.

PSD files worden niet per se groter door RAW files. Ik heb ook veel PSD files waar de bron een JPEG was en door de vele layers ook ruim 1 GB zijn geworden. Ook hier geldt: het resultaat flattern en opslaan in een ander formaat. PSD verhuizen naar cloud/NAS/externe schijf.

Al die redenen zijn ook voor mij altijd de reden geweest om af te zien van een laptop. Afgezien dat je altijd zit te klooien met die schermen (heb nu gewoon echt een degelijk IPS scherm) heb je altijd ellende met cooling als laptops wel een keer snel zijn en vooral met opslag en andere hardware (videokaart, geluidskaart etc.). Ik prik voor een appel en een ei gewoon weer 4 TB aan schijfruimte erin en kan er weer een tijdje tegen. Ik doe meestal tussen de 6 en 8 jaar met een PC. Alleen de ruimte wordt uitgebreid doorgaans. Ik had al 16 GB aan memory, dus dat ga ik ook niet uitbreiden (afgezien van het feit dat memory nu schofterig duur is).