[Advies gevraagd] Hoe grote catalogs op te slaan/benaderen

[quelake]

Ik ben al wat jaren digitaal aan het fotograferen, maar loop tegen het probleem aan dat catalogs te groot worden om lokaal op te slaan. Jaren geleden ben ik overgestapt op het saven van mijn catalogs op een QNAP TS-412. Mede vanwege de schijfruimte, maar ook omdat dan alles geback-upped is (schijven staan in RAID 5).

Ik merk dat deze oplossing niet ideaal is, het is gewoon ontzettend traag. Dit gaat enorm tegen staan als je 100+ foto's aan het editen bent.

Hoe hebben jullie dit ingericht? Ik zit te denken aan een USB-C externe schijf, of wellicht een nieuwe QNAP/Synology bay (al kan ik moeilijk inschatten hoeveel snelheid dit gaat opleveren?).

Andere hardware is een Macbook Pro 2017, en een Netgear R7000 router. Ik schiet met een FujiFilm X-T2. Softwarematig gebruik ik Capture One Pro / Lightroom.

Ben benieuwd naar jullie tips, dank!

[ehtweak]

quelake schreef op zondag 2 december 2018 @ 11:47:
maar ook omdat dan alles geback-upped is (schijven staan in RAID 5).

In ieder geval vast één tip, of liever gezegd, een aanbeveling:
RAID-5 is geen, ik herhaal geen backup!
RAID-5 is een mechanisme om je data te vrijwaren bij uitval van een enkele schijf in een RAID-5 storage oplossing. Niets meer, niets minder.
http://www.petemarovichim...id-as-your-backup-system/
https://blog.storagecraft.com/5-reasons-raid-not-backup/
https://serverfault.com/q.../why-is-raid-not-a-backup
etc.

Dan zul je echt een tweede storage device moeten hebben waar je alsnog een (offline) kopie neerzet van je waardevolle bestanden.

---

en wat betreft LR catalogs op een external device; ook daar is al het nodige over geschreven:
https://www.lightroomquee...ads/catalog-on-nas.30499/
https://forums.adobe.com/thread/2291215
https://www.dpreview.com/forums/thread/4267949

Je geeft niet aan wat de fysieke verbinding is tussen je computer en de gebruikte NAS?
Zit daar wellicht een bottleneck?

[ Voor 19% gewijzigd door ehtweak op 02-12-2018 12:02 ]

[quelake]

ehtweak schreef op zondag 2 december 2018 @ 11:54:
[...]

In ieder geval vast één tip, of liever gezegd, een aanbeveling:
RAID-5 is geen, ik herhaal geen backup!
RAID-5 is een mechanisme om je data te vrijwaren bij uitval van een enkele schijf in een RAID-5 storage oplossing. Niets meer, niets minder.

Het is wellicht geen volwaardige back-up, maar ik vind het veilig genoeg, de kans dat er twee schijven tegelijk falen is zeer klein (tenzij je NAS uitbrandt, maar dan heb je aan RAID 10 ook vrij weinig ;-) ). Ik waardeer de tip wel, ga er nog eens over nadenken.

Alles zit verder verbonden via UTP, dus geen WIFI of iets dergelijks. Dat zou toch snel genoeg moeten gaan.

[ehtweak]

Nogmaals, je hebt, naar eigen zeggen, je foto's/catalog slechts op één plek staan! Dat heeft niets van doen met het begrip backup!

Backup betreft zaken; zoals het per ongeluk wissen, crypto malware, software fouten, etc. M.a.w. als je zelf iets wist bijvoorbeeld, dan heb je geen backup...
Want het RAID mechanisme zorgt ook keurig voor het snel wissen van je data...

En verbonden via UTP, zegt ook zo weinig...
UTP is een soort bekabeling. Ik neem aan dat je Ethernet bedoelt.
Maar 100Mb? 1000Mb? Full Duplex? Half Duplex? Jumbo frames? Eventueel nog link aggregation?
Heb je al eens gemeten/gekeken wat de throughput is tijdens het gebruik van de verbinding tussen je computer en je NAS?

[ Voor 5% gewijzigd door ehtweak op 02-12-2018 12:20 ]

[quelake]

ehtweak schreef op zondag 2 december 2018 @ 12:18:
Nogmaals, je hebt, naar eigen zeggen, je foto's/catalog slechts op één plek staan! Dat heeft niets van doen met het begrip backup!

Backup betreft zaken; zoals het per ongeluk wissen, crypto malware, software fouten, etc. M.a.w. als je zelf iets wist bijvoorbeeld, dan heb je geen backup...
Want het RAID mechanisme zorgt ook keurig voor het snel wissen van je data...

Alright, agreed!

Alles is gekoppeld via 1000Mb ethernet. Ik neem aan dat dat gewoon full duplex operereert, maar zeker weten doe ik dat niet (hoe check je dat?) Ik heb nog nooit daadwerkelijke throughput gemeten, zal ik straks eens doen!

[sys64738]

@quelake Hier nog even een duit in het zakje: dit heeft niks met backup te maken. Zaken als brandje in meterkast, diefstal van je NAS en inderdaad zelf per ongeluk weggooien van je data zijn hier niet mee afgedekt. Gewoon online storage (Stack / Amazon Galcier) regelen of 2e el-cheapoo synology kopen en die op andere locatie neerzetten als backup device.

En NAS gebruiken om je foto's op te bewerken is echt slecht plan. Netwerk lattency zal er altijd voor zorgen dat dit gewoon niet lekker gaat werken. Gewoon investeren in snelle externe schijf (Samsung T5 bv ) en dan werkt het weer als een malle. Voor 130 euro heb je al de 500GB versie. Als dat niet genoeg is, moet je misschien iets vaker foto's uitzoeken en weggooien

[Aikon]

Om hoeveel data gaat het, kan je dat opsplitsen in een archief en waar je mee werkt, en wat is je budget?

Persoonlijk zou ik al je foto's op een ssd zetten in je computer (kan je die vervangen van je macbook? anders snelle externe), sneller wordt het niet echt en is redelijk betaalbaar. Dan zou ik bijv. backblaze afsluiten als backup, te beschouwen als offline, offsite backup vanwege versiehistorie. En voor de zekerheid zou ik dan periodiek alles naar een simpele hdd kopiëren, die het liefst op een andere locatie ligt normaliter.

Geen gedoe met raid en nassen, nergens voor nodig (althans, niet dat ik uit je post haal).

[hp-got]

Je kan overwegen om de NAS alleen te gebruiken voor foto's die geen bewerking meer nodig hebben, die klaar zijn, dat wordt dan het archief.
Je hebt dan geen last meer van de trage doorvoer van je NAS, het is hooguit af en toe nog eens foto's bekijken, dat is alleen lezen en zou redelijk snel moeten kunnen.

En uiteraard zorg je dan voor een back-up van je archief

De foto's waar je nog mee bezig bent hou je dan op je lokale machine, daar kan je alles snel benaderen.

Tenslotte: wat bedoel je met catalogs?
Als ik probeer te begrijpen wat je doet dan noem jij catalog wat ik archief zou noemen.
Werk je met een DAM of zoiets die een catalogus van je foto's bijhoudt in een database?
Als dat zo is kan ik me niet voorstellen dat die database onhanteerbaar groot wordt.
Als ik voor mezelf spreek: mijn fotoverzameling is ruim 200 GB, de database van mijn DAM iets van 600 MB. Zo'n database kan je prima lokaal houden op een SSD,

[quelake]

sys64738 schreef op zondag 2 december 2018 @ 12:35:
...tips...

Ok, ik ga gewoon een snelle HDD kopen dan, lijkt me inderdaad fijner werken.

Overigens is het niet zo dat ik AL mn foto's kwijt zal zijn in geval van brand. Alle bewerkte foto's die ik daadwerkelijk tot in den eeuwigheid bewaard wil hebben staan opgeslagen op zowel m'n macbook, iMac als online in iCloud.

Maar de opslag van al mijn digitale negatieven ga ik dan overzetten op een externe schijf. De overflow daarvan laat ik uiteindelijk wel op mn QNAP staan.

Backblaze klinkt als een betaalbare oplossing voor unl data, goede tip!

hp-got schreef op zondag 2 december 2018 @ 13:04:
Je kan overwegen om de NAS alleen te gebruiken voor foto's die geen bewerking meer nodig hebben, die klaar zijn, dat wordt dan het archief.
Je hebt dan geen last meer van de trage doorvoer van je NAS, het is hooguit af en toe nog eens foto's bekijken, dat is alleen lezen en zou redelijk snel moeten kunnen.

En uiteraard zorg je dan voor een back-up van je archief

De foto's waar je nog mee bezig bent hou je dan op je lokale machine, daar kan je alles snel benaderen.

Tenslotte: wat bedoel je met catalogs?
Als ik probeer te begrijpen wat je doet dan noem jij catalog wat ik archief zou noemen.
Werk je met een DAM of zoiets die een catalogus van je foto's bijhoudt in een database?
Als dat zo is kan ik me niet voorstellen dat die database onhanteerbaar groot wordt.
Als ik voor mezelf spreek: mijn fotoverzameling is ruim 200 GB, de database van mijn DAM iets van 600 MB. Zo'n database kan je prima lokaal houden op een SSD,

Inderdaad, archief. Lightroom en C1 spreken over catalogs in dit geval ;-) Ik ben echter weer niet bekend met de term DAM. Ik begrijp idd dat je de database met bewerkingen, ratings etc gewoon lokaal kunt bewaren (met evt back-up op andere lokatie), dat doe ik inderdaad al. Maar dat voorkomt niet dat het laden van de foto's ontzettend traag gaat helaas. Lokaal allemaal previews maken gaat weer behoorlijk veel ruimte in beslag nemen.

[ Voor 52% gewijzigd door quelake op 02-12-2018 13:14 ]

[quelake]

dubbelpost, verwijderd.

[ Voor 97% gewijzigd door quelake op 02-12-2018 13:16 ]

[hp-got]

quelake schreef op zondag 2 december 2018 @ 13:08:
[...]Inderdaad, archief. Lightroom en C1 spreken over catalogs in dit geval

Die ken ik dan weer niet.
LR heb ik jaren geleden achter me gelaten, C1 wel eens naar gekeken maar dat voldeed toen niet aan mijn eisen.

quelake schreef op zondag 2 december 2018 @ 13:08:
Ik ben echter weer niet bekend met de term DAM.

DAM = Digital Asset Management
Een programma waarmee je je digitale dataverzameling kan beheren.
LR heeft zoiets ingebakken, maar IMHO nogal beperkt.

quelake schreef op zondag 2 december 2018 @ 13:08:
Lokaal allemaal previews maken gaat weer behoorlijk veel ruimte in beslag nemen.

Valt wel mee (hangt misschien ook van de implementatie van de DAM af).
Bij mij is de previewcache 400 MB.

[Paul]

Er zijn een paar dingen van elkaar te onderscheiden:

- De metadata (wat Lightroom catalogus noemt)
- De RAW-bestanden die je recent geschoten hebt en mogelijk nog wil bewerken of door wil grasduinen
- De RAW-bestanden die al wat ouder zijn en die je wel wil bewaren, maar niet zo frequent inkijkt

Zelf heb ik die eerste twee op de SSD in mijn computer staan, die laatste verplaats ik naar mijn NAS. Die SSD is 500 GB, groot genoeg voor (in mijn geval) een half jaar aan foto's en de rest van de dingen die ik op mijn computer doe (vooral games nemen veel ruimte in). De NAS is een paar TB.

Dit alles wordt gebackupt naar een NAS die bij mijn ouders staat, zodat ik niks kwijt ben als er hier dingen in brand vliegen, gestolen worden, ik een cryptolocker oploop, per ongeluk van alles verwijder etc.

---

quelake schreef op zondag 2 december 2018 @ 13:08:
Maar dat voorkomt niet dat het laden van de foto's ontzettend traag gaat helaas. Lokaal allemaal previews maken gaat weer behoorlijk veel ruimte in beslag nemen.

Ruimte is relatief goedkoop, zeker als je je loopt te ergeren aan zaken Ik heb 21.000 foto's, dat neemt samen 41 GB aan previews en smart previews in. Ik zal niet zeggen dat LR snel is, maar ontzettend traag kan ik het ook niet noemen.

Ik zie wel dat ik de normale previews wel wat hoger kan zetten (stond op 1440/medium/30days), dus dan gaat het meer ruimte innemen, maar dan nog, een 500 GB SSD kost minder dan 100 euro voor NVME of 70 euro voor SATA. Daar kun je HEEL veel previews op kwijt, samen met de recente foto's

[ Voor 10% gewijzigd door Paul op 02-12-2018 14:33 ]

[quelake]

Knoop doorgehakt, heb een SanDisk Extreme Portable Externe harde schijf van 1TB aangeschaft om de (meest recente) foto's op te bewerken. Ga verder zoeken naar cloud solution. Dank allen voor de input!

En helaas zit ik vast aan de opslagcapaciteit van mn Macbook (256GB ), die is niet uit te breiden. Van mijn werk gekregen, dus had er ook geen inspraak in.