Data management...

[Pat-Juh]

Oké na het sneuvelen van 2-3 backup oplossingen die ik had (een 3.5" schijf en een 2.5" schijf). Heb ik een tijdelijke back-up gedraaid. Momenteel heb ik mijn G-Raid 2TB als 1TB RAID-1 (mirrored) en een 2.5" schijf met alles van de G-RAID als back-up. Geen fijn gevoel dat kan ik je verzekeren.

Ik ben al een week of wat aan het speuren maar ik vind geen lekkere oplossing, ik heb van alles bekeken van een DAS tot een NAS tot een Homeserver. Daarbij meldt ik gelijk dat via FW800 de GRAID in RAID-0 ook niet bepaald snel genoeg is/voelt voor 24MP 14-bit raw bestanden in Lightroom.

Wat ik ter beschikking heb is het volgende:
- G-Raid 2TB (2x1TB schijven)
- 2x 500GB 2.5" (nagenoeg nieuw).

Waar ik naar heb gekeken:
- Synology DS411 (of 411slim)
- Drobo-Mini
- Western Digital MyCloud (helaas enkel als single drive te verkrijgen).
- Homeserver

Oplossingen die ik in gedachte had.

1.Synology in RAID-5 met genoeg opslag voor mijn collectie en de G-Raid als werkschijf houden in RAID-0
Pro:
-Redundancy
-Toegankelijkheid
Min:
- Snelheid (bij gebrek aan een volwaardig gigabit netwerk).
- Formaat wat er in woonkamer kast bij komt.

2. Drobo-Mini met daarin 4x1TB of 1.5TB schijven, met hun Beyond RAID systeem zou ik in het laatste geval zo'n 4tb met redundancy hebben, via Thunderbolt, wat zo'n 150-200mb/s moet opleveren. Mocht er een schijf kapot gaan kan ik een willekeurige er in plaatsen, wat tegen die tijd wellicht een 2 of 3TB schijf is...
Pro:
- Redundancy en vervangbaarheid
- Snelheid
- Uitbreidbaarheid (beperkt)
Min:
- Minder toegankelijk dan een NAS
- Drobo systeem (hoewel dit geen minpunt hoeft te zijn).

3. MyCloud:
Pro:
- Kosten
- Toegankelijkheid
Min:
- Geen redundancy
- Snelheid

4. Homeserver:
Pro:
- Uitbreidbaarheid
- Snelheid mogelijkheid
Min:
- Formaat
- Kosten
- Benodigde kennis.


Hoe hebben jullie dit opgelost en hebben jullie tips/tricks of aanbevelingen?

[Universal Creations]

Ik heb gewoon een externe HDD van 3TB via eSata aangesloten op mijn laptop en nog een externe HDD van 2TB op een andere laptop op zolder staan. Iedere dag worden de foto's en muziek gesynchroniseerd via het netwerk.
Maar ik snap je punt niet van snelheid, want een 14-bit 24MP RAW is in een halve seconde van je HDD afgehaald. De snelheid wordt niet bepaald door de verbinding met de HDD, maar door cpu-snelheid.

[Pat-Juh]

Universal Creations schreef op maandag 30 december 2013 @ 16:55:
Ik heb gewoon een externe HDD van 3TB via eSata aangesloten op mijn laptop en nog een externe HDD van 2TB op een andere laptop op zolder staan. Iedere dag worden de foto's en muziek gesynchroniseerd via het netwerk.
Maar ik snap je punt niet van snelheid, want een 14-bit 24MP RAW is in een halve seconde van je HDD afgehaald. De snelheid wordt niet bepaald door de verbinding met de HDD, maar door cpu-snelheid.

Ik werk met een 2.2QC i7, 16GB ram en een Samsung 840 250GB SSD (na het crashen van de standaard drive die er in zat), daar zal het niet aanliggen denk ik. De lightroom cache is 5GB en voorvertoningen worden ook rap geladen. Mijn MacbookPro heeft USB2, FW800 of Thunderbolt. helaas geen eSATA.

Ik krijg op een of andere wijze gewoon geen fatsoenlijke snelheid met die GRAID. kopiëren gaat ook zo traag als wat... Ik krijg de volgende waarden via de Disk Speed Test van BlackMagicDesign:

G-RAID 2TB via FW800 (in RAID-0):
Read: 38,9 MB/s
Write: 35,3 MB/s

5400RPM USB2.0 2.5" Schijfje:
Read: 30,1MB/s
Write: 24,2 MB/s

In RAID-1 is de snelheid wel iets hoger maar niet bepaald het geen wat het vroeger ten tijde van aanschaf was. Een cheapo 2.5" zou bijna het zelfde presteren dan dit dure apparaat... De gemiddelde RAW file is 30mb dus is Lightroom zo'n seconde per keer om te laden, uiteraard een "First world problem" ik weet het echter ga je er bij veel foto's toch aan ergeren. Bij het wegschrijven van 800-1000 foto's tikt het heel wat meer aan... (30GB ongeveer)...

[Universal Creations]

Vanaf waar schrijf jij die foto's weg dan?
Ik kopieer enkel de foto's die ik wil naar de externe hdd en bewerk ze vanaf daar. Dan hoef ik maar 1x te kopiëren en dat gaat net zo snel als het geheugenkaartje uitgelezen kan worden.

[Pat-Juh]

Universal Creations schreef op maandag 30 december 2013 @ 17:20:
Vanaf waar schrijf jij die foto's weg dan?
Ik kopieer enkel de foto's die ik wil naar de externe hdd en bewerk ze vanaf daar. Dan hoef ik maar 1x te kopiëren en dat gaat net zo snel als het geheugenkaartje uitgelezen kan worden.

Ik importeer ze van mijn geheugenkaartje in Lightroom. De catalogus + voorvertoningen staan op mijn SSD. De RAW files + XMP bestanden alleen op de Externe schijf.

Naast mijn Lightroom bestanden heb ik nog wat fotografie ebooks, lightroom exporten en GoPro materiaal op de schijf staan, hij staat niet vol gebouwd met onzin.

[Universal Creations]

Worden die RAW-files en XMP's meteen al op de externe schijf gezet bij het importeren?

[GerardHenninger]

Ik zou sowieso NIET voor het Drobo systeem gaan; als er iets misgaat dan kan je NIET bij je bestanden. Google even op de problemen die Drobo heeft/had. Dus stel je Drobo zelf (niet je HDD's) kapt ermee, dan kan je dus niet bij je bestanden en dan mag je het apparaat opsturen.

Persoonlijk zou ik voor Synology gaan (heb ik zelf tenslotte ook). Ik haal hier gemiddeld 80 MB/sec en dan is snel genoeg als backup. Volgens mij heb je niet de beschikking over een gigabit netwerk als ik het zo lees, maar misschien is het een idee om alleen tijdens de backups even wat kabels/router aan te sluiten.

Mocht de Synology kapot gaan dan kan je alsnog bij je bestanden (afhankelijk van je indeling).

Je hebt een MBP maar ook een normale PC? Dan heb je op je PC waarschijnlijk geen Thunderbolt en dat is jammer, anders had je een Thunderbolt disk kunnen halen en dat is echt een stuk sneller dan FW800/USB3.

[Pat-Juh]

GerardHenninger schreef op maandag 30 december 2013 @ 18:04:
Ik zou sowieso NIET voor het Drobo systeem gaan; als er iets misgaat dan kan je NIET bij je bestanden. Google even op de problemen die Drobo heeft/had. Dus stel je Drobo zelf (niet je HDD's) kapt ermee, dan kan je dus niet bij je bestanden en dan mag je het apparaat opsturen.

Persoonlijk zou ik voor Synology gaan (heb ik zelf tenslotte ook). Ik haal hier gemiddeld 80 MB/sec en dan is snel genoeg als backup. Volgens mij heb je niet de beschikking over een gigabit netwerk als ik het zo lees, maar misschien is het een idee om alleen tijdens de backups even wat kabels/router aan te sluiten.

Mocht de Synology kapot gaan dan kan je alsnog bij je bestanden (afhankelijk van je indeling).

Je hebt een MBP maar ook een normale PC? Dan heb je op je PC waarschijnlijk geen Thunderbolt en dat is jammer, anders had je een Thunderbolt disk kunnen halen en dat is echt een stuk sneller dan FW800/USB3.

Dat was ook het gene wat ik als minpunt zag bij Drobo... m.a.w. ze houden je foto's dan gegijzeld totdat je een ander exemplaar van ze koopt, OF een protection plan koopt

Geen normale PC hier in huis te vinden Gerard. Ondertussen ben ik ook aan het kijken naar een WD Mybook Thunderbolt of Lacie 2Big schijf op jou aanraden, dit in combi met een simpele "NAS". om een back-up los te hebben??

[Universal Creations]

USB 3.0 is overigens ook erg snel (100MB/s) voor een externe HDD voor als je geen eSata of thunderbolt hebt. Test: http://www.macworld.com/a...t-is-usb-3-0-really-.html

[ Voor 26% gewijzigd door Universal Creations op 30-12-2013 19:16 ]

[BlaTieBla]

GerardHenninger schreef op maandag 30 december 2013 @ 18:04:
Ik zou sowieso NIET voor het Drobo systeem gaan; als er iets misgaat dan kan je NIET bij je bestanden. Google even op de problemen die Drobo heeft/had. Dus stel je Drobo zelf (niet je HDD's) kapt ermee, dan kan je dus niet bij je bestanden en dan mag je het apparaat opsturen.
[...]

Mocht de Synology kapot gaan dan kan je alsnog bij je bestanden (afhankelijk van je indeling).
[...]

Hoeveel verschilt dat met een 'normale' RAID oplossing? Ik weet nog van jaren geleden dat wanneer je zekerheid wilde je dezelfde RAID apparatuur (soms tot op dezelfde hardware revisie toe) terug moest plaatsen om weer bij de data op de schijven te kunnen. Een grote fout in de enclosure kan in principe ook voor data corruptie over meerdere schijven zorgen, dan heeft een RAID-whatever ook geen toegevoegde waarde meer. Kans is klein, maar aanwezig.

Let wel dat je het over een backup omgeving hebt, dus niemand houdt je data gegijzeld. Als 1 schijf / NAS / whatever kapot gaat, dan heb je als het goed is nog ergens anders een backup / origineel staan. Fikt je Drobo (of Synology) uit, dan koop je een (nieuw) product X en je kopieert de bestanden weer van / naar het origineel.

Dus het maakt niet uit voor welke apparaat je gaat (doorvoersnelheid even buiten beschouwing houden), zolang je maar een goede backup hebt (liefst meer dan 1 waarvan tenminste 1 offsite als je het goed wilt doen).

[Steephh]

Een simpel servertje met daarop FreeNAS, voldoet dat niet? Relatief goedkoop en gemakkelijk zelf op te zetten.. :-)

[Pat-Juh]

BlaTieBla schreef op maandag 30 december 2013 @ 22:55:
[...]

Hoeveel verschilt dat met een 'normale' RAID oplossing? Ik weet nog van jaren geleden dat wanneer je zekerheid wilde je dezelfde RAID apparatuur (soms tot op dezelfde hardware revisie toe) terug moest plaatsen om weer bij de data op de schijven te kunnen. Een grote fout in de enclosure kan in principe ook voor data corruptie over meerdere schijven zorgen, dan heeft een RAID-whatever ook geen toegevoegde waarde meer. Kans is klein, maar aanwezig.

Let wel dat je het over een backup omgeving hebt, dus niemand houdt je data gegijzeld. Als 1 schijf / NAS / whatever kapot gaat, dan heb je als het goed is nog ergens anders een backup / origineel staan. Fikt je Drobo (of Synology) uit, dan koop je een (nieuw) product X en je kopieert de bestanden weer van / naar het origineel.

Dus het maakt niet uit voor welke apparaat je gaat (doorvoersnelheid even buiten beschouwing houden), zolang je maar een goede backup hebt (liefst meer dan 1 waarvan tenminste 1 offsite als je het goed wilt doen).

Nu is het volgens mij wel allemaal iets "opener". Een 2tb schijf kan naast een andere 2tb schijf gezet worden volgens mij. Wel is het zo met de HRS van Synology dat het ook enkel werkt in Synology systemen (die het ondersteunen), vergelijkbaar met het Drobo verhaal dus.

[tommyz]

Ik gebruik zelf een 2,5 inch 7.200 rpm 1TB USB 3 schijfje i.c.m. een mac mini. Met ongeveer 110MB/sec ruim voldoende. Dit synchroniseer ik naar een DLink nas. Mijn nas synchroniseer ik met Livedrive (onbeperkte cloudopslag voor 5 euro/maand). Mocht het huis uitbranden, dan heb ik in ieder geval m'n foto's nog. Voordeel van een losse HD ik deze ook kan gebruiken met LR op mijn Macbook Pro.

[ Voor 4% gewijzigd door tommyz op 31-12-2013 12:53 ]

[Younes]

Je kijkt nu vooral naar hardware. Wat je daarnaast zou kunnen nemen is een abbo bij Crashplan, want daar kan je onbeperkt backup's maken. Je kan bijvoorbeeld denken aan een constructie waarbij alle data op je PC backupt naar een NAS en van die NAS wordt dan periodiek een backup weggeschreven naar CrashPlan (of wat voor dienst dan ook..).

[Pat-Juh]

Om mij even de tijd te gunnen om alles op een rij te zetten heb ik een 2TB 3.5" schijf gehaald welke ik tijdelijk aan mijn Router hang om als "NAS" dienst te doen. Zo heb ik in elk geval:

1x de data op een "snelle" werkschijf
1x de data op mijn "NAS"
1x de data op een externe schijf (off-site), welke ik periodiek moet bijwerken, na een opdracht of shoot...