Opslagdilemma...

[Da_Warlock]

Hallo iedereen!

Eerst en vooral: ik wist eigenlijk niet echt waar dit topic thuishoorde... Als ik het fout heb geplaatst, mijn
excuses.

Nu, ik zit met een dilemma. Mijn vader heeft een collectie van +/- 2500 DVD's, 300 BluRay's en rond de 7000 CD's. Al die rotzooi neemt nogal wat plaats in beslag. Daarom vroeg hij me of ik het allemaal wou digitaliseren. Dat lijkt me immens veel werk, maar het belangrijkste: welke hardware, software, filesystems, whatever kan ik het best gebruiken in mijn geval? Heeft iemand ervaring met dit soort onderwerp?

Weet er iemand:

-welke rippingsoftware ik het best gebruik
-welke streamingsoftware ik het best gebruik
-welke hardwareconfig ik het best kies
-welk filesystem ik het best gebruik (RAID? ZFS? ...)
-welk OS ik het best kies
-hoeveel opslagcapaciteit ik moet voorzien (ik dacht rond de 10 Tb)

Het systeem moet kunnen:

-1080p netwerkstreamen
-snel en handig omspringen met grote datapakketten
-flexibel zijn (snelle opstarttijd)
-niet al te prijzig zijn (maar dat is geen optie denk ik...)
-gebruiksvriendelijk zijn
-snel rippen
-weinig lag hebben in streaming

Ik heb nu de beschikking over een

-MacBook Pro decemeber 2012 15" osx 10.8.2 (non retina)
-heel veel LAN cat6 kabel (150 meter)
-een DELL power connect 2808 8-poorts
-een ERG oude mediontower met daarin een pentium 4 2.5 GHz, 1Gb RAM en 1,5 Tb opslag
-een sony full HD 1080p tv (geen smart tv ≠ LAN ingang)
-sony blu ray speler
-samsung externe blu ray lezer
-acer 4810T laptop me linux en win7 ulti
-acer aspire netbook
-ps3
-devolo powerlan 500 mb/s


Ik denk niet dat ik met één van bovenstaande de klus zou kunnen klaren...

Voor wat moet ik kiezen om het wel te kunnen doen?

Alvast bedankt voor diegenen die me kunnen helpen... Thx

[Whatson]

Ik denk dat je een shitload aan optical drives (blu ray en dvd) nodig hebt zodat je meerdere disks tegelijk kunt rippen. 9800 schijfjes dat is niet niks. gaat je flink wat tijd kosten als je 10 drives zou hebben moet je 980x de schijfjes verwisselen.

[TERW_DAN]

Met 10TB kom je er niet in elk geval. 2500DVDs zijn met ~GB per stuk al 10.000GB, ofwel zo'n 10TB. Nu kun je het spul gaan comprimeren natuurlijk, maar dat kost wel meer tijd en de kwaliteit gaat achteruit.

Ik denk dat je als opslag zeker naar het 3-voudige moet gaan kijken, als je ook nog wat redundancy wilt inbouwen (netto heb je dus wat minder).

Daarbij ga ik er vanuit dat je de komende paar jaar niets te doen hebt dat je het allemaal even gaat omzetten. Het omzetten van een DVDtje duurt al makkelijk een uurtje (incl overhead, dus fysiek de schijf vervangen, het ding converteren, opslaan etc). Dan moet je 7 uur per dag, iedere dag voor het komende jaar bezig zijn om enkel die 2500DVDs om te gaan zetten.

Ik denk dat het niet heel realistisch is om dit te willen voltooien.

[alex3305]

Pff, dat is een erg moeilijke keuze. Je zegt zelf zo'n (2500 * 4.7GB) + (300 * 25GB) + (7000 * 700MB) = 24TB aan raw data te hebben, althans in het beste geval. Om dat allemaal van schijfjes af te halen is natuurlijk bijna ondoenlijk werk. Vergeet daarnaast niet dat je ook nog een hoop zult willen transcoderen om ruimte te besparen. Dan zul je echter nog zo'n 10TB aan uiteindelijke data overhouden, mocht je alles goed kunnen comprimeren.

Maar in dit geval zou ik je eerder aanraden om in plaats van te rippen, een hele hoop gewoon te downloaden. Ik denk dat je met een snelle internetverbinding een hele hoop tijd bespaart.

[yeehaw]

Als ik alleen al ga uitrekenen hoeveel ruimte je nodig hebt denk ik dat je hier misschien nog wel een tweede keer over na wil denken:

2500 DVD's x 5GB + 500GB = 13000GB/13TB (Sommige DVD's zijn zelfs nog groter, dus reken ik die er even bij)
300 Blurays x 50GB = 15000GB/15TB
7000 CD's x 150MB = 1050GB +- 1TB

In totaal heb je dus al 30TB nodig alleen al aan de huidige storage. Dit wil je eigenlijk ook nog in een bepaald RAID level hebben omdat er disken gaan falen.

Laten we zeggen dat je 3 RAID6-array's maakt voor de veiligheid, met een beetje oog op de toekomst maak je ze 12TB per stuk. Dit zou dan neerkomen op 6x3TB (2 disks zijn spare) x 3 = 18 3TB disks.

De kosten hiervan zijn ongeveer 18 x 140 = 2520 euro. Dit is alleen voor de disks. Daarnaast wil je eigenlijk deze data ook weer back-uppen want RAID is geen back-up. Dus kom je op het dubbele, 5040 euro voor alleen harde schijven.

Hier kan je voor de hardware toch al gauw 1000 euro bij optellen, 2 systemen.

Dus dan kom je op ongeveer 6000 euro voor het systeem. Dan komt nog het gigantische werk wat je hieraan gaat hebben erbij.

Ik denk je dat je het een beetje onderschat

[ Voor 1% gewijzigd door yeehaw op 17-02-2013 19:19 . Reden: Rekenblunder ]

[Da_Warlock]

thx voor de snelle reacties...

ik denk ook dat het niet realiseerbaar is... ik zou de komende 10 jaar bezig zijn met rippen (geen optie)
maarja nu staat ons huis vol met schijfjes... dat is ook geen doen

Als ik nu enkel de belangrijkste series en klassieke films doe, kom ik op zo'n 300 dvd's, 250 blurays en tja die cd's dat weet ik niet, dat zou ik moeten vragen aan mn pa...

wat gebruik ik gewoon best als setup? qua software én hardware?

grtz

[yeehaw]

Is het niet een idee om een paar grote DJ-koffers te kopen en alle films daarin te doen en deze ergens op te slaan? En dan vervolgens alles wat je wel wilt zien gewoon thuis houden?

[Whatson]

http://www.mfdigital.com/ripstation.html 3500$ maar dan kun je wel 300 disks per keer rippen

[Da_Warlock]

Dat is nu het geval... Alles staat in onze kelder (enorme ruimte), gestockeerd in DJ koffers en rekken.

en die ripping station is er een beetje over 3500 dollar niet mis...

maar bon.

heeft er iemand ervaring met moovida?

[Roel1966]

Dvd's rip ik geeneens en kopieer meestal de VIDEO_TS map want de meeste mediaplayers van tegenwoordig spelen die map rechtstreeks af. Maar zoals anderen al schrijven zou ik ook gewoon het meeste downloaden en niet de moeite van het kopieren nemen.

[BartNL]

Da_Warlock schreef op zondag 17 februari 2013 @ 19:04:
Nu, ik zit met een dilemma. Mijn vader heeft een collectie van +/- 2500 DVD's, 300 BluRay's en rond de 7000 CD's. Al die rotzooi neemt nogal wat plaats in beslag. Daarom vroeg hij me of ik het allemaal wou digitaliseren. Dat lijkt me immens veel werk, maar het belangrijkste: welke hardware, software, filesystems, whatever kan ik het best gebruiken in mijn geval? Heeft iemand ervaring met dit soort onderwerp?

als je alles wilt rippen en opslaan zit je al zo aan 30 - 40TB (2500 x DVD = 20TB + 300 x BR = 12 TB + 7000 x CD = 5 TB). Daarbij gaat je dat als je alles achter elkaar gaat rippen duizenden uren kosten. Stel dat je alles op 4x realtime ript en de films zijn 2 uur en de CD's 1 uur zit je al op ruim 3000 uur....
Mijn ervaring is dat CD's rippen redelijk vlotjes gaat dus die gaan relatief snel.
Probleemschijven (met leesfouten) kun je beter proberen een backup van usenet te halen. Sowieso is dat naar mijn idee met een snelle internet verbinding het minste werk.

Technisch is het niet zo moeilijk een fileserver in elkaar te draaien. Simpel moederbord en daar een IBM1015 in prikken zit je al zo aan 12 sata schijven of je zet er een SAS expander achter zit je op 24 sata schijven waarmee je wel aan 40TB kunt komen. Ik zou meerdere arrays bouwen dus bijvoorbeeld 2x raid 5 / raidz of 2x raid 6 / raidz2 net afhankelijk van hoe veel tijd je in het rippen hebt gestoken.

CD's kun je ook commercieel laten rippen. O.a. Wifimedia doet dat en kost je dan ongeveer €1,20 per CD.

[-Venom-]

ik heb zelf 2 jaar geleden ook voor dit dilemma gestaan, uiteindelijk gekozen voor een server met windows home server 2011 (goedkoop toen) en met hardware die ik grotendeels had liggen een server opgezet.

Maar wat de meeste hier al aangeven de films downloaden gaat zoveel sneller als alles rippen (onbegonnen werk).

Daarbij komt dat je over best veel harde schijven praat om aan je opslagruimte te komen, dan moet je gaan afwegen hoe belangrijk is je data.
Ik vind zelf mijn films niet belangrijk genoeg om een backup van te maken, daarintegen van mijn foto's en films van de kleine heb ik meerdere backups (handmatig en geautomatiseerd).

Ik heb wel een lijst van mijn films per harde schijf, mocht deze schijf dus uitvallen weet ik wat ik mis en kan ik het vervangen.
Ook is het wel fijn om te weten of je zelf de moeite wilt nemen voor zelfbouw of toch voor een kant en klare nas gaat.

[Verwijderd]

Gewoon alles downloaden. Je provider doet echt niet moeilijk over 40 TB dataverbruik. Het is tenslotte onbeperkt

[RocketKoen]

Downloaden is misschien sneller dan rippen. Maar bij zo'n enorme collectie gok ik dat niet alles zo makkelijk te vinden is.

Wat opslagruimte betreft. Als je alles als iso opslaat wordt het een duur grapje.
Als je het transcode volgens dezelfde settings als scene releases:
1080p BR film is gemiddeld 10GB. x300 = 3TB
480p DVDrip is ongeveer 1GB. x7000 = 7TB
Muziek CD. ligt er heel erg aan hoe je ript. laten we zeggen 1TB.

Maar dat kun je het beste kwijt op een NAS. En dan wel een nieuwe. De hardware die je hebt is niet bepaald energiezuinig.
Het rippen zelf wordt alleen een langdurig of duur proces.

[alexbl69]

Heb zelf een Synology DS1010+/DX510 met 16Tb netto opslagruimte. Boordevol films.

Hoe waardevol die collectie van je ook is, ik kan me echt niet voorstellen dat je al dat materiaal 24/7 overal beschikbaar wil hebben, dus ik zou je voorstellen te 'beginnen' met zeg een Synology DS2413+ met 12 3Tb schijven. Kleine 3000 euro en een kleine 30Tb netto aan opslag. Mocht dat nog niet voldoende zijn, dan dit systeem met de DX1211 + 12 schijven uitbreiden tot ca. 60Tb netto.

Sluit me aan bij bovenstaande reageerders: downloaden dat materiaal. Sterker nog: downloaden is legaal, terwijl het kopiëren van schijfjes dat niet is . Raar maar waar.

[leonbong]

Er zijn verschillende bedrijven die dit tegen betaling doen. Dat is zeker voor de muziek een optie.

[BartNL]

qua muziek zou je ook kunnen kijken of het meeste niet al via een Spotify account is te beluisteren. Verder zou ik voor afspelen dedicated hardware nemen. Dedicated bedoel ik dan één voor video (xbmc of mediaspeler) en eentje voor audio (sonos of squezebox).
Streaming is afhankelijk van de afspeelapparatuur maar video kun je m.i. beter gewoon via netwerk shares afspelen zodat je NAS / fileserver simpel en energiezuinig kan blijven.

[jan99999]

En als je een server maakt, dan moet je ook nog een backup maken, dus eigenlijk een 2e server.
Want alles kan defect gaan, en dan verlies je veel films.

Zfs is het beste met veel hd's, lees maar hier op de site hoe of wat dit is een server maken.of een nas maken(file server), freebsd of freenas of NAS4Free.

En verzamel niet alles want zelf denk ik dat dit niet mogelijk is, en wanneer moet je eigenlijk kijken.
Dat iemand bepaalde films wil verzamelen kan, maar niet alle soorten films, is dus gewoon verzamel dwang. Misschien een andere hobby zoeken.

[gastje13]

Is een compromis geen idee? een deel rippen en een deel bewaren?

[alex3305]

jan99999 schreef op zondag 17 februari 2013 @ 22:25:
En als je een server maakt, dan moet je ook nog een backup maken, dus eigenlijk een 2e server.
Want alles kan defect gaan, en dan verlies je veel films.

[...]

Ligt eraan of de TS z'n originele spul weg wil doen, anders heeft ie in feite al een backup .

[Squixx]

IDD.Usenet abbo en alleen de obscure dingen zelf rippen. Qua hardware zou ik ook denken aan een synology. Of zelfbouw met raidz2 en dan freenas.

[Verwijderd]

alex3305 schreef op maandag 18 februari 2013 @ 01:00:
[...]

Ligt eraan of de TS z'n originele spul weg wil doen, anders heeft ie in feite al een backup .

Het ziet er wel naar uit:

Da_Warlock schreef op zondag 17 februari 2013 @ 19:04:
[...]
Nu, ik zit met een dilemma. Mijn vader heeft een collectie van +/- 2500 DVD's, 300 BluRay's en rond de 7000 CD's. Al die rotzooi neemt nogal wat plaats in beslag. Daarom vroeg hij me of ik het allemaal wou digitaliseren.
[...]

Overigens is honderden DVD's van Usenet halen ook zeer tijdrovend, en dan moet je nog maar afwachten of het goed geript is. Bovendien zijn door de DMCA takedown-requests vele films al verwijderd, dus verwacht er niet teveel meer van.

[alexbl69]

Verwijderd schreef op maandag 18 februari 2013 @ 02:03:
[...] Bovendien zijn door de DMCA takedown-requests vele films al verwijderd, dus verwacht er niet teveel meer van.

De Spotnets, FTD Worlds en Binsearches van deze wereld hebben hier toch geen last van? Ik kan alles wat ik zoek nog steeds gewoon vinden.

Verwijderd schreef op maandag 18 februari 2013 @ 02:03:Overigens is honderden DVD's van Usenet halen ook zeer tijdrovend

Maar toch lang niet zo tijdrovend als het rippen van al die duizenden schijfjes. Het enige risico dat je loopt is dat een download af en toe niet helemaal correct is.

[ Voor 30% gewijzigd door alexbl69 op 18-02-2013 08:18 ]

[Da_Warlock]

Ok, nu weet ik al wat jullie meningen zijn... Welke programma's gebruiken jullie om DVD's en BluRays te rippen? En streamen enzovorts?

Welke setups gebruiken jullie?

Thx

[Uncle Mel]

Ik rip met Gburner, doet een dvd in een minuutje of 5/10 vervolgens zet ik ze op mijn 8 TB NAS. Hier heb ik zo'n 2TB films en 2TB aan TV series. ik bekijk het op een laptop of op de HTPC via XBMC, die het allemaal netjes gesorteerd en met thumbnails aanbied. zelfs mijn diochter van 4 kan een film aanzetten, pauseren enz.

[pietertie]

Ik haak even aan in dit topic, daar ik mijn collectie ook wil digitaliseren. Gelukkig hoef ik maar zo rond de 200 schijfjes (150 dvd en 50 blu ray) te doen. Muziek koop ik al digitaal... Ja, ik ben zo'n type wat koopt...
sinds ik werk...

Ook ik zoek nog naar een goed ripprogramma daar handbrake (heb een mac) niet echt lekker meer werkt. Iemand goede tips?

[timofp]

Toch nog even mijn ervaring delen want er staan hier toch een heleboel assumpties in de reacties welke nietn kloppen. Ik heb zelf vorig jaar mijn DVD en Blu-ray collectie gedigitaliseerd (eigenlijk zijn ze al digitaal, maar kom. Dit gaat om ongeveer 2500 DVD's en 400 Bluray's. Bij mij is alles ongecomprimeerd opgeslaan, ik heb enkel bij bluray HD audio gestript omdat mijn versterker dit momenteel toch nog niet ondersteund.

Een eerste verduidelijking betreft opslagruimte, het neemt zelfs ongecomprimeerd niet gigantisch veel ruimte in, toch niet zoals sommige rekenen met 50GB per Bluray.

Enkele gemiddelden, ik rip wel geen extra's, dus enkel de feature.
Series op DVD gemiddeld 1.5 GB per aflevering
Series op Bluray, moeilijk gemiddelde op te plakken door sterke variatie, maar schommelt tussen de 4-10GB per aflevering
DVD Films gemiddelde 5GB per film
Bluray Films gemiddeld 25GB per film

De tijd om te rippen valt ook echt wel mee, ik heb alles geript met 4 drives op 2 maanden.
Ik heb alles met behulp van 2bluray drives en 2 DVD Drives geript, was een hele karwei. Ik heb gebruikt gemaakt van MakeMKV voor het rippen. Dit programma laat je gemakkelijk de videostream inclusief met geluid en ondertiteling naar keuze opslaan in 1 compacte MKV zonder compressie en dus zonder kwaliteitsverlies.

Opslaan van één DVD duurt zoals in dit topic gezegd ook geen uur, maar hooguit een kwartier met een recente drive. Dus het duurt niet zo lang als sommige denken, maar toch nog Best lang. Ik studeer nog en deed het dus tijdens het studeren, regelmatig een nieuw schijfje insteken. Bluray's duren tussen 30 minuten en 1 uur.

De kostprijs, voor mij een kleine 2000 euro. Hardwarematig gebruik ik een zelfgebouwde server op basis van WHS2011 met Stablebit Drivepool als storage oplossing. Dit creëert 1 grote virutele harde schijf welke bestaat uit je andere harde schijven en zelfs als 1 schijf fysiek stuk gaat is de data van je andere schijven gewoon nog steeds benaderbaar.

Velen komen met raid, maar een media collectie moet echt geen redunantie hebben voor mij en al zeker geen backup. De originele schijven in de kast vormen voor mij een prima backup. Ik ga niet het dubbele uitgeven voor een backup terwijl ik de originele schijven in de kast heb staan.

Momenteel gebruik ik een SSD voor het OS, een 750GB 2.5inch schijf voor aller hande data en 8x3TB WD30EZRX schijven voor al die media op te slaan. En moet dringend uitbreiden want het zit vol

Voor streaming gebruik ik XBMC op alle HTPC's, Computers en Tablets welke een mooie mediabibliotheek opbouwt (welke ook draaid op MySQL op de server) en op alle clients benaderd kan worden.

Sommige opperen om te downloaden, maar je vergeet dan wel dat een deel bij zo een grote collectie niet te vinden is, je niet zeker bent van welke kwaliteit je download en je vaak geen ondertitels zal hebben. En ik woon in België waar dit omwille van limieten zoiezo onmogelijk is. Maar ben er ook van overtuigd dat rippen sneller is dan downloaden.

[ Voor 32% gewijzigd door timofp op 25-02-2013 11:54 ]