Heuveltjes CPU geschiedenis door de jaren heen : AMD 486dx4 100, Cyrix PR166+, Intel P233MMX, Intel Celeron 366Mhz, AMD K6-450, AMD duron 600, AMD Thunderbird 1200mhz, AMD Athlon 64 x2 5600, AMD Phenom X3 720, Intel i5 4460, AMD Ryzen 5 3600 5800x3d
Daarbij zit je ook met volgende: stel je PAR2-schijf valt uit, dan ben je al de Sjaak.
Ik denk daarom dat een RAID5 set veel interessanter is, omdat je dan (ook) de hardware desnoods kan vervangen zonder dataverlies.
Met (Quick)par heb ik alleen ervaring om gedownloadde bestanden van nieuwsgroepen te controleren en te repareren.
[ Voor 21% gewijzigd door CH4OS op 02-04-2010 15:58 ]
En dan heb ik het nog niet eens over de dagen aan par tijd die je nodig hebt om zoveel te parren.
EDIT:
Wat je ook kan doen zijn bepaalde directories repliceren naar je backup disk als je geen RAID5 wil gaan doen. Al vind ik RAID5 echt je beste optie.
[ Voor 24% gewijzigd door terracide op 02-04-2010 15:57 ]
erm ik heb ook alleen ervaring met qpar icm nieuwsgroepenCptChaos schreef op vrijdag 02 april 2010 @ 15:55:
Met (Quick)par heb ik alleen ervaring om gedownloadde bestanden van nieuwsgroepen te controleren en te repareren.
Je weet dat je bij PAR(2) bestanden ook (delen) van de originele bestanden nodig hebt om überhaupt te kunnen repareren?
Maar ik weet dat als je bv 8 van de 10 files (elk van 10 mb) hebt, en nog eens 22mb aan par2 files.
Dat qpar dan zonder problemen die andere 2 10MB files kan reproduceren.
Dus lijkt me dat als 1 van de 5 schijven uitvalt. en ik heb een 6e schijf met par files.
Dat dan die schijf ook gewoon gereproduceerd kan worden ?
Waarom ben ik dan de sjaakDaarbij zit je ook met volgende: stel je PAR2-schijf valt uit, dan ben je al de Sjaak.
Das juist het ideale aan dit systeem, de originele bestanden(/bestandsssysteem) word niet veranderd.
Dus dan is het gewoon kwestie van op zijn tijd een nieuwe disk erin en de par files opnieuw aanmaken.
Jullie missen het punt geloof ik.terracide schreef op vrijdag 02 april 2010 @ 15:55:
Quickpar kan repareren... als jij een totale uitval van je disk hebt helpen die par files ook niets meer. Daar krijg je je disk niet meer mee terug.
Ik wil van meerdere disken 1 par-set maken. juist om uitval van 1 Disk op te vangen.
Dat schiet natuurlijk ook niet op. dan moet ik opeens 2 keer zoveel disken hebben.Wat je ook kan doen zijn bepaalde directories repliceren naar je backup disk als je geen RAID5 wil gaan doen.
Raid 5 is leuk als je een professionele server,serverhok en flink wat geld hebt, waar hardware matig bijna nooit iets verandert en de opgeslagen data dat wel doet.Al vind ik RAID5 echt je beste optie.
Mijn server is verre van professioneel, spuugt af en toe wat disken uit door vage gedasiechainde stroom stekkers, ondergelopen tenten, en tijdens transport losgetrilde stekkers. en het grote nut van raid5 word ook redelijk teniet gedaan als 99% van je data statisch is.
[ Voor 5% gewijzigd door heuveltje op 02-04-2010 16:21 ]
Heuveltjes CPU geschiedenis door de jaren heen : AMD 486dx4 100, Cyrix PR166+, Intel P233MMX, Intel Celeron 366Mhz, AMD K6-450, AMD duron 600, AMD Thunderbird 1200mhz, AMD Athlon 64 x2 5600, AMD Phenom X3 720, Intel i5 4460, AMD Ryzen 5 3600 5800x3d
Edit: even je verhaal beter gelezen. Ik denk dat het wel kan werken als je je beperkt tot 700GB aan data per disk ongeacht de diskgrootte en je PAR disk inderdaad >700GB is.
Probeer het eens uit met drie of vier USB sticks.
[ Voor 44% gewijzigd door PeterPan op 02-04-2010 16:40 ]
Dat is afhankelijk van hoeveel % je geparred hebt.heuveltje schreef op vrijdag 02 april 2010 @ 16:19:
erm ik heb ook alleen ervaring met qpar icm nieuwsgroepen
Maar ik weet dat als je bv 8 van de 10 files (elk van 10 mb) hebt, en nog eens 22mb aan par2 files.
Dat qpar dan zonder problemen die andere 2 10MB files kan reproduceren.
Mits je genoeg PAR2 sets hebt wel, maar hoe vang je de hardware af van de schijf met PAR-sets?Dus lijkt me dat als 1 van de 5 schijven uitvalt. en ik heb een 6e schijf met par files.
Dat dan die schijf ook gewoon gereproduceerd kan worden ?
Omdat de schijf met de PAR2-sets ook niet het eeuwige leven heeft, dan ben je dus al je data kwijt, of je moet opnieuw PAR2-sets gaan bouwen.Waarom ben ik dan de sjaak
Maar dat is met RAID toch ook niet (per sé)?Das juist het ideale aan dit systeem, de originele bestanden(/bestandsssysteem) word niet veranderd.
En wat voor zeker gevoel geeft het jou van de PAR2-sets?Dus dan is het gewoon kwestie van op zijn tijd een nieuwe disk erin en de par files opnieuw aanmaken.
Ik mis je punt niet, ik weet wat PAR2 kan door mijn ervaringen vanuit de nieuwsgroepen en that's it. Meer dan dat moet je er imo ook niet mee willen doen. Voor files is het leuk, maar hele folders en drives zou ik niet doen.Jullie missen het punt geloof ik.
Ik wil van meerdere disken 1 par-set maken. juist om uitval van 1 Disk op te vangen.
Voor een beetje hobbyist of iemand met veel data is een RAID5 array eerder erg interessant, de controllers ervoor hoeven helemaal niet duur te zijn, zie daarvoor de pricewatch.Raid 5 is leuk als je een professionele server,serverhok en flink wat geld hebt, waar hardware matig bijna nooit iets verandert en de opgeslagen data dat wel doet.
Met RAID5 heb je ook een leuke performance boost, omdat de bestanden gesplitst word over het aantal schijven in de array (de hotspare daargelaten, mits aanwezig). Met een PAR2 disk heb je die performance winst niet.Mijn server is verre van professioneel, spuugt af en toe wat disken uit door vage gedasiechainde stroom stekkers, ondergelopen tenten, en tijdens transport losgetrilde stekkers. en het grote nut van raid5 word ook redelijk teniet gedaan als 99% van je data statisch is.
Wat indien je iets aan je data wijzigd(toevoegd/weghaald), dan kun je helemaal opnieuw beginnen.
Heb je harde schijven liggen om mee te gaan parren/repareren.
Unraid is voor 3 harde schijven gratis, lijkt me een betere optie.
Misschien nog beter om 2 systemen te gebruiken, dus 1 voor je data, en 1 voor als backup.
Als jij een parset maakt, dan op schijf 1 wat files wijzigt en dan schijf 2 crasht, dan mis je dus niet alleen schijf 2, maar ook een deel van schijf 1 (zoals hij was tijdens het maken van de parset), waardoor je parset al snel te klein is.
Toch props voor het idee
-Heb ik een nieuwe controller nodig
-af en toe valt er tijdelijk een disk uit door lostrillende stekkers, overhitting of ander gezeik. normaal geen probleem maar raid schiet dan compleet in de stress !!
-Ik heb al 3 keer AL mijn data verloren door geborkte raid-sets, nog nooit iets door kapotte schijven.
-Ik heb nu al 4 verschillende grote disken, en binnenkort komt daar nog een stel 2tb schijven bij. dus dat schiet niet op.
-Ik trek er nu af en toe een disk uit om ergens anders een film te kijken, of voor lannetjes in me andere pc te zetten
Dus raid5 is geen optie, en ik heb met alle respect ook geen zin om daar op verder te gaan
Zit nu op een lanpartie, dus kan ff niks testen.PeterPan schreef op vrijdag 02 april 2010 @ 16:34:
Edit: even je verhaal beter gelezen. Ik denk dat het wel kan werken als je je beperkt tot 700GB aan data per disk ongeacht de diskgrootte en je PAR disk inderdaad >700GB is.
Probeer het eens uit met drie of vier USB sticks.
Zal het volgende week wel eens wat gaan testen met een oude 200gb schijf.
Maar het probleem lijkt me niet in het principe te zitten, maar in het schalen met de grote van de data-sets. Dus dan weet ik met wat usb stikkies ook niks (want een 40gb film gaat ook zonder problemen)
Daarom. zolang ik maar meer par's heb dan de hoeveelheid van de grootste schijf moet dat volgens mij gewoon kunnen ?CptChaos schreef op vrijdag 02 april 2010 @ 17:53:
[...]
Dat is afhankelijk van hoeveel % je geparred hebt.
Ik snap nog steeds niet wat jullie bedoelen. ik pak 2 oude 500 gb schijven, en zet daar de par files op.Mits je genoeg PAR2 sets hebt wel, maar hoe vang je de hardware af van de schijf met PAR-sets?
[...]
Omdat de schijf met de PAR2-sets ook niet het eeuwige leven heeft, dan ben je dus al je data kwijt, of je moet opnieuw PAR2-sets gaan bouwen.
Valt er een data disk uit, rebuild ik die met de par-data van die schijven.
Valt een van die par schijven uit. dan heb ik toch nog gewoon origine data ?
moet idd een nieuwe par schijf maken, maar wat is daar het probleem van ?
Vallen er 2 dingen tegelijk uit, tja jammer dan. je kunt niet alles hebben
Met raid moet je alles formateren als raid-partitie, dus ja raid verandert wel alle diskenMaar dat is met RAID toch ook niet (per sé)?
En wat voor zeker gevoel geeft het jou van de PAR2-sets?Mij namelijk niet zo veel en hardware matig een RAID5-array/disk rebuilden lijkt me sneller te gaan.
(sowieso waar backup ik 7tb aan data ?) en rebuild tijd ansich boeit me niet echt, als hij het maar voltooid mag hij er rustig een paar dagen over doen, tis niet dat er dagelijks een disk uitvalt
Maar waar baseren jullie dit op ? wat ik wil is namelijk precies wat ze in usenet groepen ook doen, alleen dan alles een factoor 100 groter.Ik mis je punt niet, ik weet wat PAR2 kan door mijn ervaringen vanuit de nieuwsgroepen en that's it. Meer dan dat moet je er imo ook niet mee willen doen. Voor files is het leuk, maar hele folders en drives zou ik niet doen.
Dus is het een onderbuik gevoel. of heb je echt ooit geprobeerd en ergens tegen aan gelopen ?
Het enige waar ik bang voor ben is dat op een of andere manier het geheugen gebruik of rebuild tijd exponentieel meeschaalt, en dan heb ik wel een probleem
performance is geen factor. ding streamt thuis alleen maar wat mkv'tjes en mp3Met RAID5 heb je ook een leuke performance boost, omdat de bestanden gesplitst word over het aantal schijven in de array (de hotspare daargelaten, mits aanwezig). Met een PAR2 disk heb je die performance winst niet.
tjes, das nog geen 1MB /s
En die 4 lanparties per jaar ga ik me niet druk over maken
(zit op dit moment trouwens op de party. streamt nu ook met 70MB/s , dus snel zat)
Das idd wat ik eigenlijk wil gewoon raid 4 maar dan als extra functiePeterPan schreef op vrijdag 02 april 2010 @ 18:01:
Unraid en DroBox werken volgens mij ook op een vergelijkbare manier. Gewoon software RAID4 en de grootste disk als parity disk gebruiken.
-Zelf aangeven welke data verzekerd moet zijn (aangezien niet elke disk even groot is)
-Het moet niet meteen gaan stressen als er om wat voor reden even een disk ontbreekt.
Maar ik kende geen van beide programma's. vooral unraid lijkt interesant.
Alleen ik kan niet vinden of dat ook werkt zonder je huidige disken opniet te moeten partitioneren/formateren ?
Drobox kan ik zo niks op vinden.
Enige wat ik zie zijn wat links naar een of andere applicate die icm met dropbox werkt ?
Lijkt me niet dat je dat bedoelt ?
.
want ? ik zie niks staan wat ik van toepassing is. (en ja ik weet wat raid is)jan99999 schreef op vrijdag 02 april 2010 @ 18:31:
Zie backup uitleg van deze site!
Geef toe dat het niet ideaal is, maar beter dan wat ik nu heb (geen backup)Wat indien je iets aan je data wijzigd(toevoegd/weghaald), dan kun je helemaal opnieuw beginnen.
Heb je harde schijven liggen om mee te gaan parren/repareren.
En opzicht als ik 9X700GB kan backup met 2 oude schijven die ik toch al heb liggen. is dit erg een een flinke verbetering tegen geringe (lees nihil) kosten of risico.
En gezien al mijn data toch grotendeels statisch is, is het niet zo'n probleem
MMM dat doet eigenlijk enigzins wat ik wil. alleen heb ik nu 10 disken in gebruik dus dat valt niet onder de gratis licentie,Unraid is voor 3 harde schijven gratis, lijkt me een betere optie.
[quote]Misschien nog beter om 2 systemen te gebruiken, dus 1 voor je data, en 1 voor als backup.[/qoute]
erm als ik het geld ervoor
had wel ja
Heuveltjes CPU geschiedenis door de jaren heen : AMD 486dx4 100, Cyrix PR166+, Intel P233MMX, Intel Celeron 366Mhz, AMD K6-450, AMD duron 600, AMD Thunderbird 1200mhz, AMD Athlon 64 x2 5600, AMD Phenom X3 720, Intel i5 4460, AMD Ryzen 5 3600 5800x3d
verder par2 heeft max van 30000 blocks geloof ik, hoger dan dat lukt bijna nooit om te repareren. (ik kan het linkje niet meer vinden). Dus als er dan wat kapot is, dan moet je heel vaak proberen repareren en hopen dat het lukt. Een grote blocksize instellen voorkomt dat je dus snel aan het te grote getal komt, maar heb je extra par2 nodig omdat er dus meer kans is op een block dat kapot is.
Ik weet niet of dit wel handig is met veel data
Need more data. We want your specs. Ik ben ook maar dom. anders: forum, ff reggen, ff topic maken
En als je een oplossing hebt gevonden laat het ook ujb ff in dit topic horen.
Daarom wil ik ook gewoon zeg 600GB van elke partitie kiezen, en 2 500gb schijven gebruiken om alle par's op te dumpen.LeVortex schreef op vrijdag 02 april 2010 @ 22:16:
Als er maar 1 byte van een block van je orginele bestand weg is dan is het dus een waardeloos block geworden, met raid als er 1 schijf uitvalt kon dat nog wel eens hard gaan. Dus heb je heel veel par2 nodig.
Dat ik iig ruim veel meer pardata heb dan 1 disk opzich.
Kijk das een goed punt. datsoort data zocht ik dus, alleen kan ik er weinig over vinden op inet.verder par2 heeft max van 30000 blocks geloof ik, hoger dan dat lukt bijna nooit om te repareren. (ik kan het linkje niet meer vinden). Dus als er dan wat kapot is, dan moet je heel vaak proberen repareren en hopen dat het lukt. Een grote blocksize instellen voorkomt dat je dus snel aan het te grote getal komt, maar heb je extra par2 nodig omdat er dus meer kans is op een block dat kapot is.
Ik weet niet of dit wel handig is met veel data
In principe als ik mijn mp3's eruit laat (das het enige wat ik wel gebackupt heb
Nu ik er over nadenk zou ik ipv 1x600GB te parren, natuurlijk ook 6x100GB parren, iets meer werk maar komt de rest wel ten goede
Daar ben ik van bewust en das idd niet wat ik vraagleuk_he schreef op vrijdag 02 april 2010 @ 22:24:
Het is niet wat je vraagt, maar raid (& pars) zijn geen vervanging voor een backup, raid is bedoeld om een hogere uptime te krijgen, daarom krijg je hierboven allerlei bezwaren.
Heuveltjes CPU geschiedenis door de jaren heen : AMD 486dx4 100, Cyrix PR166+, Intel P233MMX, Intel Celeron 366Mhz, AMD K6-450, AMD duron 600, AMD Thunderbird 1200mhz, AMD Athlon 64 x2 5600, AMD Phenom X3 720, Intel i5 4460, AMD Ryzen 5 3600 5800x3d
.
[...]
quote:
jan99999 schreef op vrijdag 02 april 2010 @ 18:31:
Zie backup uitleg van deze site!
want ? ik zie niks staan wat ik van toepassing is. (en ja ik weet wat raid is)
[...]
Omdat dit niet werkt, daarom zie je dit niet erbij staan.
Nog even over blocks van 300MB, als je een bestand heb van 3GB dus 10 blokken, verdeelt over 2HD's. 1 HD valt uit, kan het zijn dat er dus 0 blocks geschikt zijn. 1kb uit een blok en het is kapot en ik kan me voorstellen dat van een block van 300 mb dat daar een gedeelte van op allebei de schijven staat. Het is een goed idee, maar ik denk dat par2 toch te gelimiteerd is op de manier hoe jij het wilt gebruiken
Sorry dat ik hier tóch even op inhaak. Je geeft aan dat de stekkers lostrillen en daardoor diskuitval hebt. Is het dan niet effectiever om dáár iets tegen te doen?heuveltje schreef op vrijdag 02 april 2010 @ 22:02:
-af en toe valt er tijdelijk een disk uit door lostrillende stekkers, overhitting of ander gezeik. normaal geen probleem maar raid schiet dan compleet in de stress !!
Als je bovenstaande opgelost hebt, dan hoeft een USB HDD tegenwoordig ook niet duur te zijn en zijn (zeker als je een 2,5" model neemt) erg mobiel.-Ik trek er nu af en toe een disk uit om ergens anders een film te kijken, of voor lannetjes in me andere pc te zetten
Dus is mijn vraag nu waarom je het werkelijke probleem niet aanpakt.
Hier haak ik even op in, aangezien ik mij geheel kan vinden in deze reply. TS, sorry dat ik het zeg, maar jouw grootste probleem is jouw lompheid of luiheid. Stekkers die los raken door vervoer? Dat kun je controleren op het moment dat het systeem op zijn nieuwe plek staat, voordat je het systeem inschakelt. Sterker nog je zou het kunnen voorkomen, door heel simpel een druppel lijm op de stekkers te laten vallen. Genoeg om de verbinding te behouden en te weinig om het niet, niet meer los te krijgen.CptChaos schreef op dinsdag 06 april 2010 @ 10:19:
[...]
Sorry dat ik hier tóch even op inhaak. Je geeft aan dat de stekkers lostrillen en daardoor diskuitval hebt. Is het dan niet effectiever om dáár iets tegen te doen?Want het lijkt mij dat juist dát jouw probleem is.
[...]
Als je bovenstaande opgelost hebt, dan hoeft een USB HDD tegenwoordig ook niet duur te zijn en zijn (zeker als je een 2,5" model neemt) erg mobiel.
Dus is mijn vraag nu waarom je het werkelijke probleem niet aanpakt.
Op dit moment wil jij iets gaan gebruiken in een situatie waarvoor het niet bedoeld of geschikt is, zoals blijkt uit verschillende reacties, tenminste het lijkt mij heel omslachtig.
In jouw situatie is RAID5 helemaal geen slechte oplossing, als je tenminste niet zo met het systeem omgaat zoals jij dat nu doet. Zelf verplaatst ik mijn beide RAID5 systemen (8x74GB en 6x1TB) ook wel naar verschillende locaties, maar ik kan mij helemaal niet vinden in de problemen die jij beschrijft.
Maar beide is in ieder geval niet echt een vervanging voor een normale backup.
[ Voor 16% gewijzigd door _Dune_ op 06-04-2010 12:13 ]
Sinds 1999@Tweakers | Bij IT-ers gaat alles automatisch, maar niets vanzelf. | https://www.go-euc.com/
Verwijderd
pricewatch: Western Digital Elements Desktop 2TB Zwart
http://tweakers.net/price...6Y3rdq5Y16cj1qp9xsydorf0B
[ Voor 34% gewijzigd door Verwijderd op 06-04-2010 12:04 ]
Nee ik geef aan dat me dat in de afgelopen 8 jaar (en +150 lannetjes) ongeveer 3 keer is overkomenCptChaos schreef op dinsdag 06 april 2010 @ 10:19:
[...]
Sorry dat ik hier tóch even op inhaak. Je geeft aan dat de stekkers lostrillen en daardoor diskuitval hebt. Is het dan niet effectiever om dáár iets tegen te doen?
2 terwijl ik losse schijven had. (rammel met stekker in en klaar is kees) en 1 keer terwijl ik raid5 draaide
(waardoor het raid ge-rebuild moest worden, en ik het ding dus net zo goed het weekend thuis had kunnen laten). Idem met de stroom uitvallen die af en toe op een lan komen.
Ik heb wel een externe disk, maar die is te klein. maar afgezien daarvan enig idee hoelang het duurt om even 4tb naar een usb schijf te kopieren ?Als je bovenstaande opgelost hebt, dan hoeft een USB HDD tegenwoordig ook niet duur te zijn en zijn (zeker als je een 2,5" model neemt) erg mobiel.
Waar geef ik aan op zoek te zijn naar een (vervanging voor) totaal backup oplossing ?Maar beide is in ieder geval niet echt een vervanging voor een normale backup.
Ik kwoot nou deze post, maar eigenlijk tegen zó'n beetje tegen iedereen die hierboven post.Dus is mijn vraag nu waarom je het werkelijke probleem niet aanpakt.
Omdat dat niet mijn werkelijke probleem niet is ?
Zoals ik in de ts al zei is raid5 gewoon geen optie voor de wijze waarop ik mijn server nu gebuik. gedeeltelijk door een financieel plaatje, gedeeltelijk door de vele beperkingen die het je oplegt.
Ik heb nu een server, die werkt prima voor waar ik hem voor gebruik. en ik ben er gelukkig mee !
Toen kreeg ik een idee waardoor ik misschien kostenloos wat extra zekerheid kon krijgen.
Sowieso niet ideaal, in ieder geval ongebruikelijk en misschien zelfs wel onmogelijk.
Maar slechter kunnen we er nooit van worden, en van wat ge-experimentee word je sowieso nooit dommer.
Dus ik vraag of iemand er wat ervaring mee heeft, danwel bezwaren kan bedenken ?
Vervolgens krijg ik 1 iemand die meedenkt (vortex)
En 15 man die roepen dat dat niet standaard is, en dat als ik minstens 600E investeer en mijn server compleet anders ga gebruiken dan ik nu doe (of wens te doen), Ik ook raid5 kan gebruiken.
Is dat nu de tweaker-spirit ?
Heuveltjes CPU geschiedenis door de jaren heen : AMD 486dx4 100, Cyrix PR166+, Intel P233MMX, Intel Celeron 366Mhz, AMD K6-450, AMD duron 600, AMD Thunderbird 1200mhz, AMD Athlon 64 x2 5600, AMD Phenom X3 720, Intel i5 4460, AMD Ryzen 5 3600 5800x3d
Als je dat anders bekijkt, dan heb je nu 15 man die roepen dat er bezwaren zijn (er wordt immers afgeweken van standaarden). Dat ze vervolgens niet benoemen welke bezwaren dat oplevert kun je ze eventueel kwalijk nemen... maar als jij vraagt of het een idee is om vierkante wielen te monteren op een fiets en de rest schreeuwt dat je ronde wielen moet hebben....heuveltje schreef op dinsdag 06 april 2010 @ 15:17:
Dus ik vraag of iemand er wat ervaring mee heeft, danwel bezwaren kan bedenken ?
Vervolgens krijg ik 1 iemand die meedenkt (vortex)
En 15 man die roepen dat dat niet standaard is, en dat als ik minstens 600E investeer en mijn server compleet anders ga gebruiken dan ik nu doe (of wens te doen), Ik ook raid5 kan gebruiken.
Is dat nu de tweaker-spirit ?
Ik denk dat je, op basis van de reacties in dit topic, mag concluderen dat wat je wilt af te raden valt.
- RAID is bedoelt om betere uptime en/of performance te realiseren door schijven op een redundante manier data op te laten slaan.
- Quickpar is bedoelt om data-corruptie te detecteren en te verhelpen.
- Backups zijn bedoelt om in geval van soft- en/of hardware problemen minder of geen dataverlies te hebben.
Core i5-3570K/ASRock Z75 Pro3/Gigabyte Radeon HD7850/Corsair XMS3 2x4GB/OCZ Vertex2 64GB/3x640GB WD Black/24" B2403WS Iiyama x2/Nec 7200S
Goh, verbaasd me niets dat je moet rebuilden als de stroom plotsklaps wegvalt... Dus het probleem is de pariteit en de zekerheid van je bestanden niet, maar een hardware matige tekortkoming in je PC. Dat jij dit niet wilt oplossen, dat is jouw probleem, maar klaag dan ook niet over inconsistentie in bestanden.heuveltje schreef op dinsdag 06 april 2010 @ 15:17:
en 1 keer terwijl ik raid5 draaide (waardoor het raid ge-rebuild moest worden, en ik het ding dus net zo goed het weekend thuis had kunnen laten). Idem met de stroom uitvallen die af en toe op een lan komen.
USB (2.0) neem ik aan, is 400 megabit per seconde, met mijn 1TB USB 2.0 harde schijf haal ik 30 mb/sec, wat dus echt geen slechte score is voor een USB HDD, lijkt me zeker geen slechte performance voor een USB-schijf. En daarbij: waarom wil je naar een LAN-party zoveel data meenemen? Dat is (afgezien van je hardwarematige power probleem) ook vragen om problemen imo.Ik heb wel een externe disk, maar die is te klein. maar afgezien daarvan enig idee hoelang het duurt om even 4tb naar een usb schijf te kopieren ?
Dat geef je nergens aan, maar dat is mijn bedoeling ook niet. Ik bedoel te zeggen, dat je verstandiger bent als je je hardware probleem met de power oplost. Dan kan je daarna een 1TB schijf steeds meenemen. Me dunkt dat je dan geen voldoende (externe) storage hebt.Waar geef ik aan op zoek te zijn naar een (vervanging voor) totaal backup oplossing ?
Het is wél je werkelijke probleem, want door het uitvallen van de stroom krijg je dit soort inconsistentie en dus fouten op je schijf! Als je dat probleem dus verhelpt, is de kans op inconsistentie vele malen kleiner dan wat je nu hebt.Ik kwoot nou deze post, maar eigenlijk tegen zó'n beetje tegen iedereen die hierboven post.
Omdat dat niet mijn werkelijke probleem niet is ?
Als je er 4TB aan data op die server hebt staan, zou ik het zeker wel gaan overwegen, vooral met zo'n grote hoeveelheid!Zoals ik in de ts al zei is raid5 gewoon geen optie voor de wijze waarop ik mijn server nu gebuik. gedeeltelijk door een financieel plaatje, gedeeltelijk door de vele beperkingen die het je oplegt.
Ik heb nu een server, die werkt prima voor waar ik hem voor gebruik. en ik ben er gelukkig mee !
Het is wat ongebruikelijk, maar het zou je wel een grotere zekerheid kunnen geven ja. Dat ben ik met je eens.Toen kreeg ik een idee waardoor ik misschien kostenloos wat extra zekerheid kon krijgen.
Sowieso niet ideaal, in ieder geval ongebruikelijk en misschien zelfs wel onmogelijk.
Maar zoals ik al zei, het is verstandiger om (ook) de problemen met de power op te lossen. De oplossing is al gegeven: druppeltje lijm en je hebt 100% zekerheid dat het niet meer los gaat. (Dan heb je ook een oorzaak van de inconsistentie uitgesloten).
Je gebruikt het al met nieuwsgroepen, dus ik zou je ervaringen daarmee zeker gaan uitbreiden naar gewoon lokale file storage. Baadt het niet dan schaadt het natuurlijk ook niet.Maar slechter kunnen we er nooit van worden, en van wat ge-experimentee word je sowieso nooit dommer.
Ik heb op een bedoeling zoals jij dat wil geen ervaringen met PAR2, wel zoals jij, via nieuwsgroepen. In fact, het is zelfs bedoeld als een soort software matige RAID als ik de home van PARchive lees!Dus ik vraag of iemand er wat ervaring mee heeft, danwel bezwaren kan bedenken ?
We proberen allemaal te helpen, ook bij de achterliggende problemen in dit geval, wat is daar dan mis mee?Vervolgens krijg ik 1 iemand die meedenkt (vortex)
Tja, het is niet zo zeer standaard, het is ongebruikelijk, maar daarvoor is jouw vraag met deze discussie toch ook voor bedoeld? Anders had je neem ik aan het topic ook weer niet gestart.En 15 man die roepen dat dat niet standaard is, en dat als ik minstens 600E investeer en mijn server compleet anders ga gebruiken dan ik nu doe (of wens te doen), Ik ook raid5 kan gebruiken.
Zoals ik al zei: het is toch niet erg dat we je méér willen helpen dan alleen met jouw vraag.Is dat nu de tweaker-spirit ?
Verwijderd
Dat is eenvoudig uit te rekenen. 1 Terabyte is 1.000.000.000.000 byte. 1 Megabyte is 1.000.000 byte.heuveltje schreef op dinsdag 06 april 2010 @ 15:17:
Ik heb wel een externe disk, maar die is te klein. maar afgezien daarvan enig idee hoelang het duurt om even 4tb naar een usb schijf te kopieren ?
Wikipedia: Terabyte
Wikipedia: Megabyte
Bij een schrijfsnelheid van 30 megabyte per seconde is de totale kopiëerduur uit te rekenen door 4 terabyte te delen door 30 megabyte.
4 Terabyte is 4.000.000 megabyte. 4.000.000 megabyte gedeeld door 30 megabyte is 133.333. Het duurt dus 133.333 seconden. Dat zijn 2.222 minuten. Dat is 37 uur.
De relatief lange tijdsduur van het maken van een backup en het beslag op opslagruimte zijn waarschijnlijk de redenen, dat na de eerste backup sommige programma's volstaan met het opslaan van de veranderingen in de bestanden.
Mee eens.CptChaos schreef op dinsdag 06 april 2010 @ 17:51:
Zoals ik al zei: het is toch niet erg dat we je méér willen helpen dan alleen met jouw vraag.Dát is de Tweaker-spirit: verder denken naar oplossingen of alternatieven.
Een systematische aanpak bestaat waarschijnlijk uit het probleem herkennen en beschrijven, verschillende oplossingen opzoeken en de voordelen en de nadelen van verschillende oplossingen tegen elkaar afwegen. En eventule zinloze voorstellen kunnen helpen om te bepalen wat iemand wel en niet wil. En minder geschikte oplossingen kunnen anderen hopelijk helpen om geschiktere oplossingen aan te dragen.
[ Voor 50% gewijzigd door Verwijderd op 06-04-2010 19:14 ]
Dat is juist wat ik ze kwalijk neem. Als ik zelf zeg dat het theoretisch zou kunnen, maar het nog nergens gebruikt zie, en afvraag waarom. Dan heb ik natuurlijk weinig aan het antwoord dat het niet kan omdat niemand het gezien heeft.kalizec schreef op dinsdag 06 april 2010 @ 15:27:
[...]
Als je dat anders bekijkt, dan heb je nu 15 man die roepen dat er bezwaren zijn (er wordt immers afgeweken van standaarden). Dat ze vervolgens niet benoemen welke bezwaren dat oplevert kun je ze eventueel kwalijk nemen...
Ik heb nog steeds geen reden gehoord waarom niet andersIk denk dat je, op basis van de reacties in dit topic, mag concluderen dat wat je wilt af te raden valt.
• Quickpar is bedoelt om data-corruptie te detecteren en te verhelpen. Of ontbrekende data te genereren !!.
Par2 is eigenlijk grofweg niks meer of minder dan raid4 op fileniveau.
En dat is precies wat ik eigenlijk zoek.
ik ook niet. het iriteerde me alleenCptChaos schreef op dinsdag 06 april 2010 @ 17:51:
Goh, verbaasd me niets dat je moet rebuilden als de stroom plotsklaps wegvalt...
Voor de goede orde de stroomvoorziening naar mijn server viel 1keer uit.
En was al zielsgelukkig dat dat rebuilde niet dan ook nog eens faalt.
Dan kan ik ofwel met 15kilo ups gaan sjouwen (been there, done that)
Ofwel ik draai singledisk. die hebben daar allemaal geen last van
En zo heeft raid5 nog een stuk of wat beperkingen die her voor mij gewoon oninteresant maken.
Lol 3 TB is wat ik naar een filmavondje van mijn vriend (met filmprojecterAls je er 4TB aan data op die server hebt staan, zou ik het zeker wel gaan overwegen, vooral met zo'n grote hoeveelheid!
[...]
(4TB was wat overdreven
De gehele server beslaat zon 7 a 8 TB
Waarom ? Sja waarom klok je een processor over ?En daarbij: waarom wil je naar een LAN-party zoveel data meenemen? Dat is (afgezien van je hardwarematige power probleem) ook vragen om problemen imo
Omdat
-Het kan ?
-ik het leuk vind ?
-dat de reden is waarvoor ik het ding ooit begonnen ben ?
Ik had een vraag gesteld over quickpar. In plaats daarvan ben ik in een discussie over raid5 en volledige backups terecht gekomen. maar met mijn eigenlijke vraag word dus niks gedaanTja, het is niet zo zeer standaard, het is ongebruikelijk, maar daarvoor is jouw vraag met deze discussie toch ook voor bedoeld? Anders had je neem ik aan het topic ook weer niet gestart.
[...]
Zoals ik al zei: het is toch niet erg dat we je méér willen helpen dan alleen met jouw vraag.Dát is de Tweaker-spirit: verder denken naar oplossingen of alternatieven.
Nu kan een discussie over alternatieven zeker interessant zijn,
mijn HOOFD VRAAG op dit moment was dan ook:
Ik gebruik quickpar momenteel voor het repareren van data-sets van 35MB tot 40GB.
Welke problemen zou ik kunnen verwachten bij het doorschalen tot 1TB verdeeld over meerdere directories/schijvem
Al denk ik dat ik deze vraag beter in een ander forum overnieuw kan stellen.
Nu kunnen er idd ook best wel interesante ideenen zijn over andere mogelijke manieren om mijn data veilig(er) te stellen.
Alleen ga dan uit van mijn complete eisenpakket en kijk wat nuttig is, in plaats van mijn eisen aan te passen aan wat nodig is voor raid 5.
Dus laat ik de vraag in een nieuwe post eens anders/opnieuw stellen, zodat mensen mee kunnen denken.
[ Voor 58% gewijzigd door heuveltje op 06-04-2010 22:12 ]
Heuveltjes CPU geschiedenis door de jaren heen : AMD 486dx4 100, Cyrix PR166+, Intel P233MMX, Intel Celeron 366Mhz, AMD K6-450, AMD duron 600, AMD Thunderbird 1200mhz, AMD Athlon 64 x2 5600, AMD Phenom X3 720, Intel i5 4460, AMD Ryzen 5 3600 5800x3d
2 x 500 GB
2 x 750 GB
4 X 1TB
3 X 1.5 TB
In de rest van het jaar zullen hier nog wat 1.5 of 2TB bijkomen tot ik weer aan de 14 schijven zit
(max kwa beschikbare sata-poorten en harddisk bays. alsmede het max wat ik aan gewicht wil sjouwen
Waarna langzaam de kleinste schijven weer vervangen zullen worden.
Al deze disken zijn voor +- 80% gevuld met data.
Dit is allemaal aangesloten als losse schijven die allemaal hun eigen partitie hebben.
Zoals de kwieke lezer al opmerkt is hier dus totaal geen sprake van enige vorm van backup of raid
Oftewel als een disk uitvalt ben ik rond de 10% van al mijn data kwijt
Nu is dat ansich niet zo'n probleem want de data die hierop staat is "waardeloos"
Dat wil zeggen niets is niet op de lange duur opnieuw te downloaden.
Maar aangezien dit zeer veel download en sorteertijd kost zou het natuurlijk toch mooi zijn als we dit konden vermijden.
Aangezien er nu geen enkele mogelijkheid is om data terug te halen bij een disk-verlies , is zelfs een beetje kans op recovery al een verbetering
Dus vraag ik u mee te denken over een oplossing, uitgaande van de volgende eisen, en gegevens
- Het mag niet meer kosten dan zeg 100E (tenzij dit echt een structurele oplossing is)
- Er bevinden zich nog meerdere ongebruikte kleinere disken(250+320gb ) in mijn verzameling
- Als het opofferen van 1 van die 750GB schijven een significante backup van de andere schijven kan betekenen is dat ook een optie
- Er moet(off-line) 1 of meerdere disken uit het systeem te verwijderen zijn zonder dat dit gevolgen heeft voor de rest van het systeem
- Performance winst is geen factor. Een flinke performance verlies is geen probleem als ik daardoor verlies van data door een diskuitval kan voorkomen
- Mocht het filesysteem veranderd moeten worden, dan moet nog steeds een manier zijn om een enkele disk op een windows pc uit te lezen (door bv en 3rd partie driver)
Tot vorige week ging ik er nog vanuit dat dit gewoon niet kon.
Nu zit ik te Spelen met een par2 oplossing. (grofweg gezegd raid4 op filebasis)
wat in theorie moet werken, maar ik heb nog geen practische manier gevonden om dit te implementeren.
Dus ik sta open voor verder suggesties
Even ten overvloede :
EEN oplossing die inhoud dat er een mogelijkheid bestaat alle data van alle disken in 1 keer kwijt te raken(oa raid5), zie ik gezien meerdere eerdere ervaringen als heel eng !
[ Voor 8% gewijzigd door heuveltje op 06-04-2010 22:11 ]
Heuveltjes CPU geschiedenis door de jaren heen : AMD 486dx4 100, Cyrix PR166+, Intel P233MMX, Intel Celeron 366Mhz, AMD K6-450, AMD duron 600, AMD Thunderbird 1200mhz, AMD Athlon 64 x2 5600, AMD Phenom X3 720, Intel i5 4460, AMD Ryzen 5 3600 5800x3d
Stel je hebt 4 schijven van 500GB waarbij je er een vult met par2 bestanden. Valt een van die schijven uit dan MOETEN die andere 3 schijven 100% zo zijn als op het moment van aanmaken van die par2 bestanden anders is er niet genoeg originele data beschikbaar. Wijkt er ook maar iets ook maar een klein stukje af dan heb je pech.
Daarom word het niet gebruikt en is het ook niet de standaard, het is immers een momentopname en niet, zoals bij raid, een constant geupdate systeem.
Juist voor dit soort dingen bestaan standaarden zoals Raid, daar is over na gedacht. Of anders systemen zoals Drobo gebruikt met zijn BeyondRaid systeem, een soort Raid maar dan precies zoals jij wilt. Kost echter een paar honderd euro voor de consumenten oplossing met 4-5 schijven en een paar duizend euro voor een systeem met 8 schijven.
[ Voor 15% gewijzigd door Tsurany op 06-04-2010 22:16 ]
SMA SB5.0 + 16x Jinko 310wp OWO + 10x Jinko 310wp WNW |--|--| Daikin 4MXM68N + 1x FTXA50AW + 3x FTXM20N
Geen omkijken naar.
btw, Quickpar, werkt dat wel met directory's? of wil je alle files 'met de hand' parren?
Als je gaat parren, moet je wel 100% parren, zodat als je gegevens schijf stuk gaat, je alles weer terug kunt halen. Doe je dat niet, en je part zeg maar 50%, is het eigenlijk nutteloos.
Par je dan voor de 100%, kun je netzo goed Raid1 nemen. is ook 100%.
Succes! Ik volg dit nog ff
Windows Server 2008 ondersteund in ieder geval Raid5, gebruik ik zelf ook. Geen afhankelijkheid van Raid kaarten en het werkt in principe prima. Heeft al m'n gezeik overleefd die ik er mee had.
Linux ondersteund nog meer Raid niveaus zoals Raid6, maar zelf geen ervaring mee.
Nadeel is wel dat je idd een flinke hoeveelheid schijven moet kopen omdat het zinloos is te gaan kloten met allerlei verschillende formaten en dergelijken. Dit kan je met een Drobo dus ondervangen denk ik maar dan moet je dus wel een duur apparaat kopen.
[ Voor 8% gewijzigd door Tsurany op 06-04-2010 22:24 ]
SMA SB5.0 + 16x Jinko 310wp OWO + 10x Jinko 310wp WNW |--|--| Daikin 4MXM68N + 1x FTXA50AW + 3x FTXM20N
En heb jij enig idee hoeveel langer het zou duren om als je 10% van je data kwijt bent deze terug uit te rekenen ?
Volgens mij is dat gewoon praktisch niet te doen en duurt het rebuilden van je files op die manier veel langer dat dan je een volledige backup terug schrijft.
Leuk verzonnen oplossing maar in de praktijk lijkt me dit gewoon onmogelijk.
en daar heb ik mijn beroep van gemaakt
SMA SB5.0 + 16x Jinko 310wp OWO + 10x Jinko 310wp WNW |--|--| Daikin 4MXM68N + 1x FTXA50AW + 3x FTXM20N
Zoals in Windows Home Server.
Zal vast voor linux of nix os ook bestaan, dus opties zat.
En zorgen voor een goede voedingsbron (ups?) met zoveel data.
Er komt eigenlijk alleen maar data bij, dus das geen probleemTsurany schreef op dinsdag 06 april 2010 @ 22:15:
Geen zin het helemaal uit te zoeken, maar Par2 bestanden zijn dus niet continu up to date, die moet je zelf aanmaken. Als vervolgens een paar bestanden veranderen doordat ze vervangen worden door iets andere bestanden of wat andere metadata hebben of wat dan ook dan heb je direct een probleem
En in tegenstelling tot raid heeft het bijzetten van data geen invloed op de par2 files
Wat je zegt klopt. alleen niet helemaalaangezien je een harddisk hebt die niet meer werkt en een aantal bestanden die nodig zijn voor repair niet meer 100% zijn waardoor er niet gerepaired kan worden.
Stel je hebt 4 schijven van 500GB waarbij je er een vult met par2 bestanden. Valt een van die schijven uit dan MOETEN die andere 3 schijven 100% zo zijn als op het moment van aanmaken van die par2 bestanden anders is er niet genoeg originele data beschikbaar. Wijkt er ook maar iets ook maar een klein stukje af dan heb je pech.
Het moet groter zijn dan 100% van de grootste disk. Maar das nog steeds maar 15% van alle data (bij 7 disken)
En aangezien par tot 100% ondersteund is dat dus geen enkel probleem. Oftwel kies maar 500GB aan data per schijf, maak 750GB aan par2 files, en in principe kan je dus 1 disk uitval hebben, +nog een halve disk aan veranderingen (die ik echt niet verwacht)
Daarom word het niet gebruikt en is het ook niet de standaard, het is immers een momentopname en niet, zoals bij raid, een constant geupdate systeem.
Niet alleen moet ik nu schijven vervangen. Ook als we over een jaar bv aan 3tb schijven zitten, Dan zit ik nog steeds aan mijn 1,5TB vastTsurany schreef op dinsdag 06 april 2010 @ 22:24:
Nadeel is wel dat je idd een flinke hoeveelheid schijven moet kopen omdat het zinloos is te gaan kloten met allerlei verschillende formaten en dergelijken.
Een van de redenen waarom ik van mijn 6x250GB raid afstapte was omdat 2 750GB schijven ongeveer net zo duur waren als het uitbreiden met nog eens 3x250GB schijven
http://www.lime-technology.com/ Met UNraid doet ongeveer hetzelfde (zij het wat minder flexibel)Dit kan je met een Drobo dus ondervangen denk ik maar dan moet je dus wel een duur apparaat kopen.
En kost "maar" $120.
Het ziet er zeer interesant uit, met als enige nadeel dat mijn server word gedegradeerd tot NAS
Jouw verhaal gaat op voor 1 disk. ik heb er 11, iets ander verhaalCasioMan468 schreef op dinsdag 06 april 2010 @ 22:20:
btw, Quickpar, werkt dat wel met directory's? of wil je alle files 'met de hand' parren?
Als je gaat parren, moet je wel 100% parren, zodat als je gegevens schijf stuk gaat, je alles weer terug kunt halen. Doe je dat niet, en je part zeg maar 50%, is het eigenlijk nutteloos.
Par je dan voor de 100%, kun je netzo goed Raid1 nemen. is ook 100%.
Succes! Ik volg dit nog ff
Maar idd quickpar werkt niet met directories. dus ik ben verder aan het zoeken naar iets in die richting
[ Voor 14% gewijzigd door heuveltje op 06-04-2010 23:27 ]
Heuveltjes CPU geschiedenis door de jaren heen : AMD 486dx4 100, Cyrix PR166+, Intel P233MMX, Intel Celeron 366Mhz, AMD K6-450, AMD duron 600, AMD Thunderbird 1200mhz, AMD Athlon 64 x2 5600, AMD Phenom X3 720, Intel i5 4460, AMD Ryzen 5 3600 5800x3d
Ik heb zelf momenteel 6 schijven in Raid1 staan. Dus 3x een Raid1. Alles 2 aan 2.Jouw verhaal gaat op voor 1 disk. ik heb er 11, iets ander verhaal
Maar idd quickpar werkt niet met directories. dus ik ben verder aan het zoeken naar iets in die richting
Als je nu je belangrijkste Data op een of meerdere Raid1 sets zet, ben je klaar.
Ik heb zelf wat films nog op 'losse' HD's staan. Maar al mijn MP3's en Foto's staan op de Raid1 sets.
1: Rar je files in stukken en verdeel die over je schijven, par deze bestanden en plaats die par bestanden op 1 schijf. Op die manier krijg je niet hele grote bestanden (Qpar zou tot 2tb moeten werken). Je pakt je bestanden gewoon per categorie of datum in (bijv. "Films < 1990"). Dit is denk ik de beste oplossing met Qpar techniek.
Voordeel: als 1 schijf stuk is kan je die met de par files het hele pakket weer restoren.
Nadeel: je moet je bestanden eerst uitpakken om ze te gebruiken, werkt dus niet voor je muziekcollectie. Bovendien wordt het een warboel. Ook kan het nogal wat tijd en werk in beslag nemen.
2: Back alleen je meest waardevolle dingen op op BR of een ander backup medium.
3: Schaf een draagbare NAS aan, met ingebouwde raid, zodat je die kan meenemen overal heen.
Ik hoop dat je iets aan deze tips hebt!
Maar je moet dan wel zeker weten dat je niks verwijderd. Tenzij je veel meer par2 files aan maakt, maar dan verlies je weer dataruimte.heuveltje schreef op dinsdag 06 april 2010 @ 23:08:
[...]
Er komt eigenlijk alleen maar data bij, dus das geen probleem
En in tegenstelling tot raid heeft het bijzetten van data geen invloed op de par2 files
En het bijzetten heeft wel geen invloed maar die files zijn dan ook niet beveiligd.
Kost je wel flink wat meer schijfruimte dus.Wat je zegt klopt. alleen niet helemaal
Het moet groter zijn dan 100% van de grootste disk. Maar das nog steeds maar 15% van alle data (bij 7 disken)
En aangezien par tot 100% ondersteund is dat dus geen enkel probleem. Oftwel kies maar 500GB aan data per schijf, maak 750GB aan par2 files, en in principe kan je dus 1 disk uitval hebben, +nog een halve disk aan veranderingen (die ik echt niet verwacht)
Waarom zou je dan uitbreiden met nog eens 3x250GB ipv gewoon een nieuwe array te kopen?Niet alleen moet ik nu schijven vervangen. Ook als we over een jaar bv aan 3tb schijven zitten, Dan zit ik nog steeds aan mijn 1,5TB vast
Een van de redenen waarom ik van mijn 6x250GB raid afstapte was omdat 2 750GB schijven ongeveer net zo duur waren als het uitbreiden met nog eens 3x250GB schijven
Met VMware gewoon Server 2008 of wat je ook gebruikt als virtual machine draaien.http://www.lime-technology.com/ Met UNraid doet ongeveer hetzelfde (zij het wat minder flexibel)
En kost "maar" $120.
Het ziet er zeer interesant uit, met als enige nadeel dat mijn server word gedegradeerd tot NAS
Denk niet dat je iets gaat vinden, er is weinig alternatief omdat het een gigantisch ontwikkelwerk is. Er is wel iets zoals Windows Home Server maar dat is zo inefficiënt.Jouw verhaal gaat op voor 1 disk. ik heb er 11, iets ander verhaal
Maar idd quickpar werkt niet met directories. dus ik ben verder aan het zoeken naar iets in die richting
SMA SB5.0 + 16x Jinko 310wp OWO + 10x Jinko 310wp WNW |--|--| Daikin 4MXM68N + 1x FTXA50AW + 3x FTXM20N
Dit is een van de meest zinnige reacties in dit topic. Het idee met quickpar iets doen is grappig, maar verder totaal gestoordkalizec schreef op dinsdag 06 april 2010 @ 15:27:
[...]
Als je dat anders bekijkt, dan heb je nu 15 man die roepen dat er bezwaren zijn (er wordt immers afgeweken van standaarden). Dat ze vervolgens niet benoemen welke bezwaren dat oplevert kun je ze eventueel kwalijk nemen... maar als jij vraagt of het een idee is om vierkante wielen te monteren op een fiets en de rest schreeuwt dat je ronde wielen moet hebben....
Ik denk dat je, op basis van de reacties in dit topic, mag concluderen dat wat je wilt af te raden valt.Dat zijn dus drie oplossingen voor drie verschillende problemen. De oplossing van probleem 2, is dus niet bedoelt om probleem 1 op te lossen. Dus probeer eerst eens je probleem duidelijk te krijgen, en dan pas een oplossing uit te kiezen.
- RAID is bedoelt om betere uptime en/of performance te realiseren door schijven op een redundante manier data op te laten slaan.
- Quickpar is bedoelt om data-corruptie te detecteren en te verhelpen.
- Backups zijn bedoelt om in geval van soft- en/of hardware problemen minder of geen dataverlies te hebben.
Zoals ik dit topic lees ben je vooral zelf een gevaar voor je data. RAID sets raken echt niet zomaar B0rked. Je loopt gewoon te kloten
Met software RAID zou je makkelijk de genoemde schijfgrotes kunnen benutten in verschillende arrays en tot een robuuste oplossing kunnen komen. Dat zou je nul euro kosten indien je Linux zou draaien. Je moet alleen je data ergens tijdelijk kwijt kunnen.
1 array van 500 GB per device over alle disks
1 array van 500 GB per device over de 1 TB en 1.5 TB disks.
1 array van 500 GB per device over de 1.5 TB disks.
En als je die 3 arrays met LVM aan elkaar knoopt tot een geheel heb je zelf je eigen Drobo gemaakt.
Dat bijgezette files niet beveiligd zijn is geen probleem. nogmaals tis geen ramp als er wat kwijtraakt.Tsurany schreef op dinsdag 06 april 2010 @ 23:42:
[...]
Maar je moet dan wel zeker weten dat je niks verwijderd. Tenzij je veel meer par2 files aan maakt, maar dan verlies je weer dataruimte.
En het bijzetten heeft wel geen invloed maar die files zijn dan ook niet beveiligd.
Kost je wel flink wat meer schijfruimte dus.
En kwa schijfruimte : als ik met 1 750GB schijf 4.5TB veilig kan stellen dan vind ik dat het wel waard.
Het simpele antwoord ?Waarom zou je dan uitbreiden met nog eens 3x250GB ipv gewoon een nieuwe array te kopen?
NIET. en dus zat ik na verloop van tijd met 3 arrays van 250, 500 en 750GB.
Wat flink wat diskruimte kost, en vrij onhandig werkte. en toen kwamen er natuurlijk weer 1TB disken
Dat is ook de richting waar ik nu in zit te denken.Met VMware gewoon Server 2008 of wat je ook gebruikt als virtual machine draaien.
Alleen heb ik totaal geen ervaring met VMware, en draait ums eigenlijk op linux.
Iets waar ik ook niet zo veel vanaf weet, en belangrijker mijn hardware is ook nooit uitgezocht met linux of VM voor ogen. Dus ik moet nog uitzoeken of dat allemaal compatible is ermee.
Helaas is dat eigenlijk onjuist. er zijn vreemd genoeg gewoon geen alternatieven voor quickpar kom ik achter.Denk niet dat je iets gaat vinden, er is weinig alternatief omdat het een gigantisch ontwikkelwerk is.
Het eigenlijke par algorithme heeft geen beperkingen kwa bestandsnamen/directories
Quickpar genereert intern al een lijst bestanden, algorithmes om via recursie een lijst bestanden te generenen zijn er ook al. Die 2 samenvoegen is eigenlijk niet zo heel ingewikkeld. Het stond zelfs hoog op de TODO list van de ontwikkelaar. Helaas is quickpar echter geen opensource, en is de ontwikkeling 5 jaar geleden stopgezet
Er is behalve de commandline tool eigenlijk geen alternatief
Heuveltjes CPU geschiedenis door de jaren heen : AMD 486dx4 100, Cyrix PR166+, Intel P233MMX, Intel Celeron 366Mhz, AMD K6-450, AMD duron 600, AMD Thunderbird 1200mhz, AMD Athlon 64 x2 5600, AMD Phenom X3 720, Intel i5 4460, AMD Ryzen 5 3600 5800x3d
Gaat je volgens mij niet lukken. Als je het origineel kwijt bent, kun je met 750Gb aan Par-files nooit geen 4,5TB rebuilden. Dus als je met Quickpar wilt werken, zal je 100% moeten parren (normaal is ~10%). Dat zijn dan dus ook voor 4,5TB aan Par-files.... als ik met 1 750GB schijf 4.5TB veilig kan stellen dan vind ik dat het wel waard.
Probeer maar uit. Par een film, gooi het origeneel weg en probeer met Quickpar het weer terug te krijgen.
Gaat niet lukken dacht ik...
Laat het dan lekker zo? Dan zie ik ook het probleem niet.heuveltje schreef op woensdag 07 april 2010 @ 09:59:
[...]
Dat bijgezette files niet beveiligd zijn is geen probleem. nogmaals tis geen ramp als er wat kwijtraakt.
En kwa schijfruimte : als ik met 1 750GB schijf 4.5TB veilig kan stellen dan vind ik dat het wel waard.
Neem een grote kast en koop een simpele raid kaart, dat zijn echt de kosten niet.Het simpele antwoord ?
NIET. en dus zat ik na verloop van tijd met 3 arrays van 250, 500 en 750GB.
Wat flink wat diskruimte kost, en vrij onhandig werkte. en toen kwamen er natuurlijk weer 1TB disken
Anders nieuwe hardware kopen, ben je in 1 keer klaar.Dat is ook de richting waar ik nu in zit te denken.
Alleen heb ik totaal geen ervaring met VMware, en draait ums eigenlijk op linux.
Iets waar ik ook niet zo veel vanaf weet, en belangrijker mijn hardware is ook nooit uitgezocht met linux of VM voor ogen. Dus ik moet nog uitzoeken of dat allemaal compatible is ermee.
Je moet ook actief zoeken naar nieuwe bestanden en die direct in blokken verdelen, par blokken maken en wegschrijven, dat is niet iets wat eenvoudig te doen is. Bovendien zodra er bestanden veranderen moeten enorme delen van je par blokken opnieuw aangemaakt worden.Helaas is dat eigenlijk onjuist. er zijn vreemd genoeg gewoon geen alternatieven voor quickpar kom ik achter.
Het eigenlijke par algorithme heeft geen beperkingen kwa bestandsnamen/directories
Quickpar genereert intern al een lijst bestanden, algorithmes om via recursie een lijst bestanden te generenen zijn er ook al. Die 2 samenvoegen is eigenlijk niet zo heel ingewikkeld. Het stond zelfs hoog op de TODO list van de ontwikkelaar. Helaas is quickpar echter geen opensource, en is de ontwikkeling 5 jaar geleden stopgezet
Er is behalve de commandline tool eigenlijk geen alternatief
Nee maar die 4,5TB bestaat dan ook uit verschillende schijven van 500GB, waardoor je dus altijd genoeg par blokken hebt om die 500GB te redden. Tenzij je stom genoeg bent om veel te deleten waardoor je par blokken waardeloos worden.CasioMan468 schreef op woensdag 07 april 2010 @ 19:59:
[...]
Gaat je volgens mij niet lukken. Als je het origineel kwijt bent, kun je met 750Gb aan Par-files nooit geen 4,5TB rebuilden. Dus als je met Quickpar wilt werken, zal je 100% moeten parren (normaal is ~10%). Dat zijn dan dus ook voor 4,5TB aan Par-files.
Probeer maar uit. Par een film, gooi het origeneel weg en probeer met Quickpar het weer terug te krijgen.
Gaat niet lukken dacht ik...
[ Voor 16% gewijzigd door Tsurany op 07-04-2010 20:18 ]
SMA SB5.0 + 16x Jinko 310wp OWO + 10x Jinko 310wp WNW |--|--| Daikin 4MXM68N + 1x FTXA50AW + 3x FTXM20N
Zal ook nog wel ff zo blijvenTsurany schreef op woensdag 07 april 2010 @ 20:18:
Laat het dan lekker zo? Dan zie ik ook het probleem niet.
totdat ik ofwel een par2 achtig iets vind met subdir transport. ofwel mijn ge-experminteer met unpar zeer positief word
Heb ik al en heb ik al, en hebben beide totaal geen invloed op dit probleemNeem een grote kast en koop een simpele raid kaart, dat zijn echt de kosten niet.
Grappig hoe ik een vierkant probleem heb, iedereen een ronde oplossing aanreikt. En als ik dan opper dat die niet past ze zeggen dat ik gat maar rond moet maken
Geldboom staat nog niet in bloeiAnders nieuwe hardware kopen, ben je in 1 keer klaar.
arange by date modified ? sowieso stond 80% van die data een jaar geleden ook al op die server dus zo'n vaart zal dat niet lopen.Je moet ook actief zoeken naar nieuwe bestanden en die direct in blokken verdelen, par blokken maken en wegschrijven, dat is niet iets wat eenvoudig te doen is. Bovendien zodra er bestanden veranderen moeten enorme delen van je par blokken opnieuw aangemaakt worden.
Of gooi alle pars weg, begin overnieuw en na een week zal ie wel klaar zijn
Erm lees het nog eens goed denk ik danCasioMan468 schreef op woensdag 07 april 2010 @ 19:59:
[...]
Gaat je volgens mij niet lukken. Als je het origineel kwijt bent, kun je met 750Gb aan Par-files nooit geen 4,5TB rebuilden. Dus als je met Quickpar wilt werken, zal je 100% moeten parren (normaal is ~10%). Dat zijn dan dus ook voor 4,5TB aan Par-files.
Probeer maar uit. Par een film, gooi het origeneel weg en probeer met Quickpar het weer terug te krijgen.
Gaat niet lukken dacht ik...
Probeer het zelfs eens zou ik zeggen.
maak 8 files varierend van 80 tot 110 mb. maak 125mb aan par files. en gooi dan 1 file weg.
Reparren Werkt als een trein !
Nu alleen nog een par2 client vinden die sub-directories ondersteunt
[ Voor 41% gewijzigd door heuveltje op 07-04-2010 20:46 ]
Heuveltjes CPU geschiedenis door de jaren heen : AMD 486dx4 100, Cyrix PR166+, Intel P233MMX, Intel Celeron 366Mhz, AMD K6-450, AMD duron 600, AMD Thunderbird 1200mhz, AMD Athlon 64 x2 5600, AMD Phenom X3 720, Intel i5 4460, AMD Ryzen 5 3600 5800x3d
Het blijft overigens nog steeds waanzin, maar ach. Het is een idee.
[ Voor 12% gewijzigd door Q op 07-04-2010 20:46 ]
Dan zou ik niet eens moeite gaan doen om te zoeken, als het toch niet belangrijk is.heuveltje schreef op woensdag 07 april 2010 @ 20:28:
[...]
Zal ook nog wel ff zo blijven![]()
totdat ik ofwel een par2 achtig iets vind met subdir transport. ofwel mijn ge-experminteer met unpar zeer positief word
Nee jij wil perse een vierkante oplossing en die zijn er gewoon niet die goed en betrouwbaar werken, dan kan je wel blijven zeuren om een vierkante oplossing maar dan blijf je gewoon aan het aanprutsen. Dat is prima maar hier krijg je gewoon serieus advies en werkt men niet met halve oplossingen.Heb ik al en heb ik al, en hebben beide totaal geen invloed op dit probleem
Grappig hoe ik een vierkant probleem heb, iedereen een ronde oplossing aanreikt. En als ik dan opper dat die niet past ze zeggen dat ik gat maar rond moet maken
Oftewel een week lang kwetsbaar voor verlies zodra een schijf uit valt waardoor je weer een week lang mag parren. Vergeet niet dat zulke acties voor flinke loads op al je schijven zorgen. Als je niet beschermt bent dan is juist je schijven stressen iets wat je eigenlijk wilt vermijden lijkt me.arange by date modified ? sowieso stond 80% van die data een jaar geleden ook al op die server dus zo'n vaart zal dat niet lopen.
Of gooi alle pars weg, begin overnieuw en na een week zal ie wel klaar zijn
Ik snap dat je geen geld wilt uitgeven maar dit is gewoon een slechte oplossing die je veel gedoe en gezeik gaat opleveren. Dan is dat unRaid nog de beste oplossing.
SMA SB5.0 + 16x Jinko 310wp OWO + 10x Jinko 310wp WNW |--|--| Daikin 4MXM68N + 1x FTXA50AW + 3x FTXM20N
Maar wat ik wil zeggen ik begon met 8x 200GB op deze controller en nu hangen er 6 WD Green 1TB schijfen aan, daar tussen is er nog een stap geweest van 8 x 300GB. De oude hardeschijfen heb ik altijd verkocht voor toch nog redelijke prijzen zo hoeft een capaciteit upgrade helemaal niet zo heel duur te zijn.
Je hebt de redundancy van RAID5 en kan op een relatief goedkope manier toch je capaciteit uitbreiden. Persoonlijk heb ik alleen van echt belangrijke data een backup, zoals foto's, documenten en bv. belastingegevens. Niet van muziek films etc. Ik blijf het gevoel houden dat een "PAR" oplossing minstens zoveel verloren capaciteit vergt en zeer bewerkelijk is en als backup. zoals reeds gezegd, zorgt het ook niet.
Sinds 1999@Tweakers | Bij IT-ers gaat alles automatisch, maar niets vanzelf. | https://www.go-euc.com/
Was het maar zo simpelQ schreef op woensdag 07 april 2010 @ 20:45:
Mijn scriptje in mijn signature, PPSS, doet subdirectories en zou waarschijnlijk in een cron job periodiek files kunnen parren, waarbij je dan ook nog eens nut hebt van meerdere cores. Maar onder Windows heb je daar niets aan (shell script).
Er is (of ik heb hem iig niet gevonden) een par2.exe waarin ik gewoon een hele string (of nog beter dataset) aan bestandsnamen kan voeren. De enige die ik kan vinden wil maar 1 bestandsnaam als input, waar dan wel weer wildcards in mogen zitten.
Dus ik zie iets over het hoofd of het kan niet
Het blijft overigens nog steeds waanzin, maar ach. Het is een idee.
och waanzin. wat is waanzin ?
De disken heb ik in de kast nog liggen , de tijd heb ik ook. Dus wat let me ?
Uit war kleine testen weet ik dat het iig tot 140 Gb gewoon lineair kwa geheugen en rebuildtijd door lijkt te schalen (al moet hij nog een dag of 4 parren voor ik het zeker weet dat het tot een goed einde komt). dus dan zou 450gb op 2 weken parren uitkomen.
duurt ff, maar dan heb je ook wat
Nu alleen het probleem nog om er subdirs in te krijgen
Zo heb ik het ook een tijdje gedaan. maar het is altijd VEELduurder en omslachtiger dan gewoon een disk kopen van de voordeligste groote en type wanneer het nodig is(en ik er geld voor heb) !!_Dune_ schreef op woensdag 07 april 2010 @ 21:03:
Heuveltje, zomaar een idee. Ik zelf ben ooit begonnen met 8x 200GB op een RAIDcore BC4852 RAID5 HW assist controller.
8x 200GB
daar tussen is er nog een stap geweest van 8 x 300GB. De oude hardeschijfen heb ik altijd verkocht voor toch nog redelijke prijzen zo hoeft een capaciteit upgrade helemaal niet zo heel duur te zijn.
(deze server gebruik is ooit begonnen als 2x20gb op een p200 met linux als os
toen kwam de rocketraid 1820A met leuke geintjes (R.Raid 1280a. Raid5 incorrect gedetecteerd, wat nu ?) (heeft ie me 2 keer geflikt. 1 keer kunnen redden met veel moeite en hulp van hier. 1 keer alles kwijt geweest)
Toen was ik die controller beu. SW Raid5 onder Linux aangemaakt.
heeft een ruim twee jaar zonder problemen gedraaid. 2 keer 2 disken toegevoegd aan het array, tijdens de 2e keer een disk toevoegen, is de gehele raidpartitie unsynced geraakt. zonder duidelijke reden waarom, of manier om het nog te herstellen.
Toen was ik er eigenlijk wel klaar mee
Jij ziet redundancy, ik zie een single point of failure.
Met daarnaast nog een stel serieuze beperkingen op de manier hoe ik met me server om moet gaan.
Ik heb liever een kleine kans op verlies van 1 disk, dan een (al dan niet) kleinere kans verlies van alles wat ik heb
Ben gerust, van mijn persoonlijke belangrijke data, word dagelijks automagisch een backup naar bovengenoemde server gemaakt, en een 2 wekelijkse backup naar een pc bij mijn ouders. Die gaat niet verlorenJe hebt de redundancy van RAID5 en kan op een relatief goedkope manier toch je capaciteit uitbreiden. Persoonlijk heb ik alleen van cht belangrijke data een backup, zoals foto's, documenten en bv. belastingegevens. Niet van muziek films etc. Ik blijf het gevoel houden dat een "PAR" oplossing minstens zoveel verloren capaciteit vergt en zeer bewerkelijk is en als backup. zoals reeds gezegd, zorgt het ook niet.
Dit gaat puur over idd films en dergelijke.
En idd par2 is omslachtig en traag en waarschijnlijk onwerkbaar, maar de tijd heb ik toch. de lege disken ook (wat moet ik nog met een 320gb schijf in me server ?).Dus waarom niet wat experimenteren ?
En een betere oplossing heb ik nog niet gevonden, Al word unRaid steeds interesanter
[ Voor 51% gewijzigd door heuveltje op 07-04-2010 22:26 ]
Heuveltjes CPU geschiedenis door de jaren heen : AMD 486dx4 100, Cyrix PR166+, Intel P233MMX, Intel Celeron 366Mhz, AMD K6-450, AMD duron 600, AMD Thunderbird 1200mhz, AMD Athlon 64 x2 5600, AMD Phenom X3 720, Intel i5 4460, AMD Ryzen 5 3600 5800x3d
Daarom ben ik begonnen met Raid1.
Maar om terug te komen op je QuickPar gebeuren, Het is natuurlijk niet zo moeilijk om een programma te schrijven die de HD's scanned en dan alles mooi gedoseerd in quickpar zet. Kun je s'nachts je pc z'n gang laten gaan. Dat moet kunnen denk ik.
Verwijderd
BLijkbaar was toch niet de enige die naar zoiets zocht
Unraid kwam in de buurt, is een heel mooi progje.
Even getest, maar zonder een hoop linux kennis verandert je server wel in een puur NAS systeem, iets wat ik niet wil. alsmede dat je alsnog je drives moet formateren in een voor windows onleesbaar formaat
Flexraid
Doet op het eerste oog precies wat ik zoek.
Op commando een parriteits-snapshot aanmaken zonder ook maar iets aan de huidige schijven te wijzigen.
Dus selecteer een aantal drives, wijs de grootste als pariteitsdrive aan.
Dus druk op knopje, maak snapshot, verwijder je lster per ongeluk een bestand/dir/drive, druk op ander knopje en voilla bestanden worden her gecreeerd ":)
Mijn ervaringen tot nu toe zijn gebaseerd op wat losse test dmv een oude laptop en met een wat virtual machine.
Volgende maand een nieuwe hd bestellen (voor pariteit) en dan gaan we het eens testen op de echte server met grotere datasets
Maar tot zover ben ik happy, het is allemaal nog wat beta, en de community is nog niet zo groot, maar het is zeker interessant voor wie naar zoeits op zoek was.
Het werkt zelfs op folder niveau dus je kunt ook maar een kleiner gedeelte per drive selecteren en dat dubbel beveiligen
[ Voor 9% gewijzigd door heuveltje op 01-09-2010 22:10 ]
Heuveltjes CPU geschiedenis door de jaren heen : AMD 486dx4 100, Cyrix PR166+, Intel P233MMX, Intel Celeron 366Mhz, AMD K6-450, AMD duron 600, AMD Thunderbird 1200mhz, AMD Athlon 64 x2 5600, AMD Phenom X3 720, Intel i5 4460, AMD Ryzen 5 3600 5800x3d
Upgraden is ook een eitje; schijven eruit. Nieuwe erin (of een nieuwe erbij). Nieuwe array maken. Rsync starten. Duurt een dag of twee en het loopt weer zoals voorheen. Ik gebruik de kleinste server altijd als backup; ik hoef maar van ongeveer 70% van de data die ik heb een backup. Je kunt met wat console handgrepen zelfs je array expanden. Ik heb verder ook nooit last van eruitvallende schijven of corrupte arrays. Ter zekerheid trek ik maandelijks nog een backup op een externe USB schijf die ik op mijn werk bewaar. Daar staat niet alle data op, maar wel het onmisbare. De rest van mijn data bestaat voor 90% uit werkgerelateerde tussenresultaten van simulaties. Die zijn in principe niet onmisbaar, alleen kan het maanden duren voor ik die allemaal weer gegenereerd heb.
Ik moet je loven voor je moed. Ik ben erg benieuwd naar je definitieve oplossing waarbij jij je lekker voelt. Ben ook heel benieuwd naar de hoeveelheid tijd die je dan erin moet steken om het geheel op orde te houden.
Ik gebruik overigens een zelfde soort setup als thuis op mijn werk waarbij de beide servers ongeveer 60km uit elkaar staan. Er staat geen kritische data op, maar het draait al met uptimes van 390 en 393 dagen
[ Voor 6% gewijzigd door 0rbit op 01-09-2010 23:31 ]
Ik ben geheel voldaan, dank u wel!
@TS joh zet er nog zo'n systeem naast en ga je bestanden synchroniseren heb je altijd een reserve.